Aprendizagem Automática

Uma Introdução

Cristina MotaInstituto Superior Técnico

L2F Inesc-IDNew York University

O que é Aprendizagem Automática?

“The field of Machine Learning is concerned with the question of how to construct computer programs that automatically improve with experience” (Mitchell, 1997)

“Machine learning studies automatic techniques for learning to make accurate predictions based on past observations” (Schapire, 2001)

Exemplo

1 – Reunir tantos exemplos quanto possível de SPAM e não-SPAM

2 – Fornecer esses exemplos, previamente classificados (S/NS), ao algoritmo favorito de Aprendizagem que automaticamente irá produzir uma classificação ou regra de predição

3 – Dado um novo exemplo, não classificado, a regra tenta atribuir uma classificação

O objectivo é produzir uma regra que faça predições tão precisas quanto possível relativamente a novos exemplos.

Problema: Filtrar as mensagens electrónicas de modo a reconhecer SPAM

Abordagem de Aprendizagem Automática:

Definição do problema

Classe de tarefas

Medida de desempenho a ser melhorada

Fonte de aprendizagem

Problema de aprendizagem de Reconhecimento de EMs

Tarefa T: Identificar e classificar EMs em textos

Medida de desempenho D: Medida-F

Fonte de aprendizagem E: Texto previamente classificado

Desenho do sistema

Escolher:- a experiência de treino Como?- uma função alvo O quê?- uma representação para a função alvo - algoritmo de aproximação da função - estimar valores de treino- ajustar os valores- desenho final

QuestõesQue algoritmos existem para aprender funções alvo genéricas a partir de exemplos de treino?

Em que condições converge o algoritmo, havendo dados de treino suficientes?

Que algoritmos se comportam melhor face a que tipo de problemas e representações?

Que quantidade de dados de treino é necessária?

Que limites genéricos podem ser encontrados que relacionem a confiança nas hipóteses aprendidas e a quantidade de experiência de treino e natureza do espaço de hipóteses do “aprendiz”?

Quando e como é que conhecimento anterior mantido pelo “aprendiz” pode guiar o processo de generalização a partir de exemplos?

Pode o conhecimento anterior ser útil mesmo quando só está aproximadamente correcto?

Desenho do sistema

Qual é a melhor forma para reduzir a tarefa de aprendizagem a um ou mais problemas de aproximação de funções?

Ou seja, que funções específicas deve o sistema tentar aprender?

Pode este mesmo processo ser automatizado?

Como é que o “aprendiz” pode automaticamente alterar a sua representação para melhorar a sua capacidade de representar e aprender a função alvo?

Qual é a melhor estratégia para escolher a experiência seguinte mais útil?

Como é que a escolha dessa estratégia altera a complexidade do problema de aprendizagem?

Paradigmas de AprendizagemCOMPUTACIONAL Existe uma representação simbólica manipulada por um

sistema de inferência

Mecanismo de Inferência

Dedutivo Conhecimento inferido a partir do que já existe, mas que estava implícito. O novo conhecimento é sempre verdadeiro. Com base em apenas um exemplo, cria novas regras. Indutivo Obtenção de conhecimento instrinsecamente novo. O novo conhecimento pode não ser verdadeiro. Usa técnicas de generalização. Usa vários exemplos para criar novas regras.

Analógico Dado um outro problema e a sua solução, relaciona os dois problemas para chegar a uma nova solução. É necessário descobrir problemas análogos ao que se tem em mãos.

Paradigmas de AprendizagemCOMPUTACIONAL Existe uma representação simbólica manipulada por um

sistema de inferência

Aprendizagem de conceitos (Concept Learning) aquisição da definição de uma categoria genérica a partir de exemplos positivos e negativos dessa categoria.

Decision Tree Learning Método para aproximar funções de valores discretos que é robusto a dados com ruído, capaz de aprender expressões disjuntivas.

Ex: ID3, ASSISTANT, C4.5

Adequados para problemas com as seguintes características

- Instâncias representadas por pares atributo-valor- A função alvo tem saídas discretas- Pode ser necessário descrições disjuntivas- Os dados de treino podem conter erros- Os dados de treino podem conter valores desconhecidos

Paradigmas de AprendizagemNEURONAL Inspirado no funcionamento do cérebro

∑

a0a1

a2

an-1

an

1x1

x2

xn-1

xn

S0/1

Perceptrão de Rosenblatt

Regra de Aprendizagem ≡ ai( +1)n = ai

( )n -ηxi( - )o d

Paradigmas de AprendizagemNEURONAL Inspirado no funcionamento do cérebro

∑

a0a1

a2

an-1

an

1x1

x2

xn-1

xn

O

Regra de Aprendizagem (delta rule)≡ ai( +1)n = ai

( )n -η∑xik(ok-dk)

ADALINE – ADAptive LINear Element

(LMS – Least Mean Squares) ≡ ai( +1)n = ai

( )n -ηxik(ok-dk)

Batch

Online

Paradigmas de AprendizagemNEURONAL Inspirado no funcionamento do cérebro

Perceptrão multicamada para a frente

∑

a0a1

an

1

x1

xn

S1 y1

∑

b0

bn

1

S3

∑

c0c1

cn

1

x1

xn

S2 y2

∑

d0

d11

S4

y3

y4

d2

Aprendizagem: Retropropagação

Paradigmas de AprendizagemNEURONAL Inspirado no funcionamento do cérebro

Adequados para problemas com as seguintes características

- Instâncias representadas por muitos pares atributo-valor- Funções com valores reais, discretos e vectoriais- Os dados de treino podem conter ruído- É aceitável ter tempos de processamento grandes- Possa ser necessário uma rápida avaliação da função alvo- A (in)capacidade de humanos compreenderem a função alvo não é

importante

Paradigmas de AprendizagemGENÉTICO Inspirado na teoria de evolução das espécies

População Inicial

Selecção Natural Função de adaptação X = ∑

1/3

1/3 2/9

1/9

Paradigmas de AprendizagemGENÉTICO Inspirado na teoria de evolução das espécies

População Inicial

Recombinação Pontos de corte

Selecção Natural Função de adaptação X = ∑

Paradigmas de AprendizagemGENÉTICO Inspirado na teoria de evolução das espécies

População Inicial

Recombinação Pontos de corte

Selecção Natural Função de adaptação X = ∑

Paradigmas de AprendizagemGENÉTICO Inspirado na teoria de evolução das espécies

População Inicial

Mutação Frequência

Recombinação Pontos de corte

Selecção Natural Função de adaptação X = ∑

Paradigmas de AprendizagemGENÉTICO Inspirado na teoria de evolução das espécies

Nova População

Mutação Frequência

Recombinação Pontos de corte

Selecção Natural Função de adaptação X = ∑

FIM: Solução óptima ou suficientemente boa

Paradigmas de Aprendizagem

EMERGENTE Inspirado na organização das sociedades

Depende de um autómato celular (rede de células), em que cada célula tem um estado que das células vizinhas e é fixado por um conjunto de regras

As transições de estado de um autómato celular dão-se em paralelo

Problema da Generalização

UniversoTreino Teste

Validação

Validação Cruzada

Erro

x

Aprendizagem em PLN

BrillYarowskyMikheevBorthwick