adaboost a decision theoretic generalization of on-line learning and an application to boosting...

AdaboostA decision theoretic generalization of on-line learning and an application to boostingJournal of Computer and System Sciences, no. 55. 1997Yoav Freund & Robert Schapire

Irineu Júnior Pinheiro dos SantosMirela Ferreira César

Roberto Ribeiro Castro Menezes

2

Sumário

Introdução Ensemble Methods

Boosting Adaboost

Exemplos Conclusões

3

Introdução - Ensemble Methods Reúne a predição de múltiplos

classificadores em um único classificador; Constrói um conjunto de classificadores base

a partir de um conjunto de treinamento; Realiza a classificação a partir de um

sistema de votação, constituído a partir do resultado de classificação de cada algoritmo base.

4

Introdução - Ensemble Methods

D

D1

D2

D3

Dt

h1

h2

h3

ht

Dados originais de treinamento

...

H*

...

Passo 1:Criar múltiplos conjuntos de dados

Passo 2:Construir múltiplos classificadores

Passo 3:Combinar classificadores

5

Ensemble Methods

Como um Ensemble method pode melhorar a performance em comparação a um único classificador?

1 classificador Base → Error rate = 0,35 25 classificadores Base → Error rate = 0,06

6

Ensemble Methods

Considerando 25 classificadores base: iguais Com taxa de erro de cada c. base ε = 0.35 Tx erro ensemble ε = 0.35 Ensemble vai classificar incorretamente se o

base classificar incorretamente

7

Ensemble Methods

Considerando 25 classificadores base: Diferentes Ensemble classifica erroneamente somente se

mais da metade dos classificadores base predizem erroneamente.

Tx Erro ensemble:

25

13

25 06.0125

i

iiensemble i

8

Ensemble Methods

9

Ensemble Methods

Métodos para construção de um classificador Ensemble:

Manipulação de Conjunto de testes Bagging e Boosting

Manipulação das características de entrada Random Forest

Manipulação do rótulo de classes Manipulação do algoritmo de aprendizado

10

Ensemble Methods

Métodos para construção de um classificador Ensemble:

Manipulação de Conjunto de testes Bagging e Boosting

Manipulação das características de entrada Random Forest

Manipulação do rótulo de classes Manipulação do algoritmo de aprendizado

11

Ensemble Methods Algoritmo geral do E.M. Sendo:

D o conjunto de dados de treinamento originais

K o número de classificadores base

T os dados de teste

for i = 1 to k do

crie conjunto de treino Di a partir de D

Construa um classificador hi a partir de D

End for

para cada registro de teste x Є T

C*(x) = Voto(h1(x),h

2(x),...,h

k(x))

fim para

12

Ensemble Methods Considerações:

O tamanho dos dados de treino é igual entre os algoritmos Base, mas a distribuição destes dados não necessariamente;

E.M. funcionam melhor em classificadores base instáveis: Classificadores sensíveis a pequenas perturbações no

conjunto de treinamento: Arvores de decisão; Redes Neurais; Classificadores baseado em regras;

Agregando muitos classificadores podem ajudar a reduzir tais erros.

13

Boosting

Boosting é um procedimento iterativo utilizado adaptativamente para alterar a distribuição de exemplos de treinamento tal que os classificadores base foquem nos exemplos que são difíceis de classificar.

14

Boosting

Atribui peso para cada exemplo de treinamento e pode adaptativamente alterar o peso no final de cada iteração do boosting.

15

Boosting

O peso atribuído para o exemplo de treinamento pode ser usado das seguintes formas:

Pode ser usado como distribuição de amostragem para traçar uma faixa inicial (bootstrap) do conjunto de amostras dos dados originais.

Pode ser usado pelo classificador base para aprender um modelo que atribui alto peso nos exemplos de difícil classificação.

16

Boosting

Inicialmente são distribuídos pesos iguais (1/N) e possuem as mesmas chances de serem escolhidos para o treinamento.

Iterativamente: Gera um classificador usando a atual distribuição dos

exemplos. A distribuição é dada pelos pesos. Os pesos do exemplo de treinamento são atualizados no final

de cada iteração. Exemplos que são classificados incorretamente terão seus

pesos aumentados e os que são classificados corretamente terão seus pesos diminuídos.

17

BoostingD

D1

D2

D3

Dt

h1

h2

h3

ht

Dados originais de treinamento

...

H*

α1

α2 α

3 αt

ω1

ω2

ω3

ω = peso dos exemplos

α = importância do class.

18

Boosting - Exemplo

Boosting (Iteração 1) 7 3 2 8 7 9 4 10 6 3

Boosting (Iteração 2) 5 4 9 4 2 5 1 7 4 2

Boosting (Iteração 3) 4 4 8 10 4 5 4 6 3 4

Supondo que o exemplo 4 seja difícil de classificar.

O peso para este exemplo será aumentado nas futuras iterações e é classificado de forma errada repetidamente.

19

Boosting - Exemplo

Boosting (Iteração 1) 7 3 2 8 7 9 4 10 6 3

Boosting (Iteração 2) 5 4 9 4 2 5 1 7 4 2

Boosting (Iteração 3) 4 4 8 10 4 5 4 6 3 4

Exemplos que não foram escolhidos na iteração anterior tem mais chances de serem selecionados na próxima iteração (1 e 5).

À medida que as iterações avançam, os exemplos mais difíceis de classificar tendem a tornar-se mais prevalentes.

20

Boosting

O ensemble final é obtido através da agregação de classificadores a partir de cada iteração do boosting.

21

Boosting

Várias implementações do algoritmo de boosting tem sido desenvolvidas e diferem entre si em termos de:

Como os pesos do exemplo de treinamento são atualizados no final de cada iteração e;

Como as previsões feitas por cada classificador são combinadas.

22

AdaBoost

AdaBoost (Adaptative Boost) é um algoritmo que utiliza Boosting como método de aprendizagem;

A partir da combinação de vários classificadores com acurácia baixa (hipóteses fracas), uma regra de predição para um classificador com acurácia mais alta (hipótese forte) é produzida;

23

AdaBoost

Seja {(xi,yi) | i = 1,2,...,N} um conjunto de N exemplos de treinamento, onde yi é o rótulo de classe associado com a instância xi;

xi ϵ R

yi ϵ {natural,plastic} ou yi ϵ {+1,-1}

24

AdaBoost – Taxa de Erro

Dado um classificador aplicado ao conjunto de treinamento, é necessário estimar a taxa de erro da classificação realizada;

A a taxa de erro de uma hipótese (classificador) hf (fraco) é dada por:

iifDi yxh ~Pr

25

AdaBoost – Importância de ht

A importância de um classificador fraco ht, onde t é o índice de iteração, é dado pelo seguinte parâmetro:

t

tt

1ln2

1

26

AdaBoost – ε x α

Com isso é possível observar que quanto menor a taxa de erro, maior é a importância atribuída ao classificador.

t

tt

1ln2

1

-5

-4

-3

-2

-1

0

1

2

3

4

5

0 0,2 0,4 0,6 0,8 1

Taxa de Erro

Imp

ort

ânci

a d

o C

lass

ific

ado

r

27

AdaBoost – Cálculo de ε e α

Taxa de erro (ε): 2/11 = 0,18

Importância (α): ½*LN(1-0,18/0,18) 0,75

28

AdaBoost - Pesos

Usa-se o parâmetro αt para atualizar os pesos dos exemplos de treinamento.

Considerando ωi(t) o peso atribuído ao exemplo (xi,yi)

na iteração t, temos:

iit

iit

t

tit

i yxhif

yxhif

Z t

t

exp

exp1

Onde Zt é o fator de normalização usado para assegurar que o somatório dos pesos seja 1.

29

AdaBoost - Pesos

A partir dessa fórmula então é realizado a atualização dos pesos: Registros classificados corretamente: peso diminui; Registros classificados erroneamente: peso aumenta;

iit

iit

t

tit

i yxhif

yxhif

Z t

t

exp

exp1

30

AdaBoost – Pesos em (t=1)

ωi(t=0) = 1/11 = 0,091

Corretos (ht(xi)=yi): ωi

(t=1) = 0,091*exp-0,75

0,091*0,047 = 0,043

Incorretos (ht(xi)≠yi): ωi

(t=1) = 0,091*exp0,75

0,091*2,117 = 0,193

31

AdaBoost - Normalização

Após o cálculo dos pesos, é necessário normalizá-los para que sua soma seja exatamente 1;

(0,043 * 9) + (0,193 * 2) = 0,387 + 0,386 = 0,773

Corretos: 0,043/0,773 = 0,056 Incorretos: 0,193/0,773 = 0,248

32

AdaBoost – Ensemble

O resultado final do algoritmo se baseia na junção dos resultados obtidos pelos classificadores fracos, ponderada pelo peso calculado de cada um deles;

tttf xhsignxH

33

AdaBoost - Algoritmo1. Inicializa o peso para todos os N exemplos

2. Seja t o número de iterações

3. Para i = 1 a t faça:1. Criar conjunto de treinamento Di pela amostragem de D de acordo com o

peso;

2. Treinar um classificador base ht sobre Di;

3. Aplicar ht para todos os exemplos no conjunto de treinamento original D;

4. Calcular a taxa de erro de ht (ε);

5. Se a taxa de erro for maior que 50% então:1. Reinicializa os pesos para todos os N exemplos;

2. Vai para o passo 3.1;

6. Calcular a importância do classificador (α);

7. Calcular o novo peso para cada exemplo (ω);

4. Constrói o classificador final (forte) ponderando as importâncias (α) de cada classificador fraco;

34

AdaBoost – Exemplo 1

Conjunto de Treinamento: 10 pontos (representados

por sinais de mais e menos)

Status original: Peso igual para todas as

amostras de treinamento (1/10)

35

AdaBoost – Exemplo 1

Iteração 1: Três sinais de mais são classificados incorretamente; Os pesos para esses três sinais são aumentados

(boosted);

36

AdaBoost – Exemplo 1

Iteração 2: Três sinais de menos são classificados incorretamente; Os pesos para esses três sinais são aumentados (boosted);

37

AdaBoost – Exemplo 1

Iteração 3: Um sinal de menos e três de mais são classificados

incorretamente; Os pesos para esses três sinais são aumentados (boosted);

38

AdaBoost – Exemplo 1

Classificador final: Integra os três classificadores fracos e obtém um classificar final

forte.

39

AdaBoost – Exemplo 2

Maçãs naturais

x

Maçãs de Plástico

Como classificar?

40

AdaBoost – Exemplo 2

1ª hipótese: Classificador fraco; Corta no eixo X;

41

AdaBoost – Exemplo 2

Recalcula os pesos para os elementos de treinamento.

42

AdaBoost – Exemplo 2

2ª hipótese: Corta no eixo Y.

43

AdaBoost – Exemplo 2

Recalcula os pesos

44

AdaBoost – Exemplo 2

3ª hipótese.

45

AdaBoost – Exemplo 2

Recalcula os pesos;

4ª hipótese

46

AdaBoost – Exemplo 2

Combinação das hipóteses.

47

AdaBoost – Comparação

48

AdaBoost – Conclusões

Vantagens: Algoritmo simples e fácil de implementar; Flexível para se combinar com os vários

algoritmos base de aprendizagem disponíveis; Como o algoritmo se foca nos exemplos difíceis

de classificar, a identificação correta de ruídos é bem tratada;

49

AdaBoost – Conclusões

Desvantagens: Dependente da boa escolha do algoritmos base

de aprendizagem (Weak Learners), pois se esses tiverem má performance no geral, o classificador resultante do AdaBoost tende a ser pior, de forma exponencial;

Quando a quantidade de ruído é alta, a performance do algoritmo tende-se a degradar, devido aos classificadores base terem altas taxa de erro.