self-organizing maps 101 (dhiana deva)
DESCRIPTION
Apresentação sobre Self-Organizing Maps para disciplina de Redes Neurais na Universidade Federal do Rio de Janeiro.TRANSCRIPT
![Page 1: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/1.jpg)
Self-Organizing Maps 101@DhianaDeva
![Page 2: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/2.jpg)
Self-Organizing WHAT?!
![Page 3: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/3.jpg)
Self. Organizing. Maps.
SelfAprendizado não-supervisionado
MapsArranjo topológicoSistema de coordenadas significativo
OrganizingOrganização = ordenação contextual
Aprendizado adaptativo
![Page 4: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/4.jpg)
Redes neurais capazes de transformar adaptativamente padrões de sinais de entrada de dimensão arbitrária em um mapa discreto,
geralmente uni/bidimensional, e topologicamente ordenado
![Page 5: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/5.jpg)
Rede neural???
● Classe especial de redes neurais artificiais● Inerentemente não-linear● Baseado em aprendizado competitivo
![Page 6: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/6.jpg)
A-ha! Motivação biológica!
O cérebro humano é organizado de maneira que diferentes entradas sensoriais são mapeadas em áreas no córtex cerebral de forma topologicamente ordenada
![Page 7: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/7.jpg)
Sim, nós temos neurônios!
● Neurônios são dispostos como nós de uma grade
● Cada neurônio é totalmente conectado à todos os nós da camada de entrada
● Cada neurônio possui, portanto, um vetor de pesos da mesma dimensão do espaço de entrada
![Page 8: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/8.jpg)
Modelo de Kohonen (the father of the son, quer dizer, SOM!)
![Page 9: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/9.jpg)
Mas, como?
![Page 10: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/10.jpg)
Um número suficiente de realizações dos padrões de entrada devem ser apresentados à rede e passar por três processos:● Competição● Cooperação● Adaptação
![Page 11: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/11.jpg)
Entrada (dimensão m):
Pesos sinápticos (rede com l neurônios):
Ps: Notações básicas
![Page 12: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/12.jpg)
● Neurônios competem entre si para serem ativados
● É identificado apenas um vencedor através da discriminação do neurônio de máxima correspondência em relação à entrada:
Processo #1: Competição
![Page 13: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/13.jpg)
Processo #2: Cooperação
Determinação de uma vizinhança topológica:● Simétrica ao redor do
neurônio vencedor● Decaimento suave com
distância lateral● Adivinha??? Gaussiana!
![Page 14: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/14.jpg)
● Atualização dos pesos dos neurônios excitados aumentando a resposta deles para apresentações futuras do mesmo padrão (sintonização seletiva)
● Diferencia-se do aprendizado Hebbiano:○ Taxa de esquecimento para evitar saturação
Processo #3: Adaptação
![Page 15: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/15.jpg)
A formação do mapa se dá em duas fases:● Ordenação● Convergência
“Procurar, depois convergir!”
![Page 16: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/16.jpg)
Ps2: Atualizando as notações
![Page 17: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/17.jpg)
A taxa de aprendizado deve começar com um valor perto de 0.1 e diminuir gradativamente, mas permanecer acima de 0.01
Fase #1: Ordenação
A função de vizinhança deve inicialmente incluir quase todos os neurônios da rede e encolher com o tempo
A partir de um estado inicial de completa desordem, gradualmente é formada uma representação organizada do espaço de entrada
![Page 18: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/18.jpg)
Esta fase é necessária para aperfeiçoar o mapeamento de características, fornecendo uma quantificação estatística precisa do espaço de entrada.
Fase #2: Convergência
A taxa de aprendizado deve ser mantida em um valor baixo, da ordem de 0.01, sem chegar a zero.
A função de vizinhança deve conter apenas os vizinhos próximos, reduzindo eventualmente para um ou até nenhum vizinho.
![Page 19: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/19.jpg)
Propriedades
![Page 20: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/20.jpg)
Aproximação do espaçode entrada
i(x): Projeção de um ponto do espaço contínuo no espaço neural discretowi: Ponteiro de um neurônio de volta ao espaço original de entrada.
![Page 21: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/21.jpg)
Espaço de entrada:bidimensional
Mapeamento:unidimensional
Curva de Peano:preenchedora de espaço
Redução dedimensionalidade
![Page 22: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/22.jpg)
O esquema ótimo de codificação e decodificação é determinado variando as funções c(x) e x’(c) de maneira a minimizar a distorção esperada:
Modelo codificador-decodificador
![Page 23: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/23.jpg)
Mapas contextuais
![Page 24: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/24.jpg)
Um exemplo ANIMAL!
![Page 25: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/25.jpg)
Mapa de características
![Page 26: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/26.jpg)
Mapa semântico
![Page 27: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/27.jpg)
Aplicações
![Page 28: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/28.jpg)
Mapeamento em larga-escala
O Self-Organizing Map é uma poderosa ferramenta para aplicações em larga escala, onde a dimensão do espaço de entrada pode ser da ordem de mil e o número de neurônios chega à ordem de centenas de milhares
![Page 29: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/29.jpg)
Processamento de linguagem natural
![Page 30: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/30.jpg)
Detecção de relações ontológicas em uma imagem
![Page 31: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/31.jpg)
Mapeamento de emoções em expressões faciais
![Page 33: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/33.jpg)
Sistemas de recomendação
![Page 34: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/34.jpg)
Separação cega de fontes
![Page 35: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/35.jpg)
Curtiu? Quer saber mais?
![Page 36: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/36.jpg)
Self-Organizing Maps 201
● Modelo codificador-decodificador ruidoso● Quantizador vetorial hierárquico● Kernel Self-Organizing Maps● Termo de consciência● ...
![Page 37: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/37.jpg)
Referência, imagens e expressões:
Neural Networks and Learning MachinesCapítulo 9 - Self-Organizing Maps3ª ediçãoSimon Haykin
Exemplos de aplicações:www.intechopen.com, ...
![Page 38: Self-Organizing Maps 101 (Dhiana Deva)](https://reader036.vdocument.in/reader036/viewer/2022081401/558ec1e51a28ab4d778b479b/html5/thumbnails/38.jpg)
Obrigada!