Redes Neurais Artificiais

Prof. Júlio Cesar Nievola

Redes Neurais Artificiais

• Sistemas Neurais Artificiais• Conexionismo• Sistemas Adaptativos• Neurocomputadores• Sistemas Massivamente Paralelos

Distribuídos• Redes Neurais (Artificiais)

Redes Neurais Artificiais

• Reunião no Dartmouth College• Paradigmas básicos:

• Simbólico• Conexionista

• Perceptron (1 camada de pesos ajustáveis)• Descrédito a partir do final da década 60• Impulso a partir da década de 80

Computador x cérebro

Velocidade de processamento CPU: Clock (Cray 3) 4.2ns Neural: disparo neurônio ms

Ordem de processamento CPU: serial Neural: paralelo

Abundância e complexidade: CPU: um ou poucos processadores Neural: 1011-1014 neurônios; 103-104

conexões/neurônio

Computador x cérebro

Armazenamento do conhecimento CPU: estritamente relocável Neural: adaptativo

Tolerância a falhas CPU: mínima, senão inexistente Neural: boa

Controle do processamento CPU: controle autocrático, centralizado Neural: controle anárquico, distribuído

Elemento de base

• Neurônio simplificado

• Componentes:

• Axônio

• Dendritos

• Sinapses

Forma Matemática Simplificada

• Dendritos: entradas

• Corpo celular:

• Soma ponderada

• Função não-linear

• Axônio: distribuição aos neurônios

Terminologia

• Elementos de Processamento:• Nós• Memória de curto prazo• População

• Ligações entre elementos de processamento• Peso• (Força de) interconexão• Memória de longo prazo

Aprendizagem

• Supervisionada

• Não-supervisionada

• Com reforço

Etapas de Projeto

• Definir o problema• Escolher informação

• Obter dados• Criar arquivos rede

• Treinar a rede• Testar a rede• Uso em campo

Topologias: Construtiva

Topologias: Hopfield

Topologias: Recorrente

Topologias: Não-Supervisionada

Sub- e sobre-ajuste do polinômio

Validação Cruzada I

• Evita sobreposição nos conjuntos de teste• Passo 1: os dados são divididos em k subconjuntos

de mesmo tamanho• Passo 2: em cada instante um subconjunto é usado

para teste e os demais para treinamento• Isto é chamado validação cruzada de fator k• Normalmente os subconjuntos são estratificados

antes de realizar a validação cruzada• Faz-se a média das estimativas de erro para obter

o erro estimado geral

Validação Cruzada II

• Método padrão para avaliação: validação cruzada estratificada com fator 10

• A realização de vários experimentos tem demonstrado que 10 é a melhor escolha

• A estratificação reduz a variância da estimativa

• Opção melhor: validação cruzada estratificada com fator 10 repetida (10 x)

Extração de Regras

• É a tarefa de converter modelos de redes neurais treinadas em representações mais facilmente compreensíveis

• Surgiu em função de• Data Mining boom• Interesse em métodos como boosting,

bagging e error-correcting output codes

Características dos Métodos de Extração de Regras• Compreensibilidade

• Quanto são humanamente compreensíveis• Fidelidade

• Quanto modela a RNA da qual foi extraída• Precisão

• Previsão precisa sobre exemplos não vistos• Escalabilidade

• Grandes espaços de entrada, unidades e conexões• Generalidade

• Treinamento especial e/ou restrições

Implementações

• Características-chave:• Computacionalmente intensivas• Massivamente paralelas• Grandes requisitos de memória

• Possibilidades de implementação• Computadores convencionais• Computadores dedicados• Implementação em hardware específico

Redes Neurais Artificiais

• Razões para utilização

• Paralelismo

• Capacidade de adaptação

• Memória distribuída

• Capacidade de generalização

• Facilidade de construção

Redes Neurais Artificiais

• Limites de utilização

• Simulação em máquinas seqüenciais

• A passagem da simulação para a

implementação em hardware está no início

• O desempenho é dependente da qualidade e

da pertinência do pré-tratamento efetuado

Redes Neurais Artificiais

• Características de uma boa aplicação• Regras de resolução do problema

desconhecidas ou difíceis de formalizar• Dispõe-se de um grande conjunto de

exemplos e suas soluções• Necessita-se de grande rapidez na resolução

do problema, p.ex. Tempo real• Não existem soluções tecnológicas atuais

Redes Neurais Artificiais

• Domínios de aplicação privilegiados• Reconhecimento de formas• Tratamento de sinal• Visão, fala• Previsão e modelagem• Auxílio à decisão• Robótica