RNA-Slides_01

Universidade Federal do Espírito Santo – CCA UFES
Universidade Federal do Espírito Santo
Centro de Ciências Agrárias – CCA UFES
Departamento de Computação
Redes Neurais Artificiais
Redes Neurais Artificiais
Site: http://jeiks.net
E-mail: [email protected]
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais
●
●
●
●
A RNA é uma máquina projetada para modelar a maneira como o
cérebro realiza uma tarefa específica ou uma função de interesse.
Ela realiza uma computação útil através de um processo de
aprendizagem.
Elas possuem uma combinação topológica, maciça e paralela,
abrigando assim um processamento complexo.
O elemento de processamento da informação é o neurônio, o qual
possui processamento simples.
–
●
●
Isso é devido à sua inspiração, que é no sistema nervoso central.
A representação do conhecimento é realizada:
–
Em sua topologia (arquitetura);
–
No valor dos seus parâmetros;
O algoritmo de treinamento modifica os pesos sinápticos da rede de
forma ordenara para alcançar o objetivo desejado.
2
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais (RNA)
●
Existem três tipos de RNAs:
–
Feed Forward1;
–
Recorrente2;
–
Auto Organizável3;
2
3
1
3
Universidade Federal do Espírito Santo – CCA UFES
Cérebro Humano
●
O cérebro humano processa diferente do computador.
●
Características do cérebro:
●
–
É complexo e não linear;
–
Completamente paralelo;
–
Tem a capacidade de organizar seus neurônios para realizar
processamento mais rápido que o processador de uma
máquina;
–
Desenvolve suas próprias regras através da experiência.
Além disso, o sistema visual fornece ao cérebro:
–
A representação do ambiente;
–
A informação necessária para interagir com o ambiente.
4
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais
●
●
Semelhanças entre a RNA e o Cérebro:
–
O conhecimento do ambiente é obtido através da
aprendizagem;
–
A força de conexão entre os neurônios (sinapse) são
utilizados para armazenar o conhecimento adquirido.
Processo generalização da RNA:
–
Refere-se ao fato da RNA produzir saídas adequadas
para entradas que não estavam presentes no
treinamento;
–
Isso ocorre pela generalização dos dados já
aprendidos.
5
Universidade Federal do Espírito Santo – CCA UFES
Neurônio
●
Funcionamento de um neurônio:
–
A recepção dos impulsos sinápticos de outros neurônios chega
pelos dendritos, são processados pelo núcleo e propagados
pelo axônio, gerando sinapses em outros neurônios.
6
Universidade Federal do Espírito Santo – CCA UFES
Neurônio Biológico e Artificial
<http://www.intechopen.com/books/artificial-neural-networks-architectures-and-applications/
applications-of-artificial-neural-networks-in-chemical-problems>
7
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais
●
●
●
●
Assume forma funcional:
–
Estática: f(x);
–
Dinâmica: f(x, t);
Sua aprendizagem depende:
–
Do conhecimento à priori;
–
Dos dados fornecidos.
–
A RNA fornece seu resultado com a generalização por um algoritmo de
aprendizagem.
As propriedades da RNA são:
–
Não linearidade do processamento (em geral);
–
Mapeamento entrada → saída.
Podem ser utilizadas nas seguintes aplicações:
–
Classificação;
–
Regressão;
–
Controle aritmético..
8
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais
●
Suas características são:
–
Adaptabilidade:
●
●
–
Resposta Quantitativa:
●
–
Ex.: Fornecem um grau de confiança em problemas de classificação;
Processamento contextual:
●
●
–
Re-treinamento e treinamento contínuo (online);
Adapta os pesos às modificações do meio ambiente.
Vizinhança de um neurônio é influenciada pelo neurônio em um grau maior
que os demais neurônios da rede, como o treinamento do mapa auto
organizável;
A informação contextual está presente na estrutura e no estado de atuação
da rede.
Tolerância a falhas:
●
Eliminação topológica de alguns neurônios.
9
Universidade Federal do Espírito Santo – CCA UFES
Redes Neurais Artificiais
●
Suas características são:
–
Informação incerta, incompleta:
●
–
Parcialmente contraditória;
Implementação em Hardware:
●
Elementos com capacidade de processamento simples e
complexo.
10
Universidade Federal do Espírito Santo – CCA UFES
Aprendizado da RNA
Dados Iniciais:
O que a rede aprendeu:
11
Universidade Federal do Espírito Santo – CCA UFES
História resumida da Neurocomputação
12
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1943
●
Neurofisiologista McCulloch e o
Matemático Walter Pitts (1943),
–
Possuíam um trabalho que fazia uma analogia entre
células vivas e o processo eletrônico:
●
●
●
simulava o comportamento do neurônio natural,
o neurônio artificial possuía apenas uma saída,
que era uma função que agia sobre os valores de suas diversas
entradas.
13
Universidade Federal do Espírito Santo – CCA UFES
O neurônio de McCulloch e Pitts
NN
Soma=
Soma=∑ IIi⋅W
i⋅W ii
i=1
i=1
y=
y= ff (Soma)
(Soma)
14
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1949
●
Psicólogo Donald Hebb,
–
Propôs uma lei de aprendizagem específica para as
sinapses dos neurônios.
–
Demostrou que a capacidade da aprendizagem em
redes neurais biológicas vem da alteração da
eficiência sináptica:
●
A conexão entre os neurônios somente é reforçada se
tanto os neurônios pré-sinápticos quanto os pós-sinápticos
estiverem excitados.
15
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1951
●
Marvin Minsky:
–
Cofundador do laboratório de IA do MIT.
–
Construiu o primeiro neuro computador: Snark.
–
O Snark:
●
●
●
Operava ajustando seus pesos automaticamente.
Nunca executou qualquer função de processamento de
informação interessante.
Serviu como inspiração para ideias de estruturas
posteriores.
16
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1956
●
Surgimento dos dois paradigmas da Inteligência
Artificial:
–
Simbólica:
●
●
–
Que utiliza um conjunto de símbolos que são
manipulados com regras explícitas.
Não procura imitar a natureza do cérebro.
Conexionista:
●
Acredita-se que construindo um sistema que simule a
estrutura do cérebro, este sistema apresentará
inteligência, ou seja, será capaz de aprender, assimilar,
errar e aprender com seus erros.
17
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1958
●
Frank Rosenblatt:
–
Publicou o modelo dos "Perceptrons":
●
–
Livro Principles of Neurodynamics.
Os neurônios (perceptrons) eram organizados em
camada de entrada e saída,
●
os pesos das conexões entre os neurônios eram adaptados
a fim de se atingir a eficiência sináptica usada no
reconhecimento de caracteres.
18
Universidade Federal do Espírito Santo – CCA UFES
Perceptron
associação
associação
retina
retina
 
resposta
resposta
 
 
 
19
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1960
●
●
Widrow e Hoff criaram as RNAs:
–
ADALINE (ADAptative LInear NEtwork) e a
–
MADALINE (Many ADALINE).
O MADALINE utilizou saídas
analógicas em uma arquitetura
de três camadas.
Exemplo...
20
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1969
●
Minsky & Papert
–
Constataram que um neurônio do tipo Perceptron
só era capaz de resolver problemas com dados de
classes linearmente separáveis.
21
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1960 à 1970
Muitos historiadores desconsideram a existência
de pesquisa nessa área nos anos 60 e 70.
22
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1982
●
Físico e biólogo Hopfield:
–
Retomada das pesquisas com a publicação de
trabalhos relatando a utilização de redes simétricas
para otimização.
–
Utilizou um algoritmo de aprendizagem que estabilizava
uma rede binária simétrica com realimentação.
23
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1986
●
Rumelhart¹, Hinton² e Williams:
–
●
Introduziram o poderoso método de treinamento
denominado Backpropagation.
Rumelhart e McClelland³
–
escreveram o livro “Processamento Paralelo Distribuído:
Explorações na Microestrutura do Conhecimento”.
24
Universidade Federal do Espírito Santo – CCA UFES
Histórico – 1988
●
Broomhead e Lowe
–
Descreveram um procedimento para o projeto de
uma rede neural (feedforward) usando funções de
base radial (Rede de Base Radial – RBF).
25
Universidade Federal do Espírito Santo – CCA UFES
Mais considerações
●
●
●
●
A maioria dos problemas
do mundo real não é
linearmente separável.
A RNA Multicamadas
possui maior capacidade
de aprendizado para tais
dados.
Aprendem da mesma
forma que perceptrons
simples.
Porém há muito mais
pesos a serem ajustados.
26
Universidade Federal do Espírito Santo – CCA UFES
Mais considerações
●
RNAs com Retropropagação:
–
Geralmente utiliza a função sigmoide:
f(x) =
1
1+ e-x
●
Os pesos são
ajustados de trás
para frente
27
Universidade Federal do Espírito Santo – CCA UFES
Mais considerações
●
Também tem-se as Redes Recorrentes:
–
Apresentam “ciclos” nas suas conexões, isto é, a saída de
neurônios de uma camada i são entradas de neurônios de
uma camada anterior.
–
Redes BAM, de Hopfield e Competitivas em geral são de
certo modo redes recorrentes.
–
Entretanto 2 modelos são de maior interesse neste caso:
●
●
Redes de Elman;
Redes de Jordan.
–
Utilizadas para casos que necessitem verificar dados
anteriores.
–
Essas redes tem memória.
28
29
Universidade Federal do Espírito Santo – CCA UFES
Redes Recorrentes
Universidade Federal do Espírito Santo – CCA UFES
Mais considerações
●
Mapas de Kohonen:
–
Também chamado de mapa de características autoorganizáveis.
–
Usa o algoritmo vencedor-leva-tudo.
–
Esse aprendizado é não supervisionado, chamado de
aprendizado competitivo.
–
Algoritmo vencedor-leva-tudo:
●
●
Apenas um neurônio fornece a saída da rede em resposta a
uma entrada: O neurônio que tiver o maior índice de ativação
Durante o aprendizado, somente as conexões deste
neurônio que tem seus pesos alterados.
30
Universidade Federal do Espírito Santo – CCA UFES
Mapas de Kohonen
●
Seu propósito é agrupar dados de entrada em diversos
grupos (clusters). Exemplo:
–
●
Novas histórias em categorias por assuntos.
Tem duas camadas:
–
Uma de entrada;
–
Uma de agrupamento: que é a camada de saída.
31
32
Universidade Federal do Espírito Santo – CCA UFES
...
Universidade Federal do Espírito Santo – CCA UFES
Rede Neural Artificial
y
.
ɸ1
w11
X1
ɸ...
W1...
ɸH
w 1d
X...
Xd
33
34
Universidade Federal do Espírito Santo – CCA UFES
Octave