Redes Neurais

LABIC
Paradigma Conexionista
Redes Neurais
MCM e SOR
ISISTAN-2001
1
Introdução
LABIC

Modelos inspirados no cérebro humano
 Compostas por várias unidades de
processamento (“neurônios”)
 Interligadas por um grande número de
conexões (“sinapses”)

MCM e SOR
Eficientes onde métodos tradicionais têm
se mostrado inadequados
ISISTAN-2001
2
Redes Neurais Artificiais
LABIC
camada de
entrada
camadas
intermediárias
camada
de
saída
conexões
MCM e SOR
ISISTAN-2001
3
Sistema Nervoso
LABIC
Conjunto de células extremamente
complexo que tem papel essencial na
determinação do funcionamento e
comportamento dos seres vivos
 Divide-se em

 Sistema nervoso central (SNC)
 Sistema nervoso periférico (SNP)
MCM e SOR
ISISTAN-2001
4
Sistema Nervoso Central
LABIC
Talamo
Cortex
Corpo
caloso
Medula
MCM e SOR
Cerebelo
ISISTAN-2001
5
Cérebro Humano
LABIC

Funciona de forma inteiramente diferente
dos computadores convencionais
 Neurônios são 100 mil a 1 milhão de vezes
mais lentos que portas lógicas de silício
 Lentidão compensada por grande número de
neurônios massivamente conectados
 Para certas operações, muito mais rápido que
computadores convencionais
 Visão, audição, controle, previsão
MCM e SOR
ISISTAN-2001
6
Características do Cérebro
LABIC








MCM e SOR
Massivo paralelismo
Representação e computação distribuída
Capacidade de aprender
Capacidade de generalizar
Adaptividade
Processamento de informação contextual
Tolerância a falha
Baixo consumo de energia
ISISTAN-2001
7
Redes Neurais Artificiais
LABIC

Redes Neurais Artificiais (RNAs) são
tentativas de produzir sistemas de
aprendizado biologicamente realísticos
 São baseadas em modelos abstratos de como
pensamos que o cérebro (e os neurônios)
funcionam
 RNAs aprendem por exemplo
 RNA = arquitetura + aprendizado
MCM e SOR
ISISTAN-2001
8
Redes Neurais Artificiais
LABIC

MCM e SOR
Simulam a arquitetura do cérebro através de
processamento paralelo
ISISTAN-2001
9
Neurônio Natural
LABIC

Um neurônio simplificado:
Dendritos
Axônio
Corpo
Sinal
Sinapse
MCM e SOR
ISISTAN-2001
10
Neurônio Artificial
LABIC

Modelo de um neurônio (nó) abstrato
Entrada
Saída
f
Sinal
MCM e SOR
ISISTAN-2001
11
LABIC
Redes Neurais Artificiais
Estrutura das RNAs
 Nós equivalem aos neurônios
 Conexões são semelhantes às sinapses
Entrada
Saída
Sinal
MCM e SOR
ISISTAN-2001
12
Redes Feedforward
LABIC

Sinais seguem em uma única direção
OU
Sinal

MCM e SOR
Tipo mais comum
ISISTAN-2001
15
Redes Recorrentes
LABIC


MCM e SOR
Possuem conexões ligando saída da
rede a sua entrada
Podem lembrar entradas passadas e,
conseqüentemente, processar seqüência
de informações (no tempo ou espaço)
ISISTAN-2001
16
Aprendizado
LABIC
Uma rede neural deve produzir para cada
conjunto de
entradas apresentado o
conjunto de saídas desejado
 Quando a saída produzida é diferente da
desejada, pesos da rede são modificados

 wik(t+ 1) = wik(t) + wik(t)
MCM e SOR
ISISTAN-2001
17
Rede Multi-Layer Perceptron
LABIC
Arquitetura de RNA mais utilizada
 Possuem uma ou mais camadas intermediárias de
nós

 Geralmente utiliza função de ativação sigmóid
logística

Treinamento supervisionado
 Backpropagation
MCM e SOR
ISISTAN-2001
18
Técnica de Treinamento
Backpropagation
LABIC
Rede é treinada com pares entrada-saída
 Cada entrada de treinamento está associada a uma
saída desejada
 Treinamento em duas fases, cada uma
percorrendo a rede em um sentido

Sinal (forward)
 Fase forward
 Fase backward
Erro (backward)
MCM e SOR
ISISTAN-2001
19
Redes Neurais Artificiais
LABIC
camada de
entrada
camadas
intermediárias
camada
de
saída
conexões
MCM e SOR
ISISTAN-2001
20
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
21
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
22
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
23
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
24
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
25
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
26
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
27
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
S
a
í
d
a
Erro
MCM e SOR
ISISTAN-2001
S
a
í
d
a
D
e
s
e
j
a
d
a
28
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
29
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
30
LABIC
camada de
entrada
RNA - Aprendizado
camadas
intermediárias
camada
de
saída
P
a
d
r
ã
o
MCM e SOR
S
a
í
d
a
D
e
s
e
j
a
d
a
ISISTAN-2001
31
LABIC

Fase forward
Entrada é apresentada à primeira camada da rede
 Após os neurônios da camada i calcularem seus sinais
de saída, os neurônios da camada i + 1 calculam seus
sinais de saída
 Saída produzida pelos neurônio da última camada são
comparadas com as saídas desejadas
 Erro para cada neurônio de saída é calculado
MCM e SOR
ISISTAN-2001
32
Fase backward
LABIC

A partir da última camada, o erro de cada nó
é dividido entre suas conexões
 O nó ajusta seu peso de modo a reduzir o erro
que ele produzirá no futuro
 Nó das camadas anteriores tem seu erro
definidos por:
 Erros dos nós da camada seguinte conectados a ele
ponderados pelos pesos das conexões entre eles
MCM e SOR
ISISTAN-2001
33
Problemas das RNAs
LABIC

Definição dos parâmetros
 Magia negra

Extração de conhecimento
 Caixa preta

Existem vários tipos de RNAs diferentes
 Cada tipo tem propósitos diferentes
 Alguns tipos são mais adequados para resolver
classes particulares de problemas
MCM e SOR
ISISTAN-2001
34