Apresentação do PowerPoint

Redes Neurais
Uso de Redes Neurais MLP para
resolver problemas de reconhecimento
de padrões
Alexandre de Oliveira Stauffer
Modelo Geral
X1
X2
W1
W2
...
XN
WN
Função de
Ativação
Função de
Propagação
Y
Modelo bidimensional
X11
X02
W
21
1, se Z>=1
W
Z=2
Z=X
W
+X
W
1 1
2 2
-3 2
0, cc
1Y
Modelo bidimensional
X2
1
2X1-3X2-1=0
1
X1
Treinamento
Regra Delta: ΔWi=-λεX
 Reconhecer função lógica OR;
 Pesos Iniciais: [1, 1]
 Bias Inicial: 3
Y=1, se X1+X2-3>=0
Y=0, cc
Dinâmica de Treinamento
X1+X2-3=0
X2
1
X1+2X2-2=0
2X1+2X2-1=0
1
X1
X1 X2 Y
T
ε
0
0
0
0
0
0
1
0
1
-1
1
0
0
1
-1
1
1
1
1
0
Redes MLP – Backpropagation
X
Y
MLP: Treinamento
 Conjuntos: treinamento, testes e validação;


devem possuir amostras de todas as classes;
devem possuir amostras bem distribuídas de
todas as classes;
MLP: Treinamento
Erro
T
Treinamento
MLP: Normalização
 Ordenadas da entrada com magnitudes
diferentes:



Pressão Sangüínea;
Idade;
Taxa de colesterol no sangue;
 Xi=(Xi-μ)/σ


μ – estimador da média;
σ - estimador do desvio padrão;
MLP: Iniciar Pesos
1
0
 Devem ser próximos de zero;
 Devem ser inicializados de forma randômica
(uniformemente distribuídos);
MLP: Tx. Aprendizagem
Erro
W
 Solução: Taxa de aprendizagem adaptativa,
que diminua com o tempo de aprendizagem;
MLP: Termo Momentum
Erro
W
 Diminui instabilidade da rede;
 Regra Delta: ΔWi+1=-λεX+α ΔWi
MLP: Matriz de Confusão
Resultado Esperado
Dígitos
Dígitos
Letras
Resultado da RNA
Total:
0
1
2
5
I
O
S
Z
Letras
0
1
2
5
I
O
S
Z
235
0
0
0
0
116
0
0
385
0
181
3
0
165
1
2
0
416
0
4
387
0
0
0
0
46
492
0
0
0
211
0
0
69
0
299
0
14
8
2
243
0
1
8
332
242
0
0
0
0
165
0
0
463
0
0
0
188
0
0
182
0
388
0
0
67
0
0
0
0
451
557
MLP: Estimadores
 Estimador da média: centro de cada classe;
 Estimador de desvio padrão: grau de
dispersão da classe em torno de sua média;
Mais Dispersas
Menos Dispersas
Classe
DP
Classe
DP
2
93,3293
B
71,4913
R
89,0912
P
72,0197
1
88,4283
F
72,5803
N
87,4772
Zero
72,6019
M
87,1319
O
72,6642
MLP: PCA
 Redução na dimensão do vetor de entradas;



Perda de informação;
Diminuição na complexidade da RNA;
Eliminação de Ruídos;
 Calculado a partir da matriz de covariância;
Referências
 C. M. Bishop, Neural Network for Pattern
Recognition, Oxford University, 1995.
 A. P. Braga, A. P. L. F. Carvalho, T. B. Ludemir,
Fundamentos de Redes Neurais Artificiais, XI
Escola de Computação, 1998.
 http://ltc.nutes.ufrj.br/stauffer/rna
 [email protected]