Módulo 4 - LAC

JDSS-LAC/INPE
Adaptive Linear Element - Adaline/Madaline
•Concebido por Widrow e Hoff (1960)
•Máquina adaptativa para classificação de padrões
•Usa o algoritmo LMS para sua operação.
JDSS-LAC/INPE
Adaptive Linear Element - Adaline/Madaline
w0
x1
w1
x2
w2
Entradas
x0= -1
¦
.
.
.
xp
wp
v
y
Função
Sinal
-
e
d v
¦
+
d
Objetivo do processo na Adaline:
Dado um conjunto de padrões e de saídas desejadas, encontrar o
conjunto de pesos ótimos wi que minimiza o valor quadrático médio
do erro.
JDSS-LAC/INPE
LMS - Regra Delta - Regra de Aprendizagem de Widrow-Hoff
(Lin e Lee, 1996)
Dado: ^( x (1), d (1)), ( x (2), d (2)),, ( x ( p), d ( p))`
Função Custo:
H ( n)
Linearmente
separáveis
·
1§
¨ d ( n) ¦ w j ( n) x j ( n) ¸
¸
2 ¨©
j 0
¹
w j ( n 1)
p
w j ( n ) 'w j ( n )
2
JDSS-LAC/INPE
LMS - Regra Delta - Regra de Aprendizagem de Widrow-Hoff
(Lin e Lee, 1996)
Gradiente Descendente
w j ( n 1)
'w j ( n )
w j ( n ) 'w j ( n )
'w j (n)
wH (n)
K
ww j (n)
p
·
§
K ¨¨ d ( n ) ¦ w j ( n ) x j ( n ) ¸¸ x j ( n ) j 0
¹
©
p
·
§
K ¨¨ d ( n ) ¦ w j ( n ) x j ( n ) ¸¸ x j ( n )
j 0
¹
©
JDSS-LAC/INPE
Exemplo 1:
Padrões
d
> 1
1@
Parâmetros
K 0.2
ª0.7266º
«0.8353»
«
»
«¬0.0972»¼
w
b 0.3662
S oma dos e rros qua drá ticos
0.2
Erro _ alvo 0.01
Max _ epoca 200
0.18
0.16
0.14
Pesos Finais
ª0.6415º
w ««0.9860»»
«¬0.1823»¼
b 0.4513
0.12
Erro
P
ª 1 1º
« 1 1»
«
»
«¬ 1 1»¼
Pesos e Limiar iniciais
0.1
0.08
0.06
0.04
0.02
0
1
1.5
2
e poca s
2.5
3
JDSS-LAC/INPE
Fonte de
Informação
Cancelamento de Ruído (Filtro Adaptativo)
Sinal de
Informação
+
Sinal de Informação
Contaminado
+
x
Interferência
p
+
Sinal de
Interferência
filtrado
Filtro
Fonte de
Interferência
Sinal de
Informação
Restaurado
w1
¦
Sinal
de Erro
y
w0
-1
Entrada
da Adaline
Saída da
Adaline
Adaptado de Hagan et ali., 1996
Capítulo 10, pp. 10-15
JDSS-LAC/INPE
JDSS-LAC/INPE
JDSS-LAC/INPE
Madaline
W1
Camada
de entrada
x1
1
W2
Camada
de Saída
y1
x2
2
y2
x3
3
MRI (Widrow e Hoff, 1960): W1 ajustáveis e W2 fixos
MRII (Widrow, Winter e Baxter, 1987): W1 e W2 ajustáveis
Fonte: Fausett, 1994
JDSS-LAC/INPE
Algoritmo - LMS
Algoritmo LMS - bloco processamento adaptativo de sinais baseado
no uso das estimativas instantâneas da autocorrelação e da correlação
cruzada.
•Simplicidade de Implementação
•Habilidade de operação em ambiente desconhecido
•Habilidade para acompanhar no tempo as variações nas
estatísticas das entradas
JDSS-LAC/INPE
LMS - Inspiração na teoria de filtragem adaptativa
Entradas
produzidas
pelos
sensores
x1
w1
x2
w2
¦
.
.
.
xp
p
y
wp
¦w x
k
k
k 1
Relação
entre a
entrada e a
saída
Pesos
Filtro Espacial
Problema: Encontrar os pesos ótimos que minimizam o erro
e
dy
d - saída desejada ou alvo
Solução: Uso das equações de Wiener-Hopf
JDSS-LAC/INPE
Problema da Filtragem Linear Ótima
•Performance ou função custo - Erro Quadrático Médio
J
> @
1
E e2
2
•Determinar os pesos ótimos que minimizem J
•Solução: Filtro de Wiener
J
> @
1
E e2
2
>
1
E (d y ) 2
2
@
>
1
E d 2 2dy y 2
2
@
JDSS-LAC/INPE
Problema da Filtragem Linear Ótima
> @
>
@
>
J
J
1
1
1
2
E d E >2dy @ E y 2
2
2
2
> @
> @
1
E (d y ) 2
2
1
E d 2 2dy y 2
2
1
E e2
2
@
> @
> @
1
1
2
E d E >dy @ E y 2
2
2
p
p
p
º
ª
º
ª
1
1
2
E d E «¦ wk xk d » E «¦¦ w j wk x j xk »
2
¬k 1
¼ 2 ¬j 1 k
¼
> @
JDSS-LAC/INPE
J
> @
>
p
p
p
1
1
E d 2 ¦ wk E > xk d @ ¦¦ w j wk E x j xk
2
2 j1 k
k 1
•Valor médio quadrático da resposta desejada
rd
2
E[d ]
•Correlação cruzada entre a entrada e a saída desejada
rdx (k )
E > xk d @,
k 1,2,..., p
•Autocorrelação entre as entradas
rx ( j , k )
J
E[ x j xk ],
j, k
1,2,..., p
p
1
1 p p
rd ¦ wk rdx (k ) ¦¦ w j wk rx ( j , k )
2
2 j1 k
k 1
@
JDSS-LAC/INPE
Gráfico de J X w1,w2,...,wp ==> Superfície de erro do filtro
•Forma de tigela (parabolóide) com um mínimo global bem
definido => o filtro é ótimo no sentido de que o erro
quadrático atinge o valor mínimo Jmin
Solução:
’ wk J
wJ
,
wwk
k 1,2,..., p
<=
Gradiente
da
superfície em relação
ao peso
JDSS-LAC/INPE
’ wk J
p
rdx (k ) ¦ w j rx ( j , k ) 0
<= Condição ótima do filtro
j 1
p
¦ w r ( j, k )
rdx (k ),
j x
k 1,2,..., p
j 1
• wok - conjunto de pesos ótimos:
p
¦w
r ( j, k )
oj x
rdx (k ),
k 1,2,..., p
j 1
•Sistema de equações de Wiener-Hopf.
•Filtro de Wiener satisfaz estas equações.
JDSS-LAC/INPE
Método do Gradiente Descendente
Solução para o sistema de equações de Wiener-Hopf:
•É um conjunto de pesos ótimos para o filtro espacial.
•Necessita do cálculo da inversa de uma matriz p x p dos valores
da função de autocorrelação rx(j,k), j,k = 1,2,...,p
•Método do Gradiente Descendente evita o cálculo
•Procura iterativa pelo o ponto de mínimo da superfície de erro
•Os ajustes dos pesos acontece na direção do passo descendente
da superfície de erro, ou seja, em direção oposta ao vetor gradiente
JDSS-LAC/INPE
Método do Gradiente Descendente
J
wJ
ww
wJ
'w K
ww
Jmin
0
wo
w(n)
w(n+1)
Adaptação de Haykin, 1994, p. 124
w
JDSS-LAC/INPE
Método do Gradiente Descendente
’ wk J (n)
p
rdx (k ) ¦ w j (n)rx ( j , k )
j 1
'w(n)
w(n 1)
K’ wk J (n)
k 1,2,..., p
w(n) K’ wk J (n)
Método da descida íngrime:
“O valor atualizado do k-ésimo peso de um filtro de Wiener
(projetado para operar no sentido do erro quadrático médio
mínimo) é o valor do peso atual mais um correção proporcional ao
negativo do gradiente da superfície de erro em relação ao peso
particular.”
JDSS-LAC/INPE
Método do Gradiente Descendente
’ wk J (n)
p
rdx (k ) ¦ w j (n)rx ( j , k )
j 1
w(n 1)
p
·
§
w(n) K ¨¨ rdx (k ) ¦ w j (n)rx ( j , k ) ¸¸
j 1
¹
©
p
·
§
w(n) K ¨¨ rdx (k ) ¦ w j (n)rx ( j , k ) ¸¸
j 1
¹
©
Método exato - não há aproximações
Deficiências (Haykin, 1994)
•Análise difícil pela presença de não linearidade
•Visualização difícil do processo de aprendizagem devido as
camadas internas.