Memorização de informações de fase em osciladores neurais

MEMORIZAÇÃO DE INFORMAÇÕES DE FASE
EM OSCILADORES NEURAIS
Leandro Linhares Rodrigues (IC)1 & Marcos Antonio Botelho
Labmat
Laboratório de Matemática Experimental
Departamento de Matemática
Instituto Tecnológico de Aeronáutica
12.228-900 São José dos Campos SP Brazil
[email protected]
[email protected]
RESUMO
O presente trabalho visa utilizar conceitos geométricos e técnicas da teoria de
sistemas dinâmicos não-lineares para abordar algumas questões ligadas à formação de padrões em agrupamentos de neurônios. Mais especi…camente, o
objetivo é estudar a sincronização de dois osciladores neurais idênticos perto
de uma bifurcação de Hopf e estabelecer uma memorização de diferença de
fases.
ABSTRACT
This work applies geometrical concepts and methods from the theory of nonlinear dynamical systems to approach some basic questions concerning pattern
formation in clusters of neurons. More speci…cally, the aim is to study the
synchronization of two identical neural oscillators near a Hopf bifurcation in
order to establish a memorization of phase di¤erence.
Palavras-chave: Redes neurais; osciladores neurais; memorização de fase.
1 INTRODUÇÃO
Estamos supondo aqui um prévio conhecimento básico da biologia dos neurônios e de
alguns termos neuro…siológicos tais como axônios, dendrites e sinapses. Em particular,
estaremos assumindo um postulado básico, conhecido como o princípio de Dale, que estabelece que um neurônio é excitatório ou inibitório. Ele é excitatório se o potencial da
membrana pós-sináptica cresce, um processo que é chamado de despolarização. O aumento do potencial da membrana facilita a geração de uma ação potencial no neurônio
pós-sináptico. Se o potencial pós-sináptico decresce (hiperpolarização), o neurônio présináptico é chamado de inibitório. A hiperpolarização normalmente impede a geração
de uma ação potencial. O princípio de Dale tem um papel importante no modelamento
matemático do cérebro como um sistema dinâmico porque ele impõe algumas restrições
naturais na possível dinâmica das redes neurais. Este princípio pode ser colocado de
maneira matemática nos seguintes termos:
0
1
Trabalho feito em iteração com o Departamento de Matemática e Física da Universidade de Taubaté.
Bolsista do PIBIC/CNPq.
Princípio de Dale.
Suponha que xi 2 R, i = 1; : : : ; n; denota um atributo …siológico observável do i-ésimo
neurônio, tal como amplitude ou fase das oscilações, potencial da membrana, atividades
dos canais de íons nos axônios, variáveis descrevendo reações bioquímicas nas sinapses,
etc. Assuma que aumentando xi corresponde a uma despolarização, e diminuindo-o corresponde a uma hiperpolarização.
Considere um conjunto de neurônios descritos por um sistema dinâmico da forma
x_ i = fi (x1 ; : : : ; xn ) ; i = 1; : : : ; n ;
(1)
onde fi : Rn ! R é uma função suave que descreve a dinâmica do i-ésimo neurônio.
Então, todos os coe…cientes sinápticos do j-ésimo neurônio para os outros neurônios,
sij =
@fi
@xj
; i 6= j ; têm o mesmo sinal:
Se sij ¸ 0 , para todo i, então o j-ésimo neurônio é excitatório, por ter um efeito excitatório no i-ésimo neurônio. Caso contrário, ele é inibitório.
Osciladores neurais no cérebro consistem de populações de neurônios excitatórios e inibitórios interligados entre si e, eventualmente, em contatos com outras células distantes.
A maneira como estas interligações se realizam de…nem o que chamamos de organizações
sinápticas e esta variedade de modos de organizações implicam em várias propriedades
dinâmicas destas redes. O objetivo do presente trabalho é o de mostrar que algumas organizações sinápticas permitem que a rede memorize retardamentos no tempo ou informações
de desvio de fases através do estudo de um modelo simpli…cado. Embora a importância
ou não deste tipo memorização é uma questão neuro…siológica ainda por ser estabelecida,
estamos interessados em entender quais condições devem ser impostas numa arquitetura
de rede neural para garantir que ela possa memorizar diferenças de fases. Isto signi…ca o
seguinte: se, durante um período de aprendizagem, o neurônio A excita o neurônio B de
maneira que B gera uma ação de potencial com um retardamento (time delay) ±, então
ocorrem algumas mudanças de modo que sempre que A gera uma ação de potencial, então o mesmo acontece em B com o mesmo retardamento ±. Levando em conta que, num
cérebro real, os neurônios tendem a gerar ações de potencial repetidamente, estaremos interessados na diferença de fases entre os neurônios A e B em vez do retardamento. Desta
forma, se durante um período de aprendizagem, dois osciladores neurais geram ações de
potencial com alguma diferença de fase, então eles podem reproduzir a mesma diferença
de fase depois que a aprendizagem foi completada.Para isto, iremos assumir que tanto as
atividades excitatórias quanto as inibitórias de cada neurônio i = 1; : : : ; n são descritas
por variáveis unidimensionais xi 2 R e yi 2 R, respectivamente, e que a dinâmica de um
oscilador neural é governada por
8
< x_ i = f(xi ; ¡yi ) + "pi (x; y; ")
;
(2)
:
y_i = g(xi ; yi ) + "qi (x; y; ")
(x;y)
¸ 0 , o que signi…ca que a diminuição da atividade yi faz aumentar a
; @g(x;y)
com @f @y
@x
atividade xi e que o aumento da atividade xi faz aumentar a atividade yi . Estaremos assumindo que o oscilador (2) se encontra em uma bifurcação de Andronov-Hopf supercrítica,
o que signi…ca uma perda suave da estabilidade do equilíbrio, ou seja, para valores positivos pequenos do parâmetro ", existe um ciclo limite estável numa vizinhança do antigo
equilíbrio fazendo com que x(t) possa se aproximar do novo atrator e, assim, continuar
pequeno. Neste contexto, nossa tarefa será converter (2) para um modelo canônico e deduzir uma condição necessária e su…ciente para que tal rede possa memorizar e reproduzir
informações de fase.
2. MODELO CANÔNICO LOCAL PARA BIFURCAÇÕES DE HOPF
No modelamento matemático do cérebro, pode acontecer de modelos diferentes de uma
mesma estrutura cerebral gerarem resultados diferentes, uma vez que tais resultados podem depender de particularidades de algum modelo implícito. Uma estratégia para contornar estas eventuais disparidades é a de procurar originar resultados que sejam marcadamente independentes do modelo especí…co e que possam ser observados numa classe
bem ampla. Tal é o caso, por exemplo, se continuarmos obtendo essencialmente os mesmos resultados depois de adicionarmos mais parâmetros e variáveis num dado modelo.
Uma abordagem e…ciente consiste em estudar classes de modelos em vez de um modelo
individual, fazendo uma redução de toda uma família a um de seus modelos que tenha
um caráter universal em algum sentido e que, por isso, possa ser representativo da classe.
Assim, dizemos que um modelo é canônico se existe uma mudança de variáveis contínua,
inversível ou não, que transforma qualquer outro modelo da classe neste modelo especí…co. Claro que se a mudança de variáveis simpli…cadora não for inversível, podemos perder
informações mas, em compensação, ganhamos em generalidade.
Vamos supor que as dinâmicas do cérebro possam ser descritas por um sistema de equações
diferenciais do tipo
x_ = F (x); x 2 X
(3)
onde X é um espaço de variáveis de estado e F : X ! X é alguma função. Na prática, não
conhecemos quais são o espaço X e o campo vetorial F apropriados. Se este fosse o caso,
poderíamos dizer que a equação (3) descreve o modelo matemático do cérebro. A saída
mais usada para essa questão é imaginar um processo in…nito de re…namentos sucessivos,
produzindo uma família de sistemas dinâmicos
F = fF¸ : X¸ ! X¸ j ¸ 2 ¤g
onde ¤ é um conjunto de índices (que, eventualmente, poderia ser não-enumerável) e cada
F¸ é construído sucessivamente a partir de casos mais simples, pela adição de mais e mais
dados ao modelo de forma a re‡etir cada vez melhor as peculiaridades do cérebro. Parece
plausível supor que poderiam existir alguns resultados reproduzíveis por todos os sistemas
dinâmicos em F ou, alternativamente, podemos postular que F denota, descritos de forma
implicíta, todos os sistemas dinâmicos que descrevem completamente (em algum sentido)
o cérebro humano. Porém, em vez de estudar cada membro de F isoladamente, vamos
adotar o seguinte enfoque: Suponha que existe um sistema dinâmico
y_ = G(y); y 2 Y;
(4)
tal que todo membro de F pode ser transformado em (4) por uma mudança de variáveis
contínua. A esse modelo (4) chamamos de modelo canônico da família F. Com isto,
podemos estudar o modelo canônico e extrair informações sobre todos os membros de F
de uma só vez.
Notemos que, a verdade, não é necessário determinar exatamente qual mudança de variáveis utilizar. Basta provar que tal mudança de variáveis existe.
De…nição.
(i) Uma observação de x(t) é qualquer função de…nida em X . Também, dizemos que a
variável y(t) ´ h(x(t)) é um observável.
(ii) Um sistema dinâmico
x_ = F (x); x 2 X
tem
y_ = G(y); y 2 Y;
como modelo se existe uma função contínua (observação) h : X ! Y tal que, se x(t) é
uma solução de (3), então y(t) = h(x(t)) é uma solução de (4).
Quando h é um homeomor…smo, dizemos que os sistemas dinâmicos são conjugados ( ou
que são topologicamente equivalentes).
(iii) Suponha que existe uma família F = fF¸ : X¸ ! X¸ j ¸ 2 ¤g de sistemas dinâmicos
x_ = F¸ (x) ; x 2 X¸ ; ¸ 2 ¤
(5)
descrevendo o cérebro. Então, o sistema (4) é um modelo canônico para a família F
se, para cada membro F¸ 2 F existe uma observação contínua h¸ : X¸ ! Y tal que as
soluções de (5) são mapeadas às soluções de (4).
Existe toda uma teoria para derivar modelos canônicos, quer por análise local, quer global.
Pode-se mostrar que os neurônios precisam estar perto de limiares de atividades de maneira
a participar não trivialmente da dinâmica cerebral, o que matematicamente signi…ca que o
equilíbrio corresponde a um ponto de bifurcação. Em particular, no caso de redes neurais
perto de bifurcações de Hopf múltipla, temos o seguinte resultado que fornece um modelo
canônico local nestas circunstâncias.
Teorema 2.1 Se a rede neural fracamente acoplada
x_ i = fi (xi ; ¸) + "gi (x; ¸; ½; ") ;
xi 2 R2 ; i = 1; 2; : : : ; n
(6)
está perto de uma bifurcação múltipla de Andronov-Hopf e ¸(") = "¸1 + O("2 ), então
existe uma mudança de variáveis
· i­ t
¸
p
p
e i zi (¿ )
+ O( ")
xi (t) = " Vi
(7)
e¡i ­i t z¹i (¿ )
onde ¿ = "t é um tempo lento que transforma a rede neural em
0
zi = bi zi + di zi jzi j2 +
n
X
j6=i
p
cij zj + O( ")
(8)
onde
d
;
bi ; di ; zi 2 C
d¿
e os coe…cientes sinápticos cij 2 C são dados por
½
! i ¢ Dxj gi ¢ vj ; se ­i = ­j
cij =
0
; se ­i 6= ­j
0 4
=
(9)
O sistema (8) é um modelo canônico para uma rede neural fracamente acoplada perto de
uma bifurcação de Andronov-Hopf múltipla.
(V. Hoppensteadt-Izhikevich[1] para a prova).
3. MEMORIZAÇÃO DE INFORMAÇÃO DE FASE
Embora estaremos sempre considerando pares de osciladores neurais e conexões sinápticas
somente em uma direção, …ca subentendido que a rede consiste de vários osciladores neurais
e que conexões sinápticas do mesmo tipo existem entre quaisquer dois osciladores em todas
as direções.
Assumindo, sem perda de generalidade, que o oscilador tem (0; 0) como um equilíbrio,
vamos considerar uma rede com dois osciladores neurais conforme representada na …gura
1.
Figure 1: Uma rede com dois osciladores neurais.
.
Neste caso, a rede é um sistema dinâmico que pode ser escrito na forma
½
x_ i = f(xi ; ¡yi ) + "pi (x; y; ")
; i = 1; 2
y_i = g(xi ; yi ) + "qi (x; y; ")
(10)
em termos das funções sinápticas
0
pi (x; y; 0) = f½ (xi ; ¡yi )
0
qi (x; y; 0) = g½ (xi ; yi )
2
X
j=1
2
X
j=1
(sij1 xj ¡ sij2 yj )
(sij3 xj ¡ sij4 yj )
(11)
(12)
onde as constantes sinápticas sijk são todas positivas e " ¿ 1.
Denotando a matriz jacobiana no equilíbrio por
¸
·
a1 ¡a2
L=
a3 ¡a4
temos que o oscilador neural está numa bifurcação de Andronov-Hopf quando L satisfaz
tr L = a1 ¡ a4 = 0 e det L = ¡a1 a4 + a2 a3p> 0. Neste caso, podemos associar a cada
p
oscilador neural sua freqüência natural ­ = det L = a2 a3 ¡ a1 a4 . O princípio de Dale
implica que a2 e a3 são constantes não-negativas, mas, como a1 = a4 , a condição det L > 0
implica que tanto a2 quanto a3 são positivas. Embora nem a1 ¸ 0 nem a1 < 0 contradigam
o princípio de Dale, por simplicidade vamos considerar apenas o caso a1 = a4 ¸ 0. Do
teorema 2.1 segue que a rede neural fracamente conectada (10) é governada pelo seguinte
modelo canônico nas proximidades de bifurcação de Andronov-Hopf múltipla:
0
2
zi = (®i + i ! i ) zi + (¾ + i °) zi jzi j +
2
X
cij zj
; i = 1; 2
(13)
j6=i
Não se conhece muito sobre aprendizagem no cérebro humano, mas nossas hipóteses mais
importantes acerca da dinâmica de aprendizagem parecem consistentes com o que se observa na prática.
Em termos de uma rede neural fracamente conectada [x_ i = fi (xi ; ¸)+"gi (x1 ; :::; xn ; ¸; ½; ")],
estas hipóteses são:
² O aprendizado é descrito em termos de modi…cações dos coe…cientes cij = @gi =@xi .
² Para i e j …xados o coe…ciente wij = "cij se modi…ca de acordo com equações da
forma
0
= h(wij ; xi ; xj ):
wij
(14)
² Usamos o tempo lento ¿ = "t para lidar com a terceira hipótese.
2 + :::
² h(wij ; 0; xj ) = h(wij ; xi ; 0) = h(wij ; 0; 0) = ~h(wij ) = ¡°wij + ±wij
para todos
xi e xj , de modo que h é da forma
2
+ ::: .
h(wij ; xi ; xj ) = ¡°wij + ¯xi xj + ± 1 wij xi + ±2 wij xj + ±wij
(15)
Usando o fato de que os coe…cientes wij são de ordem " e de que as atividades de neurônios
p
p
são de ordem ", podemos usar a mudança de escala wij = "cij e xi = "yi (i = 1; :::; n)
para obtermos a expressão
p
c0ij = ¡°cij + ¯yi yj + O( ");
(16)
chamada regra de modi…cação sináptica de Hebb ou regra de aprendizagem de Hebb. Assumiremos que ° (taxa de desvanecimento da memória ) e ¯ (taxa de plasticidade sináptica)
são positivos e os mesmos para todas as sinapses. Seria razoável também pensarmos em
termos de ° = ° ij e ¯ = ¯ ij . Assim, temos:
Lema A regra de aprendizagem de Hebb para uma rede fracamente conectada de osciladores neurais pode ser escrita na forma
c0ij = ¡bcij + kij2 zi z¹j + kij3 z¹i zj ;
(17)
onde
a3
·
¹ (a2 ¯ 3 ¡ a3 ¯ 4 );
(18)
a2
a3
kij3 = ·(a2 ¯ 1 ¡ a3 ¯ 3 ) + ·
¹ (a2 ¯ 2 ¡ a3 ¯ 4 );
(19)
a2
a4
1
· = (1 ¡ i );
2
­
sendo ¯ ij usado no lugar de ¯ ijk , i; j = 1; :::; n; k = 1; 2; 3; 4:
¥ Prova. (V. Rodrigues-Botelho[2]).
Em termos do modelo canônico, a memorização de informação de fase signi…ca o seguinte:
Suponha que durante um período de aprendizagem as atividades zi (¿ ) do oscilador são
dadas de maneira que as diferenças de fase Arg zi z¹j são mantidas …xas. Chamemos o
padrão das diferenças de fase de imagem a ser memorizadas. Adicionalmente, suponha
que os coe…cientes sinápticos cij evoluem de acordo com a regra (17). Então, dizemos
que o modelo acnônico memorizou a imagem se existir um atrator no espaço Cn dos z
tal que, quando a atividade z(¿ ) está no atrator, as diferenças de fase entre os osciladores
coincidem com aquelas a serem aprendidas. Temos, então, o seguinte resultado:
Teorema 3.1 Considere a rede fracamente conectada de osciladores neurais governada
por
n
X
cij zj ; i = 1; :::; n
zi = (®i + i!i )zi + (¾i + i° i )zi jzi j2 +
kij2 = ·(a2 ¯ 1 ¡ a3 ¯ 2 ) +
j=1
juntamente com a regra de aprendizagem (17). Suponha que os osciladores neurais possuam freqüências iguais ( !1 = ::: = ! n = !), que a bifurcação de Andronov-Hopf seja
supercrítica ( ¾i < 0) e que ° i = 0. Então, temos que tal rede consegue memorizar diferenças de fase de pelo menos uma imagem se e somente se
kij2 > 0 e kij3 = 0;
(20)
i.e., a regra de aprendizagem (17) tem a forma
c0ij = ¡bcij + kij zi z¹j ; i 6= j;
(21)
onde kij =Re kij2 , i; j = 1; :::; n, são números reais positivos.
¥ Prova. (V. Rodrigues-Botelho[2]).
4. CONCLUSÃO
Agora que sabemos como kij2 e kij3 dependem das redes neurais fracamente conectadas
originais, os resultados deste teorema podem ser reformulados em termos de (10). Para
isto, basta aplicar a condição (20) à representação (18) e teremos o seguinte:
Corolário. Uma rede fracamente conectada de osciladores neurais pode memorizar diferenças de fase se e somente se as razões de plasticidade satisfazem:
a2 ¯ 1 = a3 ¯ 3
;
a2 ¯ 2 = a3 ¯ 4
(22)
e
kij = a2 ¯ 1 ¡ a3 ¯ 2 > 0
(23)
para cada i e j.
Este resultado permite estabelecer que tipo de organizções sinápticas podem ou não memorizar informações de fase. Por exemplo, suponhamos que ¯ ij1 = 0; para algum i 6= j.
Isto signi…ca que não há modi…cação de sinapses entre o j-ésimo e o i-ésimo neurônios
excitatórios, a não ser atro…a, ou seja, um desaparecimento gradativo. Desta forma,
mesmo que existisse uma sinapse sij1 entre xj e xi no início, ela iria atro…ar com o passar
do tempo. Assim, sem perda de generalidade, podemos assumir que ¯ ij1 = 0 indica
que é impossível tanto a formação quanto o crescimento de sinapses de xj para xi . As
mesmas considerações podem ser aplicadas para ¯ ij2 ; ¯ ij3 e ¯ ij4 . Chamando ¯ ij de razão
de plasticidade, ele vai ser diferente de zero ou igual a zero se o contato sináptico entre os
dois neurônios for possível ou não, respectivamente. Desta forma, de acordo com a condição
(22), se uma das razões de plasticidade é zero, isto é, se o contato entre dois neurônios não
é possível numa dada organização sináptica, então o mesmo deve acontecer com a outra
razão de plasticidade correspondente. Isto signi…ca que uma condição necessária para que
uma organização sináptica possa memorizar informação de fase é que ela seja tal que se
um neurônio tem contatos sinápticos com algum oscilador neural, então ele deve ter acesso
tanto aos neurônios excitatórios quanto aos inibitórios do oscilador neural.
REFERÊNCIAS
[1] Hoppensteadt, F.C. & Izhikevich, E.M.: Weakly Connected Neural Networks. Springer,
1997.
[2] Rodrigues, L.L. & Botelho, M.A.: Organizações Sinápticas e Memorização de Informações em Osciladores Neurais. Relatório de Atividades, CNPq/Pibic. ITA, Agosto de
2002.
[3] Verhulst, F.: Nonlinear Di¤erential Equations and Dynamical Systems. SpringerVerlag, Berlin, 1990.