sistemas conexionistas biologicamente plausíveis

PONTIFÍCIA UNIVERSIDADE CATÓLICA DE CAMPINAS
MESTRADO EM SISTEMAS DE COMPUTAÇÃO
TÓPICOS EM SISTEMAS DE COMPUTAÇÃO
(REDES NEURAIS ARTIFICIAIS II)
PROF. DR. JOÃO LUÍS GARCIA ROSA
TEMA 3 (BIO):
6,67(0$6&21(;,21,67$6%,2/2*,&$0(17(3/$86Ë9(,6
(Versão 1.2a)
ALUNO:
MARVIN OLIVER SCHNEIDER
CAMPINAS
2002
680È5,2
,1752'8d­2 &5Ë7,&$'266,67(0$6&21(;,21,67$6 2.1
CARACTERÍSTICAS BÁSICAS DO FUNCIONAMENTO CEREBRAL .......................................................... 1
&RQVLGHUDo}HV*HUDLV )XQFLRQDPHQWRGR1HXU{QLR 2.2
CRÍTICA DA IMPLEMENTAÇÃO EM SISTEMAS CONEXIONISTAS TRADICIONAIS ................................. 2
3HUFHSWURQ 3HUFHSWURQ0XOWLFDPDGDV 5HGHGH+RSILHOG 0DSDGH.RKRQHQ 0iTXLQDGH%ROW]PDQQ 5('(6%,2/2*,&$0(17(3/$86Ë9(,6 3.1
JUSTIFICATIVA .................................................................................................................................. 3
3.2
PRINCÍPIOS GERAIS........................................................................................................................... 4
5HDOLVPR%LROyJLFR 5HSUHVHQWDomR'LVWULEXtGD &RPSHWLomR,QLELWyULD 3URSDJDomRGH$WLYDomR%LGLUHFLRQDO $SUHQGL]DGRSURYRFDGRSRUHUURV $SUHQGL]DGR+HEELDQR &RQIOLWRV 2EVHUYDo}HV 3.3
EXEMPLOS DE ABORDAGENS ............................................................................................................ 7
5HGHV $OJRULWPRGH$SUHQGL]DGR ',6&866­2 &21&/86­2 5()(5Ç1&,$6 Sistemas Conexionistas Biologicamente Plausíveis
1
,1752'8d­2
A preocupação atual e constante na pesquisa em redes neurais é alcançar o mais
rápido possível condições de clonagem de um cérebro humano. Para tal existem
as mais diversas previsões variando de 30 anos para este acontecimento à
convicção de que um cérebro humano nunca será clonado, pois a humanidade
jamais terá condições de entender todos os processos. Também já mesmo nessa
fase inicial levantam-se aspectos éticos e existe uma constante preocupação que
máquinas inteligentes poderão trazer algum mal para a humanidade tentando
alcançar o poder.
Em todo este cenário parte dos pesquisadores chegou a uma conclusão: A
plausibilidade biológica não poderá ser sacrificada tendo em vista apenas
aspectos de simplicidade, ou no entendimento humano ou no processamento
computacional, pois o melhor modelo para o cérebro é ele mesmo e os sistemas
conexionistas deverão seguir seu exemplo.
Desta forma criaram-se as mais diversas abordagens biologicamente plausíveis,
ou seja, que não contradizem o conhecimento biológico atual. O presente artigo
pretende esclarecer mais essa nova tendência, discutir seus resultados e fazer
previsões para o futuro.
&5Ë7,&$'266,67(0$6&21(;,21,67$6
&DUDFWHUtVWLFDVEiVLFDVGRIXQFLRQDPHQWRFHUHEUDO
&RQVLGHUDo}HV*HUDLV
Na sua tarefa de implementar de uma maneira mais fiel possível o cérebro
humano, as abordagens tradicionais devem ser comparadas com as
funcionalidades do cérebro.
Pode-se afirmar que o cérebro humano possui cerca de 100 bilhões de neurônios.
Sinapses (as conexões do cérebro) são organizadas em micro-circuitos neuroniais
para executar determinada tarefa. Os micro-circuitos são agrupados para formar
subunidades dendritais, que são ligadas em neurônios.
O próximo nível é a figura do circuito local formado por vários neurônios. Estes
circuitos são responsáveis pelas diferentes tarefas no cérebro. Circuitos interregionais interligam os circuitos locais com a funcionalidade de integrar todas as
informações necessárias para uma tarefa.
O cérebro –assim sendo – pode ser dividido em regiões responsáveis por
determinadas tarefas.
Deve-se notar que além das regiões gerais também há diferenças entre os
hemisférios do cérebro que respondem por diferentes lados motores.
Sistemas Conexionistas Biologicamente Plausíveis
2
)XQFLRQDPHQWRGR1HXU{QLR
Os neurônios têm a mesma estrutura básica de todas as células do corpo humano
e são controlados geneticamente. Existem, porém, as seguintes exceções:
- Neurônios não podem se dividir mais após a fase de crescimento do cérebro.
- Eles possuem extensões para contatar outras células (dendritos, axônios).
- Eles fazem uso de uma membrana que pode gerar impulsos elétricos e pode
receber sinais com a ajuda de neurotransmissores.
As membranas têm um potencial de repouso de -65 a -70mV. Íons passam do
interior da célula para o exterior definindo a carga elétrica da célula.
Existem dois tipos de transporte: Transporte passivo por difusão molecular e
transporte ativo pelas chamadas bombas iônicas.
O potencial de ação consiste em uma rápida mudança de voltagem para até
+30mV.
O potencial gerador de ativação pode ser apenas local ou alimentado pelos
dendritos do neurônio (recebendo sinapses de outros neurônios). Neste caso o
neurônio fará uma “soma” dos sinais e dependendo do alcance de um certo valor,
dispara-se o potencial de ação. Na fase de repolarização que se segue, o
neurônio não reage mais a impulsos até alcançar seu potencial de repouso.
Os neurônios são interligados através de sinapses, podem ser tais sinapses
elétricas que propagam sinais elétricos diretamente de célula para célula ou – no
caso comum – sinapses químicas nas quais o sinal elétrico é “traduzido” para um
neurotransmissor. Existem sinapses excitatórias e inibitórias.
&UtWLFD GD ,PSOHPHQWDomR HP 6LVWHPDV &RQH[LRQLVWDV
7UDGLFLRQDLV
3HUFHSWURQ
Além de não conseguir resolver um simples problema de XOR, o 3HUFHSWURQ utiliza
a propagação para frente, o IHHGIRUZDUG, que – apenas nesta direção – não é
biologicamente plausível. Na verdade trata-se mais de uma pequena unidade de
processamento e não de um modelo de neurônio em si, pois há muita
simplificação, que pode ser aceita apenas como o primeiro passo de toda a
pesquisa.[Helbig00, Jain96]
3HUFHSWURQ0XOWLFDPDGDV
O 3HUFHSWURQ multicamadas foi inventado principalmente para sanar o problema
do XOR e não para representar um modelo mais perto da realidade biológica. O
algoritmo EDFNSURSDJDWLRQ apenas propaga sinais de erro da última camada até a
primeira. Essas regras rígidas de propagação não são suportadas pelo modelo na
natureza, memória não é implementada e situações confusas não podem ser
resolvidas. [Helbig00, Jain96]
5HGHGH+RSILHOG
A Rede de Hopfield é uma rede recorrente, na qual informações são salvas em
atrativos dinâmicos assim formando memórias associativas.[Jain96]
Sistemas Conexionistas Biologicamente Plausíveis
3
A implantação de memória certamente não é feita dessa forma no cérebro, onde a
própria topologia (entre outras) tem um papel muito importante.
0DSDGH.RKRQHQ
O mapa auto-organizativo de Kohonen é composto de uma matriz de unidades
que estão todas ligadas às n entradas da rede. A organização ocorre por
concorrência e o ganhador faz com que toda sua vizinhança receba novos pesos
para suas ligações. Assim a estrutura diminui durante o tempo, pois a competição
elimina ligações fracas eventualmente deixando neurônios completamente
isolados (excluídos da estrutura).
Primeiramente não há apenas degradação em um sistema neural – pelo processo
de aprendizado novas conexões podem ser estabelecidas. Segundo, a forma de
conexão é muito rígida tendo pouca flexibilidade. [Helbig00, Jain96]
0iTXLQDGH%ROW]PDQQ
A máquina de Boltzmann é uma rede recorrente simétrica, ou seja, onde todas as
unidades i para unidades j e vice versa tem o mesmo peso. Chamam-se de
neurônios visíveis neste ambiente os neurônios que mantêm a conexão com o
externo. A máquina de Boltzmann funciona em dois modos: supervisionada,
apresentando estados específicos para os neurônios visíveis e livre quando todos
os neurônios podem operar livremente.[Jain96]
A simetria da Máquina de Boltzmann não é biologicamente plausível, pois não há
ligações desta maneira ordenada na natureza. Modos distintos e separados de
funcionamento também não existem no modelo biológico, onde vários métodos se
aplicam ao mesmo tempo – entretanto a flexibilidade de operar de forma
supervisionada ou não-supervisionada pode ser vista como um passo na direção
de mais plausibilidade biológica.
5('(6%,2/2*,&$0(17(3/$86Ë9(,6
-XVWLILFDWLYD
O desenvolvimento da natureza no planeta Terra tem uma longa história de 3.8
bilhões de anos. A evolução caminhou em várias direções, muitas eram ruas sem
saída. O que foi produzido de errado acabou em fósseis e as invenções certas
prevaleceram. A evolução criou modelos perfeitos, incrivelmente complexos,
dentro deles o cérebro humano.
Muito tempo o ser humano alimentou a crença que sua ciência e seu
conhecimento eram a chave para os segredos do universo. Vemos, porém, em
exemplo práticos cotidianos, que isto não é o caso – principalmente quando se
trata de problemas ambientais e de superpopulação que ameaçam a humanidade
inteira. Com muita arrogância vários problemas não foram vistos e apenas
Sistemas Conexionistas Biologicamente Plausíveis
4
lentamente se chega à convicção de que o ser humano não é o dono, mas sim,
parte da natureza.[Benyus97]
Estes princípios também podemos aplicar às pesquisas em redes neurais.
Inicialmente pensou-se muito em aproveitar apenas algumas características
simplificando o resto para melhorar entendimento e processamento. Os resultados
não foram satisfatórios em muitos casos e assim pensou-se cada vez mais em
melhorias e outras topologias até recentemente – com mais humildade – seguir
realmente as tendências biológicas da melhor maneira possível, entendendo que
apenas assim ter-se-á a chance de um sucesso verdadeiro nas
pesquisas.[Benyus97]
3ULQFtSLRV*HUDLV
Conforme [Oreilly2_98] pode-se caracterizar uma rede biologicamente plausível
por seis princípios mostrados no seguinte diagrama:
,PDJHP,OXVWUDomRGRVSULQFtSLRVIRQWH>2UHLOO\B@
5HDOLVPR%LROyJLFR
Toda abordagem conexionista tem a intenção de – pelo menos até um certo ponto
– imitar a realidade biológica extraindo dela princípios válidos para o
processamento de problemas.
A biologia de hoje em dia – como também a medicina – chegou a resultados que
eram sonhos até há poucos anos atrás. Mesmo assim ela não fornece a verdade
dos detalhes que seriam necessários para poder apenas portar a realidade
biológica para o ambiente computacional. Sendo assim deve-se observar regras
de plausibilidade, ou seja, não contradizer o conhecimento biológico adquirido até
então. Certamente se trata ainda de uma utopia, pois a computação não consegue
Sistemas Conexionistas Biologicamente Plausíveis
5
nem chegar perto da realidade do cérebro. Mesmo assim é possível observar
diferenças de rede em rede e pode-se afirmar que várias abordagens recentes
devem ser consideradas como tendo um elevado grau de realismo
biológico.[Oreilly2_98, Benyus97]
5HSUHVHQWDomR'LVWULEXtGD
O córtex cerebral tem a característica de armazenar e processar informações
utilizando uma representação distribuída, onde várias unidades participam em
várias representações. Cada unidade pode ser vista como a implementação de
uma característica pequena.
Conforme as pesquisas da área de neurologia, este esquema contribui para
robustez, eficiência e exatidão nos resultados – porém, principalmente como
simplificação de um conjunto gigante de dados em uma pequena área. Isto pode
ser comparado, por exemplo a letras compondo as palavras. Existe um número
bem finito de letras, porém, um conjunto infinito de informações que pode-se
expressar com elas.
Além dessas vantagens também a similaridade pode ser processada melhor,
simplesmente olhando para o conjunto que faz parte de duas informações. Talvez
assim pode-se afirmar que o ser humano aprende muito melhor com analogias,
pois será necessário guardar muito menos informação (uma parte já foi
efetivamente aprendida).[Oreilly2_98]
&RPSHWLomR,QLELWyULD
No cérebro existe competição entre neurônios, um verdadeiro darwinismo que
fortalece apenas as conexões mais fortes e corta as conexões fracas com o
tempo. Desta forma habilidades não usadas tendem a deteriorar lentamente,
porém, dependendo do caso, podem ser restabelecidas em pouco tempo apenas
completando as ligações faltantes.
No córtex cerebral há cerca de 20% de neurônios intermediários inibitórios. Estes
neurônios são responsáveis pela diminuição considerável do nível de excitação
geral e em específico pela prevenção da propagação de informação não valiosa.
No caso do ser humano este mecanismo evita uma verdadeira tempestade de
excitação – como há, por exemplo, em pessoas epilépticas.
É interessante destacar que a forma de organização também poupa o cérebro de
muita atividade desnecessária representando um fenômeno com poucas
características e permitindo que a pessoa se concentre totalmente em um assunto
deixando completamente do lado o ambiente externo.[Oreilly2_98]
3URSDJDomRGH$WLYDomR%LGLUHFLRQDO
Conforme as características naturais, deve existir propagação bi-direcional (de
baixo para cima e de cima para baixo). Esta representação traz problemas óbvios
de implementação computacional por causa de sua eventual complexidade, mas é
a forma natural de conseguir absorver um conjunto grande de informações.
É importante observar que um processamento deste tipo deve fazer uso de
passos, ou seja, as ligações devem retardar a propagação para não causar um
caos absoluto na rede.
Sistemas Conexionistas Biologicamente Plausíveis
6
Como não há um conjunto fixo de entradas e saídas desta forma, tem-se um
sistema verdadeiramente paralelo que ajuda seres humanos a resolver, por
exemplo, situações ambíguas tendo a possibilidade de pensar bastante sobre o
mesmo problema complexo levando em consideração vários fatores.
$SUHQGL]DGRSURYRFDGRSRUHUURV
Este tipo de aprendizado, também chamado de aprendizado supervisionado, pode
ser achado no algoritmo EDFNSURSDJDWLRQ, que provou ser muito eficiente, porém,
é geralmente considerado biologicamente não plausível.
Entretanto deve-se considerar como um princípio freqüente de aprendizado
humano o efeito de tentativa e erro. Neste caso um certo resultado é esperado
(pré-computado pela rede), o ambiente em si determina o resultado da ação
escolhida e a diferença é aprendida com a finalidade de futuramente não cometer
mais o mesmo erro ou – pelo menos – executar ações que dão resultados mais
próximos do sucesso.
Sendo assim, o algoritmo EDFNSURSDJDWLRQ tem aspectos biologicamente
plausíveis, porém, precisa ser modificado para caber no ambiente das redes
avançadas. Desta forma foi criado, por exemplo, o *HQH5HF que é descrito em
3.3.2.1.[Oreilly2_98, Helbig00]
$SUHQGL]DGR+HEELDQR
Também chamado de aprendizado de modelos, auto-organizador ou não
supervisionado, se trata de um processo de formação de representações internas
do ambiente não ligadas a tarefas específicas como no aprendizado
supervisionado.
A mudança de influência sináptica, que é provocada pelo Aprendizado Hebbiano é
biologicamente plausível ocorrendo por potencialização a longo prazo. Desta
forma se considera ele como biologicamente plausível – principalmente pois ele dá
margem a acontecimentos em paralelo que fazem parte do cérebro como também
a competição anteriormente mencionada (3.2.3.).
&RQIOLWRV
Há conflitos entre alguns destes princípios. Especialmente interessante neste caso
é a relação entre competição e distribuição. Enquanto competição inibitória causa
a ativação de poucos neurônios, a distribuição precisa de vários pontos excitados
para funcionar bem. Um meio-termo certamente é a ativação de alguns neurônios
apenas, porém, a realização técnica não é fácil. Saídas são os métodos WTA e
kWTA apresentados em 3.3.2.3 e 3.3.2.4. respectivamente.
2EVHUYDo}HV
Como as pesquisas em relação a abordagens biologicamente plausíveis são
relativamente recentes, os princípios não devem ser vistos como absolutos, mas
sim, como uma tentativa de achar uma sistemática para construção de um
fundamento teórico.
Sistemas Conexionistas Biologicamente Plausíveis
7
([HPSORVGH$ERUGDJHQV
Até hoje não se chegou a redes que conseguem implementar todas as
características do cérebro, mas cada abordagem aqui estudada conseguiu chegar
um pouco mais perto da realidade do que as abordagens conexionistas
geralmente usadas para analisar problemas.
É importante observar que a seção seguinte não tem como objetivo dar uma visão
completa de todas as abordagens possíveis, pois a área está em pleno
desenvolvimento e muitos assuntos não foram definidos com clareza, nem
sabemos o que seria uma abordagem biológica “clássica”. As redes e métodos
aqui mencionados são apenas alguns exemplos de tentativas de chegar mais
próximo à realidade biológica.
5HGHV
/HDEUD
/HDEUD é um projeto que incorpora todos os seis princípios anteriormente
explicados e assim pretende ser uma rede biologicamente plausível no melhor dos
sentidos. A abreviação “/HDEUD” significa OHDUQLQJ LQ DQ HUURUGULYHQ DQG
DVVRFLDWLYH ELRORJLFDOO\UHDOLVWLF DOJRULWKP (=aprendizado com um algoritmo
movido por erros, associativo e biologicamente realístico).
Leabra tem as seguintes características:
• Função de ativação SRLQW QHXURQ (=neurônio ponto), que implementa as
propriedades eletrofísicas reais do neurônio enquanto sua extensão
geométrica é simplificada a um ponto apenas. Há formulas que cuidam da
mudança de potencial elétrico na membrana, a definição do potencial de
repouso, os canais iônicos e eventuais interferências.
• Representação distribuída esparsa pelo algoritmo N:7$ onde há N
ganhadores da competição entre os neurônios (não apenas um) deixando
uma quantidade definida de neurônios em estados de ativação.
• Aprendizado supervisionado (“movido por erros”) utilizando o algoritmo
*HQH5HF. A rede funciona em duas fases, a de esperança (menos) e a dos
resultados (mais). A diferença da ativação pré-sinaptica e pós-sinaptica é
computada e o resultado ajustado em cada unidade (veja 3.3.2.1).
• Aprendizado Hebbiano (veja 3.2.6) é utilizado em conjunto com o *HQH5HF
fazendo uma mistura por porcentagem de influência em cada sinapse.
/HDEUD obteve resultados interessantes. Principalmente provou-se que a rede era
capaz de absorver as funcionalidades de várias outras redes diferentes em uma
única abordagem. Neste caso cabe lembrar que o cérebro também pode trabalhar
basicamente como todas as abordagens conexionistas e assim certamente /HDEUD
representa um passo na direção certa. [Oreilly2_98]
8PD 5HGH %LRORJLFDPHQWH ,QVSLUDGD SDUD )RUPDomR GH 7UDMHWyULD
HYLWDQGR2EVWiFXORV
Neste projeto trata-se de uma abordagem podendo ser utilizada no campo da
robótica. Ela foi desenvolvida para mover um robô de um ponto de origem até um
ponto final sem bater no obstáculo.
Sistemas Conexionistas Biologicamente Plausíveis
8
A implementação é feita em duas camadas distintas, sendo cada uma um mapa
de Kohonen (veja 2.2.4).
,PDJHP,OXVWUDomRGDVGXDVFDPDGDVIRQWH>*ODVLXV@
Os mapas são denominados de mapa sensorial e mapa de motor. Os impulsos do
ambiente definem o conteúdo do mapa sensorial. Nele o ponto de destino recebe
o valor 1 e o obstáculo em todos seus pontos o valor 0. Como o mapa tem a
tendência de propagar estes impulsos para a vizinhança, temos a figura de uma
“montanha” no ponto de destino e um “vale” onde fica o obstáculo como mostra a
figura 3.
Sistemas Conexionistas Biologicamente Plausíveis
9
,PDJHP5HSUHVHQWDomRQDFDPDGDVHQVRULDOIRQWH>*ODVLXV@
O mapa motor então recebe informações do mapa sensorial por propagação como
também o estado atual do atuador. Desta forma o mapa motor pode gerar os
comandos de motor que mudam continuadamente enquanto o atuador (robô) se
movimenta do ponto inicial até o fim (destino).
,PDJHP'XDVVLWXDo}HVQRPDSDGHPRWRU±D³PRQWDQKD´pDSRVLomR
DWXDOGRURE{IRQWH>*ODVLXV@
O potenciais no mapa de motor são definidos por um algoritmo próprio para a
tarefa, que representa uma mistura de aprendizado supervisionado levando em
consideração em cada instante a situação no mapa sensorial e nãosupervisionado utilizando princípios deFOXVWHULQJ e competição.
O escopo deste projeto é razoavelmente limitado, porém, a abordagem é
interessante em relação a sistemas mais realistas e mais criativos – já que é uma
tarefa difícil também afirmar regras fixas para o cérebro humano.[Glasius94]
21HRFRJQLWURQ$GDSWDGR
O 1HRFRJQLWURQ original em si não é uma abordagem muito recente (desenvolvida
em 1980 por Fukushima). Trata-se de uma organização em camadas distintas
com propagação para frente de tal forma que a próxima camada extrai certas
características da camada anterior, abstraindo as entradas.
Existem camadas com neurônios S e C, que extraem informações das camadas
anteriores e emitem sinais excitatórios. A diferença é que junto com os neurônios
C também há neurônios V, que transmitem sinais inibitórios e apenas as conexões
a células S são variáveis em nível de impulso.
Sistemas Conexionistas Biologicamente Plausíveis
10
,PDJHP1HRFRJQLWURQIRQWH>9DQRR\HQ@
Como o nome “1HRFRJQLWURQ” já tenta revelar, o sistema é utilizado para o
reconhecimento de padrões visuais. Na sua forma original o 1HRFRJQLWURQ reage
sempre de forma igual a impulsos nas entradas, uma forma que não é
biologicamente plausível, pois os neurônios do cérebro respondem
gradativamente menos a impulsos iguais. Como provado em macacos, apenas
padrões visuais desconhecidos ou não vistos por um certo tempo conseguem
estimular bastante as células, ou seja, criar interesse.
Esta adaptação é feita de tal maneira que é adicionado um termo ao denominador
do termo de resposta das células C: T(k) que controla o grau de adaptação
deixando o sinal consideravelmente menor dependendo do valor escolhido.
Mesmo com um princípio relativamente simples, o resultado é uma rede
consideravelmente mais biologicamente plausível, porém, como o exemplo
anterior, não flexível em seus usos.[Vanooyen93]
8PD5HGH%LRORJLFDPHQWH0RWLYDGD
Tendo como ponto de partida um modelo conexionista clássico, este projeto
introduz o uso de transmissores, receptores e controladores. Além da maneira
tradicional de conexão (pesos, potencial de ativação propagado etc.), esta
abordagem introduz o princípio de afinidade entre receptor e transmissor, o que
tem como resultado uma topologia bem específica e biologicamente mais plausível
(pois não há conexões “generalizadas” no cérebro).
O controlador foi utilizado para implantar o potencial gradual, que pode ser
produzido por um axônio (em vez de um sinal constante) como também para
emular as proteínas liberadas na junção de transmissor e receptor.
O Controlador pode modificar:
• O grau de afinidades da conexão
• A quantidade de substrato
• A expressão genética
A rede deve ser criada definindo:
• O número de camadas
Sistemas Conexionistas Biologicamente Plausíveis
•
•
•
11
O número de neurônios em cada camada
A quantidade inicial de substrato em cada camada
A definição de genética de cada camada
Nesta rede o assunto principal é a definição de quais conexões ocorrem e quais
não podem ser realizadas. Resultado disso pode ser a topologia da imagem
5.[Rosa01]
,PDJHP8PDSRVVtYHOWRSRORJLDGHUHGHIRQWH>5RVD@
$OJRULWPRGH$SUHQGL]DGR
*HQH5HF
O *HQH5HF (Recirculação Generalizada) é um algoritmo supervisionado de
aprendizado mais biologicamente plausível. O principio geral dele é a propagação
de dois sinais – a expectativa da rede, também chamado de “menos” e o sinal que
confere com a realidade, também chamado de “mais”. Propagando estes sinais,
pode-se achar o erro a cada ponto da redes com a finalidade de ajustá-lo.
Interessante neste caso é o fato que não temos exatamente um professor ou um
conjunto de dados atrás deste método de aprendizado, mas sim, um aprendizado
levando em consideração a situação do ambiente e aprendendo com ela.
Com relação ao caminho da propagação, o algoritmo *HQH5HF se baseia no
algoritmo de Recirculação de Hinton & McClelland. Este algoritmo funciona da
seguinte forma:
Sistemas Conexionistas Biologicamente Plausíveis
12
,PDJHP$OJRULWPRGH5HFLUFXODomRGH+LQWRQ0F&OHOODQG)RQWH
>2UHLOO\B@
• Passo T=0: O padrão desejado é colocado nos nós visíveis (que têm
conexão com o ambiente externo)
• Passo T=1: As unidades escondidas processam sua ativação em função
das unidades visíveis
• Passo T=2: As unidades visíveis computam sua função de ativação levando
em consideração o estado dos neurônios escondidos
• Passo T=3: As unidades escondidas computam novamente sua função de
ativação levando em consideração o padrão reconstruído nos nós visíveis
Este tipo de círculo deu o nome de “Recirculação” ao algoritmo.
O GeneRec faz uso deste método, porém, em um ambiente que possui
propagação em várias direções (não apenas IHHGIRUZDUG).[Oreilly1_96,
Oreilly2_98]
&+/
&+/ significa “&RQWUDVWLYH +HEELDQ /HDUQLQJ” (=aprendizado de contraste
hebbiano). Neste caso a diferença entre dois termos Hebbianos é usada para
formar o aprendizado, ou seja, a variação entre dois estado distintos é
considerada: no estado de “mais” ambos o estado desejado e o estado atual são
propagados, no estado de “menos” apenas o estado atual.
O aprendizado ocorre pela diferença dos co-produtos pré e pós-sinápticos nas
duas fases.
O algoritmo é parecido com o *HQH5HF, porém, os termos de ativação são
diferentes.[Oreilly1_96]
:7$
:7$ é a abreviação para “7KH :LQQHU 7DNHV LW $OO” (=o ganhador leva tudo) e
descreve um algoritmo de competição que deixa apenas o ganhador propagar seu
sinal de ativação.
Sistemas Conexionistas Biologicamente Plausíveis
13
Certamente este algoritmo não faz sentido nenhum quando se trata de neurônios
isolados, pois apenas um neurônio ativo eliminaria a competição por completo e
dificultaria consideravelmente o processo de aprendizado.
Em vez disso este princípio está sendo aplicado a agrupamentos de neurônios
enquanto um agrupamento compete com o outro. Porém, neste caso, o algoritmo
mesmo como algoritmo de competição deve ser completado por outro sistema
para assegurar o funcionamento da rede.
O algoritmo em si é considerado biologicamente plausível em termos, porém não é
muito prático, o quê levou as pesquisa a adotarem o N:7$ (veja
3.3.2.4).[Oreilly1_96, Oreilly2_98]
N:7$
O N:7$ “7KH N :LQQHUV 7DNH LW $OO” (=os k ganhadores levam tudo) é uma
modificação do algoritmo anterior. Neste caso há competição entre todos os
neurônios envolvidos, porém, em vez de um ganhador haverá N ganhadores.
Desta maneira a propagação dos sinais não é simplificada da maneira do WTA e
se pode esperar um processamento que não tenda a ser linear.[Oreilly1_96,
Oreilly2_98]
',6&866­2
Como uma abordagem, que também tem seu foco nas conexões (veja 3.3.1.4), o
analista Cornelius Weber da Universidade Técnica (TU) de Berlin conseguiu
implementar neurônios inativos em uma Máquina de Boltzmann atribuindo a eles o
estado de ativação 0 (enquanto os outros recebiam os estados -1 / +1).
A revista eletrônica ZDNet deu esta notícia como a principal dos últimos tempos
mencionando que seria um passo grande para a pesquisa. Entretanto pode-se
afirmar que a euforia certamente não é a maneira certa de enxergar o progresso
científico.[ZDNet00]
Algumas perguntas ainda estão em aberto. A principal delas com relação a redes
biologicamente plausíveis é, se realmente existe a possibilidade de se criar uma
rede que implementa de maneira fiel e rígida os princípios biológicos conhecidos.
Até então simplificações são onipresentes – mesmo nas abordagens mais
próximas à realidade. Tentar ultrapassar esta difusa fronteira tecnológica é
complicado e o custo de tais projetos certamente é elevado.
Chegamos então a duas perguntas relacionadas a este problema inicial. Primeiro:
A relação custo/benefício justifica estes projetos? Segundo: Não é necessário o
desenvolvimento de uma outra plataforma, o chamado computador neural, para
conseguir avançar mais?
Nós ainda estamos no ponto inicial de uma evolução – a evolução tecnológica. Os
projetos atuais são contribuições para esta evolução, que até já tem seus
dinossauros (veja o Perceptron), que ajudam a idéia a amadurecer. Apesar da alta
confiança na população e o entusiasmo que espera que a informática criará
“coisas incríveis” nos próximos anos, não podemos pensar, que o ser humano terá
a capacidade em poucos anos de desvendar o que a natureza levou bilhões de
anos para criar.
Sistemas Conexionistas Biologicamente Plausíveis
&21&/86­2
14
Sistemas Conexionistas Biologicamente Plausíveis são a mais nova tendência das
pesquisas de redes neurais. Ela se orienta no princípio que será necessário
implantar redes que possuem características cada vez mais próximas à natureza e
se justifica pelo fato de que redes neurais artificiais – no melhor caso – não são
algo novo, mas apenas a realização técnica adequada do modelo biológico.
Os projetos atuais se concentram em vários aspectos diferentes como as ligações,
as propagações, o potencial em si, a maneira de processamento ou a mistura de
vários princípios importantes.
Devemos esperar em breve novos avanços sem perder de vista que ainda há um
longo caminho à frente.
Sistemas Conexionistas Biologicamente Plausíveis
15
5()(5Ç1&,$6
[Benyus97] Benyus, Janine M., %LRPLPLFU\, William Morrow Inc., New York, 1997
[Glasius94] Glasius, R. et al., $%LRORJLFDOO\,QVSLUHG1HXUDO1HWIRU7UDMHFWRU\
)RUPDWLRQDQG2EVWDFOH$YRLGDQFH, in: Biological Cybernetics, Nijmegen, 1994
[Helbig00] Helbig, H. et al., 1HXURQDOH1HW]H, Fernuniversität Hagen, Hagen, 2000
[Jain96] Jain, A.K. et al., $UWLILFLDO 1HXUDO 1HWZRUNV $ 7XWRULDO, in: IEEE
Computer Magazine 0018-9162, Michigan, 1996
[Oreilly1_96] O´Reilly, Randal C., %LRORJLFDOO\ 3ODXVLEOH (UURUGULYHQ /HDUQLQJ
XVLQJ/RFDO$FWLYDWLRQ'LIIHUHQFHV7KH*HQHUDOL]HG5HFLUFXODWLRQ$OJRULWKP,
in: Neural Computation, MIT-Press, 1996, pp. 895-938
[Oreilly2_98] O´Reilly, Randal C., 6L[ 3ULQFLSOHV IRU %LRORJLFDOO\%DVHG
&RPSXWDWLRQDO0RGHOVIRU&RUWLFDO&RJQLWLRQ, in: Trends in Cognitive Sciences,
2, Akademiai Kiado, 1998, pp. 455-462
[Rosa01] Rosa, João Luís Garcia, $Q$UWLILFLDO1HXUDO1HWZRUN0RGHO%DVHGRQ
1HXURVFLHQFH /RRNLQJ &ORVHO\ DW WKH %UDLQ, in: V. Kurková et al. (Eds.),
Artificial Neural Nets and Genetic Algorithms – Proceedings of the International
Conference in Prague, Czech Republic - Springer, Wien, New York, 2001
[Vanooyen93] Van Ooyen, A. et al., 3DWWHUQ5HFRJQLWLRQLQWKH1HRFRJQLWURQLV
,PSURYHG E\ 1HXUDO $GDSWDWLRQ, in: Biological Cybernetics, 70, Amsterdam,
1993, pp. 47-53
[ZDNet00] ZDNet, )RUWVFKULWW EHL NQVWOLFKHQ
http://news.zdnet.de/story/0,,s2053238,00.html, 2000
QHXURQDOHQ
1HW]HQ,