Redes Neurais Artificiais

Inteligência Artificial
Aula 10

Redes Neurais Artificiais – Parte 1

Introdução

Mapas auto-organizáveis (Redes SOM)
Prof. Ricardo M. Marcacini
[email protected]
Curso: Sistemas de Informação
1º Semestre / 2015
http://moodle.lives.net.br
Redes Neurais Artificiais

IA-10
Cérebro humano possui características que
não estão presentes em computadores:

Paralelismo massivo

Representação e computação distribuídas

Habilidade de aprendizado

Habilidade de generalização

Adaptabilidade

Tolerância a falhas

Baixo consumo de energia
2
Redes Neurais Artificiais

IA-10
Computador VS Cérebro Humano
3
Redes Neurais Artificiais

IA-10
Computador VS Cérebro Humano
4
Redes Neurais Artificiais

IA-10
Neurônio Humano Clássico
5
Redes Neurais Artificiais

Neurônio Humano Clássico
Um neurônio possui muitos dendritos ramificados que
recebem informação de outros neurônios
IA-10
6
Redes Neurais Artificiais

Neurônio Humano Clássico
O corpo celular “processa” a informação recebida
IA-10
7
Redes Neurais Artificiais

Neurônio Humano Clássico
O neurônio possui um único axônio que propaga a
informação processada a partir de suas terminações
IA-10
8
Redes Neurais Artificiais

Neurônio Humano Clássico
As sinápses são estímulos que passam de um neurônio
para outro por meio de neurotransmissores
IA-10
9
Redes Neurais Artificiais

IA-10
Neurônio Artificial Clássico
10
Redes Neurais Artificiais

Neurônio Artificial Clássico
Um neurônio artificial é composto por um conjunto de
entradas com pesos (representando os dendritos)
IA-10
11
Redes Neurais Artificiais

Neurônio Artificial Clássico
As entradas recebem informações do ambiente ou de
outros neurônios que são processadas por uma função soma
IA-10
12
Redes Neurais Artificiais

Neurônio Artificial Clássico
Existem diversos tipos de funções soma
(veremos algumas durante a disciplina)
IA-10
13
Redes Neurais Artificiais

Neurônio Artificial Clássico
A função de transferência verifica se o estímulo recebido
nas entradas será transmitido
IA-10
14
Redes Neurais Artificiais

Uma Rede Neural Artificial é composta por
um conjunto de neurônios interconectados

Tipos de Neurônios
IA-10

Entrada: recebem sinal do ambiente

Intermediários: processam
informação entre neurônios

Saída: devolvem sinal ao ambiente
(resposta da rede)
Rede Neural Simples
15
Redes Neurais Artificiais

Como é o aprendizado em uma Rede
Neural Artificial?

Identificar os melhores “pesos” das conexões entre
neurônios da rede

Os pesos definem como são as
respostas aos estímulos
do ambiente

Treinamento da Rede Neural


IA-10
Rede Neural Simples
Computar os pesos entre neurônios
Muitos algoritmos existentes
para treinamento de Redes Neurais
16
Redes Neurais Artificiais

Existem muitas configurações/topologias
de redes neurais

Número de neurônios

Conexões entre neurônios

Camadas de neurônios

Identificar a melhor topologia é um
problema experimental

Iremos estudar dois tipos de redes neurais
IA-10

Mapas Auto-Organizáveis (Redes SOM)

Redes MLP (Multilayer Perceptron)
17
Mapas Auto-Organizáveis (Redes SOM)

Redes Neurais SOM (Self-organizing map)


Motivação:

IA-10
Aprendizado não supervisionado (sem professor)
Entradas sensoriais diferentes do cérebro humano
(visão, audição, olfato, etc..) são mapeadas em
áreas correspondentes do cortex cerebral

Mapeamento ordenado

Um conjunto de neurônios se especializam para processar
determinado tipo de informação
18
Mapas Auto-Organizáveis (Redes SOM)

Entradas sensoriais diferentes do cérebro humano
(visão, audição, olfato, etc..) são mapeadas em
áreas correspondentes do cortex cerebral

IA-10
Um conjunto de neurônios se especializam para processar
determinado tipo de informação
19
Mapas Auto-Organizáveis (Redes SOM)

Originalmente proposto por Kohonen
T. Kohonen. The self-organizing map. Proceedings of the
Institute of Electrical and Electronics Engineers, vol. 78, pp.
1464–1480, 1990.


IA-10
Também chamado de Mapas de Kohonen
Ideia básica

A posição espacial de um neurônio de saída em um
mapa corresponde a um domínio particular ou à
característica dos dados obtidos do espaço de
entrada.

Espaço de entrada: padrões/exemplos apresentados
para a rede (ambiente).
20
Mapas Auto-Organizáveis (Redes SOM)

IA-10
Exemplo de uma Rede SOM de três
entradas e 16 neurônios
21
Mapas Auto-Organizáveis (Redes SOM)

Funcionamento

Os neurônios são organizados
em um reticulado


Os pesos de cada neurônio são inicializados aleatoriamente

O treinamento da rede possui 3 etapas:



IA-10
Geralmente bidimensional
Competição: para cada padrão apresentado, os neurônios competem
entre si. O neurônio que melhor responde ao estímulo é ativado
(neurônio vencedor)
Cooperação: O neurônio vencedor compartilha parte do seu estímulo
com neurônios da sua vizinhança
Adaptação Sináptica: Os neurônios excitados ajustam seus pesos em
direção ao estímulo recebido
22
Mapas Auto-Organizáveis (Redes SOM)

IA-10
Algoritmo de Treinamento da Rede

(1) Inicialização dos pesos dos neurônios

(2) Amostragem: escolha aleatoriamente um exemplo de
entrada para apresentar à rede

(3) Competição: escolha o neurônio vencedor usando
distância euclidiana mínima entre o exemplo de entrada e
o vetor de pesos dos neurônios

(4) Cooperação: escolha neurônios na vizinhança do
neurônio vencedor

(5) Adaptação sináptica: ajuste os pesos de cada neurônio
respeitando (i) a distância em relação ao neurônio
vencedor e (ii) uma taxa de aprendizado

(6) Repetir os passos 1 até 5 até convergência
23
Mapas Auto-Organizáveis (Redes SOM)

Algoritmo de Treinamento da Rede

(1) Inicialização dos pesos dos neurônios
mais
um
neurônio
do
 (i)
(2)Quanto
Amostragem:
escolha
aleatoriamente
um exemplo
(i)
Quanto
maislonge
longe
um
neurôniose
seencontra
encontra
do de
neurônio
vencedor,
menor
sua
entrada
para apresentar
àserá
rede
neurônio
vencedor,
menorserá
suaadaptação
adaptaçãosináptica
sináptica
(3) Competição: escolha o neurônio vencedor usando
(ii)
taxa
indica
ooquanto
um
se
(ii)AAdistância
taxade
deaprendizado
aprendizado
indica
quanto
umneurônio
neurônio
see
euclidiana
mínima
entre
o exemplo
de entrada
adapta
ao
estímulo
aopesos
estímulo
recebido(padrão
(padrãode
deentrada)
entrada)
oadapta
vetor de
dos recebido
neurônios

IA-10

(4) Cooperação: escolha neurônios na vizinhança do
neurônio vencedor

(5) Adaptação sináptica: ajuste os pesos de cada neurônio
respeitando (i) a distância em relação ao neurônio
vencedor e (ii) uma taxa de aprendizado

(6) Repetir os passos 1 até 5 até convergência
24
Mapas Auto-Organizáveis (Redes SOM)


Atividade (apoio do professor)

Implementação de uma Rede Neural Artificial

Mapa Auto-Organizável
Objetivo:

IA-10
Reconhecimento de Dígitos Manuscritos
25