Aula 3

Redes Neurais Artificiais (RNA): Introdução
Disciplina:
Sistemas Inteligentes II
Prof. Frederico Brito Fernandes
[email protected]
CONTEÚDO
(1) Introdução
(2) Histórico
(3) Redes e Neurônios Biológicos
(4) Neurônios Artificiais
(5) Funções de Ativação
(6) Principais Arquiteturas
(1) Introdução
• Ressurgiu no final da década de 80
– Conexionismo: Computação não algorítmica
• Lembram a estrutura de um cérebro.
– Sistemas paralelos distribuídos, compostos por
unidades de processamento (nodos), que
calculam funções matemáticas!
– Unidades compostas em camadas e interligadas
por conexões -> Inspirado no cérebro humano
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
2/26
(1) Introdução
• Solução bastante atrativa
– Desempenho superior às soluções
convencionais.
• Fase de Aprendizagem
– Exemplos são apresentados;
– Extrai-se características necessárias;
– Características utilizadas para gerar respostas
aos problemas.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
3/26
(1) Introdução
• Capacidade de aprender
– Através de exemplos, generalizando a
informação aprendida.
• É o maior atrativo das RNAs
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
4/26
(2) Histórico
• Primeiro modelo artificial – Warren
McCulloch e Walter Pitts em 1943
– McCulloch - Psiquiatra e Pitts – Matemático
• Modelo de Nodos ou nodos MCP
• Discussão em cima dos métodos de
aprendizagem.
• Modelo MCP – Descrição do modelo
artificial.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
5/26
(2) Histórico
• Primeiro trabalho ligado ao aprendizado –
Donald Hebb – 1949
– Variação dos pesos de entrada dos nodos
– Utilizado hoje em vários algoritmos de
aprendizagem
• 1958 – Frank Rosenblatt demonstrou que o
perceptron poderiam classificar certos tipos
de padrões.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
6/26
(2) Histórico
• Perceptron de 3 camadas:
– 1 – Valores de Entrada (conexões fixas);
– 2 – Recebe os valores de entrada, cuja
transmissão é ajustável;
– 3 – Envia as saídas como resposta.
• Faz classificação dividindo o espaço de
valores em regiões distintas.
• Valores devem ser linearmente separáveis
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
7/26
(2) Histórico
• Os conexionistas buscam até hoje:
– Projetar RNAs que fossem capazes de fazer
descobertas interessantes sem a necessidade de
regras!
• Em 1969 – Minsky e Papert descobriram
que o perceptron não resolvia “problemas
difíceis de aprender”(hard learning
problems) – problemas não linearmente
separáveis!
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
8/26
(2) Histórico
• Problema de tempo e espaço da IA
simbólica, logo afetaria os conexionistas.
• Anos adormecidos (anos 70), apenas alguns
trabalhos na área.
• 1982 – artigo de John Hopfield estimula a
retomadas das pesquisas na área.
– Redes neurais de múltiplas camadas poderiam
resolver os “problemas difíceis de aprender”.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
9/26
(3) Motivação: Redes Biológicas
• Cérebro humano, comunicação de
neurônios, processamento de informações e
comportamento conjunto são a base para as
RNAs.
• As RNAs tentam reproduzir as funções das
redes biológicas.
– Mas, pelo menos fisicamente, se diferem
bastante.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
10/26
(3) Motivação: Redes Biológicas
• Ambos são baseados em unidades de
computação paralela e distribuídas, que se
comunicam via conexões sinápticas
nervosas.
• As RNAs podem reproduzir com fidelidade
funções só encontradas no seres humanos.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
11/26
(3) Motivação: Neurônios Biológicos
• Neurônios são divididos em 3 seções:
– Corpo, dendritos e o axônio.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
12/26
(3) Motivação: Neurônios Biológicos
• O efeito das sinapses é variável, dando ao
neurônio uma capacidade de adaptação.
• Sinais recebidos são passados para o corpo,
onde são comparados com os outros sinais.
• Se o percentual é suficientemente alto, a
célula dispara um impulso nervoso!!
• Entradas: inibidoras ou excitatórias!
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
13/26
(4) Neurônios Artificiais: modelo MCP
• Simplificação do que se sabia sobre os
neurônios biológicos.
• Modelo de n terminais de entrada x1,
x2,...,xn (dendritos) e apenas uma saída y
(axônio).
• Os terminais de entrada possuem pesos
associados: w1, w2,...,wn (que podem ser
positivos ou negativos – excitatórias ou
inibitórias)
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
14/26
(4) Neurônios Artificiais: modelo MCP
• O efeito de uma entrada é dado por: xiwi
• Os pesos determinam “em que grau” o neurônio
deve considerar sinais de disparo que ocorrem
naquela conexão.
• Um neurônio biológico dispara quando a soma dos
impulsos que ele recebe ultrapassa o seu limiar de
excitação (threshold)
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
15/26
(4) Neurônios Artificiais: modelo MCP
• É feito a soma de cada xiwi (soma
ponderada) e decide-se se o neurônio deve
ou não disparar (saída 1 ou 0).
• No MCP, a ativação é dada pela “função de
ativação”, que ativa ou não a saída.
n
Função de Limiar:
∑ xiwi ≥ θ
i=1
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
16/26
(4) Neurônios Artificiais: modelo MCP
• É considerado que os nodos de cada camada
disparam sincronamente, todos são
avaliados ao mesmo tempo.
• Limitações do MCP:
– Com apenas 1 camada só resolvem problemas
linearmente separáveis;
– Pesos negativos são mais adequados para
representar disparos inibidores;
– Proposto com pesos fixos, não ajustáveis.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
17/26
(5) Funções de Ativação
• Função DEGRAU: Produz saídas + para os
valores de x maiores que zero e saída -
para valores de x menores que zero.
y=
{
+ se x > +
- se x ≤ -
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
18/26
(5) Funções de Ativação
• Outros modelos propostos que produzem
uma saída qualquer (≠ 1 ou ≠ 0)
• Função linear: y = αx
α – número real
y – saída
x - entrada
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
19/26
(5) Funções de Ativação
• Função linear restringida, produzindo
valores constantes em uma faixa [-,+],
sendo chamada de função RAMPA;
y=
{
Disciplina: Inteligência Artificial
+ se x ≥ +
x se |x| < +
- se x ≤ -
Professor: Frederico Brito Fernandes
20/26
(5) Funções de Ativação
• Função SIGMOIDAL (S-shape): Utilizadas
na construção de diversos modelos nas mais
diversas áreas. Função Sigmoidal Logística:
1
y=
1 + є-x/T
T - representa a
suavidade da curva
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
21/26
(6) Principais Arquiteturas das RNAs
• Redes com uma única camada de NODOS MCP,
só resolvem problemas linearmente separáveis.
• Com mais camadas, resolvem outros tipos de
problemas.
• Parâmetros da arquitetura:
–
–
–
–
número de camadas da rede;
número de nodos nas camadas;
tipo de conexão entre os nodos;
topologia da rede.
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
22/26
(6) Principais Arquiteturas das RNAs
• Número de camadas:
– Camada única:
X1
x2
x3
– Múltiplas camadas:
x1
x2
x3
x4
x5
x6
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
23/26
(6) Principais Arquiteturas das RNAs
• Tipos de conexões:
– feedforward ou acíclica: saída de um nodo não pode
ser usada como entrada de outro em camada inferior
ou na mesma camada.
x1
x2
x3
x4
x5
x1
x2
x3
x4
x5
x6
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
24/26
(6) Principais Arquiteturas das RNAs
• Tipos de conexões:
– feedback ou cíclica: a saída de algum neurônio pode
ser usada como entrada de outro em camada inferior
ou na mesma camada:
x1
x2
x3
Se todas as ligações são cíclicas, a
rede é denominada autoassociativa. Úteis para recuperação
de padrões de entrada.
x4
Disciplina: Inteligência Artificial
Professor: Frederico Brito Fernandes
25/26
(6) Principais Arquiteturas das RNAs
• Conectividade:
– Rede fracamente (ou parcialmente) conectada:
x1
x2
x3
x4
x5
– Rede completamente conectada:
x1
x2
X1
x2
x3
x4
Disciplina: Inteligência Artificial
x3
Professor: Frederico Brito Fernandes
26/26