Fundamentação Teórica
AGs: Algoritmos de busca baseados nos mecanismos de seleçãoo natural
e na genética. Implementam estratégias de buscas paralelas e aleatórias
para solucionar problemas de otimização [Goldberg 1989].
Para implementação é necessário:
Representação do problema no formato de um código genético
População inicial que contenha diversidade suficiente
Método para medir a qualidade de uma solução (fitness)
Procedimento de combinação para gerar novos indivíduos
Critério de escolha das soluções que permanecerão na população ou
serão retirados
Procedimento para introduzir novas alterações em algumas soluções
da população.
Problemas Complexos
Meta-heurística Tabu (Kurahashi S.; Terano T.,
2000.)
Evolução Cooperativa (Potter, M.A.; De Jong K.,
2000)
Criação de Nichos (Hiroyasu T.; Miki M.;Watanabe S.,
1999)
Técnicas para Melhorar AGs
AGS são apropriados para problemas complexos, mas
algumas melhorias devem ser feitas, permitindo
trabalhar com problemas multimodal e multiobjetivo.
Sharing ou Compartilhamento de Recursos reduz o valor de aptidão de indivíduos que tem
membros altamente similares dentro da populaçao;
Evolução Cooperativa força a competição entre
espécies
Integração de Algoritmos Genéticos com
Algoritmos de Busca Simulated annealing, Hill
climbing, Busca tabu, entre outros.
Sharing
Limita o crescimento descontrolado de espécies
particulares dentro de uma população;
Força uma maior diversidade populacional
Similaridade pode ser medida tanto no espaço
genotípico como no espaço fenotípico;
Genotípico: atributos iguais entre dois indivíduos
Fenotipico: exemplos de treinamento cobertos pela
regra.
(GOLDBERG; RICHARDSON, 1987)
Meta-heurística Tabu - [Kurahashi e Terano,
2000].
tabu
População (t)
Candidatos (t+1)
muta₤₧o
similar
AG
Renovado
Renovado
passou
tabu
Esp₫cie - 1
indivíduo
EA
Popula₤
₧o
fitness
Modelo do
Domínio
Esp₫cie - 1
EA
Esp₫cie - 2
EA
Esp₫cie - 3
EA
representante
Esp₫cie 1 - Avalia₤₧o
Popula₤₧o
representante
Esp₫cie 2 - Avalia₤₧o
Popula₤
₧o
Esp₫cie - 3
EA
Popula₤₧o
Esp₫cie - 2
EA
Esp₫cie - 1
EA
Popula₤₧o
representante
fitness
Modelo do
Domínio
representante
Esp₫cie - 2
EA
Popula₤₧o
Popula₤₧o
representante
indivíduo
Popula₤₧o
Modelo do
Domínio
representante
Esp₫cie - 3
EA
fitness
indivíduo Popula₤
₧o
Esp₫cie 3 - Avalia₤₧o
Evolução Cooperativa - [Potter e De Jong 2000]
Criação de Nichos [Hiroyasu T.; Miki M.;Watanabe S., 1999]
GADBMS
GADBMS: sistema classificador baseado na indução de
regras.
Utiliza um algoritmo genético restrito por x listas Tabu
para efetuar a busca das regras (x = quantidade classes)
Implementado em C++ com interface DOS
Conjuntos de dados devem estar armazenados em banco
de dados
Arquitetura do GADBMS
Módulo Configura₤₧o
Recebe os parâmetros de entrada:probabilidade de
cruzamento, mutação, probabilidade de criação de
restrições vazias, medida de similaridade (genótipo /
fenótipo), tamanho da lista longa e da lista curta, etc.
Arquivo contendo a seguinte informação:
CLASSES 0,1,2.
v1
continuous.
v2
1,2,3.
v3
0,1.
v4
1,2,3,4,5.
v5
continuous.
v6
0,1.
v7
continuous.
v8
continuous.
Módulo GATABU
População
classes v1 (min) v1(máx)
v2
v3
v4 ...
1
0.85
1.26
1
*
3
0
0.15
*
1
0
1
1
0.85
1.26
1
1
3
1
*
1.02
*
0
5
2
*
*
3
0
4
IF v1 >= 0.85 AND v1 <= 1.26
v2 =
1
v3 =
*
v4 =
3
Then classes = 1
FITNESS = 0.81818182
Módulo GATABU
Função de Aptidão
(VP + 1)/(VP+FP+K)
VP, exemplos positivos corretamente classificados pela
regra
FP, exemplos negativos incorretamente classificados
como positivos
K, ₫ o número de classes no domínio
Módulo GATABU (AG Restrito)
Mutação
x ListasTabu
População
(t)
Seleção
Cruzamento
Mutação
População
(t+1)
Módulo GATABU
Similaridade:
Genótipo - quantidade de atributos similares ou
id₨nticos na regra;
Fenótipo - quantidade de registros corretamente
classificados pela regra.
Cruzamento em dois pontos;
Mutação:
Escolhe aleatoriamente um dos atributos e altera o
valor de acordo com os valores pré-definidos no
módulo de configuração.
Módulo Regras Extraídas
Reúne em um só conjunto as regras armazenadas nas
Listas Longas para verificação da precisão do
classificador;
Ordena de uma maneira apropriada;
Elimina regras que não cobrem nenhum exemplo no
conjunto de treinamento;
Classe padrão será aquela que possuir mais registros não
cobertos pelas regras;
Avalia as regras verdadeiras na base de teste;
Experimentos Realizados
Conjuntos de dados analisados (UCI)
(LIM;LOH;SHIH,1999;LOPES;POZO,2001)
Nome
Tam.
Classes Atributos Atributos
(D)
(C)
BLD
345
2
6
BLD+
345
2
15
PID
532
2
7
PID+
532
2
15
SMO
1855
3
3
5
SMO+
1855
3
10
5
VOT
435
2
16
VOT+
435
2
30
D - atributo discreto, C - atributo continuo, + dados com ruídos
Resultados Obtidos
Similaridade aplicada no conjunto de dados Smoke
Genótipo
Fenótipo
3
10
Taxa de erro
0,3050
0,3050
Popula₤₧o
200
200
4
4
00:01:56
00:16:58
Regras encontradas
Distância
Tempo (hh:mm:ss)
Distância 4
Genótipo: corresponde a quantidade de atributos iguais
Fenótipo: percentual de indivíduos cobertos (4 = 40%)
Resultados Obtidos Precisão
LIM;
Nome
Min
LOH;
SHIH
LOPES;POZO GADBMS
Max.
Mediana
Mediana
Mediana
BLD
0,2790 0,4320
0,3220
0,3775
0,3862
BLD+
0,3130 0,4410
0,3490
0,3475
0,4219
PID
0,2210 0,3100
0,2380
0,2593
0,2576
PID+
0,2210 0,3180
0,2500
0,2778
0,2705
SMO
0,3040 0,4240
0,3050
0,3008
0,3050
SMO+
0,3050 0,4110
0,3050
0,3068
0,3050
VOT
0,0364 0,0580
0,0457
0,0582
0,0503
VOT+
0,0412 0,0662
0,0469
0,0611
0,0455
MEDIA
0,2151 0,3075
0,2327
0,2486
0,2553
Resultados Obtidos
GADBMS obteve taxa de erro de 0,2553.
Comparado à taxa de erro dos 23 algoritmos
apresentados por (LIM; LOH; SHIH, 1999; LOPES;
POZO, 2001),que obtiveram taxa de erro de 0.2151 e
0.2486, GADBMS não é estatisticamente diferente
desses algoritmos ao nível de 10%, pois a diferença
entre eles não é maior que 0,058 (M₫todo Tukey).
De acordo com a análise de rank, GADBMS obteve a
posição 15,2. Segundo HOLLANDER (1999), a
diferença na m₫dia dos ranks maior que 8.7 ₫
estatisticamente significante ao nivel de 10%. Dos 22
algoritmos (LIM;LOH,SHIH,1999) a melhor posição
ficou com o algoritmo QL1 (7,6) e a pior posição ficou
com o algoritmo IB (19,1).
Conclusões
Com o GADBMS as regras podem ser encontradas em
apenas uma execução;
Uso de comandos SQL possibilita a execução do classificador
em bases de dados relacionais;
Mostrou efici₨ncia trabalhando com populações pequenas;
Se encontrada uma função de aptidão adequada ao
problema tratado, a precisão pode ser melhorada;
A medida de similaridade também mostra ser um parâmetro
importante na busca das regras;
A classificação utilizando regras tem a vantagem de ser
facilmente compreendida por humanos.
Trabalhos Futuros
Executar a ferramenta em conjuntos maiores de dados,
analisando tamb₫m o tempo de execução e as regras
encontradas;
Utilizar novos conjuntos de parâmetros e funções de aptidão
que possam vir a aumentar a precissão do classificador;
Encontrar uma medida de distância adequada que possa ser
aplicada indiferente aos tipos de atributos que estão sendo
avaliados;
Utilizar novas heurísticas na busca das regras, como a
utilização da Evolução Cooperativa.
Programação Genética
$
$
$
Programação Genética (PG): método de
indução de programas baseado na
seleção natural das espécies.
Objetivo: evoluir uma população de
programas candidatos à solução de um
dado problema.
Função de aptidão ao ambiente (fitness):
mede a habilidade de um programa para
resolver um problema
Funcionamento da PG
$
É feito iterativamente em quatro etapas:
$ 1. Gera-se população inicial de programas
de forma aleatória
$ 2. Avaliação dos programas (função de
aptidão)
$ 3. Com base nos valores de aptidão,
programas sofrem ação de operadores
genéticos: reprodução, cruzamento,
mutação
$ 4. Aplicação dos operadores genéticos
segue até que uma nova população tenha
sido gerada
F={+, -, *, /}
T = { x, 2 }
Árvore de Sintaxe Abstrata de x*x+2
+
*
X
2
X
Exemplo de criação de programa
Terminais: T={A,B,C}
Fun₤ões:
F={+,*,%,If,Lte}
Come₤e com + e 2arg
Continue com * e 2arg
Complete com terminais
A,B,C
O resultado é um prog.
Executavel, Closed
+
+
*
+
C
*
A
B
Mutuação
2 tipos de mutuções são possiveis
Uma função pode substituir uma função
ou um terminal pode substituir outro;
Um subtree pode ser substituido o novo
subtree é gerado aleatoriamente ao
igual que a população inicial.
Implementação
Lil-gp: ferramenta de PG
Problema da Formiga de Santa Fé
Melhorando a Taxa de Erro na
Tarefa de Classificação
Celso Yoshikazu Ishida, Dra. Aurora T. R. Pozo
[email protected], [email protected]
Departamento de Informática,
Universidade Federal do Paraná,
Centro Politécnico, Jardim das Americas
81531-970 Curitiba - PR, Brazil
Resumo
Introdução
Objetivos do Trabalho
DM, Classificação
GGP
GPSQL Miner
Experimentos
Conclusão
Mineração
A atual “era da informação” é
caracterizada por uma expansão
extraordinária do volume de dados.
Esta situação tem gerado demandas por
novas técnicas e ferramentas que, com
eficiência, transformem os dados
armazenados e processados em
conhecimento útil.
Classificação
Dado um conjunto de instâncias.
A tarefa de classificação encontra uma
descrição lógica (modelo) para um
atributo objetivo a partir de um
conjunto de atributos descritores.
Tabela: Cliente
Alias: C
Cli
1
2
3
4
Estuda
Trabalha
Sim
Não
Sim
Sim
Sim
Sim
Não
Não
Tabela: Venda
Alias: V
Cli
1
1
2
2
2
3
Comp
Preço
Venda R$
C20
C30
C10
C20
C21
C30
1100
400
2000
1100
3100
400
Tabela: TipoComputador
Alias: T
Comp
C10
C20
C21
C30
Tipo
(goal)
Laptop
Desktop
Desktop
HandHeld
Preço
(R$)
2000
1000
3000
500
IF C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco THEN T.Tipo = ‘Laptop’
ELSE IF C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda THEN T.Tipo = ‘Desktop’
ELSE IF C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda THEN T.Tipo = ‘Handheld’
GPSQL Miner ?
Classificação em SGBD com GGP
GP - Genetic Programming
SQL - formato do classificador é SQL
Miner - ferramenta para mineração de
dados
GPSQL Miner – GP ?
Porque utilizar GP ?
Manipula dados inválidos e imprecisos. São
dados que podem impossibilitar a um
algoritmo encontrar uma solução adequada
para o problema.
Fácil adaptação a diferentes aplicações
Procura paralela implícita pelo espaço de
busca
GPSQL Miner – GGP ?
Porque GGP ?
Automatizar o processo
Uma vez que o sistema gera automaticamente
a gramática de acordo com a base de dados
Para gerar apenas soluções válidas
(indivíduos)
Orientar operações genéticas
GPSQL Miner
Porque utilizar SGBD ?
R: Para aproveitar as vantagens: [Freitas]
Informações em SGBD (DataWarehouse)
Re-utilização e redundância
Recursos SGBD:
Escalabilidade
Controle de segurança e privacidade
Paralelismo (Parallel SQL Servers)
GPSQL Miner
Porque utilizar SGBD ?
Definição da gramática de acordo com o
problema através da pesquisa de
informações na base de dados
Possibilitando a geração automática de
classificadores
GPSQL-Miner
IF C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco THEN T.Tipo =
‘Laptop’
ELSE IF C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda THEN T.Tipo = ‘Desktop’
ELSE IF C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda THEN T.Tipo = ‘Handheld’
S ‘Laptop’ W C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco
S ‘Desktop’ W C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda
S ‘Handheld’ W C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda
Programação Genética
Usa um processo de evolução baseado
em Darwin para inducir programas
Inspirados na Teoria da Evolução: os
indivíduos mais adaptados
sobrevivem
Algoritmos Evolucionarios
Uma população de individuos
A noção de fitness
Um ciclo de nascimento e morte
baseados na fitness
A noção de herança
Grammar Based Genetic Programming
Arquivo BNF para base de dados de vendas de computadores.
1 Start ::= <classifier>
2 <classifier> ::= <r> <r> <r>
3 <r> ::= S <goal> W <cond> | S <goal> W <cond> and <cond> | S <goal> W <cond> and
<cond> and <cond>
4 <goal> ::= ‘Laptop’ | ‘Desktop’ | ‘Handheld’
5 <cond> ::= C.Estuda = <boolean> | C.Trabalha = <boolean> | T.Preco <Noperator>
<value_T.P> | V.PrecoVenda <Noperator> <value_V.PV>
6 <value_T.P> ::= V.PrecoVenda | 500 | 1000 | 2000 | 3000 | random( 400, 3100)
7 <value_V.PV> ::= T.Preco | 500 | 1000 | 2000 | 3000 | random( 400, 3100)
8 <boolean> ::= ‘Sim’ | ‘Não’
9 <Noperator> ::= = | != | < | > | <= | >=
Qualidade Classificador
Capacidade de compreensão do
conhecimento descoberto
Tamanho Classificador
Número de Regras
Simplificação do Classificador
Critérios subjetivos
Taxa de Erro
GPSQL Miner
SQL
Parameters
Oracle
BNF File
SQL-BNF
Oracle
Evaluate
Crossover
Statistics File
GP
Config
File
Mutation
Statistics File
SQL Parameter File
//Tables
P -> Pessoa
Com -> Endereco
//Goal
Column -> Compra
Table -> L
//Columns
Column -> L.GENERO
Column -> L.PAIS
Column -> L.IDADE
Experimentos
Comparação com 33 algoritmos
22 algoritmos de árvore de decisão
9 clássicos e modernos algoritmos
estatísticos
2 algoritmos de redes neurais
Databases: 16 databases
8 com ruído ‘+’
Execução
Cada Database foi executado 10 vezes
10 sub-conjuntos distintos (ten-fold crossvalidation)
Train 90% e Test 10%
Calculado o Accuracy do melhor indivíduo de
cada Run
Calculado a média de Accuracy
Comparação
Foi feita a transformação de variáveis
sugerida por [Box & Cox 1964] devido
ao fato que as variâncias não se
mostraram homogêneas.
Detectou-se uma relação positiva entre
as médias da variável resposta e a
variabilidade dadas mesmas.
Box, G.E.P. and Cox, D.R.(1964) An analysis of transformations. JRSS B 26:211-246.
Comparação
A transformação Box-Cox tornou as
variâncias homogêneas de acordo com
os pressupostos das análises.
Para comparação das médias foi
utilizada a análise de variância para o
modelo em blocos ao acaso e o teste de
Tukey para comparação das médias.
Programa R - http://www.r-project.org/
Conclusão
Utilização SGBD ajuda na criação do
arquivo BNF de acordo com cada base
GPSQL Miner:
Boa representação de conhecimento para
problemas de Classificação
É melhor do que XX algoritmos com 95%
de segurança
Arquivos de estatísticas podem ser usados
para melhorar a própria ferramenta
Trabalhos Futuros
Aplicação em outros domínios
Melhorar performance (tempo)
Adaptação automática de parâmetros
Melhorar a Accuracy
Criar outros operadores genéticos (dropping
conditional)
Melhorar os pontos de crossover e mutação
Descoberta automática do número de regras
