análise do desempenho de arquiteturas de agentes

Anais do 15O Encontro de Iniciação Científica e Pós-Graduação do ITA – XV ENCITA / 2009
Instituto Tecnológico de Aeronáutica, São José dos Campos, SP, Brasil, Outubro, 19 a 22, 2009.
ANÁLISE DO DESEMPENHO DE ARQUITETURAS DE AGENTES
INTELIGENTES NA RESOLUÇÃO DE PROBLEMAS ESTRATÉGICOS EM
TEORIA DOS JOGOS
Roger Vinícius Garcia
ITA - Instituto Tecnológico de Aeronáutica
Rua H8-B, nº224, Campus do CTA, São José dos Campos - SP, Brasil, CEP 12228-461
Bolsista PIBIC-CNPq
[email protected]
Paulo Marcelo Tasinaffo
ITA - Instituto Tecnológico de Aeronáutica – Divisão de Ciência da Computação
Pç. Marechal Eduardo Gomes, nº 50, São José dos Campos – SP, Brasil, CEP 12228-900
[email protected]
Resumo. O objetivo deste trabalho é utilizar técnicas de Inteligência Artificial para desenvolver um agente capaz de jogar o jogo
Mancala, mas cujo algoritmo pode ser aproveitado e expandido para qualquer outro jogo iterativo. Para tanto, utiliza-se o algoritmo
Minimax, que busca a árvore de jogadas da partida e tenta estimar a melhor jogada a partir de uma heurística de avaliação dos
estados encontrados. Uma otimização no tempo da busca é feita com a Poda a-b, que organiza de maneira inteligente a busca. A
problemática da patologia do Minimax é analisada. Por fim, utiliza-se um Algoritmo Genético para tentar resolver a patologia do
Minimax e para otimizar a heurística de avaliação, resultando em um agente com jogadas melhores e mais rápidas.
Palavras-chave: Mancala, Minimax, Algoritmos Genéticos, Teoria dos Jogos.
1. Introdução
Os agentes inteligentes programados segundo técnicas da Inteligência Artificial são capazes de executar inúmeras
tarefas; entre elas, está a capacidade de jogar jogos iterativos, buscando o resultado que o favoreça ao máximo. Há muito
o campo da Teoria dos Jogos estuda esses jogos, e um de seus principais frutos para a programação de agentes
inteligentes foi o algoritmo Minimax, que possibilita ao agente prever jogadas boas e ruins, em uma árvore de busca. Os
resultados obtidos em Teoria dos Jogos são, geralmente, aplicados em simulações e previsões no ramo da Economia, mas
também podem ser utilizados para trabalhar planejamentos estratégicos em caso de guerra.
O algoritmo Minimax é então aplicado ao jogo de tabuleiro Mancala, de origem africana. A simplicidade do jogo, em
comparação a outros jogos de tabuleiro, reduz algumas complicações específicas, sendo possível o foco majoritário das
atenções sobre as técnicas do Minimax em si.
O objetivo do trabalho é buscar uma otimização do algoritmo Minimax, tanto em tempo de processamento quanto em
qualidade do agente jogador. Para tanto, são utilizadas as técnicas Poda a-b (tempo) e Algoritmos Genéticos (qualidade),
em conjunto com o Minimax.
2. Modelagem do jogo
Neste trabalho, aborda-se o caso de jogos nos quais os jogadores alternam-se em movimentos, em um número finito
deles, até ser atingido um estado final. Nesta categoria, enquadram-se diversos estilos populares de jogos, como Xadrez,
Damas, Gamão, Othello, entre outros. Aqui, será abordado o jogo Mancala, cuja simplicidade nos permite focar mais em
aspectos próprios do Minimax.
2.1 Definição formal de um jogo
Um jogo pode ser definido formalmente como uma busca, que apresenta um estado inicial, um conjunto de
operadores capazes de levar um estado a outro, um teste que identifica quando o jogo termina, e uma função utilidade,
que atribui pontuações a cada um dos jogadores (Russel, 2003). Estendendo-se essa definição e utilizando a notação
adequada, são identificados os seguintes elementos de um jogo:
i. Um conjunto de jogadores P = {p1, p2, ... , pn };
ii. Um conjunto S de estados, sendo dado um s0 e S como estado inicial;
iii. Um subconjunto SF Õ S, contendo os estados terminais;
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
2
iv. Um conjunto de ações aij e Ai, permitidas a cada jogador pi, em um dado estado s;
v. Uma função mudança de estado T: SäAöS, que aplica a ação de um jogador em um estado, levando o jogo para o
estado seguinte: T(s,a) = s’;
vi. Uma estratégia gi:SöA de cada jogador pi, sendo esta uma função que associa um estado s (completamente ou
parcialmente observável pelo jogador pi) a uma de suas ações aij;
vii. Uma função utilidade aproximada ui:Sö, que avalia o quão favorável é um estado intermediário do jogo, do
ponto de vista do jogador pi;
viii. Uma função utilidade Ui:SFö , que atribui pontuações a cada um dos jogadores ao final do jogo;
2.2 Definição do jogo Mancala
A denominação Mancala abrange uma categoria de jogos de tabuleiro de origem africana, com regras ligeiramente
diferentes, mas todos baseados em um mesmo esquema de jogo: a semeadura de grãos em cavidades. O tabuleiro é
composto de 14 cavidades, sendo 2 maiores, denominadas Kahalas; as outras 12 cavidades menores são divididas em 2
grupos, sendo 6 pertencentes a cada jogador. A Kahala de cada jogador fica ao lado direito das cavidades menores, e o
número de pedras contidas nela define a pontuação do jogador. No início do jogo, são dispostas 4 pedras, em cada uma
das cavidades menores. Nessa configuração, as pedras não pertencem a nenhum jogador em especial, mas sim ao
tabuleiro. A Fig. 1 exemplifica a configuração inicial.
Figura 1. Esquema da disposição inicial das peças no tabuleiro de Mancala.
Uma jogada é realizada quando um jogador escolhe uma de suas 6 cavidades menores com número de pedras
diferente de zero, e “semeia” seu conteúdo, em sentido anti-horário, depositando uma pedra em cada cavidade
subsequente. A sua própria Kahala deve ser contemplada na semeadura, mas a Kahala adversária deve ser ignorada. Caso
a última cavidade a ser semeada seja sua própria Kahala, o jogador deve jogar novamente.
A captura se dá quando a última pedra semeada cai em uma cavidade vazia, pertencente ao jogador que efetuou a
semeadura. Neste caso, tanto a pedra em questão como todas as pedras da cavidade adversária oposta a essa são
recolhidas para a Kahala do jogador.
O final da partida se dá quando não houver mais pedras em um dos lados do tabuleiro. As peças que sobraram são
recolhidas para a Kahala do jogador dono das cavidades onde se encontram. Vence o jogador que possuir o maior
número de pedras em sua Kahala, ao final do jogo.
O jogo Mancala é de implementação simples, do ponto de vista computacional, pois cada um de seus estados pode ser
descrito como um vetor de 14 elementos, cada elemento representando o número de pedras em sua respectiva cavidade.
Por essa simplicidade, o desenvolvimento da árvore de jogadas é facilitado, economizando processamento com o jogo em
si, e focando mais no desempenho do agente jogador. A ausência de especialização das peças, como ocorre no Xadrez, e
a limitação dos movimentos de cada jogador (no máximo 6) também simplificam a realização dos cálculos.
Apesar de ter sido escolhido o Mancala, outras plataformas de jogos podem ser utilizadas, utilizando-se a mesma
teoria na implementação dos agentes (como Othello, Damas e Xadrez). No entanto, jogos que incluem um elemento de
3
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
sorte (como Gamão e outros jogos que incluam dados) devem ser adaptados, a fim de incluir pesos probabilísticos no
desenvolvimento da árvore de jogadas.
2.3 Assimetria da primeira jogada
Um problema detectado no jogo Mancala foi uma assimetria no tocante à primeira jogada da partida. Depois de
implementada a plataforma Mancala no ambiente MATLAB, foi executada uma simulação em que dois jogadores
executam, ao longo da partida, movimentos aleatórios, dentre os permitidos. Após 106 partidas da simulação, observou-se
que o jogador que inicia a partida (efetua a primeira jogada) tem mais chances de ser o vencedor da partida, como mostra
a Tab. 1:
Tabela 1: Porcentagens de vitórias para o agente da primeira jogada.
Vitórias
Derrotas
Empates
Resultados obtidos pelo agente da
jogada inicial
48,36%
45,35%
6,29%
Essa assimetria estatística revela que o jogador que inicia a partida é uma variável relevante, quando se considera o
desempenho dos agentes. Por isso, quando são rodados testes e simulações (mostrados mais à frente), realiza-se duas
vezes a mesma partida, comutando-se o jogador que a inicia, para que haja maior homogeneidade e fidelidade ao
desempenho real do agente, cancelando os efeitos da assimetria estatística.
2.4 Aplicação do modelo ao Mancala
As correspondências entre o modelo apresentado na seção 2.1 e o jogo Mancala são descritas a seguir:
i. Dois jogadores perfazem P = {p1, p2};
ii. Cada estado do jogo pode ser descrito como um vetor s e 14, s = (c1, c2, c3, c4, c5, c6, K1, c7, c8, c9, c10, c11, c12, K2),
sendo o valor de ci o número de pedras contidas na cavidade i, e Kj o número de pedras contidas na Kahala do jogador j
(contudo, notar que S ∫ 14). O estado inicial é s0 = (4, 4, 4, 4, 4, 4, 0, 4, 4, 4, 4, 4, 4, 0);
6
12
iii. O conjunto de estados terminais é aquele em que ∑ ci = 0 ou ∑ ci = 0 (um dos jogadores fica sem peças);
i =7
i =1
iv. A ação permitida a cada jogador é escolher uma de suas cavidades não vazias e semear as pedras contidas nela,
totalizando um máximo de 6 opções a cada instante;
v. A função mudança de estado é a própria semeadura das pedras, levando a um novo estado s’;
vi. A estratégia de cada jogador é definida por ele mesmo. No caso deste trabalho, a função do agente jogador
desenvolvido é aplicar uma estratégia que o leve à vitória;
vii. A utilidade aproximada de cada estado também é dependente do jogador. No caso do agente jogador, ela é dada
por uma heurística de avaliação, que leva em conta diferentes características do jogo para chegar a um veredicto sobre a
utilidade do estado;
viii. As funções utilidades são U1(s) = K1 e U2(s) = K2, para um s e SF.
Assim, dado s0 e S, o jogador p1 dá como input ao jogo uma ação a = g1(s0), de acordo com sua estratégia g, levando o
jogo a um estado s’ = T(s0, a). O jogador p2 realiza o mesmo procedimento, e assim sucessivamente, até que seja
alcançado um estado sf e SF. Então, o resultado do jogo são as pontuações U1(sf) e U2(sf), e o ganhador é aquele com a
maior pontuação final. Caso sejam iguais, há um empate.
4
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
3. Desenvolvimento do agente jogador com Minimax
Uma abordagem clássica para problemas de Teoria dos Jogos é a utilização do algoritmo Minimax. Nesse algoritmo,
o jogador denominado MAX tenta obter o maior resultado possível no jogo, enquanto MIN tenta minimizá-lo. O
algoritmo Minimax desenvolve a árvore de jogadas da partida, atribuindo um estado para cada um de seus nós, a partir do
estado inicial. Em cada nó, o jogador da vez tem um conjunto de jogadas que pode realizar, e cada uma delas leva a um
nó diferente, formando a árvore de jogadas até os estados finais. Nos estados finais, ou seja, nas folhas da árvore, a
utilidade dos estados é calculada, e são atribuídos pontos a cada um dos jogadores.
A função de MAX é escolher a melhor jogada, dado um ponto da árvore correspondente ao estado atual, supondo que
MIN executará sempre sua melhor jogada. Esse cálculo é realizado desde as folhas até o nó da árvore que representa o
estado atual do jogo, sempre admitindo que MIN escolherá a jogada que o leva a nós com função utilidade menor.
Matematicamente: seja A o conjunto de ações do jogador que executa o Minimax, e B o conjunto de ações do jogador
adversário. A estratégia Minimax é a resolução de γ ( s ) = a tal que o termo indicado na Eq. (1) seja máximo. O
raciocínio é análogo para jogos com mais de uma ação de cada jogador: basta iterar o algoritmo para profundidades
maiores da árvore de jogadas.
max min U [T ( s ', b )] , s ' = T ( s , a )
a∈A b∈B
(1)
Um exemplo pode ser dado no jogo trivial de 2 jogadas descrito pela Tab. 2: o jogador A (MAX) deve escolher uma
linha, e somente depois disso o jogador B (MIN) deve escolher uma coluna. O resultado do jogo é o elemento da matriz
que corresponde à linha e à coluna escolhidas pelos jogadores. Prevendo que a melhor escolha de MIN seja a coluna que
contém o menor elemento da linha escolhida, MAX tentará maximizar a jogada de MIN, escolhendo a linha 3. Dessa
forma, o melhor resultado para MIN será a escolha da coluna 3, resultando o valor -1 no jogo.
Tabela 2. Exemplo de jogo em matriz.
A escolhe 1
A escolhe 2
A escolhe 3
B escolhe 1
+3
-4
+2
B escolhe 2
-2
+1
0
B escolhe 3
-1
0
-1
Em forma de árvore, o jogo de 2 movimentos acima seria descrito como na Fig. 2:
Figura 2. Árvore do jogo.
Na árvore, pode-se perceber que o agente espera que MIN faça sempre a melhor jogada, indo para o estado de menor
valor. Prevendo isso, MAX pode basear sua escolha aplicando valores -2, -4 e -1, respectivamente, às jogadas A1, A2 e
A3. Escolhe, portanto, a de maior valor: A3.
No entanto, na maioria dos jogos (incluindo o Mancala), não é possível descrever uma árvore de possibilidades em
sua totalidade, dado que a característica exponencial do desenvolvimento dos nós produziria um número muito grande de
estados, sendo admitido infinito na maioria dos jogos. Nesses casos, a função utilidade dos nós não pode ser calculada, e
portanto deve ser estimada segundo uma heurística de avaliação.
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
5
3.1 Poda a-b
Um método de otimizar a busca do algoritmo Minimax é a Poda a-b. Nela, o algoritmo elimina galhos da árvore que
comprovadamente não podem trazer resultados melhores para o agente, interrompendo a busca naquele trecho da árvore.
Desta forma, o tempo de processamento é reduzido, mas o resultado da busca é o mesmo nas duas técnicas (Korf, 2996).
Um exemplo pode ser dado na Fig. 3.
Na árvore da Fig. 3, o agente MAX faz a avaliação dos três primeiros estados, determinando a A1 o valor -2. Ao
analisar A2-B1, encontra o valor -4. Assim, assumindo que MIN fará sempre a melhor jogada, pode esperar que MIN
escolha -4 (ou um número menor, dependendo da avaliação das outras 2 opções) se sua escolha for A2. Portanto, pode
“podar” a busca nesse galho da árvore, pois não encontrará valores mais favoráveis do que encontrou em A1. Passando
para o nó A3, faz normalmente a avaliação, encontrando o valor -1, não havendo poda. Há, portanto, uma economia no
tempo de processamento da árvore, especialmente para buscas de profundidade maior.
Figura 3. Árvore com Poda a-b.
A implementação da Poda a-b no algoritmo Minimax otimizou consideravelmente o tempo de processamento durante
a busca. A Fig. 4 mostra tempos de agentes a profundidades diferentes na árvore de jogadas:
Figura 4. Gráfico comparativo entre o algoritmo Minimax com e sem Poda a-b.
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
6
Portanto, a utilização da Poda a-b no algoritmo Minimax revelou-se de grande utilidade para a otimização do tempo
de processamento.
3.2 Patologia do Minimax
Em jogos cuja árvore de jogadas pode ser completamente explorada, utiliza-se o resultado do jogo como função
utilidade, geralmente +1 para o ganhador e -1 para o perdedor. Contudo, devido ao problema da extensão da árvore de
busca do Mancala, o algoritmo Minimax teve de ser programado utilizando uma heurística como função utilidade
aproximada, utilizando a diferença da pontuação nas Kahalas dos dois jogadores.
Em jogos de agentes que utilizam essa heurística de diferença de pontuação (doravante denominado agente canônico)
para avaliar os estados, observou-se que, em certos jogos, agentes com profundidade de busca menor conseguiam melhor
desempenho do que agentes com busca mais profunda. Por exemplo, em uma partida entre um agente com busca de
profundidade de 2 jogadas contra um agente de profundidade de 6 jogadas, o placar final obtido foi de 29x19, com vitória
do primeiro, cuja procura na árvore de busca foi mais rasa.
A literatura explica esse comportamento como “Patologia do Minimax”, que ocorre quando a heurística de avaliação
não é próxima o suficiente da função utilidade. Isto é, fazendo uma avaliação errônea dos estados do jogo, o agente é
levado a acreditar que está fazendo uma boa escolha, quando na verdade acontece o contrário. Como agravante, quanto
maior a profundidade da busca, maior é o ruído que esse erro causa na escolha do agente, na raiz da árvore, levando-o a
executar jogadas ruins. (Abramson, 1986).
Para contornar o problema, deve-se utilizar uma heurística que aproxime com maior exatidão o valor de utilidade de
cada estado do jogo. Para determinar essa heurística, foram combinadas as técnicas de Minimax (com Poda a-b) e de
Algoritmos Genéticos, apresentada na seção seguinte. Melhorando a precisão das jogadas do agente, espera-se que o
efeito da patologia seja minimizado, indicando que a avaliação de uma heurística otimizada se aproxima mais da função
utilidade do que o agente canônico.
4. Algoritmos Genéticos
Algoritmos Genéticos são uma subclasse de algoritmos evolucionários cujo objetivo principal é a otimização de
processos, através da determinação de pontos quase-ótimos de máximos ou mínimos de uma função de avaliação.
A teoria por trás dos Algoritmos Genéticos é baseada na Teoria da Evolução de Darwin, que leva à afirmação de que
indivíduos mais adaptados a um meio tendem a sobreviver nele por mais tempo e perpetuar seu código genético através
das gerações. Nesse sentido, o Algoritmo Genético deve atuar sobre uma população de indivíduos, sendo cada indivíduo
um candidato a máximo ou mínimo global da função que se deseja analisar. Através de restrições feitas aos indivíduos,
análogas à hostilidade do meio para indivíduos biológicos, os melhores entre eles vão sendo naturalmente classificados
para transmitir suas informações genéticas para as próximas gerações, onde se busca a convergência para um indivíduo
quase perfeito, ou seja, uma solução quase ótima para o problema de maximização ou minimização da função analisada.
O algoritmo é interrompido quando é atingida uma condição de parada.
As vantagens desse tipo de algoritmo sobre outras arquiteturas de busca são sua capacidade estocástica de analisar os
pontos do domínio da função, evitando máximos e mínimos locais, e sua capacidade de economizar processamento (em
relação a uma busca exaustiva), por selecionar apenas uma pequena amostra do domínio para análise. Além disso, por ser
um algoritmo de busca de ordem zero, não envolve derivadas na modelagem do problema, o que permite a ele ser
aplicado a funções descontínuas ou até discretas. Por outro lado, o algoritmo não garante a determinação exata de um
ponto de máximo global, mas sim pontos de valor muito próximo a ele.
A implementação do algoritmo requer uma função de avaliação, ou função fitness, para a qual se deseja determinar
um ponto quase-ótimo de máximo ou mínimo. Essa função deve atribuir, a cada ponto do domínio, um valor real.
Analogamente à Biologia, essa função representa as imposições do meio sobre os indivíduos. Sobrevivem e perpetuam
suas características apenas os indivíduos bem adaptados a esse meio, ou seja, apenas indivíduos com altos valores de
função fitness (seu fenótipo biológico).
Os pontos do domínio são usualmente codificados segundo a base binária, transformando cada um em uma cadeia de
números 1 ou 0. Analogamente à Biologia, essa cadeia representa o “código genético” do indivíduo (ou o seu genótipo
biológico).O algoritmo inicia sua busca escolhendo um número pré-determinado de indivíduos do domínio. Essa escolha
pode ser feita através da simples geração aleatória de cadeias de números 1 e 0, para domínios sem restrições. Caso haja
mais restrições para o domínio, outras técnicas de escolha de candidatos pode ser usada, como a iteração aleatória, que
produz indivíduos estocasticamente até que um deles satisfaça as restrições do problema e possa ser considerado um
candidato válido para a execução do algoritmo.
Depois de escolhidos os indivíduos (ou candidatos) iniciais, cada um deles é testado segundo a função fitness, e seus
desempenhos são armazenados em um vetor. Segundo a Teoria de Darwin, os mais adaptados tem mais probabilidade de
perpetuar seu código genético. Assim, alguns desses indivíduos são escolhidos estocasticamente, com probabilidade
proporcional ao seu desempenho da função fitness, para se reproduzirem e gerarem descendentes. Indivíduos de baixo
desempenho na função fitness têm baixa probabilidade de transmitir seu código genético para gerações futuras, o que
7
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
garante que o algoritmo caminhe sempre no sentido correto da busca (aumento da avaliação fitness dos indivíduos).
Entretanto, é necessário que os indivíduos de baixo desempenho também tenham alguma probabilidade de ser escolhidos,
para prevenir o algoritmo de uma convergência precoce para um ponto de máximo ou mínimo local da função.
Computacionalmente, atribui-se a cada indivíduo uma probabilidade de ser escolhido para a reprodução, baseada no
desempenho deste na função avaliadora. Assim, seja uma população de p indivíduos, e f(xi)=di, com i=1,2,...,p, o
desempenho de cada um. A probabilidade P de escolha de um indivíduo é definida como sendo:
d
Pi = p i
∑ d
k =1 k
(2)
Escolhidos os indivíduos, dá-se início ao processo de reprodução. Assim como na Biologia, a reprodução se dá
combinando-se os códigos genéticos dos pais, num processo chamado Crossover. Nesse processo, o código genético de
cada um dos pais é dividido em um mesmo ponto, escolhido aleatoriamente, entre o i e o (i+1)-ésimo bit de sua
representação binária. A seguir, os trechos de código são trocados, gerando dois novos indivíduos. Esses indivíduos
contêm uma mistura de características dos pais, e se aproximam de uma combinação das características que mais se
adaptam ao meio, isto é, se aproximam de um valor de máximo ou mínimo global da função analisada.
Computacionalmente, se são escolhidos dois pais x e y de uma representação com m bits:
x = (b , b , b ,..., b
)
0 1 2
m−1
y = (c , c , c ,..., c
)
0 1 2
m−1
(3)
Então, após o Crossover, são gerados dois novos indivíduos:
w = (b0 , b1, b2 ,..., bi , ci+1, ci +2 ,..., cm−1)
(4)
z = (c , c , c ,..., ci , b , b ,..., b
)
0 1 2
i+1 i +2
m−1
Antes de serem proclamados novos candidatos do algoritmo de busca, os indivíduos da nova geração devem passar
por uma operação de mutação, que varre todos os bits dos novos indivíduos, alterando-os de 1 para 0 ou de 0 para 1,
segundo uma pequena probabilidade (geralmente entre 2% e 5%). Como no correspondente biológico, esse processo
busca novas características, contempladas ou não por outros indivíduos já existentes, que possam ser relevantes para a
determinação de um quase-ótimo. Além disso, a mutação ajuda a desviar o algoritmo de uma convergência a um máximo
ou mínimo locais.
Depois de sofrerem uma pequena taxa de mutação, os indivíduos da nova geração tem seu valor fitness calculado e
armazenados em um vetor. Esses desempenhos são comparados com os da população inicial, e os melhores deles
(incluindo a população inicial) são selecionados para formarem a população da próxima iteração do algoritmo. A Fig. 5
exemplifica o processo.
População inicial
aleatória
Seleção da
nova geração
Avaliação
Fitness
Condição
de parada?
NÃO
Escolha probabilística
dos pais
Avaliação Fitness
dos filhos
Mutação
Figura 5. Esquema do Algoritmo Genético
Crossover
SIM
FIM
8
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
Dessa forma, o algoritmo busca convergência para pontos do domínio que sejam quase-máximos ou quase-mínimos
globais da função analisada.
4.1 Otimização da heurística de avaliação com Algoritmos Genéticos
Como explicado, a heurística da função utilidade aproximada empregada pelo agente canônico era simplesmente a
diferença de pontuação nas Kahalas. Para refinar essa heurística, de modo a criar um agente otimizado, foram elaboradas
sub-heurísticas de avaliação, sendo cada uma delas uma condição ou característica do estado analisado. Assim, a
heurística geral foi definida como uma combinação linear do valor dessas sub-heurísticas ξ, que são:
1. Diferença de pontuação na Kahala;
2. Possibilidade de jogar novamente: 1 unidade para cada oportunidade;
3. Mobilidade própria: 1 unidade para cada cavidade não vazia;
4. Mobilidade do adversário: 1 unidade para cada cavidade não vazia do adversário;
5. Aglutinação de pedras em uma das cavidades: 1 unidade para cada cavidade com número de pedras maior que 6;
6. Número total de peças em sua parte do tabuleiro;
7. Número de peças opostas a cavidades vazias do adversário (propensas a ser capturadas);
A cada uma dessas n características foi atribuído um peso λ, sendo a avaliação do estado do ponto de vista do jogador
pi definida como a heurística Hi(s):
u ( s) = H ( s) = ∑ λ ξ , s ∈ S
i
i
j j
n
(5)
Os pesos λ das característica foram determinados através da utilização de um Algoritmo Genético. Contudo, no
entendimento de que o jogo é dividido em fases, nas quais o objetivo do agente se altera, a heurística de avaliação foi
dividida em três partes:
- Início: até 25% das peças capturadas
- Desenvolvimento: de 25% até 75% das peças capturadas
- Finalização: mais que 75% das peças capturadas
Essa estratégia de resolução do problema acaba por triplicar o número de variáveis envolvidas. Na utilização de
Algoritmos Genéticos, observa-se que problemas de dimensão grande (maior que 10) geralmente são de difícil
convergência. De fato, depois de vários testes, observou-se que o desempenho dos agentes mistos obtidos era pouco
satisfatório.
Para lidar com essa questão, elaborou-se um novo esquema: cada uma das sub-heurísticas (a partir da 2ª) foi testada
em conjunto com a heurística 1, separadamente das outras e com peso unitário – isso porque a heurística 1 foi
considerada como extremamente relevante em testes prévios. Assim, o número de variáveis foi reduzido a três por vez, e
os resultados destes testes puderam mostrar quais das sub-heurísticas se destacavam na avaliação dos estados.
A função fitness utilizada nestes teste foi a pontuação do agente de características mistas contra o agente canônico
(cuja heurística é simplesmente a diferença de pontuação na Kahala), em jogos de profundidade 1, 2, 3, 4, 5 e 6 jogadas
(iguais para ambos os agentes). Como explicado anteriormente (na seção 2.3), os jogos foram efetuados duas vezes,
comutando-se o agente que fazia a jogada inicial, a fim de cancelar os efeitos da assimetria estatística da primeira jogada.
Depois de selecionados os melhores indivíduos de cada sub-heurística, foi realizado um outro teste, ainda efetuando
partidas contra o agente canônico, mas agora cobrindo todas as combinações de profundidades – agente canônico e
agente misto com profundidades de 1 a 6, totalizando 36 jogos. Repetindo as partidas, trocando-se o jogador inicial,
totalizaram-se 72 jogos por teste.
A Tab. 3 mostra o desempenho de alguns dos melhores indivíduos dos agentes de heurística mista, sendo combinados
com a sub-heurística 1 com peso unitário. A exceção é o desempenho da própria sub-heurística 1: neste caso, ela foi
implementada pura, com o objetivo de determinar a relação de pesos ótima nos três estágios do jogo.
Nota-se uma discrepância no desempenho dos agentes entre o primeiro e o segundo teste. Isso ocorre porque a
avaliação utilizada em cada teste foi diferente, como explicado: o teste 1 foi rápido para fazer uma triagem, enquanto o
teste 2 foi mais preciso e, por isso, mais demorado.
9
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
Tabela 3. Valores encontrados para os melhores desempenhos das sub-heurísticas
Sub-heurística
testada
1
2
3
4
5
6
7
Média da pontuação do melhor
indivíduo (teste 1)
24,875
26,25
28,25
27,25
30,5
36
33
Vitórias contra o agente canônico
(teste 2)
50%
50%
36%
50%
36%
50%
50%
Fazendo-se testes sobre combinações utilizando os pesos das sub-heurísticas 1, 2, 4, 6 e 7, chegou-se à conclusão de
que a combinação com o melhor desempenho envolvia os parâmetros 1, 2 e 7, respectivamente: diferença de pontuação
na Kahala, possibilidade de jogar novamente e peças propensas a ser capturadas.
De posse dessa informação, utilizou-se novamente a técnica dos Algoritmos Genéticos para determinar qual o melhor
peso multiplicativo para cada uma dessas características, em cada um dos momentos do jogo. A função fitness utilizada
foi o esquema de 72 jogos citados anteriormente. Isso elevou enormemente o tempo de processamento, mas entregou
resultados bastante otimizados. Empregando-se uma população de 16 candidatos, com fator de mutação de 5% e 10
gerações, o algoritmo demorou 10h30min para rodar em um computador trabalhando com clock de 2,2GHz. Isso
demonstra o fato de que esse tipo de algoritmo não é adequado para aplicações de tempo real.
5. Resultados
Depois de definido o melhor dos indivíduos entre os dois algoritmos, realizaram-se testes entre ele e o agente
canônico, com profundidades variando de 1 a 8. As pontuações são mostradas nas Tabelas 4 (canônico joga primeiro) e 5
(misto joga primeiro). Os placares mostram a pontuação do agente misto, seguida pela pontuação do agente canônico. As
partidas em que o agente misto perde ou empata estão em destaque.
Tabela 4. Placares dos testes em que o agente canônico joga primeiro. A coluna da esquerda indica as profundidades
utilizadas para o jogador misto, enquanto a primeira linha indica as profundidades utilizadas para o jogador canônico.
Misto\Can
1
2
3
4
5
6
7
8
1
(34, 14)
(34, 14)
(34, 14)
(38, 10)
(32, 16)
(25, 23)
(25, 23)
(25, 23)
2
(34, 14)
(34, 14)
(34, 14)
(31, 17)
(27, 21)
(38, 10)
(41, 7)
(40, 8)
3
(26, 28)
(28, 20)
(31, 17)
(31, 17)
(38, 10)
(32, 16)
(33, 15)
(28, 20)
4
(28, 20)
(28, 20)
(31, 17)
(27, 21)
(25, 23)
(32, 16)
(33, 15)
(28, 20)
5
(41, 7)
(41, 7)
(14, 34)
(30, 18)
(30, 18)
(30, 18)
(26, 22)
(33, 15)
6
(21, 27)
(22, 26)
(22, 26)
(20, 28)
(20, 28)
(28, 20)
(26, 22)
(21, 27)
7
(32, 16)
(33, 15)
(9, 39)
(7, 41)
(14, 34)
(14, 34)
(14, 34)
(32, 16)
8
(39, 9)
(39, 9)
(40, 8)
(30, 18)
(30, 18)
(30, 18)
(26, 22)
(41, 7)
Observa-se que, na segunda tabela (agente misto jogando primeiro), o número de vitórias do agente misto é maior,
ilustrando o fenômeno causado pela assimetria estatística discutida anteriormente.
De todos os jogos realizados neste último teste, o agente misto, otimizado com Algoritmos Genéticos, obteve vitória
sobre o agente canônico em 89% das partidas. Isso mostra que o algoritmo proporcionou uma melhora expressiva no
desempenho do agente.
10
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
Tabela 5. Placares dos testes em que o agente misto joga primeiro. A coluna da esquerda indica as profundidades
utilizadas para o jogador misto, enquanto a primeira linha indica as profundidades utilizadas para o jogador canônico.
Mis\Can
1
2
3
4
5
6
7
8
1
(34, 14)
(34, 14)
(34, 14)
(38, 10)
(38, 10)
(38, 10)
(33, 15)
(37, 11)
2
(34, 14)
(34, 14)
(34, 14)
(43, 5)
(40, 8)
(40, 8)
(33, 15)
(23, 25)
3
(35, 13)
(34, 14)
(27, 21)
(43, 5)
(42, 6)
(42, 6)
(40, 8)
(34, 14)
4
(36, 12)
(40, 8)
(36, 12)
(37, 11)
(33, 15)
(33, 15)
(33, 15)
(18, 30)
5
(43, 5)
(40, 8)
(35, 13)
(37, 11)
(37, 11)
(37, 11)
(33, 15)
(42, 6)
6
(42, 6)
(40, 8)
(30, 18)
(37, 11)
(37, 11)
(37, 11)
(33, 15)
(42, 6)
7
(38, 10)
(40, 8)
(38, 10)
(34, 14)
(38, 10)
(38, 10)
(31, 17)
(33, 15)
8
(38, 10)
(40, 8)
(38, 10)
(34, 14)
(38, 10)
(38, 10)
(37, 11)
(33, 15)
A eficiência do agente ainda apresentou alguns problemas em grandes profundidades (6 e 7) quando este não era o
jogador inicial, mas recuperou-se na profundidade de 8 jogadas. Como o tempo de processamento para análises mais
profundas do que 8 são inviáveis, pode-se dizer que o efeito da patologia do Minimax foi reduzido neste caso. Já nas
partidas em que o agente era o jogador inicial, observou-se eficiência em todas as profundidades. Isso é um sinal de que a
heurística chegou tão próxima de uma avaliação exata, que a patologia não se faz presente a esse nível. Talvez haja sinais
da patologia a níveis mais profundos; contudo, como esses níveis não são utilizáveis na prática (por requererem elevado
tempo de processamento), pode-se considerar a heurística do agente como muito próxima à função de avaliação real do
jogo.
Como sugestão de trabalhos futuros, podem-se procurar novas sub-heurísticas relevantes à otimização do agente, bem
como refazer a otimização, considerando-se somente o caso em que o agente joga em segundo. Assim, criar-se-iam duas
heurísticas separadas, agindo quando o agente realiza a jogada inicial ou não.
6. Conclusões
Do trabalho realizado, conclui-se que os Algoritmos Genéticos são eficientes na otimização de processos, mas que
sua implementação exige correções empíricas dos parâmetros utilizados, como tamanho da população, taxa de mutação e
função fitness. Seu tempo de processamento é proporcional à dimensão do problema estudado, podendo ter tempo de
processamento inviável para dimensões muito grandes.
Pôde-se observar que o algoritmo Minimax procura jogadas boas à medida que a heurística de avaliação utilizada
esteja próxima do valor real do estado. Para heurísticas ruins, evidencia-se ruído na tomada de decisão quando o agente
procura a grandes profundidades da árvore de busca, fenômeno ao qual dá-se o nome de “Patologia do Minimax”.
A Poda a-b revelou-se de grande utilidade no algoritmo Minimax, uma vez que traz os mesmos resultados em menor
tempo de processamento. Isso é uma otimização crítica quando se utilizam esses cálculos como fitness em um Algoritmo
Genético, no qual o Minimax tem que ser efetuado inúmeras vezes.
A otimização da heurística do Minimax através de Algoritmos Genéticos mostrou-se eficaz, gerando um agente
otimizado capaz de derrotar um agente simples na maioria das partidas realizadas. A amenização do efeito da patologia
do Minimax e o desempenho melhorado do agente nas partidas mostra que se alcançou de fato uma heurística muito mais
próxima à função de avaliação exata do jogo, gerando jogadas mais inteligentes por parte do agente.
Portanto, como visto, alcançou-se o objetivo de otimizar o algoritmo Minimax em questão de tempo de
processamento e de qualidade das decisões.
7. Agradecimentos
Agradeço ao Prof. Dr. Paulo Marcelo Tasinaffo pelo imenso apoio e ensinamentos, que tornaram possível não só a
conclusão deste trabalho, como também um grande aprendizado na área de Inteligência Artificial. Agradeço também ao
CNPq que, através do suporte financeiro, torna possível a execução deste e de outros trabalhos, contribuindo para a
formação de jovens pesquisadores brasileiros.
Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009
11
8. Referências Bibliográficas
Abramson, B. An explanation and cure for minimax pathology. In: Proc. of First Conf. on Uncertainty of Artificial
Intelligence, North-Holland Publishers, 1986, pp. 495-504.
Alves, C. Planejamento online para robô móvel baseado em amostragem esparsa e macro-operadores. Tese de
Mestrado – Instituto Tecnológico de Aeronáutica, São José dos Campos. 2007.
Alves da Silva, A. P. Tutorial Genetic Algorithms. Learning and Nonlinear Models. Vol. 1, No. 1, pp. 43-58, 2003.
Fritzsche, H. Programação Não-Linear análise e métodos. São Paulo: Edgard Blücher: Ed. da Universidade de São
Paulo, 1978.
Haurie, A; Krawczyc, J. An Introduction to Dynamic Games. 2000. Disponível on-line em
http://www.docstoc.com/docs/9171268/Mathematics---Introduction-to-Dynamic-Gamesdecision-theory. Acesso em 23/01/2009.
Korf, E. Artificial Intelligence Search Algorithms. University of California, 1996.
Mitchell, M. An Introduction to Genetic Algorithms. The MIT Press: Massachusetts Institute Technology, 1996.
Nascimento Jr., C. L.; Yoneyama, T. Inteligência Artificial em Controle e Automação. 1. ed., São Paulo: Edgard Blucher
Ltda., Fapesp, 2000.
Russell, S.; Norvig, P. Artificial Intelligence A Modern Approach. Second Edition, New Jersey: Pearson Education,
2003.
Wismer, D. A.; Chattergy R. Introduction to Nonlinear Optimization A Problem Solving Approach. Second Printing,
New York: Elsevier North Holland, Inc., 1978.