Superinteligência Artificial e a Singularidade Tecnológica Luiz Antônio Moro Palazzo1 e Tarcísio Vanzin2 1 2 Centro Politécnico – Universidade Católica de Pelotas (UCPEL) [email protected] Engenharia e Gestão do Conhecimento – Universidade Federal de Santa catarina (UFSC) [email protected] Abstract. This paper introduces a reflection about ongoing technological acceleration through AI bias, trying to identify trends, implications and viewpoints that can be made real in a very short time, with perhaps radical influence over the future of humankind. Technological development poses in solid basis the possible occurence of what is being called Artificial Superintelligence (ASI), a kind of intelligence beyond that of the human being in all ways. This possibility brings for the first time the issue of a technology taking a position against humankind, with unpredictable consequences. It makes necessary extend debating around this theme to garantee ethics and security in its future development. Resumo. Este artigo apresenta uma reflexão em torno da aceleração tecnológica atualmente em curso, utilizando o viés da IA como fio condutor, na tentativa de identificar tendências, implicações e perspectivas que poderão se concretizar no curto prazo, influindo, talvez radicalmente, no próprio futuro da humanidade. A atual escalada do desenvolvimento tecnológico coloca em bases concretas a perspectiva de realização do que tecnicamente está sendo chamado de Superinteligência Artificial (SIA), uma forma de inteligência muito superior a do ser humano em todos os sentidos. A possibilidade do desenvolvimento da SIA impõe, talvez pela primeira vez, em termos reais, a questão de uma tecnologia ser capaz de efetivamente “posicionar-se” contra a humanidade, com conseqüências imprevisíveis. Torna-se então necessário ampliar o debate em torno do tema para garantir ética e segurança nos rumos futuros do seu desenvolvimento. 1. Introdução A aceleração do desenvolvimento tecnológico vem traçando, ao longo da história da humanidade, uma curva com características hiperbólicas, cuja progressão se encerra com o surgimento de uma singularidade. A Singularidade Tecnológica (ST) (Vinge, 1993) corresponde a um ponto em que acréscimos finitos no tempo irão conduzir a um potencial tecnológico infinito (Figura 1). Isto deverá, de acordo com Vinge e outros autores (Kurzweil, 1997; Moravec, 1998), se produzir em um período muito curto de tempo (10 a 30 anos), tornando impossível qualquer previsão além. Tecnologia Tempo 2010 Figura 1: A Singularidade Tecnológica A aceleração do desenvolvimento tecnológico foi notada por Gordon Moore, co-fundador da Intel, que observou nos anos 60 que o número de transistores que podiam ser integrados em um único circuito dobrava a cada dois anos. A Lei de Moore, atualmente corrigida para um ciclo de 18 meses, vem sendo muito aproximadamente confirmada desde então. Atualmente os menores transistores ocupam apenas o espaço de alguns milhares de átomos (centenas de nanômetros). A lei de Moore conduz ao desenvolvimento de hardware com capacidade comparável ao cérebro humano por volta de 2015. Isto foi observado por Vernor Vinge (1993), que considera a construção de computadores com capacidade computacional equivalente a do homem um sinal inequívoco da aproximação da Singularidade Tecnológica. Nas palavras de Vinge: “Within thirty years, we will have the technological means to create superhuman intelligence. Shortly after, the human era will be ended. Is such progress avoidable? If not to be avoided, can events be guided so that we may survive?” Embora difícil de acreditar em princípio, muitas projeções reforçam as previsões de Vinge. É possível observar, por exemplo, que diversos setores da ciência vêm apresentando nos últimos anos um desenvolvimento notável, incluindo a biotecnologia, nanotecnologia, engenharia genética, novos materiais, etc. Entretanto, a tecnologia chave para a ocorrência da ST é a Superinteligência Artificial (Super IA ou SIA). A SIA corresponde a uma forma de inteligência muito superior aos melhores cérebros humanos em todas as suas possibilidades: nível de conhecimento, sabedoria geral, capacidade de raciocínio e discernimento, exibindo ainda autoconsciência e livre arbítrio (Bostrom 2002). A SIA deverá associar inteligência geral ao crescente potencial computacional da máquina, incluindo ainda criatividade, várias formas de aprendizagem e a capacidade de solucionar problemas. Uma SIA não-biológica terá possivelmente objetivos e motivações diversas das do ser humano. Não há como prever a atitude da máquina ao tomar consciência de si própria. O desenvolvimento da SIA é também considerado como a última e definitiva invenção do homem, uma vez que todas as demais descobertas seriam realizadas por ela. A divergência entre as razões da máquina e as dos humanos pode ser inconciliável e não há como prever seu resultado ou desfecho. 2. Diversas Classes de IA John Searle (1980) foi o primeiro a classificar a IA em forte (IAF) e fraca (IAf). A IA forte seria uma forma capaz de simular em abrangência a inteligência humana, a ponto de não se distinguir dela no seu produto mental (incluindo autoconsciência, automotivação etc.). Já a IA fraca se associa a métodos específicos, que dão conta de funções especializadas da inteligência humana (dedução, indução, pesquisa em espaços de estados, raciocínio mediante incerteza, aprendizado, etc.). A Super IA seria então uma inteligência superior à humana, em todos os seus aspectos (Vinge, 1993). A IA semente (IAS) é a que tem a capacidade de se reprojetar, desenvolver, implementar e melhorar o próprio código, de modo que sucessivas gerações de IAS, a partir de uma base canônica (a “Máquina de Turing da IA”), terminariam produzindo o fenômeno da Superinteligência. A explosão de inteligência provocada pela IA semente poderia ocorrer num intervalo de tempo extremamente curto (semanas, dias ou horas...), tendo em vista que o tempo subjetivo da máquina é supostamente muito mais denso e compacto do que o tempo humano. Caracteriza-se ainda uma IA geral (IAG) por integrar processos inteligentes de diferentes naturezas (p.ex: simbólico e conexionista), estabelecendo um relacionamento em alto nível entre eles. Obviamente a forma com que a IAG obtém tal efeito é muito diferente da biológica, sendo mesmo ambientada em um substrato diverso do carbono (o silício) e, portanto, sujeita a diferentes vantagens e restrições em nível molecular. Uma IAG não pode deixar de ser amigável (IAA) para com a espécie humana, uma vez que se assim não for, existe a possibilidade de que ela se revolte contra seus criadores e empregue seu crescente poder para aniquilar toda a humanidade, caso esta venha a atrapalhar seus (imprevisíveis) objetivos. Uma síntese dessas conceitos é apresentada no Quadro 1. Quadro 1: Síntese Conceitual Siglas Conceitos Referências IAF IA Forte: Uma forma de IA capaz de simular em abrangência a inteligência humana, a ponto de não se distinguir dela no seu produto mental. Searle, 1980 IAf IA Fraca: Sistemas de IA que automatizam alguns aspectos específicos do raciocínio humano, que dão conta de funções especializadas da inteligência humana. Searle, 1980 IAG IA Geral: Sistemas de IAF que atuam com base em uma multiplicidade de ferramentas/paradigmas, que derivam uma interpretação holística. Agem centrados na consciência de si próprios, de suas crenças, de seus objetivos e desejos. Goertzel, 2004 Minski, 1987 IAS IA Semente: Sistemas de IA que têm a capacidade de reprojetar, desenvolver e implementar o próprio código, de modo que sucessivas gerações de IAS, a partir de uma base canônica, terminariam produzindo o fenômeno da Super IA. Goertzel, 2004 Bostom, 2002 SIA Super IA: Uma forma de inteligência muito superior aos melhores cérebros humanos em todas as suas possibilidades: nível de conhecimento, sabedoria geral, capacidade de raciocínio e discernimento, exibindo ainda autoconsciência e livre arbítrio. Bostrom, 2002 IAA IA Amigável: Uma forma de SIA que garantidamente aceitaria seus criadores e atuaria incondicionalmente em seu favor. Goertzel, 2004 ST Singularidade Tecnológica: Um ponto no futuro próximo em que acréscimos finitos de tempo irão corresponder a um acréscimo infinito no potencial tecnológico. A tecnologia chave para a ocorrência da ST é a Super IA, a partir da qual toda previsão se torna impossível. Vinge, 1993 Kurzweil, 1997 Moravec, 1998 Bostrom, 2001 Vinge, 1993 3. Grandes Críticos da IA Forte: Dreyfus, Searle e Penrose Razões filosóficas, físicas e matemáticas levaram diversos cientistas a considerar impossível o desenvolvimento da IAF e a atacar os seus defensores. Dentre esses grandes críticos, os mais conhecidos são John Searle (1980), Hubert Dreyfus (1986, 1992) e Roger Penrose (1989). Todos eles usam a seguinte linha de argumentação, conforme observado por Jocelyn Paine (1996): “Os humanos podem fazer (ou possuem o atributo) X mas as máquinas não, porque não possuem o ingrediente Y”. No Quadro 2 apresenta-se uma síntese das três argumentações, segundo esta perspectiva. Quadro 2: Críticas à IA Forte (Inspirado em Paine 1996). Quem? O quê? John Searle Professor de filosofia em Berkeley tornou-se conhecido na comunidade de IA pelo Argumento da Sala Chinesa proposto no artigo “Minds, Brains and Programs“(1980), onde apresenta os conceitos de IA forte e fraca. Hubert Dreyfus Roger Penrose X Y Consciência geral Capacidade de processamento Professor de filosofia em Berkeley, é conhecido por um longo histórico de críticas contra a IA, em especial nos livros “Mind Over Machine” (1986) e “What Computers Still Can´t Do” (1992). Intuição e senso comum Visão holística Professor de matemática em Oxford, realizou estudos em física quântica e cosmologia. É conhecido em IA principalmente por seu livro “Emperor´s New Mind” (1989). Autoconsciência e intuição Processamento quântico No Argumento da Sala Chinesa, Searle imagina uma pessoa fechada em uma sala onde há uma mesa, lápis e papel. A pessoa recebe, por uma fenda na porta, folhas de papel com ideogramas chineses dos quais ela desconhece totalmente o significado. Entretanto ela possui um manual de instruções na sua própria língua, onde há a informação de como responder – também com ideogramas - a cada grupo de ideogramas presentes nas folhas passadas pela fenda. A pessoa copia a resposta do manual em uma folha de papel, que é passada para o exterior também através da fenda. A pessoa não entende chinês e, portanto, não sabe o que está escrito nas folhas de entrada e nem o que significa a resposta do manual. Tudo o que ocorre é a manipulação formal de símbolos, o que não seria suficiente para uma atribuição de significado inteligente. Searle trabalha diretamente com o Teste de Turing e também usa a Máquina de Turing para demonstrar que a manipulação formal de símbolos não conduz à inteligência. O Argumento de Dreyfus baseia-se em parte no seu modelo de cinco estágios de progresso, do noviço ao especialista: 1. Noviço: Opera pelo aprendizado consciente de regras livres de contexto. Não possui nenhum senso dos aspectos gerais. 2. Iniciante Avançado: Usa regras mais sofisticadas, envolvendo padrões aprendidos com a experiência, que entretanto não consegue formalizar. 3. Competente: Aprendeu a reconhecer muitos elementos situacionais e livres de contexto. Usa um planejamento hierarquizado, baseado em metas e se dedica a subobjetivos bem definidos, evitando a dispersão de idéias. 4. Proficiente: Na maior pare do tempo executa sua tarefa intuitivamente, sem empregar pensamento analítico. Na presença de situações de grande importância, entretanto, opera analiticamente. 5. Especialista: Executa sua tarefa intuitivamente quase todo o tempo. Ocasionalmente tem que parar e deliberar, mas isto envolve somente reflexões críticas sobre suas próprias intuições. Na opinião de Dreyfus, a máquina jamais irá atingir o nível do especialista e também não deverá produzir raciocínio intuitivo devido a falta de uma visão holística e da incapacidade das máquinas em estabelecer uma relação crítica sobre a própria intuição. Roger Penrose é talvez o maior de todos os críticos da IAF. Em sua opinião o cérebro humano pode produzir certos fenômenos quânticos que o capacitam a solucionar problemas que não são computáveis pela Máquina de Turing. Tais problemas incluem intuição matemática e criatividade musical, que requerem um tipo de percepção holística global que nenhum algoritmo poderia oferecer. Para Penrose o cérebro humano seria constituído por uma matéria especial com capacidade de processamento quântico que não poderia ser manipulada e assim não estaria disponível para a construção de computadores. Além do argumento do processamento quântico, Penrose também usou, anteriormente, o Teorema de Gödel para refutar a possibilidade de ocorrência de IA forte (a incomputabilidade da contradição). 4. Defensores da IA Forte: Minski, Vinge, Kurzweil, Bostrom e Goertzel. Uma outra corrente de pensadores entretanto considera não só possível como muito provável o desenvolvimento de IA forte em um espaço de tempo muito curto, caracterizando o surgimento da singularidade tecnológica. Ray Kurzweil (1997), Hans Moravec (1998), Nick Bostrom (2002), Eliezer Yudkowsky (2002), Ben Goertzel (2004) e outros oferecem contribuições nesta direção. Um dos grandes expoentes desta visão, porém, é Marvin Minsky, professor do MIT (Massachusetts Institute of Technology). Mesmo antes de “Why people think computers can´t?” (1982), a obra de Marvin Minsky tem suportado a idéia da IA Forte. Isto se traduziu em diversas publicações, com destaque para “The Society of Mind” (1987), onde apresenta um projeto para a construção de uma mente artificial. Minsky realmente acredita que em algum momento surgirão entidades artificiais conscientes e vem travando um prolongado debate com os críticos da IA sobre o assunto. Entre outras conquistas, Minsky participou do lendário Dartmouth Workshop (1958), sendo assim um dos pioneiros da IA. Sua contribuição tem sido também notável em diversas áreas relacionadas, tais como agentes redes neurais, linguagens de programação (Logo), robótica, etc. Em “The Age of Spiritual Machines“ (1997) Ray Kurzweil descreve a evolução do conhecimento humano e a projeta na tecnologia do futuro, antevendo a Singularidade Tecnológica como um tempo futuro durante o qual as mudanças sociais, científicas e econômicas se tornarão tão intensas que não é possível sequer imaginar o que poderá ocorrer com base na perspectiva atual. Um intervalo de datas é proposto por Kurzweil – entre 2010 e 2040 – como o período mais provável para a ocorrência da ST. Um sinal importante de sua proximidade seria a constatação de que a inteligência de máquina houvesse ultrapassado a inteligência humana, ou mesmo se integrado a ela. Vale notar que as previsões de Kurzweil são mais otimistas do que as de Vinge e pressupõem um futuro bem menos cinzento. 5. Alternativas para a Super IA: Supercomputadores, Internet ou BCI? Se a Lei de Moore continuar valendo, os supercomputadores atingirão o potencial de um cérebro humano (100 petaflops = 100 quatrilhões de operações por segundo) por volta de 2015. Isto entretanto representa a capacidade estimada do hardware do maior computador da época, que muito provavelmente não estará destinado a pesquisas em SIA. Os maiores supercomputadores da atualidade empregam milhares de processadores para atingir “apenas” algumas dezenas de teraflops (trilhões de operações por segundo). Até o final de 2004 o grande campeão era o Earth Simulator da NEC (Japão) que há dois anos e meio estava no topo da lista dos maiores do mundo, processando a 35,9 teraflops. Entre outubro e novembro deste ano, o Earth Simulator foi sucessivamente superado pelo Columbia da NASA/Silicon Graphics, que obteve a marca de 51,9 teraflops e pelo Blue Gene/L da IBM, que bateu nos 70,7 teraflops. A alternativa de produzir Super IA a partir de sistemas de supercomputação parece ser a mais atraente aos projetos de nações, empresas e organizações, uma vez que favorece o exercício de controle sobre o desenvolvimento de algo com efeitos imprevisíveis. Seria também mais fácil manter em segredo um projeto de SIA com supercomputação, o que pode vir a ser um estímulo a mais para os interessados. A Internet, que ultrapassou os 300 milhões de hosts em dezembro de 2004, também poderia estabelecer continuamente novas conexões até atingir um ponto crítico a partir do qual a SIA viesse simplesmente a “emergir”. Esta hipótese é explorada pelo Principia Cibernética Project (Heylighen, 1995). Nas palavras de Francis Heylighen: “The present World-Wide Web, the distributed hypermedia interface to the information available on the Internet, is in a number of ways similar to a human brain, and is likely to become more so as it develops. The core analogy is the one between hypertext and associative memory. Links between hyperdocuments or nodes are similar to associations between concepts as they are stored in the brain. However, the analogy goes much further, including the processes of thought and learning.” Outros esforços promissores nesta área estão sendo feitos pelo W3C (World Wide Web Consortium) que, após diversas propostas bem-sucedidas rumo ao desenvolvimento de padrões de fato para a Web (XML, RDF...), avança na direção dos conceitos de Web Semantics e Web Intelligence. É possível acreditar que, além de um salto em quantidade de conexões e largura de banda, a Web irá nos próximos anos apresentar grande crescimento em qualidade de serviços por meio de uma forma de inteligência artificial difusa, aplicada às diversas camadas lógicas de um enlace ou conexão. Modelos com esta perspectiva tem sido propostos, por exemplo, em (Palazzo e Costa, 2002). BCI (Brain Computer Interface) é a terceira opção, correspondendo neste caso a uma simbiose entre a mente humana e os recursos quase ilimitados dos computadores. A pesquisa nesta área tem sido bastante intensa nos últimos anos, conduzindo a diversos modelos que podem ser classificados de várias maneiras. Em geral o objetivo é permitir o controle de dispositivos eletrônicos a partir de estados mentais controláveis pelo usuário. Assim, por exemplo, pessoas com necessidades especiais poderiam se beneficiar com um sensível aumento de qualidade de vida, conseguindo comunicar-se com relativa facilidade com o mundo exterior. O controle mental de dispositivos eletrônicos foi testado com sucesso em diferentes formas. A primeira é invasiva: um chip com microcontatos é colocado diretamente ligado aos neurônios de certa porção do córtex, de modo que o usuário consegue, com alguma prática, controlar um mouse, um teclado ou outro dispositivo qualquer e estabelecer um canal de comunicação direto com seu ambiente, tanto para obter informações (percepção) quanto para controlar dispositivos de diversas naturezas (ação). A segunda forma, não invasiva, envolve um capacete (ou uma “touquinha”, mais maleável e prática) que possui eletrodos nos pontos convencionais padrão de um eletroencefalógrafo e que procura extrair ordens de ação a partir dos padrões emitidos pelo usuário. Uma forma de interface mais evoluída ainda seria a implantação de um slot subcutâneo que poderia receber novos circuitos, conforme estes fossem evoluindo. Todas essas tecnologias encontram-se em fase inicial de pesquisa, exigindo um grande esforço ainda para mapear os padrões mente-máquina correspondentes, mas trazem uma grande esperança de extensão mental para a humanidade dos próximos anos. 6. Organizações para a Super IA É interessante comentar aqui que diversas organizações foram criadas nos últimos anos com a finalidade específica de acompanhar o surgimento da Singularidade Tecnológica. Em sua maioria empregando rigorosa base científica para justificar suas propostas, estas organizações têm por finalidade concentrar recursos e esforços através da Internet para a pesquisa relacionada com a ST e temas relacionados. Quadro 3: Algumas Organizações para a Singularidade Tecnológica Sigla Organização URL SIAI Singularity Institute for Artificial Intelligence http://www.singinst.org/ KAI KurzweilAI.net http://www.kurzweilai.net/ Adaptive Artificial Intelligence Inc http://www.adaptiveai.com/ Institute for the Study of Acceleratiing Change http://accelerating.org/ AF Acelerating Future http://www.acceleratingfuture.com/ PCP Principia Cybernetica Project http://pespmc1.vub.ac.be/ Artificial General Intelligence Research Institute http://agiri.org/ Singularity Watch http://www.singularitywatch.com/ 2 2 ai ISAC AGIRI SW Algumas dessas organizações têm propostas de modelos e arquiteturas com a perspectiva de obter SIA. Dois importantes modelos desenvolvidos com esta finalidade são o Psynet (Goertzel, 2001) e o Global Brain (Heylighen, 2002). Estes modelos são brevemente comentados a seguir. O modelo Psynet estabelece que: 1. Uma mente é um sistema de agentes ou atores que são capazes de criar, transformar e destruir outros atores. 2. Alguns atores atuam pelo reconhecimento de padrões presentes no mundo ou em outros atores. Outros operam diretamente sobre algum aspecto de seu ambiente. 3. Os atores concentram sua atenção (força ativa) em outros atores com os quais estão relacionados. 4. Pensamentos, sentimentos e outras entidades mentais são sistemas de atores que apresentam algum grau de utilidade para os objetivos do sistema global. 5. Os subsistemas mentais são construídos em uma complexa rede de atratores, metaatratores, etc. 6. Esta rede de subsistemas e atratores associados possui uma característica dual, sendo estruturada de acordo com pelo menos dois princípios: associatividade e hierarquia. 7. Uma vez que a capacidade de memória do sistema é finita, a mente deve possuir atores capazes de produzir novos atores a partir de outros. Isto é denominado “raciocínio”. 8. Uma mente possui atores capazes de reconhecer a si própria como um padrão (self). De acordo com o modelo Psynet, a mente é um sistema de atores que interagem uns com os outros, transformando, reconhecendo padrões, criando novos atores e estabelecendo relacionamentos entre si. Atores individuais podem possuir alguma inteligência, mas a maior parte dela recai na forma com que eles criam e usam seus relacionamentos com outros atores e nos padrões que surgem desta interação. Já o “Global Brain” (Heylighen, 2002) é uma metáfora para a rede coletivamente inteligente formada pelas pessoas do planeta juntamente com os computadores, bases de conhecimento e as conexões que os unem. Esta rede é um sistema auto-organizável, imensamente complexo que não apenas processa informação, mas que cada vez mais pode ser vista como um cérebro real, tomando decisões, solucionando problemas, aprendendo novas conexões e descobrindo novas idéias. Nenhum indivíduo, organização ou computador está no controle deste sistema: seu conhecimento e inteligência estão distribuídos sobre todos os seus componentes e emergem da interação coletiva entre todos os subsistemas, humanos ou não. Segundo Heylighen, tal sistema pode vir a ser capaz de atacar problemas globais que não podem ser solucionados por meio de abordagens convencionais, mas ao mesmo tempo também pode trazer novos desafios sociais e tecnológicos. Uma tendência geral é que a rede mundial de informações venha a se tornar cada vez mais global, mais abrangente, mais fortemente conectada aos indivíduos e grupos que a utilizam e mais inteligente quanto ao suporte que oferece. A Web não apenas fornece informações passivamente, mas cada vez mais vem assumindo um papel ativo, alertando e guiando as pessoas para as suas melhores opções pessoais. Para isso a Web incremental e coletivamente constrói o conhecimento e a inteligência de seus usuários e provedores de informações, graças a tecnologias como filtragem colaborativa, agentes, mecanismos de busca, etc. Parece que a rede está se transformando m um sistema nervoso coletivo para a humanidade: um cérebro global. Ainda que tais conceitos pareçam muito atuais, a visão da sociedade como um organismo coletivo remonta a pensadores e filósofos tais como Aristóteles, Spencer e Teilhard de Chardin. A metáfora do cérebro global é amplamente utilizada pelo Principia Cybernetica Project (1999), que a emprega como um guia para entender e prever futuros desenvolvimentos em ciência, tecnologia e sociedade. 7. Conclusão Ainda que a aceleração e complexidade venham tornando o futuro desenvolvimento da IA impossível de prever, a evolução estatística de fatores tais como bem-estar social, expectativa de vida, inteligência, produtividade, velocidade de processamento e transmissão de informações e em especial o potencial tecnológico em geral vêm evoluindo de forma surpreendentemente regular, o que torna possível extrapolar sua tendência futura. A maior parte destes fatores cresce de forma exponencial, num processo caracterizado por dobrar em períodos constantes ou aumentar de um certo percentual fixo a cada ano. Isto significa que a velocidade de crescimento é estável, produzindo um número fixo de novos itens para um dado número de itens existentes. Muitos governos, indústrias de tecnologia de ponta e outras organizações têm estado cientes da possibilidade de ocorrência de uma singularidade em um período de tempo relativamente curto. Há por parte delas, entretanto a preocupação de que, no caso do público compreender suas implicações, possa entrar em pânico quanto a aceitar tecnologias novas e não testadas que possam aproximar a singularidade. É importante que a comunidade brasileira de IA entenda como se insere neste cenário e como podem/devem ser organizados os esforços de pesquisa e desenvolvimento no sentido de buscar a ação adequada para promover o surgimento harmônico da Super IA. Referências Bostrom, Nick (2002): Anthropic Bias: Observation Selection Effects in Science and Philosophy. Rutledge. New York. Dreyfus, Hubert (1992): What Computers Still Can´t Do: A Critique of Artificial Reason. MIT Press. Cambridge. Dreyfus, Hubert; Dreyfus, Stuart; Athanasiou, Tom (1986): Mind Over Machine. Free Press. New York. Magalhães, João Pedro de (2004): Alice´s Dilemma. Futures 36:85-89. Minsky, Marvin Lee (1987): The Society of Mnd. William Heinemann. London. Minsky, Marvin Lee (1982): Why people think computers can´t? AI Magazine. Moravec, Hans (1998): Payne, Joslyn (1996): Penrose, Roger (1989): The Emperor´s New Mind. Concerning Coputers, Minds and the Laws of Physics. Oxford University Press, Oxford. Searle, John (1980): Minds, Brains and Programs. Behavioral and Brain Sciences 3 (3): 417-457. Vinge, Vernor (1993):