DOUGLAS MANGILI CRESPO ANÁLISE DE SENTIMENTO E MINERAÇÃO DE OPINIÕES EM FÓRUNS LONDRINA–PR 2015 DOUGLAS MANGILI CRESPO ANÁLISE DE SENTIMENTO E MINERAÇÃO DE OPINIÕES EM FÓRUNS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Dr. Sylvio Barbon Junior LONDRINA–PR 2015 Douglas Mangili Crespo Análise de Sentimento e Mineração de Opiniões em Fóruns/ Douglas Mangili Crespo. – Londrina–PR, 201547 p. : il. (algumas color.) ; 30 cm. Orientador: Dr. Sylvio Barbon Junior – Universidade Estadual de Londrina, 2015. 1. Palavra-chave1. 2. Palavra-chave2. I. Orientador. II. Universidade xxx. III. Faculdade de xxx. IV. Título CDU 02:141:005.7 DOUGLAS MANGILI CRESPO ANÁLISE DE SENTIMENTO E MINERAÇÃO DE OPINIÕES EM FÓRUNS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Dr. Sylvio Barbon Junior Universidade Estadual de Londrina Orientador Prof. Dr. Segundo Membro da Banca Universidade/Instituição do Segundo Membro da Banca Prof. Dr. Terceiro Membro da Banca Universidade/Instituição do Terceiro Membro da Banca Prof. Ms. Quarto Membro da Banca Universidade/Instituição do Quarto Membro da Banca Londrina–PR, 05 de fevereiro de 2016 de 2015 Este trabalho é dedicado às crianças adultas que, quando pequenas, sonharam em se tornar cientistas. AGRADECIMENTOS Os agradecimentos principais são direcionados à Gerald Weber, Miguel Frasson, Leslie H. Watter, Bruno Parente Lima, Flávio de Vasconcellos Corrêa, Otavio Real Salvador, Renato Machnievscz1 e todos aqueles que contribuíram para que a produção de trabalhos acadêmicos conforme as normas ABNT com LATEX fosse possível. Agradecimentos especiais são direcionados ao Centro de Pesquisa em Arquitetura da Informação2 da Universidade de Brasília (CPAI), ao grupo de usuários latex-br 3 e aos novos voluntários do grupo abnTEX2 4 que contribuíram e que ainda contribuirão para a evolução do abnTEX2. 1 2 3 4 Os nomes dos integrantes do primeiro projeto abnTEX foram extraídos de <http://codigolivre.org. br/projects/abntex/> <http://www.cpai.unb.br/> <http://groups.google.com/group/latex-br> <http://groups.google.com/group/abntex2> e <http://abntex2.googlecode.com/> “Não vos amoldeis às estruturas deste mundo, mas transformai-vos pela renovação da mente, a fim de distinguir qual é a vontade de Deus: o que é bom, o que Lhe é agradável, o que é perfeito. (Bíblia Sagrada, Romanos 12, 2) SOBRENOME, N. A.. Análise de Sentimento e Mineração de Opiniões em Fóruns. 47 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Universidade Estadual de Londrina, Londrina–PR, 2015. RESUMO resumo. Palavras-chave: Latex. Template ABNT-DC-UEL. Editoração de texto. SOBRENOME, N. A.. Title of the Work. 47 p. Final Project (Bachelor of Science in Computer Science) – State University of Londrina, Londrina–PR, 2015. ABSTRACT abstract. Keywords: Latex. ABNT-DC-UEL. Text editoration. LISTA DE ILUSTRAÇÕES Figura 1 – Método CESA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 LISTA DE TABELAS LISTA DE ABREVIATURAS E SIGLAS ABNT Associação Brasileira de Normas Técnicas BNDES Banco Nacional de Desenvolvimento Econômico e Social IBGE Instituto Nacional de Geografia e Estatística IBICT Instituto Brasileiro de Informação em Ciência e Tecnologia NBR Norma Brasileira SUMÁRIO 1 1.1 1.2 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Organização do Trabalho . . . . . . . . . . . . . . . . . . . . . . . 23 23 24 2 2.1 2.2 2.2.1 2.2.2 2.2.3 2.2.4 FUNDAMENTAÇÃO TEÓRICA Trabalhos relacionados . . . . . . . Conceitos . . . . . . . . . . . . . . . Mineração de Dados . . . . . . . . Mineração de Texto . . . . . . . . Mineração de Opiniões . . . . . . Análise de Sentimento . . . . . . . 3 3.1 3.2 3.2.1 DESENVOLVIMENTO Base . . . . . . . . . . . . Descrição do Método . . Diagrama . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 25 25 25 26 27 28 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 31 31 31 4 4.1 ANÁLISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 33 5 CONCLUSÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 APÊNDICES 39 APÊNDICE A – QUISQUE LIBERO JUSTO . . . . . . . . . 41 ANEXOS 43 . . . . . . . . ANEXO A – MORBI ULTRICES RUTRUM LOREM. . . . 45 Trabalhos Publicados pelo Autor . . . . . . . . . . . . . . . . . 47 23 1 INTRODUÇÃO . Desde o advento das tecnologias de informação e comunicação há um aumento significativo de fontes de informação e, portanto, de dados registrados pela nossa sociedade. Nós todos já estamos conscientes disso, mas não podemos perceber os números impressionantes por trás deste fato [1]. Nossa capacidade de produzir informação ilimitada pode contrastar com limites de armazenamento e apresentações de computador, que, embora ainda em avanço contínuo, pode ser ultrapassado em breve por dados humanos e não-humanos carregado [1]. [1] citam que a internet é o mais novo meio de fluxo de informações, o que cresceu mais rapidamente em um pequeno período de tempo e é o meio de informação de primeira opção para seus usuários. Com o surgimento e inovação da internet surgiram os Fóruns, que é uma forma cada vez mais popular de comunicação na web. Participar em fóruns na internet é um processo de auto seleção por si só[2]. A diversidade que os usuários procuram os fazem ser mais propensos a cada tipo de fórum que incentiva determinado debate, seja para reforçar sua opinião ou participar de um local mais deliberativo. Os usuários destas comunidades on-line usam esse meio para transmitir tipos diferentes de informação [3]. As opiniões são pontos centrais de muitas atividades humanas pois funcionam como influenciadores de comportamento e muitas vezes, antes da tomada de decisão, procura-se opinião de outros. 1.1 Objetivo Empresas e organizações tem grande interesse em conhecer opiniões sobre seus serviços ou produtos, de forma a obter vantagens na competitividade e avaliar o mercado no qual estão inseridas[4]. Para isso então temos a análise de sentimento ou mineração de opiniões, que é o campo de estudo que analisa opiniões, sentimentos, atitudes e emoções dos indivíduos por meio da linguagem escrita. Atualmente a mineração de opinião se destaca como uma das mais ativas linhas de pesquisa, podendo ser associada às técnicas de recuperação de informação e aprendizagem 24 de máquina, que resultam na classificação de peso semântico sentimental da forma escrita. Ainda que possa se afirmar que emoções são subjetivas ao passo que sentimentos são ausente de emoção, pode-se compreender a análise de sentimento como esforço computacional de identificar sentimentos, opiniões e avaliações em formato textual [4]. 1.2 Organização do Trabalho Este trabalho apresentará o conceito de análise de sentimento bem com mineração de opinião em fóruns, sendo descritas informações necessárias para o entendimento do mesmo, como metodologia utilizada, resultados esperados e obtidos, dentre outros trabalhos relacionados a área. 25 2 FUNDAMENTAÇÃO TEÓRICA 2.1 Trabalhos relacionados Dentre as variações de métodos na análise de sentimento alguns trabalhos usam o método CESA como [5] ou um esquema mais diferenciado como [4]. O trabalho [5] aborda muito bem o método CESA e vem sendo usado como base para este trabalho. 2.2 Conceitos Diversas técnicas de mineração serão utilizadas para este trabalho. Conceitos e técnicas importantes para o decorrer do trabalho serão definidas. 2.2.1 Mineração de Dados A digitalização de documentos de variadas áreas nem sempre garante que estes possam ser assimilados de forma mais rápida e mais eficiente em comparação à métodos anteriores de busca manual. Assim, ferramentas computacionais têm sido criadas e aprimoradas para realizar análises automáticas em texto, visto que a sobrecarga de informação disponível dificultava localização e acesso[6]. Segundo [7], com o avanço da informatização, surge um grande volume de informação armazenada em banco de dados. Estes dados, incluem informações valiosas, como por exemplo, tendências e padrões que poderiam ser usados para auxiliar nas tomadas de decisões dentro das empresas. Primeiramente foram desenvolvidas técnicas de extração de informações úteis, originando assim a área de Descoberta de Conhecimento de Banco de Dados , Mineração de Dados. Aplicando-as em um grande número de dados, observou-se que eram gerados padrões e tendências na busca. Esse fato acentua a diferença entre a busca manual e a Computadorizada [6]. Mineração de dados é onde os dados preparados são processados, ou seja, é onde se faz a mineração propriamente dita. O principal objetivo dessa etapa é transformar os dados de uma maneira que permita a localização de informações importantes [8]. De acordo com [9], a mineração de dados pode ser definida como um conjunto de técnicas automáticas de exploração de grandes quantidades dados de forma a descobrir padrões e relações que não seriam facilmente descobertas manualmente. Ainda que as 26 técnicas da Mineração de Dados sejam antigas, foi apenas nos últimos anos que passaram a ser usadas como exploração de dados [8]. O volume de dados disponível atualmente é enorme - Mineração de Dados é uma técnica que só se aplica a grandes massas de dados, pois necessita disto para calibrar seus algoritmos e extrair dos dados conclusões confiáveis. Empresas de telefonia, cartões de crédito, bancos, televisão por assinatura, comércio eletrônico, entre outras, vem gerando a cada dia uma grande quantidade de dados sobre seus serviços e clientes. Estes dados são passíveis de análise por mineração. [9] Outra etapa existente no processo de Mineração de Dados é a Mineração de Informação. Ela se resume em encontrar padrões de agrupamento entre documentos com os mesmos conceitos e ainda na possibilidade de extrair relacionamentos entre os documentos a partir da execução de algoritmos específicos. Segundo [10], Data Mining é o processo de descobrir informações relevantes, como padrões, associações, mudanças, anomalias e estruturas, em grandes quantidades de dados armazenados em banco de dados, depósitos de dados ou outros repositórios de informação. Devido à disponibilidade de enormes quantias de dados em formas eletrônicas, e à necessidade iminente de extrair delas informações e conhecimentos úteis a diversas aplicações, por exemplo, na análise de mercado, administração empresarial, apoio à decisão, etc. O resultado do data mining é avaliado, visando determinar se algum conhecimento adicional foi descoberto, assim como a análise dos fatos gerados [8]. 2.2.2 Mineração de Texto A mineração de texto surgiu com a finalidade de tratar os dados e as informações não estruturadas considerando o alto nível de complexidade envolvida neste tipo de representação de informação [11]. O que diferencia a mineração de dados da mineração de textos é que na primeira os dados estão organizados em tabelas na base de dados. Restando ao processo de mineração tratar esses dados para extrair conhecimento relevante, utilizando técnicas da mineração como, por exemplo: Indução e/ou Extração de Regras, Redes Neurais, Algoritmos Evolucionários, Técnicas estatísticas (classificadores e redes Bayesianas), Conjuntos Difusos [12]. Para [6] a Mineração de Texto é iniciada com a obtenção de documentos relevantes ao domínio de aplicação do conhecimento extraído, com a etapa de Coleta de Documentos. O sucesso dessa etapa é alcançado com a contribuição de um especialista, pois além de viabilizar o conhecimento sobre o domínio, ele também auxilia a tarefa de encontrar os objetivos almejados. Para [13] as etapas que podem ser seguidas para a mineração de texto são: A) Recuperação de Informação: fase onde são feitas a localização e recuperação de do- 27 cumentos que podem ser considerados relevantes, É necessário um sistema que filtre o conjunto de documentos especificado pelo usuário e indexe as palavas-chave encontradas, as quais identificam o conteúdo dos textos. B) Extração de Informação: fase de preenchimento de templates (documentos com lacunas a serem preenchidas) com a informação desejada da coleção de documentos. Os itens identificados ( características, palavras) que são relevantes nos documentos, são extraídos e convertidos em dados ( tabelas ou templates) que possam ser utilizados pelas técnicas de mineração. C) Mineração de Informação: estando a informação armazenada de forma estruturada (templates ou palavras-chave), a descoberta de padrões nos dados é feita sobre o banco de dados gerado, através de aplicação de uma tarefa de mineração. D) Interpretação: interpretação dos padrões recuperados na fase de mineração. Os resultados obtidos são interpretados realizando a descoberta do conhecimento – que pode ser obtida de maneira manual ou automaticamente por ferramentas. Programas comerciais com finalidade já podem ser adquiridos - As técnicas de mineração de dados são antigas conhecidas da Inteligência Artificial, porém somente recentemente saíram dos laboratórios para as empresas. Alguns pacotes já podem ser encontrados no comércio, contendo algumas destas técnicas. As técnicas mais recentes, no entanto, ainda se encontram no campo acadêmico, sendo necessário que a empresa se dirija a uma universidade que realize pesquisa para obter ajuda [8]. [8] diz que atualmente, outras empresas buscam adquirir dados para analisar melhor seus caminhos futuros através dos sistemas de apoio à decisão. Para empresas de serviços, a aquisição de dados é importante, pois precisam saber que serviço oferecer a quem. Para outras empresas, até a venda das informações pode ser um produto. 2.2.3 Mineração de Opiniões A mineração de opiniões opera sobre porções de texto de quaisquer tamanho e formato, tais como páginas web, posts, comentários, tweets, revisões de produto, etc. Toda opinião é composta de pelo menos dois elementos chave: um alvo e um sentimento sobre este alvo[4]. [14]Define a mineração de opinião como um estudo feito computacionalmente envolvendo opiniões , emoções e subjetividade, sentimentos, avaliações, e atitudes, expressos de forma textual. Decidir o que comprar, o que assistir, ou onde ir são frequentemente baseadas em opiniões de pessoas próximas, de especialistas, de estudos conduzidos por instituições especializadas. Organizações baseiam suas estratégias de negócio e investimentos na opinião de 28 seus clientes sobre seus produtos ou serviços. A importância da opinião é tão grande que muitas empresas têm seu negócio voltado à obtenção deste tipo de informação[15]. A mineração de opiniões tem origens em comum com a linguística computacional, com a qual compartilha problemas e desafios [4]. Opiniões podem ser regulares ou comparativas; diretas ou indiretas, e implícitas ou explícitas. Em opiniões regulares, o autor da opinião expressa um sentimento, atitude, emoção ou percepção sobre um alvo (“Este filme é muito bom”). Já as opiniões comparativas expressam o sentimento com base na relação de similaridades ou diferenças entre duas ou mais entidades, ou preferência quanto a algum aspecto compartilhado (“O teclado deste telefone é muito melhor do que o do meu telefone antigo”). As opiniões podem ser diretas (“Este suco é muito bom”), ou indiretas (“minha gripe piorou depois que tomei este remédio” – implicando opinião negativa sobre o remédio através do seu efeito sobre a gripe). Finalmente, opiniões explícitas expressam diretamente o sentimento, enquanto que as implícitas sugerem-no indiretamente (“Formou-se um vale no colchão que comprei na semana passada”). A maioria dos trabalhos concentra-se em opiniões regulares, diretas e explícitas, por serem mais fáceis de serem tratadas. 2.2.4 Análise de Sentimento Análise de sentimento está preocupada com a direção do texto base, isto é, um texto que contem opiniões e emoções. O foco é concentrar em estudos de classificação de sentimento que tentam determinar se um texto é objetivo ou subjetivo, ou se um texto subjetivo contém sentimentos positivos ou negativos. O sentimento de classificação tem várias características importantes, incluindo várias tarefas, características, técnicas, e domínios de aplicação[16]. A detecção do sentimento em um texto pode ocorrer em diferentes niveis, sendo que a decisão do nível está sujeita ao contexto e aplicação. A análise pode ser em nível de [4]: ∙ Documento: nesse nível, a tarefa é classificar se um documento, tratado como um todo, expressa um sentimento positivo ou negativo.Este nível de análise assume que cada documento expressa opiniões sobre uma entidade única (por exemplo, uma único produto). Assim, não é aplicável aos documentos que avaliam ou comparar várias entidades. ∙ Sentença: determina o sentimento de uma sentença específica de um documento. Este nível é bastante utilizado quando um mesmo documento contém opiniões sobre várias entidades. Ele também permite identificar e distinguir sentenças objetivas (fatos) e subjetivas (opiniões). Alguns autores sugerem ir além do nível de sentença, dividindo-a em cláusulas (e.g. “A cidade é péssima, mas a população é muito simpática”) [17]; ∙ Entidade e Aspecto: este nível foca na opinião expressa, independentemente dos construtos utilizados para expressá-la . Neste caso, o alvo da opinião pode ser uma entidade, ou algum de seus aspectos. No exemplo “Adoro minha câmera X porque a 29 qualidade de sua lente é excepcional. Pena que o preço seja tão alto”, observa-se que existem três opiniões em 2 sentenças: sobre a câmera X, e sobre dois de seus aspectos (preço e lente). Apenas a opinião sobre o preço é negativa, sendo que a opinião sobre a lente, e sobre a câmera em geral são positivas. Este é o nível mais complexo de análise, o qual tem sido bastante estudado no contexto de revisões de produtos e serviços (e.g. [[18], [17], [19]]). 31 3 DESENVOLVIMENTO 3.1 Base 3.2 Descrição do Método A proposição do uso de uma coleção de documentos para formar índices, CESA Crowd Explicit Semantic Analysis - visa representar o significado de textos numa matriz de conceitos derivados de um corpora. Por esta razão a abordagem CESA usa o corpora com a finalidade de formar um vetor de sentimentos. O processo CESA é ilustrado na Figura 1, inicia-se na aquisição textual da fonte de dados e na sequência, filtragem. Esta filtragem realiza as tarefas de pré-processamento que resultarão no vetor de sentimentos - a ser polarizado manualmente e no corpus com seus respectivos TF-IDFs. A formação da MATRIZMmn, ponto chave da abordagem CESA, é resultado da combinação do vetor de sentimentos vs e do corpus, onde m é o tamanho do corpus e n o número de sentimentos obtidos na filtragem. 3.2.1 Diagrama Figura 1 – Método CESA 33 4 ANÁLISE 4.1 Performance 35 5 CONCLUSÃO 37 REFERÊNCIAS [1] LYMAN, P.; VARIAN, H. How much information 2003? 2004. [2] LIANG, H. The organizational principles of online political discussion: A relational event stream model for analysis of web forum deliberation. Human Communication Research, Wiley Online Library, v. 40, n. 4, p. 483–507, 2014. [3] BICKART, B.; SCHINDLER, R. M. Internet forums as influential sources of consumer information. Journal of interactive marketing, Wiley Online Library, v. 15, n. 3, p. 31–40, 2001. [4] LIU, B. Sentiment analysis and opinion mining (synthesis lectures on human language technologies). Morgan & Claypool Publishers, 2012. [5] MONTEJO-RáEZ, A. et al. Crowd explicit sentiment analysis. Knowledge-Based Systems, Elsevier, v. 69, p. 134–139, 2014. [6] FAYYD, U. M.; SHAPIRO, G. P.; SMYTH, P. From data mining to knowledge discovery: an overview. AAAI Press/The MIT Press, 1996. [7] BARION, E. C. N.; LAGO, D. Mineração de textos. Revista de Ciências Exatas e Tecnologia, v. 3, n. 3, p. 123–140, 2008. [8] CARVALHO, L. A. V. de. Datamining: a mineração de dados no marketing, medicina, economia, engenharia e administração. [S.l.]: Érica, 2005. [9] AMORIM, T. Conceitos, técnicas, ferramentas e aplicações de mineração de dados para gerar conhecimento a partir de bases de dados. Monografia (Bacharel em Ciência da Computação). Universidade Federal de Pernambuco, 2006. [10] ZANUSSO, M. B. DataMining 2013. Disponível em: <http://www.dct.ufms.br/ ~mzanusso/Data_Mining.htm>. [11] OLIVEIRA, F. A. Processamento de linguagem natural: princípios básicos e a implementação de um analisador sintático de sentenças da língua portuguesa. Porto Alegre, 2009. [12] ROMÃO, W. Descoberta de conhecimento relevante em banco de dados sobre ciência e tecnologia. Tese (Doutorado) — Universidade Federal de Santa Catarina, 2002. [13] DIXON, M. An overview of document mining technology. Unpublished paper, Citeseer, 1997. [14] GUERRA, P. H. C. et al. From bias to opinion: a transfer-learning approach to real-time sentiment analysis. In: ACM. Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. [S.l.], 2011. p. 150–158. [15] CARVALHO, P. et al. Clues for detecting irony in user-generated contents: oh...!! it’s so easy;-). In: ACM. Proceedings of the 1st international CIKM workshop on Topic-sentiment analysis for mass opinion. [S.l.], 2009. p. 53–56. 38 [16] ABBASI, A.; CHEN, H.; SALEM, A. Sentiment analysis in multiple languages: Feature selection for opinion classification in web forums. ACM Transactions on Information Systems (TOIS), ACM, v. 26, n. 3, p. 12, 2008. [17] THET, T. T.; NA, J.-C.; KHOO, C. S. Aspect-based sentiment analysis of movie reviews on discussion boards. Journal of Information Science, Sage Publications, p. 0165551510388123, 2010. [18] HU, M.; LIU, B. Mining and summarizing customer reviews. In: ACM. Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining. [S.l.], 2004. p. 168–177. [19] GHANI, R. et al. Text mining for product attribute extraction. ACM SIGKDD Explorations Newsletter, ACM, v. 8, n. 1, p. 41–48, 2006. Apêndices 41 APÊNDICE A – QUISQUE LIBERO JUSTO Quisque facilisis auctor sapien. Pellentesque gravida hendrerit lectus. Mauris rutrum sodales sapien. Fusce hendrerit sem vel lorem. Integer pellentesque massa vel augue. Integer elit tortor, feugiat quis, sagittis et, ornare non, lacus. Vestibulum posuere pellentesque eros. Quisque venenatis ipsum dictum nulla. Aliquam quis quam non metus eleifend interdum. Nam eget sapien ac mauris malesuada adipiscing. Etiam eleifend neque sed quam. Nulla facilisi. Proin a ligula. Sed id dui eu nibh egestas tincidunt. Suspendisse arcu. Anexos 45 ANEXO A – MORBI ULTRICES RUTRUM LOREM. Sed mattis, erat sit amet gravida malesuada, elit augue egestas diam, tempus scelerisque nunc nisl vitae libero. Sed consequat feugiat massa. Nunc porta, eros in eleifend varius, erat leo rutrum dui, non convallis lectus orci ut nibh. Sed lorem massa, nonummy quis, egestas id, condimentum at, nisl. Maecenas at nibh. Aliquam et augue at nunc pellentesque ullamcorper. Duis nisl nibh, laoreet suscipit, convallis ut, rutrum id, enim. Phasellus odio. Nulla nulla elit, molestie non, scelerisque at, vestibulum eu, nulla. Ut odio nisl, facilisis id, mollis et, scelerisque nec, enim. Aenean sem leo, pellentesque sit amet, scelerisque sit amet, vehicula pellentesque, sapien. 47 TRABALHOS PUBLICADOS PELO AUTOR Trabalhos publicados pelo autor durante o programa (obrigatório somente para teses de doutorado e dissertações de mestrado no template DC/UEL). 1. Jose da silva, autor2 da silva, orientador da silva, Título do artigo, local onde foi publicado, mês/ano, editora, número de página, isbn, (Qualis CC 2012, xx) 2. Jose da silva, autor2 da silva, orientador da silva, Título do artigo, local onde foi publicado, mês/ano, editora, número de página, isbn, (Qualis CC 2012, xx) 3. Jose da silva, autor2 da silva, orientador da silva, Título do artigo, local onde foi publicado, mês/ano, editora, número de página, isbn, (Qualis CC 2012, xx) 4. Jose da silva, autor2 da silva, orientador da silva, Título do artigo, local onde foi publicado, mês/ano, editora, número de página, isbn, (Qualis CC 2012, xx)