Mídias Sociais Aula09 AnáliseTextualdeMídias Sociais–parteI Prof.DaltonMar1ns [email protected] GestãodaInformação UniversidadeFederaldeGoiás O que é Análise Textual? • AnáliseTextualdeMídiasSociais,tambémconhecidacomo mineraçãodetexto,éumatécnicaparaextrair,analisareinterpretar insightsocultosdeelementostextuaisdeconteúdodemídiasocial. 2 Tipos de texto em mídias sociais • Textodinâmico • Textoestá1co • Ambostextodinâmicoeestá9coestãosujeitosaanálise. 3 Tipos de texto em mídias sociais • Textodinâmico • Otextodinâmicoégeradopelousuárioemtemporealouadeclaração expressaumaopiniãosobreoconteúdoouinformaçõespostadassobre mídiasocial. • Otextodinâmicoégeralmentemenoremcomprimento(porexemplo,um pardefrases),denaturezadiversa,eéatualizadoouexcluídocommais freqüência. • Exemplos: • • • • • Tweet Comentários Discussões Conversações Revisões 4 Tipos de texto em mídias sociais • Textoestá1co • Textoestá9coégeralmentedegrandecomprimento(porexemplo,vários parágrafos)eégerado,atualizadosouexcluídoscommenosfreqüência. • Exemplos: • • • • • • Conteúdodewiki Umapáginadeumblog DocumentosnoWord Relatórioscorpora9vos Emails Novos9posdedocumentos… 5 Propósitos da Análise Textual Análise de Sentimento Mineração de Conceitos Propósitos da Análise Textual de Mídias Sociais Mineração de Tendências Mineração de Intenções 6 Propósitos da Análise Textual • AnálisedeSen1mentos • Análisedesen9mentoanalisaeclassificatextodemídiasocial (principalmentetextodinâmico)comosendoposi9vo,nega9voouneutro. • Oobje9voprincipaldaanálisedesen9mentoédeterminarcomoaspessoas sesentemsobreumdeterminadoproduto,serviçoouassunto. 7 Propósitos da Análise Textual • MineraçãodeIntenções • Mineraçãodeintençãovisadescobriraintençãodosusuários(taiscomo comprar,vender,recomendar,sair,desejoouvontade)apar9rdalinguagem naturaldentrodotextodamídiasocial,comocomentáriosdousuário, análisesdeprodutos,tweetseposts. • Podeserusadoparaencontrarnovosclientespotenciaisquepretendemcomprarum produto(ouserviço),e • Serviçodeclientesexistentesquetêmproblemascomumproduto; • Pessoasinteressadasoudemandandoemumserviçopúblico. 8 Propósitos da Análise Textual • MineraçãodeTendências • Mineraçãodetendências,tambémconhecidacomoanálisepredi9va,usa grandesquan9dadesdedadosdemídiasocialemtemporealehistóricopara prevereventosfuturos. • Porexemplo,umagrandequan9dadededadosdemídiasocial(comentáriosetweets) podeserextraídoparaiden9ficarpadrõesetendênciasparaonovoprodutoouserviço oudesenvolvimentodemaneiraamelhorarasa9sfaçãodaspessoas,antecipandosuas necessidades. 9 Propósitos da Análise Textual • Mineraçãodeconceitos • Temcomoobje9voextrairidéiaseconceitosapar9rdedocumentos. • Éú9lparaextrairidéiasdegrandesquan9dadesdetextoestá9codemídias sociais,comoconteúdowiki,umapáginaweb,documentosdoWorde transcriçõesdenoicias. • Podeseru9lizadoparaclassificar,agrupareclassificaridéias. 10 Passos para a análise textual • Agrupamento • Classificação • Análise de Associação • Análise Preditiva • Análise de Sentimento • Texto dinâmico: tweets, co mentários, revisões • Texto Estático: Wiki, blogs, websites, relatórios. Mineração de T exto Identificação d a Fonte Transformação do Texto Análise & Filtragem • Contagem de termos • Contagem de frequência • Métricas de co-ocorrência Stemizaçãoéoprocessodereduzirpalavrasflexionadasaoseutronco,baseouraiz.Exemplo:felizmente->feliz. Palavrasdeparada:os,as,e,para,com,sem,de,etc... • Stemização • Partes da fala • Extração de entidades nom inais • Palavras de parada • Filtragem 11 Passos para a análise textual • Iden1ficaçãodafonteebuscadainformação • Oprocessodeanálisedetextocomeçacomaiden9ficaçãodafontedotexto queseráanalisado. • Encontrarafontecertaparaefeitosdeanálisedetextoémuitocrucial. • Ogênerodotextofontetambémvaideterminaro9podeferramentau9lizadapara extraireanalisar. • Aquestãoqueprecisaserrespondidacomanálisedetextoiráservircomoumbom pontodepar9da. 12 Passos para a análise textual • Análiseefiltragemdotexto • Opróximopassoéanalisar,limparefiltrarotexto,alémdecriarum dicionáriodepalavrasusandoNPL(NaturalProcessingLanguage, ProcessamentodeLinguagemNatural),quesebaseiaprincipalmenteem técnicasdeaprendizadodemáquina. • asestruturasdefrasesepartesdodiscursoestãodeterminados. • en9dadesnomeadassãoextraídas(pessoas,organizações,nomesdeprodutos/ serviços,etc.). • Palavrasdeparadasãoremovidas; • grafiassãoverificadas. 13 Passos para a análise textual • Transformaçãodotexto • Paraosalgoritmosdeanáliseaseremaplicadosaotexto,eledeveser transformadonumformatolegívelporcomputador(porexemplo,0e1)para análise. • Otextolimpoéentãotransformadoemrepresentaçõesnuméricasusando técnicasbaseadasemálgebralinear,taiscomoanálisedeespaçovetoriale modelossemân9coslatentes. 14 Passos para a análise textual • MineraçãodoTexto • Nestepasso,otextoérealmenteextraídoparaextrairosinsightsnecessários • Variedadesdealgoritmosdemineraçãodetextosãoaplicadosaotexto,tais como: • • • • • Agrupamento Associação Classificação análisepredi9va,e análisedesen9mento 15 Passos para a análise textual • Associação • Éumatécnicademineraçãodedadosu9lizadaparadeterminara probabilidadedeaco-ocorrênciadositensdeumacoleçãodedocumentos. • Asrelaçõesentreositenssãoexpressoscomoregrasdeassociação. • Naanálisedetexto,porexemplo,textodemídiasocialpodemseragrupados combasenafreqüênciadeco-ocorrência. • Ouelepodeserusado,porexemplo,aodescobrirqueumusuárioque gostavadeumconteúdodemídiasocialAeBé90porcentoprovávelque tambémgostoconteúdoC. 16 Passos para a análise textual • Agrupamento • Análisedeagrupamentotrabalhacombasenasimilaridadedegruposque nãosesobrepõem. • Éumaparteimportantedamineraçãodedadoseanálisedetexto. • Textosocialdosmedia(comotweetsoucomentários),porexemplo,podemser agrupadosemcategoriasposi9vas,nega9vasenaturais. • Ounósemumarededemídiasocialpodemseragrupadoscombaseemimportância. 17 Passos para a análise textual • Classificação • Dopontodevistadeanálisedetexto,classificaçãooucategorizaçãoéusada paraencontrarsemelhançasnodocumentoeosagrupacomrótulosprédefinidoscombasenostemascon9dosnodocumento. • Porexemplo,ume-mailpodeserclassificadacomospamcombaseemseu conteúdo. 18 Ferramentas de Análise Textual de Mídias Sociais • Discovertext:Discovertext(htp://discovertext.com/)éumapoderosa plataformaparaarecolha,limpezaeanálisedetextoefluxosdedadosde mídiasocial. • Lexaly1cs:Lexaly9cs(htp://www.lexaly9cs.com/)éumaferramentade análisedetextodemídiasocialeferramentadeanálisesemân9capara plataformasdemídiasocial,incluindoTwiter,Facebook,blogs,etc. • TweetArchivist:TweetArchivist(htps://www.tweetarchivist.com/)está focadaempesquisa,oarquivamento,analisarevisualizarostweetscom baseemumtermodepesquisaouhashtag(#). • Twitonomy:Twitonomy(htps://www.twitonomy.com/)éumaferramenta deanáliseparaoTwiterparaobteranálisesdetalhadasevisuaisem tweets,retweets,respostas,menciona,hashtags,seguidores,etc. 19 Ferramentas de Análise Textual de Mídias Sociais • Netly1c:Netly9c(htps://netly9c.org)éumaferramentaemnuvemdeanálisedetexto eredesocialquedescobreredessociaisapar9rdeconversason-lineemsitesdemídia social. • LIWC:Linguis9cInquiryandWordCount(LIWC)éumaferramentadeanálisedetexto paraanálisedoscomponentesemocionaiscogni9voseestruturaisdeprocessos presentesemamostrasdefalaverbaleescritadosindivíduos::htp://www.liwc.net/ • Voyant:Voyant(htp://voyant-tools.org/)éferramentanaWebparaanálisedetexto. ComVoyant,umcorpodetextopodeserlidoapar9rdeumarquivooudiretamente exportadosapar9rdeumwebsite • LinguaKit(htps://linguakit.com/pt/)éumaferramentadasmaiscompletasparaanálise semân9ca,linguís9caetextual. 20