Métodos de pesquisa quantitativa e qualitativa para Ciência da
Propaganda
Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação Jacques Wainer Gabriel de Barros Paranhos da Costa Gabriel Dias Cantareira Metodologia de pesquisa científica em Ciências da Computação ● Avaliação: processo de julgar o mérito ou valor de um sistema de informação ○ Verificação ○ Validação ● Usualmente leis e teorias ○ Em CC: rasas, de caráter estatístico e datadas ● 4 tipos de pesquisa Tipos de pesquisa - Analítica ● Gerar/obter conhecimento sobre programas e algoritmos ● Pressuposições ● Provas matemáticas ● Exemplo ○ Análise de complexidade assintótica de algoritmos Tipos de pesquisa - Quantitativa ● Medida de poucas variáveis objetivas ● Comparação de resultados ● Benchmarks, competições, questionários ● Pesquisa correlacional ou modelagem estatística ○ Relação entre variáveis em um grande conjunto de dados Tipos de pesquisa - Qualitativa ● Variáveis que não podem ser medidas ● Observação ● Pesquisa-ação ● Estudo do sistema em questão no ambiente em que está sendo usado Tipos de pesquisa - Bibliográfica ● Revisão sistemática ● Meta-análises ● Coletar todos os artigos publicados sobre um determinado experimento quantitativo ● Resumir os resultados Métodos quantitativos ● Visão dita positivista ○ Diferentes observadores devem obter os mesmos resultados em observações distintas ○ Define claramente o que é melhor e o que é pior ○ Medições numéricas consideradas mais ricas que descrições verbais Dados sintéticos ● Benchmarks ● Testes com o programa novo e a "concorrência" usando os mesmos dados ● Pode avaliar tempo de execução, qualidade do resultado ou resultados esperados ● Atenção a limitações como efeitos teto e chão ● Competições Significância estatística ● Métodos usados variam com diferentes tipos de medida ○ ○ ○ ○ Medidas categóricas Medidas ordinais Medidas intervalares Medidas de razão Significância estatística ● Testes estatísticos levam em consideração uma hipótese nula ● Significância estatística pode medir o valor de corte (p-value) da probabilidade de rejeição dessa hipótese Significância estatística ● Testes com menor valor p-value são considerados mais fortes ● Testes estatísticos podem ser configurados para gerar um intervalo de resultados prováveis dentro de um valor de confiança (intervalos de confiança) Significância estatística ● Diversos testes para comparar dois conjuntos de dados usando intervalos de confiança ○ ○ ○ ○ ○ ○ ○ Teste T Intervalo de Wald Teste T Pareado Wilcoxon rank-sum test Wilcoxon signed-rank test Fischer exact test Teste chi-quadrado ● São apropriados para diferentes tipos de medidas Significância estatística ● Para mais de dois conjuntos, comparações 2 a 2 em sequência reduzem a confiança e podem propagar erros ● São usados outros testes ○ one-way ANOVA, Kruskal-Wallis, etc Desenhos fatoriais ● Em análises, podem ser identificados fatores e níveis ● Design de experimento considerado fatorial se todas as combinações fator/nível são testadas ● Caso contrário, o desenho é chamado fatorial parcial e a escolha das combinações deve ser cuidadosa Questionários ● Forma rápida e simples de receber informações acerca experiências de usuários ● Tentam medir uma característica invisível ou latente ● Perguntas com respostas predefinidas Questionários ● Propriedades ○ Confiabilidade ○ Validade ● Atenção à elaboração de perguntas, alternativas e encorajamento de usuários ● Problemas: viés de amostragem e nãoresposta Experimentos ● Observação de comportamento de variáveis em situações controladas ou artificiais ● Em computação, sempre envolvem pessoas Experimentos ● Validade ○ Interna: validade das manipulações ○ Externa: aplicabilidade do experimento para generalizações ● Seguem duas divisões de grupo: grupo pré-teste/pós-teste e grupo experimental/controle Experimentos ● Grupos pré-teste/pós-teste ○ Testes diferentes com o mesmo grupo para cada caso ● Ameaças: ○ ○ ○ ○ Instrumentação Testagem Maturação História Experimentos ● Grupos experimentais/controle ○ Mesmos testes para grupos diferentes nas condições a serem observadas ● Ameaças: ○ ○ ○ ○ ○ Seleção Mortalidade seletiva Contaminação Comportamento competitivo Comportamento compensatório Experimentos ● Outras ameaças ○ ○ ○ ○ Regressão à média Efeito de expectativa do sujeito Efeito de expectativa do experimentador Influência de parte da intervenção Métodos Qualitativos ● Observar variáveis que não podem ser medidas ● Estudo sobre um sistema no ambiente onde ele está sendo usado ● Dois tipos de pesquisa ○ Pesquisa observacional ○ Pesquisa-ação Pesquisa Observacional ● Observar o ambiente sem modificá-lo ● Perspectiva positivista ○ Busca seguir os fundamentos da pesquisa quantitativa ○ Teorias e provas ● Perspectiva interpretativista ○ Interpretação de um observador ● Perspectiva crítica ○ Revelar relações de poder e dominação Pesquisa Observacional Positivista ● Descritiva ou exploratória ● Exploratória ○ Descreve um fenômeno ○ Propõe novas teorias ● Explanatória ○ Busca provar ou desprovar uma teoria Estilos de Pesquisa Observacional ● Estudo de caso ○ Interação do pesquisador com os sujeitos é semiformal ○ Descobrir "o que as pessoas escrevem" e "o que as pessoas dizem" ○ Entrevistas e conversas programadas ● Etnografia ○ O pesquisador "vive e trabalha" junto com os sujeitos ○ Descobrir "o que as pessoas fazem" ○ "Fazer parte" do grupo Técnicas de Pesquisa Observacional ● Como garantir que os dados e as conclusões obtidas são confiáveis, válidas e generalizáveis? ● Controlar a subjetividade ou o viés do pesquisador Pesquisa-ação ● Modificar o ambiente ● Colaboração dos sujeitos com o pesquisador ● Ciclo ○ ○ ○ ○ ○ ○ Infra-estrutura cliente-sistema Diagnóstico Planejamento de ação Tomada de ação Avaliação Aprendizado Outras formas qualitativas de avaliação ● Crítica artística ○ Especialista na área usa o sistema e expressa sua opinião sobre a experiência ● Comitê de Especialista (Professional Review) ○ Grupo de especialistas ○ Várias técnicas são utilizadas para manter a subjetividade sob controle Publicação de pesquisa qualitativa ● Defender o mérito dos métodos qualitativos ● Em pesquisa-ação, mostrar que não é apenas o desenvolvimento de um sistema, ou resultados de uma consultoria ● Mostrar evidências no artigo de que é um pesquisador competente Ética em pesquisa em computação ● O sujeito de um experimento em ciência da computação deve ser informado que ele participa de um experimento? ● Caso sim, ele deve ser avisado antes e concordar em participar do experimento ou somente aprovar que os dados coletados sejam utilizados na pesquisa após a realização do experimento? Referências Bibliográficas ● WAINER, J. (2007). Métodos de pesquisa quantitativa e qualitativa para a ciência computação. In T. KOWALTOWSKI e K. BREITMAN (Org.), Atualização em Informática da Sociedade Brasileira de Computação, pp. 221-262.
