Métodos de pesquisa quantitativa e qualitativa para Ciência da

Métodos de pesquisa quantitativa
e qualitativa para Ciência da
Computação
Jacques Wainer
Gabriel de Barros Paranhos da Costa
Gabriel Dias Cantareira
Metodologia de pesquisa científica
em Ciências da Computação
● Avaliação: processo de julgar o mérito ou
valor de um sistema de informação
○ Verificação
○ Validação
● Usualmente leis e teorias
○ Em CC: rasas, de caráter estatístico e datadas
● 4 tipos de pesquisa
Tipos de pesquisa - Analítica
● Gerar/obter conhecimento sobre programas
e algoritmos
● Pressuposições
● Provas matemáticas
● Exemplo
○ Análise de complexidade assintótica de algoritmos
Tipos de pesquisa - Quantitativa
● Medida de poucas variáveis objetivas
● Comparação de resultados
● Benchmarks, competições, questionários
● Pesquisa correlacional ou modelagem
estatística
○ Relação entre variáveis em um grande conjunto de
dados
Tipos de pesquisa - Qualitativa
● Variáveis que não podem ser medidas
● Observação
● Pesquisa-ação
● Estudo do sistema em questão no ambiente
em que está sendo usado
Tipos de pesquisa - Bibliográfica
● Revisão sistemática
● Meta-análises
● Coletar todos os artigos publicados sobre
um determinado experimento quantitativo
● Resumir os resultados
Métodos quantitativos
● Visão dita positivista
○ Diferentes observadores devem obter os mesmos
resultados em observações distintas
○ Define claramente o que é melhor e o que é pior
○ Medições numéricas consideradas mais ricas que
descrições verbais
Dados sintéticos
● Benchmarks
● Testes com o programa novo e a "concorrência"
usando os mesmos dados
● Pode avaliar tempo de execução, qualidade do
resultado ou resultados esperados
● Atenção a limitações como efeitos teto e chão
● Competições
Significância estatística
● Métodos usados variam com diferentes tipos
de medida
○
○
○
○
Medidas categóricas
Medidas ordinais
Medidas intervalares
Medidas de razão
Significância estatística
● Testes estatísticos levam em consideração
uma hipótese nula
● Significância estatística pode medir o valor
de corte (p-value) da probabilidade de
rejeição dessa hipótese
Significância estatística
● Testes com menor valor p-value são
considerados mais fortes
● Testes estatísticos podem ser configurados
para gerar um intervalo de resultados
prováveis dentro de um valor de confiança
(intervalos de confiança)
Significância estatística
● Diversos testes para comparar dois conjuntos
de dados usando intervalos de confiança
○
○
○
○
○
○
○
Teste T
Intervalo de Wald
Teste T Pareado
Wilcoxon rank-sum test
Wilcoxon signed-rank test
Fischer exact test
Teste chi-quadrado
● São apropriados para diferentes tipos de
medidas
Significância estatística
● Para mais de dois conjuntos, comparações
2 a 2 em sequência reduzem a confiança e
podem propagar erros
● São usados outros testes
○ one-way ANOVA, Kruskal-Wallis, etc
Desenhos fatoriais
● Em análises, podem ser identificados fatores
e níveis
● Design de experimento considerado fatorial
se todas as combinações fator/nível são
testadas
● Caso contrário, o desenho é chamado
fatorial parcial e a escolha das combinações
deve ser cuidadosa
Questionários
● Forma rápida e simples de receber
informações acerca experiências de
usuários
● Tentam medir uma característica invisível ou
latente
● Perguntas com respostas predefinidas
Questionários
● Propriedades
○ Confiabilidade
○ Validade
● Atenção à elaboração de perguntas,
alternativas e encorajamento de usuários
● Problemas: viés de amostragem e nãoresposta
Experimentos
● Observação de comportamento de variáveis
em situações controladas ou artificiais
● Em computação, sempre envolvem pessoas
Experimentos
● Validade
○ Interna: validade das manipulações
○ Externa: aplicabilidade do experimento para
generalizações
● Seguem duas divisões de grupo:
grupo pré-teste/pós-teste e grupo
experimental/controle
Experimentos
● Grupos pré-teste/pós-teste
○ Testes diferentes com o mesmo grupo para cada
caso
● Ameaças:
○
○
○
○
Instrumentação
Testagem
Maturação
História
Experimentos
● Grupos experimentais/controle
○ Mesmos testes para grupos diferentes nas
condições a serem observadas
● Ameaças:
○
○
○
○
○
Seleção
Mortalidade seletiva
Contaminação
Comportamento competitivo
Comportamento compensatório
Experimentos
● Outras ameaças
○
○
○
○
Regressão à média
Efeito de expectativa do sujeito
Efeito de expectativa do experimentador
Influência de parte da intervenção
Métodos Qualitativos
● Observar variáveis que não podem ser
medidas
● Estudo sobre um sistema no ambiente onde
ele está sendo usado
● Dois tipos de pesquisa
○ Pesquisa observacional
○ Pesquisa-ação
Pesquisa Observacional
● Observar o ambiente sem modificá-lo
● Perspectiva positivista
○ Busca seguir os fundamentos da pesquisa
quantitativa
○ Teorias e provas
● Perspectiva interpretativista
○ Interpretação de um observador
● Perspectiva crítica
○ Revelar relações de poder e dominação
Pesquisa Observacional Positivista
● Descritiva ou exploratória
● Exploratória
○ Descreve um fenômeno
○ Propõe novas teorias
● Explanatória
○ Busca provar ou desprovar uma teoria
Estilos de Pesquisa Observacional
● Estudo de caso
○ Interação do pesquisador com os sujeitos é semiformal
○ Descobrir "o que as pessoas escrevem" e "o que as
pessoas dizem"
○ Entrevistas e conversas programadas
● Etnografia
○ O pesquisador "vive e trabalha" junto com os
sujeitos
○ Descobrir "o que as pessoas fazem"
○ "Fazer parte" do grupo
Técnicas de Pesquisa Observacional
● Como garantir que os dados e as
conclusões obtidas são confiáveis, válidas e
generalizáveis?
● Controlar a subjetividade ou o viés do
pesquisador
Pesquisa-ação
● Modificar o ambiente
● Colaboração dos sujeitos com o
pesquisador
● Ciclo
○
○
○
○
○
○
Infra-estrutura cliente-sistema
Diagnóstico
Planejamento de ação
Tomada de ação
Avaliação
Aprendizado
Outras formas qualitativas de
avaliação
● Crítica artística
○ Especialista na área usa o sistema e expressa sua
opinião sobre a experiência
● Comitê de Especialista (Professional
Review)
○ Grupo de especialistas
○ Várias técnicas são utilizadas para manter a
subjetividade sob controle
Publicação de pesquisa qualitativa
● Defender o mérito dos métodos qualitativos
● Em pesquisa-ação, mostrar que não é
apenas o desenvolvimento de um sistema,
ou resultados de uma consultoria
● Mostrar evidências no artigo de que é um
pesquisador competente
Ética em pesquisa em computação
● O sujeito de um experimento em ciência da
computação deve ser informado que ele
participa de um experimento?
● Caso sim, ele deve ser avisado antes e
concordar em participar do experimento ou
somente aprovar que os dados coletados
sejam utilizados na pesquisa após a
realização do experimento?
Referências Bibliográficas
● WAINER, J. (2007). Métodos de pesquisa
quantitativa e qualitativa para a ciência
computação. In T. KOWALTOWSKI e K.
BREITMAN (Org.), Atualização em
Informática da Sociedade Brasileira de
Computação, pp. 221-262.