Validade Interna

Validade Interna
Capítulo 2
Capítulo 2 – Shadish , Cook e
Campbell (2002)
Pp. 53- 63
Definições

A covariação entre A e B reflete uma relação causal de A para
B na forma como as variáveis foram manipuladas ou
mensuradas?
 A deve preceder B
 A deve covariar com B
 Inexistência de hipóteses alternativas

Termo livre de confusões proposto por Campbell (1986):
VALIDADE CAUSAL MOLAR LOCAL
Refere-se às
inferências causais
Os
experimentos
são
pacotes
complexos
constituídos por muitos
componentes
Limitação da
conclusão ao contexto
do treinamento
Ameaças à Validade Interna

“Tipicamente, nós inferimos um efeito a partir de uma
causa por meio da eliminação de outras possíveis
causas” (Mackie, 1974), tais como:









Precedência temporal ambígua
Seleção
História
Maturação
Regressão
Desgaste
Testagem
Instrumentação
Efeitos Aditivos e Interativos das Ameaças
Ameaças à Validade Interna

Precedência temporal ambígua


Especialmente em estudos correlacionais, a relação temporal
entre A e B pode ser confusa. O fato de A ocorrer antes de B
não justifica que A causa B.
Seleção

As diferenças entre os grupos experimentais e de comparação
(ou de controle), em algumas vezes, podem ser responsáveis
por diferentes resultados na implementação do programa. A
característica chave desta ameaça é a confusão dos efeitos do
tratamento com diferenças existentes na população pesquisada.
Ameaças à Validade Interna

História
 Qualquer
evento ocorrido entre o início do tratamento
e o pós-teste e que pode ter produzido os efeitos
observados na ausência do tratamento.

Maturação
 Alterações
naturais que podem ocorrer mesmo na
ausência do tratamento. Podem constituir-se em
ameaça se produzirem os resultados atribuíveis ao
tratamento.
Ameaças à Validade Interna

Regressão
 Comum
quando os participantes são selecionados a
partir de escores extremos, os quais tendem a não
ser tão extremos em outras mensurações (regressão
para a média).

Mortalidade
 Refere-se
à perda de sujeitos ou participantes da
pesquisa. Essa perda pode provocar diferenças entre
pessoas que permanecerem em um e em outro
grupo ou condição (controle, tratamento).
Ameaças à Validade Interna

Teste


Influência exercida por um teste sobre os resultados da
aplicação do mesmo teste em outra situação. Apesar de
preocupante, esta ameaça é menor quando o intervalo de
tempo entre uma e outra aplicação de um teste é razoável.
Instrumentação

Uma alteração no instrumento pode ocorrer ao longo do
tempo mesmo na ausência do tratamento, simulando, assim, o
efeito do tratamento. Difere da ameaça referente à testagem,
pois reflete uma mudança no instrumento, e não no participante.
Comum em estudos sobre o desenvolvimento infantil, em que
as medidas são alteradas ao longo do tempo.
Ameaças à Validade Interna

Efeitos Aditivos
 Várias
ameaças podem ocorrer conjuntamente. A
rede de ameaças será maior ou menor, dependendo
da direção e da magnitude do efeito de cada viés e
da forma como essas variáveis atuam conjuntamente
(aditivamente ou interativamente);
 Inferências
causais imprecisas são mais prováveis
quanto
há
muitas
ameaças
operando
simultaneamente na mesma direção.
Reduzindo as ameaças

Em delineamentos quase-experimentais:
Número de Ligações

Modificar as características do desenho da pesquisa ou
tornar as ameaças explícitas e, então, eliminá-las uma
por uma.
• Intervenção: Cobrança de 20 centavos por ligação para
o diretório local de assistência.
• Análise das ameaças à validade:
cobrança
3000
2500
2000
1500
1000
500
62
64
66
68
Ano
70
72 74
• Regressão: improvável, pois a série anterior à intervenção
relata um alto número de ligações por muitos anos;
• Seleção: improvável, pois a população usuária do serviço não
sofreu mudanças atípicas nos meses anteriores e posteriores à
intervenção;
• Mortalidade: improvável, pois é difícil imaginar que grande
parte dos usuários tenham desconectado seus telefones em
resposta à cobrança;
• Testagem: no caso, o teste é a conta do usuário, a qual não
sofreu alteração alguma nos períodos analisados;
• História: plausível somente se outro evento ocorrido
simultaneamente com a cobrança tivesse gerado efeito tão
drástico, o que parece improvável.
Validade da conclusão estatística:
Questões relevantes:
As variáveis independentes e dependentes estão de fato
correlacionadas?
O efeito da VI sobre a VD foi estatisticamente significativo?
Possíveis ameaças:
baixo poder estatístico (amostras pequenas ou testes com baixo
poder para testar o efeito);
violação de pressupostos estatísticos;
instrumentos pouco válidos;
heterogeneidade dos sujeitos nas condições;
uso de muitos testes estatísticos para testar efeitos;
baixa confiabilidade do experimento ou condições de pesquisa;
ocorrências imprevistas durante o experimento.
Validade interna
Questões importantes:
O que causou os efeitos?
O tratamento sozinho produziu os resultados?
Há explicações alternativas para os efeitos? Quais são elas?
Até que ponto (quanto e em que direção) essas variáveis externas afetaram
os resultados?
Ameaças:
história (ocorrências alheias ao experimento);
maturação (alterações nos participantes ocorridas entre o pré e o pós-teste);
instrumentação e testagem,
regressão à média,
interação da seleção de sujeitos com o tratamento gerando grupos não
equivalentes;
difusão ou imitação; equalização compensatória dos grupos; rivalidade
compensatória entre grupos (controle e tratamento); desmotivação
ressentida de um ou mais grupos.
Validade de constructo
Questões importantes:
O que significam os resultados?
Como os conceitos foram definidos? As definições e operacionalizações
estão alinhadas entre si?
As medidas são válidas (representativas do constructo que se propõem a
medir?) e precisas (avaliam apenas o que estão se propondo a medir?
Ameaças:
Explicações imprecisas dos constructos;
Distorção causada pela mono-operacionalização (uma medida para um
constructo);
Distorção causada pelo mono-método (mesmo método ou método similar);
Sujeitos da pesquisa com conhecimento das hipóteses experimentais;
Confusão entre conceitos;
Expectativas do a avaliador.
Dificuldade de generalização dos achados em função da definição e medidas
adotadas.
Validade Externa:


Questão relevante:
Os achados da pesquisa podem ser
generalizados para outras pessoas, contextos
e épocas?
Ameaças:
- amostras de conveniência impedem ou
dificultam a generalização;
- interações com variáveis externas.
Delineamentos e controle de ameaças
Fonte: Meneses, 2007
Delineamentos e controle de ameaças
Fonte: Meneses, 2007
Delineamentos e controle de ameaças
Fonte: Meneses, 2007
Delineamentos e controle de ameaças
Fonte: Meneses, 2007