Concepções, Especificidades e Tipos de Avaliação de

Tendências da Avaliação no
âmbito das Políticas Públicas:
desafios e perspectivas
Valéria Almada Lima
e-mail: [email protected]
Avaliação de Políticas e Programas
Sociais
• Um momento do processo das políticas
públicas
• Uma modalidade de pesquisa social
aplicada
Pesquisa Avaliativa: modalidade
de pesquisa social aplicada
1. Histórico:
Séc. XVII:
• Primeiros estudos avaliativos de programas sociais, no
contexto da revolução científica desencadeada na
Europa, alicerçada nas teorias de Kepler, Bacon, Galileu
e Descartes;
• Espelhavam-se no método experimental advindo das
ciências naturais;
Pesquisa Avaliativa: modalidade
de pesquisa social aplicada
1.Histórico:
Séc. XX:
• Maior evolução e emprego generalizado de avaliações sistemáticas,
com aplicação de métodos de pesquisa social, concomitantemente
ao crescimento e aprimoramento dos próprios métodos científicos e
à evolução da estrutura política, econômica e social das sociedades
humanas;
• A avaliação no campo social ganha reconhecimento científico;
• Concentra-se nos campos da educação e da saúde.
• Forte influência da corrente positivista.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
1- Histórico:
Anos 1950 a 1970 : Período áureo da pesquisa avaliativa
• Expande-se nos Estados Unidos no governo de Lindon
Johnson, no contexto das Reformas Sociais e Programas
Comunitários denominados de “Guerra à Pobreza”.
• Consolida-se como um campo específico de estudo,
ensejando a criação de cursos, centros de pesquisa e
publicações especializadas.
• Viés comportamental e neutralista, voltado, sobretudo,
para a eficiência e a eficácia das políticas, sem
considerar o seu conteúdo substantivo, bem como as
variáveis contextuais.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
1- Histórico:
Anos 1980:
Declínio no governo Ronald Reagan, com
a redução e o desmantelamento da
estrutura criada para o desenvolvimento
dos programas sociais.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
1 – Histórico:
Anos 1990:
• Retomada do interesse pela pesquisa avaliativa;
• Predomínio de abordagens compreensivas que
articulam o método quantitativo com o
qualitativo, bem como a avaliação de processo
com a de impacto, merecendo grande destaque
as variáveis contextuais;
• Ganha destaque a dimensão política da
avaliação, percebida em sua articulação com a
dimensão técnica.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
2 – Evolução histórica no Brasil:
Anos 1980:
Expande-se no contexto do avanço dos
movimentos sociais em sua luta pela
universalização dos direitos sociais e pelo
maior controle social das políticas públicas
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
2 – Evolução histórica no Brasil:
Anos 1990:
• Grande impulso da avaliação no contexto da Reforma do
Estado;
• Avanço do Projeto Neoliberal, cujo foco principal era a
liberalização e a desregulamentação da economia;
• Mudança no papel do Estado, que de interventor e
executor passa a assumir as funções de financiador e
regulador;
• Avaliação passa a ser demandada como mecanismo de
controle do Estado, com vistas à maior eficiência dos
gastos públicos.
Pesquisa Avaliativa: modalidade
de pesquisa social aplicada
2 – Evolução histórica no Brasil
Situação atual:
• Crise de utilização: os resultados não têm produzido
•
modificações nos rumos das políticas e programas
Crise de divulgação: os estudos e trabalhos publicados
se concentram mais em divulgar novas teorias e
metodologias de pesquisa, desvinculadas de sua
validade e aplicação prática.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
3 – Concepção da pesquisa avaliativa:
Esforço consciente e sistematizado de julgar e
explicar o desempenho de uma política, cujo
objetivo mais destacado é oferecer informações
aos decisores públicos sobre a eficiência, eficácia
e efetividade de medidas públicas orientadas
para mudanças de comportamentos e situações.
Vista numa perspectiva de cidadania, pode se
constituir em importante instrumento de
controle social das políticas públicas por parte da
sociedade organizada.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
4 – Especificidades da pesquisa avaliativa:
Em sentido lato avaliar é atribuir valor a
algo, estimando seu mérito conforme
determinados critérios.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
4 – Especificidades da pesquisa avaliativa:
Avaliação
espontânea,
informal
ou
assistemática:
Integra as ações da vida cotidiana não se
fundamentando em métodos científicos e
assumindo um caráter privado.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
4 – Especificidades da pesquisa avaliativa:
Avaliação sistemática ou pesquisa avaliativa:
Orienta-se pelo método científico e apresenta caráter
público. Possui uma dimensão técnica, uma dimensão
política e uma dimensão acadêmica. Não é um ato
neutro nem exterior às relações de poder. Porém, requer
postura de objetividade e independência. É, por
natureza, uma atividade interdisciplinar. Não tem o
status de uma verdade inquestionável, sendo, como todo
saber científico, uma interpretação histórica, parcial e
relativa sobre a realidade social.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
5 – Funções da pesquisa avaliativa:
• Função técnica: Fornece subsídios para a
correção de desvios no decorrer do processo de
implementação de um programa, contribuindo
para o redimensionamento das ações.
• Função política: Oferece informações aos
diferentes sujeitos sociais beneficiários das
políticas, instrumentalizando-os em suas lutas
para o controle social das políticas públicas.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
5 – Funções da pesquisa avaliativa:
• Função
acadêmica:
Desvela
determinações e contradições presentes
no processo e no conteúdo das políticas
públicas, evidenciando seus significados
mais
profundos
(sua
essência),
contribuindo, assim, para a produção do
conhecimento.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo o momento:
• Avaliação ex-ante: realizada ao se iniciar a
formulação do programa, tendo em vista
antecipar aspectos a serem considerados no
processo decisório, tais como: a análise de
custo-benefício e de custo-efetividade, análise
da pertinência face à realidade, bem como da
coerência interna.
• Avaliação ex-post: Realizada durante ou após a
execução do programa. Ex: avaliação de
processo e avaliação de impacto.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo o sujeito:
• Avaliação externa: Realizada por pessoas que não
integram o quadro da instituição gestora do programa.
• Avaliação interna: Realizada no interior da instituição
gestora.
• Avaliação mista: Combina a avaliação externa com a
interna.
• Avaliação Participativa: Requer a participação dos
beneficiários do programa. É mais viável em pequenos
projetos.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo a escala ou dimensão do programa:
• Avaliação de grandes projetos: Caracteriza-se
pelo predomínio de estratégias analíticas
objetivas, com destaque para metodologias
quantitativas. Tende a ser desenvolvida por
avaliadores externos.
• Avaliação de pequenos projetos: Uso de
metodologias predominantemente qualitativas
(observação
participante,
entrevista
em
profundidade, história de vida). Tende a ser
desenvolvida de forma mais participativa.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo os destinatários:
A avaliação modifica seu foco conforme os
destinatários, os quais são diversificados e
numerosos: Executores, financiadores,
formuladores, usuários e a sociedade em
geral.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo as funções:
• Avaliação somativa: Estudo dos resultados ou
efeitos dos programas tendo em vista julgar a
pertinência de sua continuidade;
• Avaliação formativa: Desenvolvida durante o
processo de execução com vistas a corrigir
desvios de percurso e redirecionar as ações.
Pesquisa Avaliativa: modalidade de
pesquisa social aplicada
6 – Tipos de Avaliação:
Segundo o objeto:
• Avaliação política da política;
• Avaliação de processo;
• Avaliação de impacto;
• Avaliação compreensiva: Articula a avaliação de
processo e de impacto, levando em conta as variáveis
contextuais tendo, portanto, maior potencial explicativo
sobre as razões dos êxitos e fracassos de um
determinado programa;
• Meta-avaliação: Avaliação da própria avaliação visando
ao refinamento do processo avaliativo em termos de
validade, credibilidade e relevância.
O debate entre diferentes
enfoques teórico-metodológicos
• A avaliação de políticas e programas
sociais se utiliza dos métodos e técnicas
próprios da pesquisa social, sendo a
escolha condicionada pelo objeto, pelos
objetivos, pelo tipo de avaliação, pela
disponibilidade de tempo e de recursos e
pela perspectiva teórico-metodológica do
avaliador.
O debate entre diferentes
enfoques teórico-metodológicos
• Método funcionalista clássico: Matriz positivista.
Predominante na pesquisa avaliativa sobretudo até os
anos 1980. Marcado por uma tradição tecnocrática, por
uma perspectiva quantitativista e comportamental.
Privilegia a mensuração de resultados a partir de
objetivos pré-definidos. A partir dos anos 1990 busca-se
superar o modelo positivista, via articulação das
abordagens qualitativa e quantitativa, dando-se maior
importância às variáveis contextuais e à dimensão
política da avaliação em complementação à dimensão
técnica.
O debate entre diferentes
enfoques teórico-metodológicos
• Método
dialético-materialista: Busca aproximações
sucessivas com a realidade a partir de movimentos
articulados com vistas a superar a aparência e
desvendar a essência dos fenômenos estudados.
Tentativa de reconstrução da realidade partindo do
abstrato ao concreto com o uso articulado de diferentes
procedimentos de pesquisa. Tem como pressuposto que
a realidade é complexa, contraditória e síntese de
múltiplas determinações.
O debate entre diferentes
enfoques teórico-metodológicos
• Características de uma avaliação na perspectiva
dialética-materialista:
Valoriza a análise crítica da política;
Busca identificar os princípios e fundamentos teóricoconceituais da política;
Considera os sujeitos e interesses envolvidos no
processo;
Fundamenta-se em valores e concepções sobre a
realidade social partilhados pelos sujeitos da avaliação;
Contrapõe-se à idéia de neutralidade
O debate entre diferentes
enfoques teórico-metodológicos
Características de uma avaliação na perspectiva dialéticamaterialista:
• Os resultados da avaliação são considerados parciais e
questionáveis;
• As mudanças nas condições de vida de um grupo são
consideradas não apenas decorrentes do programa mas
de outras variáveis contextuais;
• Articula as dimensões técnica e política da avaliação;
• Destaca a necessidade de participação dos beneficiários
e demais sujeitos envolvidos e da publicização dos
resultados numa perspectiva de construção da cidadania
e de democratização dos direitos sociais.
Tendências e perspectivas no campo
da avaliação de políticas públicas
• Tendência de combinar abordagens qualitativas e
•
•
•
quantitativas;
Tendência de valorizar concepções mais abrangentes e
totalizantes de avaliação no campo social;
Tendência de utilização de abordagens participativas;
Tendência de identificação e consideração das variáveis
contextuais;
Principais desafios no campo da
avaliação de políticas públicas
• Utilização dos resultados da avaliação.
• Publicização dos resultados da avaliação;