Avaliação da extensão - Unifal-MG

Avaliação da extensão
POR UM RUMO NA IMPLEMENTAÇÃO
Conceitos básicos
 Reconhecer que a extensão parte de um marco político;
 Reconhecer que extensão se faz mediante programas e




projetos;
Ao avaliar a extensão estamos diante do dilema: vamos
abarcar os mais variados aspectos do projeto ou
programa?
concepção original e do seu planejamento
processo de implementação
aferição dos seus efeitos e resultados de curto, médio e
longo prazo
Qual o sentido?
 O objetivo básico de qualquer avaliação é obter
informações úteis e críveis sobre o desempenho
desses programas,
 identificando
problemas
e
limitações,
potencialidades e alternativas, levantando práticas
mais eficientes (“best practices”), e
 recolhendo lições e
subsídios que possam ser
retroalimentados no processo de planejamento e
formulação de políticas públicas, de modo a
aumentar a sua efetividade, eficiência e eficácia.
O que sabemos sobre eficácia?
 Anos 90-dimensões desejáveis de desempenho das
organizações e programas-eficácia, eficiência e
efetividade.
 Eficácia é o grau de atendimento às metas e objetivos
estabelecidos.
 O programa ou projeto produziu algum efeito sobre os
seus beneficiários? quais?
 Não é tarefa fácil...Como cada um percebe?
 Precisamos de formas para medir o desempenho
perante os objetivos e metas almejados.
O que sabemos sobre eficiência?
 A eficiência de um programa refere-se à otimização
dos recursos utilizados, ou seja, o melhor resultado
possível com os recursos disponíveis.
 Quanto o programa fez? O quanto de recursos
utilizou?
 Lembrando, a eficácia corresponde a um resultado
de um processo.
O que sabemos sobre efetividade?
 A efetividade aponta outra dimensão do resultado -
os finais, ex-post - , tem a ver com os resultados mais
abrangentes da política junto aos setores visados .
Neste caso, o tipo de avaliação adequada é a
avaliação de impactos, já que procura traduzir os
impactos do programa no contexto mais amplo,
(econômico, político e social), objetivando a
melhoria da qualidade de vida.
 Lembrando – eficiência fazer uma coisa direito,
eficácia, fazer a coisa certa
Ainda no começo
 levantamento sistemático de dados e sua comparação







com padrões predefinidos, ou seja, há de se ter um
conjunto de padrões explícitos.
O objeto da avaliação, pode ser identificado a partir da
lista dos 6 Ps:
1) produto,
2) pessoal,
3) performance ou desempenho,
4) proposta ,
5) plano de execução e
6) política.
Projetos?
 Até que ponto a avaliação da extensão se dá sobre
um projeto?
 Podemos afirmar que o que temos como como
proposta representa um esforço planejado e
organizado que tem em vista a atenuação ou melhora
de condições sociais julgadas insatisfatórias?
 Como o projeto já existe a avaliação é do tipo “expost”.
 (Avaliação ex-ante , que se realiza antes do
investimento e da operação).
Antes que perguntem...
 O monitoramento se relaciona diretamente com a gestão
administrativa e consiste num exame contínuo ou
periódico durante a etapa de operação do projeto.
 Realiza-se com vistas a controlar o cumprimento dos
prazos das atividades programadas, assim como a
provisão de insumos para determinar se foram recebidos
a tempo, em quantidade, qualidade e preço previstos e
se os produtos cumpriram com as especificações (em
quantidades, qualidade e tempo) em função da
programação prevista.
 Na extensão, isso é possível?Em que âmbito?
Modelos de avaliação e extensão
. O modelo baseado em objetivos, quando estes estão
claramente definidos e constituem parâmetros
explícitos para o trabalho de avaliação;
 Para efeito de avaliação, são considerados insumos
ou entradas: o projeto , a infra-estrutura física e os
recursos humanos.
 O processamento se dá com as ações gerenciais,
consideradas do ponto de vista do desempenho dos
atores.
 As saídas são os efeitos e impactos.
Temos um dilema
 Avaliar a extensão que se faz para o outro ou avaliar
a política de extensão dentro dos condicionantes de
como a percebemos nas universidades? Ou ambos?
Custos em extensão?
 ( Não) Análise Custo-Benefício (ACB) : parte de um
princípio muito simples que é o de comparar os
custos com os benefícios econômicos do projeto.
 Mas trabalhamos com projetos sociais?
 ( sim) Análise Custo-Impacto (ACI) comparar custos
com a possibilidade de alcançar os objetivos. Em que
medida o projeto alcançará ou alcançou seus
objetivos, que mudanças produzirão ou produziram
na população-objetivo?
Política x projeto
Idéia
• ok
• rejeita
viabilidade
• Ok
• rejeita
desenho
• Ok
• rejeita
Idéias?
 Existe um problema?Qual é o problema? Quais são os elementos essenciais









do problema?
Quem está(ão) afetado(s) pelo problema? Ou seja, qual é a população-objetivo?
Qual é a magnitude atual do problema e suas conseqüências?
Conta-se com toda a informação relevante acerca do problema para realizar
um estudo acabado?
Dispõe-se de uma visão clara e definida do meio geográfico, econômico e
social do problema?
Quais são as principais dificuldades para enfrentar o problema?Que
necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou
serviços que constituirão os produtos do projeto?
Quanto existe de recursos e em que condições?
Onde estará localizado?
Quando se vai iniciar o projeto? Em alguns casos há condicionantes
temporais que limitam a possibilidade de começar a operação do projeto.
Que alternativas são propostas para levá-lo a cabo?
Viável?
Localização e
escala
Diagnóstico(
LINHA DE BASE:
descreve e
explica- linha
causal)
Custos estimados
para a vida do
projeto
Condições
organizacionais
Análise tecnológica
desenho
 Descrição das atividades e sub atividades
 Os recursos humanos necessários (docente, discente,
profissionais, consultores, etc)
 Designação das responsabilidades.
 Descrição detalhada da distribuição do orçamento.
 Cronograma
 Recadinho
AVALIAÇÃO EX-ANTE?

REALIZAR A ANÁLISE DE IMPACTO DE CADA

CALCULAR A RELAÇÃO CUSTO/IMPACTO
PROGRAMAÇÃO E AVALIAÇÃO EX-POST

CONSTRUIR A MATRIZ DE PROGRAMAÇÃO

REALIZAR O PLANO DE OPERAÇÃO

REALIZAR A AVALIAÇÃO EX-POST
ALTERNATIVA
Antes que perguntem...
Os indicadores definem o sentido e o alcance de um projeto (avaliação ex-ante) e medem
o logro dos objetivos em cada uma de suas etapas (avaliação ex-post).
 Tem-se que definir indicadores para cada um dos objetivos de impacto e de produto.
 EX: Obj. Impacto: Elevar a qualidade da educação municipal em Duque de Caxias à
média nacional.


Indicadores de impacto- se vários estabelecer peso e meios de verificação
Resultados do Ideb




50%
Estatística oficial
Taxa de repetência
30%
Estatística oficial
Taxa de abandono escolar
20%
Estatística oficial
Objetivos de produto
Produto Uso de técnicas de aprendizado ativo -participativas.
Indicador de produto e meios de verificação
- Quantidade de alunos educados com esta técnica - pesquisa de campo
Antes que pergunte...
 As metas são estimativas a respeito do impacto que produz cada
alternativa e a quantidade de cada produto que entrega.
 As metas se definem em termos de quantidade, qualidade e tempo
para cada objetivo.
 Metas de impacto
Que variável ou fenômeno se modifica?
Em que sentido se modifica a variável?
Quanto se modifica essa variável?
EX: Diminuir a taxa de desnutrição dos tipos I e II em 50% em 2
anos.
- Diminuir em 20% a taxa de mortalidade infantil em 4 anos.
- Aumentar em 12% anual o número de jovens de 18-24 anos
que entram ao mercado de trabalho formal.
- Diminuir os casos de malária em 80% em 3 anos.
Antes que perguntem
. Metas de produto
- Que produto ou serviço entrega?
- Quantos produtos ou serviços entregam?
- Quem se beneficia com o produto?
- Entregar 800 rações alimentícias ao mês.
- Aumentar em 25% a quantidade diária de
atendimentos de saúde nos consultórios.
- Capacitar a 500 jovens em 1 ano.
- Eliminar 50 os focos de mosquitos em 3 anos.
Uma tabela de análise sempre ajuda
 Objetivo geral:Melhorar as condições de vida da população-objetivo,
considerando a malária que a afeta.
Objetivos
de impacto
Metas
Indicadores Fontes de
verificação
Diminuir a
malaria a
níveis
controláveis
Diminuir a
taxa de
malaria em
84% dos
habitantes
Incidência
anual de
casos na
região de XX
Registro do
MS
Objetivos de
produto
Metas
Indicadores
Fontes de
verificação
Eliminação
de focos de
mosquito
Eliminar 60
focos
Quantidade
de focos
eliminados
Inspeção em
terreno e
registro
Mas, nossos objetivos são de outra ordem.
Objetivos
Metas
indicadores
Fontes de
verificação
Analisar as alternativas
da indissociabilidade
ens, pesq e ext.
Alcançar pelo menos
duas boas práticas de
indissociabilidade
Incidência de projetos
elaborados sob a
perspectiva de
vivenciar a
indissociabilidade
Pesquisa sobre relatos
de experiência na
Mostra de extensão
Desenvolver atividades
pedagógicas de
intercâmbio de
conhecimentos entre a
universidade e a
população externa
Aumentar em 40 % a
presença da população
não alunos nos eventos
da universidade
Incidência de
participantes não
alunos em eventos
acadêmico-cientificos e
culturais
Listagem de
participantes
Questões de avaliação ex-post
Os recursos disponíveis foram usados de forma eficiente
para bens e serviços?
Esses bens e serviços foram eficazes para alcançar os
objetivos?
Qual o(s) resultado(s)?
Quais as evidências de resultados?
Quais as condições que asseguram o resultado?
Questões para a extensão
 Quais as ações que foram elaboradas, cooperativamente
com a comunidade?( levantamentos, pesquisas de
campo, diagnósticos, projetos e encaminhamento de
soluções de problemas).
 Quais foram as vivências de práticas profissionais
realizadas de forma cooperativa e multidisciplinar em
situações concretas de demandas da população?
 Quantos foram projetos de apoio e assessoramento
comunitários desenvolvidos?
 Quantos projetos foram desenvolvidos ligados as
atividades artísticas ou de resgate da memória cultural
em comunidades?
Dicas
Formar grupos nas universidades para elaborarem programas e projetos.







Árvore de problemas( técnica)
Os passos a seguir são:
1. Formular um Problema Central:
2. Identificar os EFEITOS verificando a importância do problema;
3. Analisar as inter-relações dos efeitos;
4. Identificar as CAUSAS do problema e suas inter-relações;
5. Diagramar a Árvore de Problemas e verificar a estrutura causal.

É importante lembrar que os elementos incluídos na Árvore de Problemas devem estar apresentados
nas seguintes condições:
Só um problema por ficha,
Problemas existentes (não possíveis, fictícios ou futuros),
Como uma situação negativa,e
Devem ser claros e compreensíveis.
O projeto deve concentrar-se nas raízes (causas). A idéia é que se se resolvem os problemas ou causas,
se eliminam os efeitos negativos que estes produzem.





Dicas
Avaliação de programas e projetos de extensão
está em processo de construção...portanto, não
desanime comece.
As questões da avaliação da extensão devem
estar presentes na avaliação da formulação de
projetos extensionistas num modelo híbrido:
Olhar interno e olhar externo.
Podemos mais
Se há periodicidade na avaliação com os dados são apurados é possível construir a formação
de base histórica para apoiar análises . Podemos apoiar a geração de mapas, gráficos, tabelas.

Podemos reler os relatórios dos projetos:
Indicadores de avaliação em atividades já realizadas
Tangíveis
 Quantidade e qualidade de atividades planejadas e realizadas
 Numero de participantes nas atividades/perfil do participante
 Satisfação com a qualidade do produto/serviço
 Recursos previstos e efetivamente utilizados

Indicadores intangíveis
 Resultados
 Mudanças na capacidade, atitudes, conhecimentos, intenções e comportamentos
 Mudanças nas condições sociais, nos processos, nas práticas sociais ,relacionamentos e políticas