workshop avaliação e inidciadores de projetos sociais

WORKSHOP
AVALIAÇÃO E
INIDCIADORES DE
PROJETOS SOCIAIS
Instrutor: Fábio Rocha
AVALIAÇÃO DE PROJETOS COMO INSTRUMENTO DE
GESTÃO
LILIANE G. DA COSTA REIS
O contexto da avaliação
A avaliação de projetos é tema extenso, prestando-se a várias abordagens,
principalmente quando se trata de projetos sociais. Podemos dizer que, de maneira
implícita ou explícita, sempre realizamos algum tipo de avaliação, ou mais
precisamente, algum julgamento de valor sobre um projeto. A partir de tal
julgamento, tomamos decisões a respeito de sua continuidade, modificações, ou
mesmo sobre sua extinção. A forma como isto é realizado é que faz diferença
quando se trata de tomar decisões a respeito de projetos existentes.
Para que a avaliação se torne um instrumento efetivo de gestão, é preciso que se
analise em que contexto é realizada. Trata-se de uma prestação de contas a
financiadores e parceiros externos? É uma rotina de caráter meramente
burocrático, para cumprir requisitos internos, sem maiores implicações
institucionais? Nestes casos, a avaliação pode servir como instrumento gerencial,
mas estará condicionada por fatores que, eventualmente, trazem poucas
contribuições à organização como um todo. Em termos genéricos, pode-se dizer
que este tipo de avaliação serve como justificativa para a existência e manutenção
de um projeto e, como tal, é um exercício que pouco acrescenta ao conhecimento
que a organização já possui sobre suas realizações e dificuldades.
O melhor sentido da avaliação é que seja utilizada como meio de melhorar os
projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir
para seu planejamento futuro, tendo como pano de fundo sua contribuição aos
objetivos institucionais. Neste sentido, é um exercício permanente e, acima de
tudo, comprometido com as repercussões de um projeto ao longo de sua
realização.
Uma dificuldade sempre presente neste processo é o próprio caráter dos projetos
sociais, cujos aspectos qualitativos tendem a prevalecer sobre aspectos
quantitativos. Num campo que abrange temas amplos, como, por exemplo,
qualidade de vida, conquista de direitos, formação de uma nova cultura política,
promoção da cidadania e, em última análise, um ambiente social mais justo e
democrático, determinar parâmetros de julgamento adequados é um primeiro
desafio. Enfrentá-lo, no entanto, pode se revelar um processo de aprendizagem
sobre a organização, seus métodos e recursos.
Outro desafio é a escolha de instrumentos de avaliação. Além de servirem como
registro das conclusões a que a organização chegou sobre um projeto num dado
momento, podem ser utilizados para que esta informação seja socializada junto a
outras áreas da organização, parceiros e públicos direta ou indiretamente
envolvidos.
Por fim, a criação de uma cultura institucional onde a avaliação não paire como
ameaça, mas seja encarada como um aspecto que auxilia na tomada de decisões
que beneficiem tanto a organização quanto outros atores envolvidos nos projetos.
2
O que é avaliação
Em seu livro Avaliação de programas e projetos sociais, Aguilar e Ander-Egg
fornecem uma definição bastante detalhada sobre este tema:
"A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e
dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável
dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o
valor dos diferentes componentes de um programa (tanto na fase de diagnóstico,
programação ou execução), ou de um conjunto de atividades específicas que se
realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e
resultados concretos; comprovando a extensão e o grau em que se deram essas
conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões
racional e inteligente entre cursos de ação, ou para solucionar problemas e
promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao
fracasso de seus resultados" (p. 31-32).
Em linhas gerais, pode-se dizer que os objetivos da avaliação são conhecer, através
de comprovação objetiva e sistemática, o andamento de um projeto, se os
objetivos e metas estão sendo alcançados e se a situação-problema está sendo
modificada.
Esta concepção pode ser desdobrada nos seguintes objetivos específicos:
a. Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia
eficiência/rendimento de um programa, projeto ou serviço.
e
b. Determinar as razões dos êxitos e fracassos.
c. Facilitar o processo de tomada de decisões para melhorar e/ou modificar o
programa ou projeto.
d. Analisar outros objetivos que podem ser alcançados.
O que avaliar
Basicamente, a avaliação deve estar atenta as três etapas de um projeto:
planejamento, processo e resultados. Desta forma, cada uma delas deve ser objeto
de julgamento por parte da organização e não somente ao final do projeto. Esta
abordagem também esclarece que a avaliação não se resume a mensurar
resultados; a mensuração permite coletar dados que serão importantes para
compor a avaliação, mas não a substitui.
A avaliação do plano e conceitualização do projeto comporta a avaliação do estudopesquisa, do diagnóstico e do plano e concepção do projeto. Projetos com propósito
de intervenção social devem ser precedidos por um diagnóstico do problema a ser
enfrentado, fruto, por sua vez, de um estudo-pesquisa. Este estudo deve ter
estabelecido a natureza do problema, sua magnitude e características básicas, o
contexto em que está inserido, assim como os recursos e meios operacionais que
podem ser utilizados para solucionar a situação-problema. Sendo esta etapa a base
determinante para as posteriores, é necessário realizar a avaliação ainda na fase de
formulação e planejamento do projeto.
3
Portanto, quando se fala de avaliar a concepção do projeto, avalia-se o modelo de
intervenção proposto para a situação colocada: suas estratégias, atividades,
métodos, técnicas e procedimentos a utilizar. Deve ficar claro que paradigma ou
modelo é subjacente ao projeto proposto.
Durante a execução do projeto, pode ser necessário avaliar como ele está
funcionando, sendo abordados os seguintes aspectos:
a. Avaliação de cobertura - até que ponto o público beneficiário está sendo
atingido (até que ponto conhece o projeto, se há barreiras ou se o projeto é
acessível, se é aceito pela população) e até que ponto a área de atuação é
coberta.
b. Avaliação da implementação - julga se os instrumentos planejados para a
implementação são necessários, suficientes, idôneos (no sentido de ter
capacidade de cumprir as metas estabelecidas), potentes e eficazes.
c. Avaliação do ambiente organizacional - se a organização responsável pelo
projeto, em seus aspectos internos, favorece ou dificulta seu andamento.
d. Avaliação do rendimento pessoal, onde importa considerar se os indivíduos
envolvidos na implementação possuem habilidades e atitudes que favoreçam
o desempenho das tarefas, se são capazes de aplicar seus conhecimentos e
de sistematizar a própria experiência, assim como de organizar o trabalho e
solucionar problemas concretos.
Na avaliação da eficácia, analisa-se até que ponto estão sendo alcançados os
resultados previstos e mesmo se os resultados previstos são pertinentes. Esta
avaliação é feita em relação aos beneficiários do projeto e a seu impacto esperado.
Este é, sem dúvida, o aspecto central a avaliar, estando os demais a serviço de
alcançar resultados que efetivamente produzam efeitos sobre o problema colocado.
A avaliação da eficiência refere-se à rentabilidade econômica que, em alguns casos,
deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em
relação aos resultados obtidos.
Quando avaliar?
Antes, durante e depois de realizado um projeto ou atividade. A avaliação realizada
antes de um projeto ter início serve para determinar sua pertinência, viabilidade e
eficácia potencial, para que se possa decidir sobre a conveniência de realizá-lo. Os
aspectos a serem levados em conta são a coerência entre as soluções propostas e a
realidade que se pretende modificar; a relação entre recursos e objetivos, objetivos
gerais, específicos e metas e entre o diagnóstico e as proposições.
A avaliação realizada durante a execução fornece informações sobre o andamento
do projeto para ponderação de resultados, com o objetivo de estabelecer até que
ponto a proposta inicial está sendo cumprida. Não se trata do controle operacional
do projeto, pois a avaliação permite fazer um juízo sobre os pressupostos do
projeto e decidir por sua manutenção ou não. Permite, ainda, que se decida se os
objetivos e procedimentos operativos devem ser reformulados ou mantidos.
A avaliação expost é a que se realiza após a conclusão do projeto, no sentido de
determinar seu impacto sobre a situação inicial, assim como sua execução e
funcionamento, a partir do que se pode aprender para aplicação em outros
projetos.
4
Que funções a avaliação deve cumprir
A avaliação pode ser somativa ou formativa. Por somativa, entende-se a avaliação
que permite determinar em que medida foram alcançados objetivos ou produzidos
os efeitos pretendidos, o valor do projeto em relação às necessidades dos
beneficiários, julgando se o mesmo deve ou não ser mantido. A avaliação formativa
refere-se ao processo de execução, servindo para melhorar seu funcionamento. São
modalidades complementares a serem utilizadas de acordo com cada situação
concreta.
Tendo em vista que a organização está sujeita às turbulências e incertezas do
ambiente, em muitos casos não seria possível estabelecer metas estáveis e
permanentes.
Isto faz com que a avaliação somativa seja de aplicação mais difícil, sendo mais
viável uma avaliação que se adapte constantemente às situações que surgem,
integrando no processo tanto os que decidem quanto os destinatários da
informação. Sua função seria, mais precisamente, a de proporcionar decisões a
partir de critérios de "satisfação suficiente", onde reduzir a incerteza e a turbulência
tem prioridade sobre otimizar ou maximizar a ação proposta.
Quem avalia
A avaliação pode ser externa, interna, mista ou auto-avaliação. A externa recorre a
avaliadores não vinculados à instituição executora do projeto. A interna tem como
avaliadores pessoas da própria instituição, mas não diretamente responsáveis pela
execução do projeto. Na avaliação mista, recorre-se a uma combinação das duas
anteriores. Finalmente, a auto-avaliação é realizada pelas próprias pessoas
encarregadas da execução do projeto.
Cada uma desta opções possui vantagens e desvantagens. A avaliação interna tem
como desvantagens à possibilidade de que aspectos negativos sejam minimizados,
sendo ressaltados somente os positivos. Por outro lado, pode servir de instrumento
em disputas internas entre grupos em conflito. Sua principal vantagem é o
conhecimento sobre o quê está sendo avaliado, inclusive seus fatores históricos.
A avaliação externa tem a vantagem de não estar envolvida nem com o objeto a
ser avaliado nem com possíveis grupos em conflito. Por sua vez, podem escapar
aos avaliadores externos vários aspectos que são familiares aos executores.
Em vista disso, a conveniência de uma avaliação mista deve ser considerada como
uma forma de equilibrar os aspectos relativos à objetividade e ao conhecimento
necessário à avaliação.
Qualquer que seja a escolha da organização a este respeito, deve-se levar em
consideração como o público beneficiário avalia o projeto em que está envolvido. O
conhecimento produzido por este público sobre um projeto tem grande valor:
possibilita novos entendimentos sobre razões de êxitos, dificuldades e possíveis
soluções em seu encaminhamento, serve para que este público possa posicionar-se
sobre novas ações e decisões, além de promover maior integração com a
organização.
5
Valores das organizações
Por fim, um elemento que não se pode deixar de considerar na avaliação são os
valores que pautam a ação das organizações que conduzem projetos sociais.
Observa-se que esta ação é orientada para duas dimensões: uma individual,
referida à auto-realização, que pode ser definida como concretização de
potencialidades e satisfação, e outra coletiva, que se refere ao entendimento que
cada organização desenvolve na direção de responsabilidade e satisfação sociais.
Neste sentido, qualificar os valores que direcionam o trabalho da organização é um
passo significativo quando se trata de conceber, acompanhar e avaliar projetos. O
que ela entende por participação social, justiça, cidadania, por exemplo, deve ser
sistematicamente revisto, de forma que possa analisar as mudanças no contexto
onde está inserida e as possibilidades e limites de sua atuação.
Desta forma, pode-se definir que valor um projeto deve ter e a partir de que
parâmetros deverá ser avaliado.
6
COMO AVALIAR O DESEMPENHO DAS PESSOAS EM
ORGANIZAÇÕES DO TERCEIRO SETOR
LILIANE G. DA COSTA REIS
Falando em avaliação...
Os critérios podem ser claros ou não, os objetivos podem estar implícitos ou
explícitos: de uma maneira ou de outra, o desempenho das pessoas é sempre
avaliado numa organização. Portanto, aqui não se discute a necessidade ou não de
avaliar o desempenho das pessoas; trata-se de ter ou não um sistema formalizado,
por mais simples que seja, mas que sirva aos propósitos de cada organização.
A nosso ver, um sistema formal tem grandes vantagens sobre critérios individuais
de cada responsável por uma equipe ou grupo de pessoas: esclarece a todos os
critérios utilizados pela organização, permite críticas e contribuições ao seu
aprimoramento e amplia a capacidade da organização em estimular o
desenvolvimento de seus colaboradores.
Por outro lado, tal sistema só terá utilidade se for condizente com os valores da
organização. Então, a primeira coisa a explicitar é: o que é importante para nós? Se
o mais importante para uma organização for, por exemplo, a capacidade de
articular parcerias em torno de seus projetos, este é o primeiro critério a ser
utilizado na avaliação do desempenho das pessoas.
Na área empresarial, os departamentos de Recursos Humanos são responsáveis por
elaborar e desenvolver sistemas de avaliação e, mais recentemente, por capacitar
os gerentes de várias áreas a se responsabilizarem por sua aplicação no dia-a-dia.
No caso das organizações sem fins lucrativos, raramente há um departamento com
esta finalidade específica e a questão tende a ser colocada em segundo plano, em
relação a diversas outras prioridades. Desta forma, é um desafio a ser enfrentado
pelas pessoas responsáveis pela gestão da organização.
O que é avaliação de desempenho
Aqui estamos falando sobre o desempenho de uma pessoa no cargo que ocupa:
avaliar o desempenho significa fazer uma apreciação sistemática sobre o que cada
pessoa realiza. No entanto, não se restringe ao presente ou ao passado; deve
indicar, principalmente, como ela deve se desenvolver em relação ao futuro.
É um processo dinâmico, que envolve o avaliado e seu gerente na solução de
problemas, melhoria do trabalho e na consecução dos objetivos da organização.
Pouco ou nada se aproveita de uma avaliação de desempenho se for caracterizada
por um processo unilateral, onde somente o gerente tem o poder de decidir sobre o
destino do avaliado.
Por fim, deve ser encarada como um meio para melhorar os resultados das pessoas
na organização. Não é um fim em si mesma. Deve permitir conhecer o potencial de
cada pessoa em relação a novos desafios, ajuda a determinar necessidades de
treinamento específico, proporciona oportunidades de crescimento profissional e de
participação na organização, além de identificar problemas de supervisão em uma
determinada área.
7
Passos importantes
Para ser um processo que proporcione este tipo de resultado, exige algumas
medidas que devem estar em consonância com o espírito da avaliação:
Objetivos consensuais e compromisso – Dentro dos objetivos organizacionais é
possível estabelecer metas pessoais, negociadas entre o avaliado e seu gerente.
Negociar metas tem a vantagem de fazer com que o acordo firmado se realize, uma
vez que o compromisso é intimamente assumido. Observa-se que o desempenho
melhora quando objetivos específicos são estabelecidos.
Meio e recursos necessários – Para que metas sejam atingidas, devem ser definidos
os recursos a utilizar: equipamentos, o trabalho de outras pessoas ou da equipe,
investimentos na qualificação e desenvolvimento profissional.
Comparação entre resultados e objetivos – A medição de resultados ajuda a
caracterizar o desempenho, uma vez que torna claro o andamento das tarefas e
fornece uma medida para o esforço do avaliado.
Feedback – Significa proporcionar informação e suporte na comunicação. O
avaliado precisa saber como está caminhando em seus esforços e se está no rumo
dos resultados acordados. É importante dar ao avaliado a oportunidade de discutir
pontos fortes e fracos, estabelecendo novos objetivos.
Quando avaliar
Propomos aqui que a avaliação de desempenho deve ser contínua; não é necessário
aguardar um momento específico para ser realizada. Deve ser encarada,
principalmente pela gerência, como contribuição ao aprimoramento de cada pessoa
em relação aos objetivos que deseja alcançar. Quanto mais próximo se puder dar e
receber feedback sobre uma tarefa ou projeto, melhor. Isto facilita o entendimento
da situação que se está vivendo e permite modificações.
A tendência mais atual é manter a avaliação não estruturada e flexível, através do
contato direto entre superior e avaliado, sem depender de relatórios e longos
processos de busca e análise de informação. Levam em consideração as pessoas,
equipes e a organização como um todo, proporcionando espaço para o surgimento
de inovações em vários de seus processos.
Este tipo de avaliação, com ênfase nos resultados permite também a avaliação
"para cima", onde a equipe avalia o gerente e seu papel na gestão dos recursos
disponíveis para o trabalho, abrindo perspectivas para relações de trabalho mais
eficazes.
Objetivos e indicadores de avaliação
Em primeiro lugar, é preciso definir para que serve a avaliação de desempenho;
serve-se a um propósito único ou a vários objetivos. Como é muito difícil eleger
indicadores que sirvam a múltiplos propósitos (revisão de salários, manutenção de
empregados, relação com resultados obtidos etc.), o melhor é que a cada objetivo
correspondam indicadores adequados.
Alguns objetivos são:
1. permitir o conhecimento sobre como o desempenho é visto com relação aos
objetivos da organização e sobre áreas de aperfeiçoamento;
2. estabelecer a relação entre desempenho e decisões sobre salários;
8
3. informar decisões sobre promoções, transferências, desligamentos;
4. identificar necessidades de treinamento;
5. melhorar a seleção de novos empregados.
Indicadores sistêmicos:
Atualmente, busca-se apontar indicadores que expressem os objetivos da
organização, como um todo, ligados ao planejamento estratégico, à visão da
organização, ao público que pretende servir. Então, é necessário definir quais são
os indicadores relevantes para cada organização. Conforme no exemplo inicial, é o
caso de se perguntar "Em que medida cada uma das pessoas contribui para obter,
desenvolver e manter parcerias relevantes para a organização?"
Outros indicadores podem estar ligados à satisfação dos públicos atingidos,
qualidade dos serviços oferecidos, impactos dos projetos, inovações, novos
métodos de trabalho.
O trabalho em organizações do terceiro setor
Se considerarmos as características do trabalho em organizações do terceiro setor,
observa-se a estruturação em torno do desenvolvimento de programas e projetos;
possuem estrutura enxuta e horizontal; vêem-se na tensão entre responder a
novas demandas externas e realizar o planejado; mantêm intenso diálogo interno e
com o público que atendem; dão preferência a relações não hierarquizadas; a troca
de informações é constante; possuem forte sentido de responsabilidade quanto à
missão; ocorre debate intenso para obter consensos; estabelecem relações com
outras, em redes formais e informais.
Podemos dizer que, neste caso, são dois os objetivos principais da avaliação de
desempenho: melhorar o que as pessoas fazem e manter a organização em dia
com seu universo de ação.
Tais características ensejam que a prática de avaliação de desempenho como um
processo dinâmico e participativo, longe de tornar-se um problema, pode ser, além
de fator de motivação e aprimoramento, uma alavanca para tornar a organização
mais dinâmica e atualizada quanto a novos desafios.
9
INDICADORES DE RESULTADOS DE PROJETOS SOCIAIS
LEANDRO LAMAS VALARELLI
O contexto do debate
A idéia da construção de indicadores de resultados para projetos vem ganhado
força entre dirigentes e técnicos dos vários tipos de organizações do terceiro setor,
seus financiadores e doadores, assim como junto ao público beneficiado, órgãos
governamentais, parlamentares, imprensa etc. Principalmente a partir da
Conferência Rio 92, que deflagrou intenso debate sobre o impacto do terceiro setor
na sociedade, na esteira da visibilidade das ongs e do surgimento de inúmeras
novas organizações.
Em grande parte, a motivação para a avaliação mais precisa de resultados e
impactos dos projetos tiveram origem nas agências doadoras e financiadores da
cooperação internacional. Além de preocupadas em saber os efeitos e resultados de
tantos anos de apoio a organizações do Terceiro Mundo, se viram pressionadas por
seus governos e contribuintes a apresentar os resultados efetivos da cooperação
não governamental. As perguntas eram e continuam sendo: a ajuda ao Terceiro
Mundo está revertendo os quadros de pobreza, miséria, desigualdade social e
ausência de direitos básicos?
A reação de muitas organizações a esta demanda se deu como crítica à utilização
das noções de eficiência e eficácia na mensuração de processos complexos, por
expressar uma visão economicista e mecânica da realidade. Ou seja, que esta
lógica já trazia, de início, uma concepção discutível. Por exemplo, estabelecer
indicadores e avaliar se um projeto de fato contribui para a democratização ou para
a cidadania, para o fortalecimento da sociedade civil ou para o combate à miséria e
à pobreza implica em clarear a noção que cada um tem destes conceitos e
estabelecer a relevância de aspectos econômicos, políticos, culturais que incidiriam
e deveriam ser objeto da ação dos projetos. Na prática, o que se gerou foi à recusa
ou resistência a construir um sistema de indicadores.
O debate não é falso. No seu interior estão presentes visões às vezes bastante
distintas, opostas até, sobre qual deveria ser o papel e, portanto, o impacto dos
projetos das organizações do terceiro setor. Mas a saída não está em jogar fora à
criança junto com a água do banho. É possível, além de útil e necessário, construir
um sistema com parâmetros e critérios de avaliação de projetos e organizações que
expressem, de modo claro e compreensível, os pressupostos de cada um na
escolha e priorização de um conjunto de indicadores. Deste modo, é possível abrir
um diálogo com os outros grupos na sociedade brasileira e da cooperação
internacional.
Atualmente, passado o estágio inicial, há um rico processo no qual muitas
organizações admitem a necessidade e se percebem motivadas a desenvolver um
sistema de indicadores de resultados que lhes seja adequado. Querem elas mesmas
ter condições de avaliar até que ponto os objetivos a que se propõem estão sendo
alcançados e porque, visando melhorar sua atuação. E o que é melhor: este
processo ocorre cada vez menos como imposição e mais como diálogo entre
diversas visões e interesses dos vários sujeitos envolvidos.
O que são e para que servem
10
Em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que
servem para detalhar em que medida os objetivos de um projeto foram alcançados,
dentro de um prazo delimitado de tempo e numa localidade específica. Como o
próprio nome sugere, são uma espécie de "marca" ou sinalizador, que busca
expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou
mensurá-lo. A primeira decorrência desta afirmação é, justamente, que eles
indicam, mas não é a própria realidade. Baseia-se na identificação de uma
variável, ou seja, algum aspecto que varia de estado ou situação, variação esta que
consideramos capaz de expressar um fenômeno que nos interessa.
Na medicina, por exemplo, a temperatura corporal é uma das muitas variáveis para
se avaliar se uma pessoa está doente ou não. Uma temperatura acima do normal a febre - não é a própria doença, mas mostra que o organismo está combatendo
alguma infecção. A partir da variável temperatura, construiu-se o indicador: uma
escala que mede sua variação, na qual a temperatura de 36,5 graus Celsius é
considerada a normal, quando medida por um período de três minutos. Acima
disso, considera-se que a pessoa está com febre, em graus progressivos. Assim, a
doença é o estado ou situação que pretendemos avaliar; a temperatura é a
variável utilizada; a escala em graus Celsius que define o que é normal e o que é
febre é o indicador; o termômetro é o instrumento ou o meio de verificação.
Em se tratando de projetos sociais, lidamos com realidades complexas nas quais
muitos fatores e sujeitos intervêm e moldam as relações e processos. Um projeto
baseia-se na intenção de atuar nesta complexidade, perseguindo objetivos de
mudança numa situação considerada como problema ou necessidade. Com suas
atividades, relacionando-se com a ação dos demais sujeitos na sociedade, pretende
produzir resultados que, no conjunto, contribuam para modificar aquela situação.
Por isso, os resultados de um projeto social nunca são uma certeza, mas um
investimento, uma aposta na possibilidade de alcançá-los. Não havendo certezas, é
preciso construir meios de verificação que auxiliem a perceber o rumo das
mudanças que se consegue produzir. Vejamos um exemplo hipotético.
Imaginemos um projeto que pretenda reduzir a mortalidade infantil numa
comunidade. Após analisar os fatores e causas envolvidos, estabeleceu-se como
objetivo que as famílias adotem melhores comportamentos e hábitos ligados à
maternidade e à saúde infantil: realização de exames pré-natais, valorização da
amamentação, adoção de cuidados de higiene e saúde infantil etc. Um resultado
pretendido é elaborar um sistema de orientação e apoio baseado em agentes
comunitários de saúde atuando junto às famílias quanto a novos procedimentos.
11
As atividades são seleção e capacitação de agentes, realização de visitas a famílias,
cursos e campanhas na comunidade. Além do acompanhamento das atividades, é
importante desenvolver meios e instrumentos para responder às seguintes
perguntas:
a. Os resultados do projeto estão sendo atingidos? Os agentes comunitários
estão realmente capacitados e orientando adequadamente a população da
comunidade ?
b. O objetivo do projeto está sendo alcançado? Os moradores da comunidade
estão utilizando o conhecimento e orientação dos agentes comunitários,
adotando novos comportamentos?
c. O objetivo geral do projeto, a redução na mortalidade infantil, está sendo
alcançado? Esta redução (ou não) pode ser, de fato, atribuída às ações do
projeto ou são resultantes de outros fatores?
Para que as respostas a estas perguntas não sejam apenas opiniões ou impressões,
é necessário utilizar indicadores, que devem ser definidos logo na fase de
planejamento, e não ao final. Assim, viabilizam o monitoramento, permitem
reorientações de rumo e possibilitam o aprendizado sobre a realidade na qual
intervém o projeto.
Tipos e características de indicadores
Os indicadores podem ser utilizados para medir ou revelar aspectos relacionados a
diversos planos da vida social: individual e familiar, coletivo e associativo, das
relações sociais, políticas, econômicas e culturais da sociedade. Podem, por
exemplo, medir a disponibilidade de bens, serviços e conhecimentos e o acesso que
determinados grupos têm a eles; a relevância que possuem na vida das pessoas e
instituições; a qualidade e o grau de utilização de algo. Além disso, podem também
captar processos, em termos de intensidade e sentido de mudanças.
Dizemos, então, que os indicadores se referem a aspectos tangíveis e intangíveis
da realidade. Tangíveis são os facilmente observáveis e aferíveis quantitativa ou
qualitativamente, como renda, escolaridade, saúde, organização, gestão,
conhecimentos, habilidades, formas de participação, legislação, direitos legais,
divulgação, oferta etc. Já os intangíveis são aqueles sobre os quais só podemos
captar parcial e indiretamente algumas manifestações: consciência social, autoestima, valores, atitudes, estilos de comportamento, capacidade empreendedora,
liderança, poder, cidadania. Como são dimensões complexas da realidade,
processos não lineares ou progressivos, demandam um conjunto de indicadores
que apreendam algumas de suas manifestações indiretas, "cercando" a
complexidade do que pretendemos observar.
12
Na construção de indicadores, considera-se a diferença e a coerência que guardam
entre si a variável a observar, o indicador utilizado e o meio ou fonte de
verificação. É comum tomar-se um pelos outros. Pretende-se avaliar as mudanças
na qualidade de vida de um grupo geradas por meu projeto, posso escolher uma ou
muitas variáveis dentre diversas possibilidades: renda familiar, posse de bens
materiais, condições de moradia, saúde, escolaridade etc. Após escolher a variável
renda familiar, inicia-se o trabalho de construção do indicador, como por exemplo:
•
Porcentagem de famílias do grupo alvo cuja renda aumentou nos últimos 24
meses;
•
Porcentagem de famílias do grupo alvo com aumento de renda superior ao
daquelas não atingidas pelo projeto, nos últimos 24 meses.
Cada um fornece ângulos diferentes da realidade. O primeiro pode ser enganador,
pois se a porcentagem de famílias do grupo alvo com aumento de renda for igual
ou próxima da que ocorre com famílias não atingidas pelo projeto, o indicador nos
induziria a pensar que o projeto contribuiu para isto, quando na realidade não teria
gerado mudança significativa. Portanto, além de construir os indicadores de forma
precisa e adequada ao que pretendemos detectar, eles devem ser capazes de
revelar mudanças efetivamente atribuídas às ações do projeto.
O meio ou fonte de verificação também são muito importantes. Além de definir
entre uma pesquisa ou levantamento, qual a freqüência e número de pessoas
consultadas e se através de pesquisa domiciliar, estatísticas existentes ou
depoimentos de famílias em reuniões. É fácil perceber que cada indicador e meio de
verificação exigirá do projeto procedimentos e quantidade de recursos (humanos,
materiais, financeiros e tempo) distintos.
Além disso, os indicadores podem ser quantitativos ou qualitativos. Quantitativos
quando procuram focar processos satisfatoriamente traduzíveis em termos
numéricos, tais como valores absolutos, médias, porcentagens, proporções etc.
Qualitativos quando relacionados a processos onde é preferível utilizar referências
de grandeza, intensidade ou estado, tais como forte/fraco, amplo/restrito,
frágil/estruturado, ágil/lento, satisfatório/insatisfatório e assim por diante.
Utilizando o exemplo acima, podemos dizer que um bom indicador possui as
seguintes características:
•
Variável: renda familiar mensal.
•
O quê: porcentagem das famílias do grupo alvo que tiveram aumento de
renda superior à média da renda das famílias não atingidas pelo projeto.
•
Quem: 50% famílias que têm participado das atividades do projeto e
amostra aleatória com 5% das demais famílias da comunidade.
•
Variação esperada (da quantidade ou qualidade): 10% na situação atual
(dado já levantado), 40% ao final de 12 meses e 80% após 24 meses.
•
Tempo: últimos 24 meses, mês a mês.
•
Lugar: Comunidade X
•
É atribuível ao projeto? Sim. Compara as mudanças no grupo alvo com as
da população não atingida pelo projeto.
13
•
Meio ou fonte de verificação: Tabelas mensais elaboradas pelos
voluntários da faculdade de economia, a partir de questionários aplicados às
famílias selecionadas para acompanhamento.
•
Viabilidade: Não mobiliza recursos do projeto e a presença dos estudantes
foi garantida em acordo com o diretor e professores da faculdade.
Eficiência, eficácia, efetividade e impacto
A escolha dos indicadores em um projeto também ocorre em função dos ângulos
que se quer avaliar: sua eficiência, eficácia, efetividade ou impacto.
•
Eficiência diz respeito à boa utilização dos recursos (financeiros, materiais
e humanos) em relação às atividades e resultados atingidos. Por exemplo,
atividades planejadas X realizadas, custo total X pessoas atingidas,
quantidade de cursos X pessoas capacitadas.
•
Eficácia observa se as ações do projeto permitiram alcançar os resultados
previstos. Um programa de capacitação permitiu aos seus participantes
adquirir novas habilidades e conhecimentos? A criação de uma cooperativa
realmente implicou em melhorias na produção e comercialização de
produtos?
•
Efetividade examina em que medida os resultados do projeto, em termos
de benefícios ou mudanças gerados, estão incorporados de modo
permanente à realidade da população atingida. Por exemplo, se um grupo
mantém no tempo novos comportamentos e atitudes ou se a assessoria a
um grupo permitiu que ele se mantivesse por iniciativa e motivação própria.
•
Impacto diz respeito às mudanças em outras áreas não diretamente
trabalhadas pelo projeto (temas, aspectos, públicos, localidades,
organizações etc.), em virtude de seus resultados, demonstrando seu poder
de influência e irradiação. Por exemplo, se um programa de orientação de
saúde gerou na população ações de reivindicação e negociação com a
prefeitura para obras de saneamento básico na comunidade; se o trabalho
junto a um grupo portador de deficiência animou-os a se organizarem e
provocou mudanças no comportamento da comunidade em relação a eles;
se os resultados positivos de um programa de capacitação de
empreendedores fizeram com que o seu modelo fosse adotado e reproduzido
em outros locais.
Sistema de indicadores
Qual a combinação mais adequada de indicadores quantitativos e qualitativos,
tangíveis e intangíveis, diretos e indiretos? Dar mais ênfase à eficiência, eficácia ou
efetividade? Quantos indicadores são necessários para fornecer uma base confiável
de informação para o monitoramento e a avaliação? Um conjunto de fatores
interfere nestas decisões e por isso falamos, mais propriamente, de sistema de
indicadores.
Dentre estes fatores, destacamos:
14
a) Concepções, interesses e enfoques das organizações envolvidas
Um sistema de indicadores é sempre resultado do processo de diálogo e negociação
entre os diferentes sujeitos envolvidos. Cada organização tem uma leitura dos
problemas sociais, de suas causas e possíveis soluções; possui valores próprios e
atribui para si uma missão ou papel na resolução destes problemas. Adota um
enfoque sobre que dimensões o projeto deve abordar e cria expectativas sobre o
ganho e o aprendizado que terá com ele.
Voltando ao exemplo utilizado, dentre as organizações responsáveis pela
implementação das ações, uma tem a visão de que o projeto deve gerar maior grau
de interesse e participação da comunidade na solução de seus problemas mais
gerais.
Portanto, prioriza indicadores qualitativos e indiretos que captem resultados em
termos de aumento da participação social e política na comunidade. Outra
organização considera que o projeto também deve contribuir para mudar a divisão
tradicional de papéis entre homens e mulheres no cuidado com os filhos,
priorizando indicadores quantitativos e qualitativos que demonstrem em quantas
famílias os homens passaram a dividir as tarefas de acompanhamento da saúde dos
filhos. Uma terceira deseja testar a metodologia de capacitação de agentes
comunitários e quer indicadores qualitativos de eficácia destas atividades. Um
financiador dá ênfase à eficiência e prefere avaliar a relação custo do projeto X
número de famílias atingidas. Outro valoriza o objetivo de influenciar as políticas
municipais de assistência à saúde e, por isso, defende o uso de indicadores
indiretos, qualitativos e quantitativos, que captem que iniciativas do governo e da
sociedade foram estimuladas a partir do projeto. A associação de moradores, por
sua vez, com interesse central na rápida redução da mortalidade infantil, propõe
indicadores quantitativos ligados à efetividade do mesmo.
Na fase do planejamento do projeto, é fundamental explicitar francamente as
diferentes visões e expectativas envolvidas. Deve-se considerar também que
algumas agências e fundações já possuem sistemas de indicadores estruturados,
que guardam estreita relação com a visão que possuem sobre os objetivos
estratégicos de um projeto social. Portanto, construir indicadores que traduzam
concretamente os objetivos e resultados do projeto, bem como negociar a
prioridade de cada um, ajudará a tornar mais nítidas as posições em jogo,
aumentando o consenso em torno do que se pretende alcançar e diminuindo as
chances de conflito no futuro, pois estabelece previamente que parâmetros serão
utilizados na avaliação.
b) O contexto
Cada projeto requer um sistema de indicadores próprio. Mesmo que o conjunto de
variáveis utilizadas seja semelhante aos de outros projetos, os indicadores deverão
retratar as condições específicas de cada realidade.
O grau de conhecimento sobre uma situação, bem como a quantidade e qualidade
de informações já existentes e disponíveis, determinam se o projeto utilizará dados
facilmente acessíveis ou se deverá produzi-los por sua própria conta. Por isso,
muitos projetos iniciam pela realização de diagnósticos e pesquisas, para obter
informações mais precisas sobre a realidade, configurando a situação inicial ou os
pontos de partida para a construção dos indicadores.
As características políticas, sociais, econômicas, históricas e culturais podem
determinar a possibilidade ou não do uso de alguns indicadores. Em situações onde
15
seja muito delicado, difícil e até mesmo indesejável produzir informações a partir
de levantamentos e perguntas diretas, devido à resistência da população a esta
abordagem, poderá ser mais adequado um indicador indireto, menos preciso e
baseado em observações qualitativas.
A trajetória de cada grupo e região pode apontar a importância de se valorizar
pequenas mudanças – que nada significariam em outras situações – mas que,
naquele contexto particular, assumem outra proporção e significado.
c) O modo de gestão
Um projeto cuja gestão prioriza a dimensão do controle tenderá mais facilmente a
enveredar para a produção de um sistema de indicadores complexo, muito
detalhado, apoiado em planilhas e dados quantitativos enviados ao topo da
hierarquia. Por outro lado, uma gestão voltada para o aprendizado e o
aperfeiçoamento poderá estar apoiada em um sistema mais simples, com poucos,
porém relevantes, indicadores. Os limites dos indicadores podem ser plenamente
compensados por discussões envolvendo as várias pessoas e organizações e pela
utilização de outras fontes de informação e análise da realidade que permitam
ampliar a compreensão sobre outros fatores e processos a considerar.
Um bom conjunto de indicadores pode valer muito pouco se não estão bem
definidas as responsabilidades pela produção e coleta das informações, pela sua
análise e pela tomada de decisões. É comum produzirem-se montanhas de
informação, os chamados cemitérios de dados, que ninguém consegue aproveitar
ou analisadas por pessoas sem poder de decisão.
d) Recursos
O tempo estabelecido para a duração do projeto determina também a possibilidade
da utilização de indicadores. Alguns indicadores de impacto muitas vezes só nos
dizem alguma coisa quando vistos em prazos longos. Por sua vez, a disponibilidade
de recursos humanos, materiais e financeiros também condicionam a escolha dos
indicadores: alguns parecem "perfeitos", mas o tempo, recursos financeiros ou
atividades exigidos superam as possibilidades existentes. Grandes projetos, ao
contrário, podem requerer unidades especificamente orientadas para a coleta e
produção de informações do sistema de indicadores.
Características de um bom sistema de indicadores
Um bom sistema de indicadores para monitoramento e avaliação de resultados
apresenta as seguintes características:
•
É coerente com a visão e com a concepção que as organizações envolvidas
têm sobre os objetivos centrais e as dimensões que um projeto deve
considerar e resulta da negociação transparente e não impositiva dos
diferentes interesses e expectativas;
16
•
Considera as particularidades do contexto e foi desenvolvido a partir de um
bom conhecimento da realidade na qual se vai intervir;
•
Define indicadores que captam os efeitos atribuíveis às ações, serviços e
produtos gerados pelo próprio projeto;
•
Tem indicadores bem definidos, precisos e representativos dos aspectos
centrais da estratégia do projeto, sem ter pretensão de dar conta da
totalidade;
•
Está orientado para o aprendizado, estimulando novas reflexões e a
compreensão pelos vários envolvidos sobre a complexidade dos fatores que
podem determinar ou não o alcance dos objetivos;
•
Prevê e especifica os meios de verificação que serão utilizados, bem como os
responsáveis pela coleta de informação, pela análise e tomada de decisões;
•
Combinam, de modo adequado à natureza do projeto, indicadores relativos
à eficiência, eficácia e efetividade;
•
É simples, capaz de ser compreendido por todos, e não apenas por
especialistas, sem ser simplista;
•
É viável do ponto de vista operacional e financeiro;
•
Fornece informações relevantes e em quantidade que permite a análise e a
tomada de decisão;
•
Aproveita as fontes confiáveis de informação existentes, poupando recursos,
tempo e energia do projeto.
17