Desmistificando o problema: uma rápida introdução ao

A AVALIAÇÃO NO CICLO DE GESTÃO PÚBLICA
Maria das Graças Rua
O conceito de avaliação das ações governamentais, assim como o de planejamento, surge com
as transformações no papel do Estado especialmente devido ao esforço de reconstrução após a
Segunda Guerra, à adoção de políticas sociais e à conseqüente necessidade de analisar os
custos e as vantagens de suas intervenções. Mais recentemente, no âmbito do grande processo
de mudança das relações entre o Estado e a sociedade e da reforma da administração pública,
que passa do primado dos processos para a priorização dos resultados, a avaliação assume a
condição de instrumento estratégico em todo o ciclo da gestão pública (Kettl, 2000).
Segundo Guba & Lincoln (1990), a trajetória histórica dos processos de avaliação, passa de um
primeiro estágio, centrado na medida dos fenômenos analisados, para a focalização das formas
de atingir resultados, evoluindo para um julgamento das intervenções e, finalmente, tendendo a
constituir “um processo de negociação entre os atores envolvidos na intervenção a ser avaliada”
(Constandriopoulos, 1997).
O termo “avaliação” é amplamente usado em muitos e diversos contextos, sempre se referindo a
julgamentos. Por exemplo, se vamos ao cinema ou ao teatro formamos uma opinião pessoal
sobre o que vimos, considerando satisfatório ou não. Quando assistimos a um jogo de futebol,
formamos opinião sobre as habilidades dos jogadores. E assim por diante. Estes são julgamentos
informais que efetuamos cotidianamente sobre todos os aspectos das nossas vidas. Porém, há
avaliações muito mais rigorosas e formais, envolvendo julgamentos detalhados e criteriosos,
sobre a consecução de metas, por exemplo, em programas de redução da exclusão social,
melhoria da saúde dos idosos, prevenção da delinqüência juvenil ou diminuição de infecções
hospitalares. Essas correspondem à avaliação formal, que é o exame sistemático de certos
objetos, baseado em procedimentos científicos de coleta e análise de informação sobre o
conteúdo, estrutura, processo, resultados e/ou impactos de políticas, programas, projetos ou
quaisquer intervenções planejadas na realidade (Rua, 2000).
As definições de avaliação são muitas, mas um aspecto consensual é a sua característica de
atribuição de valor. A decisão de aplicar recursos em uma ação pública sugere o reconhecimento
do valor de seus objetivos pela sociedade, sendo assim, sua avaliação deve “verificar o
cumprimento de objetivos e validar continuamente o valor social incorporado ao cumprimento
desses objetivos” (Mokate, 2002).
A avaliação representa um potente instrumento de gestão na medida em que pode – e deve - ser
utilizada durante todo o ciclo da gestão, subsidiando desde o planejamento e formulação de uma
intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem
adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou
interrupção. Além disso, a avaliação pode contribuir para a viabilização de todas as atividades de
controle interno, externo, por instituições públicas e pela sociedade levando maior transparência e
accountability às ações de governo. Por isso, Mokate (2002) defende que uma das características
chave da avaliação deve ser sua integração a todo o ciclo de gestão, desenvolvendo-se
simultaneamente a ele, desde o momento inicial da identificação do problema.
Além dos objetivos relacionados à eficiência e eficácia dos processos de gestão pública, a
avaliação é decisiva para o processo de aprendizagem institucional e também contribuiria para a
busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e
de legitimidade social e política. Por essas e outras razões, tem sido ressaltada a importância dos
processos de avaliação para a reforma das políticas públicas, modernização e democratização da
gestão pública.
Nos países desenvolvidos os processos de avaliação de políticas vêm se tornando
crescentemente institucionalizados. Isso exige o empenho das estruturas político-governamentais
na adoção da avaliação como prática regular e sistemática de suas ações, na regulação das
práticas avaliativas e no fomento de uma cultura de avaliação integrada aos processos gerenciais
(Hartz, 2001).
No Brasil, a importância da avaliação das políticas públicas é reconhecida em documentos oficiais
e científicos, mas esse reconhecimento formal ainda não se traduz em processos de avaliação
sistemáticos e consistentes que subsidiem a gestão pública (Hartz et Pouvourville, 1998).
Esse consenso no plano do discurso, não produz automaticamente a apropriação dos processos
de avaliação como ferramentas de gestão, pois freqüentemente a tendência é percebe-los como
um dever, ou até mesmo como uma ameaça, impostos pelo governo federal ou por organismos
financiadores internacionais.
Mokate (2002) identifica algumas das possíveis razões pelas quais a avaliação não seria
facilmente integrada ao ciclo de gestão:
(1)
Os paradigmas gerenciais dificultam a apropriação da avaliação pelas equipes de gestão,
na medida em que focalizam mais as atividades e processos do que os resultados, não
valorizando a explicitação de metas e objetivos, e a responsabilização pelo seu alcance;
(2)
As aplicações convencionais dos processos de monitoramento e avaliação têm se
realizado de tal maneira que não têm induzido sua percepção como aliados do processo de
gestão, cabendo freqüentemente apenas aos avaliadores externos e assumindo o aspecto de
fiscalização, auditoria ou controle, cujos resultados não costumam ser utilizados no processo
decisório e gerencial;
(3)
A complexidade dos objetivos e a adoção de estratégias e tecnologias diferenciadas, que
não necessariamente conduzem ao mesmo resultado, dificultam a avaliação das intervenções. A
sensibilidade dos problemas sociais a múltiplas variáveis faz com que a seleção de estratégias
para seu enfrentamento se baseie em hipóteses de relações causais. É particularmente difícil
atribuir, através da avaliação, as mudanças observadas a uma intervenção específica operada
sobre um problema, até porque, freqüentemente, os efeitos de algumas intervenções só se
evidenciam no longo prazo.
1.
2.
3.
4.
A avaliação tem constituído uma estratégia de mudança do paradigma gerencial. Sob o ponto de
vista da gerência social, as políticas devem ser avaliadas pelo cumprimento de seus objetivos e os
gerentes devem ter incentivos naturais para utilizar informação no acompanhamento de seu
desempenho em relação a esses objetivos. Mokate (2002) aponta quatro desafios prioritários para
construir um processo de avaliação aliado à gerência social:
A definição de um marco conceitual da intervenção que se pretende avaliar, indicando
claramente objetivos, resultados e as supostas relações causais que orientam a intervenção, pois
quando não se sabe onde e como se quer chegar, torna-se muito difícil avaliar nosso
desempenho.
A superação da brecha entre o “quantitativo” e o “qualitativo” na definição de metas e
objetivos e na própria avaliação, gerando complementaridade e sinergia entre eles;
A identificação e pactuação de indicadores e informações relevantes, levando em conta o
marco conceitual e as diversas perspectivas e interesses dos atores envolvidos;
A definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo e a
introdução de estratégias de incentivos que promovam o uso dessa informação.
Para uma cultura gerencial que incorpore uso efetivo da avaliação ao ciclo de gestão, Mokate
(2002) aponta algumas condições:
a)
incentivar a flexibilidade e a inovação como mecanismos para assegurar o alcance
de objetivos máximos desejados e tolerar o erro para promover ajustes e mudança de opções;
b)
permitir que, dentro da organização, os que têm a informação possam fazer uso
dela, inclusive dissemina-la, em função dos objetivos pretendidos;
c)
definir “valores objetivos” e “valores de referência” que facilitem a interpretação da
informação;
d)
adotar incentivos organizacionais e gerenciais que favoreçam o uso da informação
(premiação ou reconhecimento por mérito ou alcance de resultados);
e)
estabelecer mecanismos de ajuste para realocação de recursos humanos, físicos e
financeiros, redefinição de estratégias operativas e modificações nos produtos e serviços para
alcançar os objetivos desejados;
f)
vincular os indicadores ou informações com os processos decisórios;
g)
especificar “pontos de decisão”, fixando prazos e “valores objetivo” para alguns
indicadores;
h)
comprometer os gestores e suas equipes com o alcance de metas através de
pactos e contratos de gestão ou desempenho.
A avaliação de desempenho constitui um importante instrumento para a gestão das intervenções,
mas a falta de acordo sobre como medir esse desempenho ainda é um desafio. Como o
desempenho refere-se ao grau de alcance dos objetivos e os países definem diferentes objetivos,
metas e dimensões de desempenho nas suas avaliações, muitas vezes torna-se difícil fazer
análises comparativas. Esse tipo de avaliação deveria focalizar fundamentalmente qualidade,
eficiência e eqüidade mas as experiências internacionais de avaliação de desempenho enfocam
de maneira desigual essas dimensões. Nos países da OECD predominam análises sobre a
melhoria de resultados e sobre a “responsividade”. Apesar das recomendações de organismos
internacionais, no sentido de que a eqüidade seja uma dimensão transversal de todas as
avaliações de desempenho especialmente no caso das intervenções de natureza social, ainda
são poucas as experiências que consolidaram o exame desta dimensão.
CONTANDRIOPOULOS, A. P. (1997). “A avaliação na área da saúde: conceitos e métodos”. In:
HARTZ, Z.M.A. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação
de programas. Rio de Janeiro: Fiocruz.
GUBA, E.G. & LINCOLN Y.S. (1990). Fourth generation evaluation. Berverly Hills: Sage.
HARTZ, Z. M. A. (2001). “Institucionalizando a avaliação em saúde: lições (inter)nacionais nas
evocações da França”. Cadernos de Saúde Pública. 15(2): 229-260.
HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliação da eficiência em saúde: a eficiência em
questão. Ciência & Saúde Coletiva. , III(1): 68-82.
KETTL, D. (2000). The Global Public Management Revolution: A Report on the Transformation of
Governance. Acessado em 10/03/2004: http://www.brookings.edu/scholars/dkettl.htm
MINTZBERG, H. (1994). The rise and fall of strategic planning. Nova York: Free Press.
MOKATE, K. M. (2002). “Convirtiendo el ‘monstruo’ en aliado: a avaliação como herramienta de la
gerencia social”. Revista do Serviço Público, 8(1), 91-136.
NASSUNO, M. (2003). “Avaliação de resultados e avaliação de satisfação do usuário-cidadão:
elementos para reflexão”. Res Pública – Revista de Políticas Públicas e Gestão Governamental.
2(2): 99-139.
RUA, M.G. (2000). “Avaliação de Políticas, Programas e Projetos: Notas Introdutórias”. Mimeo.
SILVA, P. L. B. e MELO, M. A. B. (2000). “O processo de implementação de políticas públicas no
Brasil: características e determinantes da avaliação de programas e projetos”. In: Caderno nº 48 NEPP-UNICAMP.
TAYLOR, C. (2003) “O teste ACIDD: uma estrutura para o planejamento de políticas e processos
decisórios”. In: Desafios para o desenvolvimento de políticas públicas: uma visão geral. Brasília:
ENAP.
Avaliação de Políticas, Programas e Projetos: Notas Introdutórias
Maria das Graças Rua
A avaliação de políticas públicas, programas e projetos governamentais tem finalidades
bastante precisas: (1) accountability, significando estabelecer elementos para julgar e aprovar
decisões, ações e seus resultados. (2) desenvolver e melhorar estratégias de intervenção na
realidade, ou seja, a avaliação tem que ser capaz de propor algo a respeito da política que está
sendo avaliada. (3) empoderamento, promoção social e desenvolvimento institucional,
significando que a avaliação deve ser capaz de abrir espaço para a democratização da atividade
pública, para a incorporação de grupos sociais excluídos e para o aprendizado institucional e
fortalecimento das instituições envolvidas.
Toda avaliação tem que enfrentar uma série de desafios. Primeiro, deve lidar com as
limitações resultantes do fato de que uma das suas principais fontes de informações são registros
administrativos. Ora, como a avaliação nem sempre é concebida ex-ante, os registros
administrativos não são elaborados com a perspectiva de prover os dados necessários à
avaliação. Com isso, o avaliador sempre tem que lidar com lacunas nesses dados e tentar ir além
delas.
Segundo, uma outra fonte de informações são os beneficiários, dos quais se obtém dados
diretos. Isso coloca a necessidade de construir instrumentos fidedignos de coleta, bases de dados
precisas e confiáveis o suficiente para sustentar as apreciações a serem feitas. Assim, quanto
mais sólido o treinamento metodológico do avaliador, melhor, embora a avaliação não se resuma
à aplicação de técnicas metodológicas.
Terceiro, é fundamental que sejam avaliados os contextos. Há uma importante pergunta
neste sentido: porque é que em contextos diferentes as mesmas ações apresentam resultados
diferentes? Esta indagação dá a medida da relevância do contexto e indica a necessidade de
métodos próprios para o seu estudo.
Quarto, ao mesmo tempo que a avaliação implica associar meios e fins, é preciso abrir a
possibilidade de exame de resultados não antecipados. Isto tem sido feito com métodos de
“avaliação livre dos resultados” ou “avaliação independente dos objetivos”, que permite questionar
se há outros processos que podem produzir tais resultados, independentemente dos objetivos e
atos dos gestores.
Quinto, é preciso que a avaliação seja capaz de captar mudanças através do tempo,
retroalimentando as políticas, programas e projetos. Isto requer que, ao invés de representar uma
iniciativa pontual, a avaliação seja concebida como um processo contínuo.
Sexto, é preciso abrir a possibilidade da avaliação orientada para a inovação. Trata-se da
avaliação que começa com início do ciclo de uma política, quando há pouco conhecimento sobre
a mesma. Este tipo de avaliação implica uma concepção ex-ante, ou seja, a avaliação que é
construída anteriormente à própria formulação, a partir da qual se realizam simulações com a
finalidade de identificar estratégias e propor cursos de ação . Isso, evidentemente, vai requerer o
estabelecimento de uma base de informação (baseline) e a coleta e análise de evidências
capazes de sustentar políticas novas.
Um aspecto que deve ser considerado tem a ver com os avaliadores, suas habilidades e
competências (além das habilidades analíticas que são tomadas como dadas). É fundamental que
os avaliadores tenham capacidade de trabalhar com policy-makers no sentido de estabelecer com
eles parcerias estratégicas visando o melhor resultado das políticas públicas; isso significa
superar a postura de que avaliadores e gestores se situam em campos opostos, sem perder a
características da independência da avaliação. Também é essencial que o avaliadores sejam
capazes de atuar junto aos stakeholders, estabelecendo diálogos, ajudando a construir consensos
e a gerenciar mudanças. É igualmente necessário que o avaliador seja capaz de analisar a
coerência da política e interpretar resultados com o distanciamento necessário. Finalmente, é
indispensável que a avaliação tenha conseqüências. E isso significa elaborar planos de ação,
formular recomendações visando o aperfeiçoamento das políticas, programas e projetos. Essas
habilidades são a base para a formação e consolidação de uma cultura de avaliação, capaz de
encarar as falhas como oportunidades de aprendizado para fazer mais e melhor em termos de
políticas públicas.
Entendendo o que significa “avaliação”
Entre as inúmeras definições existentes pode-se sustentar que avaliação formal é (1) um
julgamento (porque envolve valores) (2) sistemático (porque baseia-se em critérios e
procedimentos previamente reconhecidos) (3) dos processos ou dos produtos de (4) uma política,
programa ou projeto, tendo como referência (5) critérios explícitos, a fim de contribuir para (6) o
seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o
aumento da accountability.
Assim sendo, é possível reconhecer que a avaliação contém duas dimensões. A primeira é
técnica, e caracteriza-se por produzir ou coletar, segundo procedimentos reconhecidos,
informações que poderão ser utilizadas nas decisões relativas a qualquer política, programa ou
projeto. A segunda é valorativa, consistindo na ponderação das informações obtidas com a
finalidade de extrair conclusões acerca do valor da política, programa ou projeto. Ainda assim, a
finalidade da avaliação não é necessariamente distinguir as intervenções de qualquer natureza
segundo sejam “boas” ou “más”, “exitosas” ou “fracassadas”. Muito mais importante e proveitoso é
apropriar-se da avaliação como um processo de apoio a um aprendizado contínuo, de busca de
melhores decisões e de amadurecimento da gestão.
A avaliação formal permite julgar processos e produtos de vários modos. Primeiro,
levantando questões básicas tais como os motivos de certos fenômenos (por exemplo: o que
causa os elevados índices de morte violenta entre os jovens brasileiros?). Este tipo de avaliação
pode focalizar relações de causa e efeito com a finalidade de recomendar medidas para lidar com
o problema.
Em segundo lugar, a avaliação formal pode ser usada como instrumento de
acompanhamento de políticas ou programas de longo prazo. Nesses casos são realizadas várias
avaliações em estágios-chave da política ou programa, a fim de prover dados confiáveis sobre os
seus impactos e sobre como podem ser estes mitigados ou melhorados.
Em terceiro, ao final de um programa ou projeto a avaliação pode indicar o seu sucesso na
consecução dos seus objetivos e permitir avaliar a sua sustentabilidade, ou seja, a possibilidade
da sua continuidade através do tempo.
A avaliação formal pode contribuir para aperfeiçoar a formulação de políticas e projetos
especialmente tornando mais responsável a formulação de metas, e apontar em que medida os
governos se mostram responsivos frente às necessidades dos cidadãos. Pode mostrar se as
políticas e programas estão sendo concebidos de modo coordenado ou articulado; e em que
medida estão sendo adotadas abordagens inovadoras na resolução de problemas que antes
pareciam intratáveis. Pode indicar como vão sendo construídas as parcerias entre governo central
e local, entre os setores público, privado e terceiro setor, identificar as condições de sucesso ou
fracasso dessas parcerias e apontar como podem ser aperfeiçoadas a fim de ganharem
abrangência e se tornarem estratégias nacionais das políticas de desenvolvimento.
Os modelos contemporâneos de formulação de políticas enfatizam a importância dos objetivos
compartilhados em lugar das estruturas organizacionais ou das funções existentes. Mas a
articulação de políticas/programas não se resume a abordagens compartilhadas de questões
comuns. A articulação horizontal entre agências ou organizações requer melhor coordenação
entre os gestores e melhor articulação vertical entre os que tomam as decisões e os que os
implementam. Isto não é um fim em si mesmo, mas deve estar presente onde agrega valor, e é
especialmente importante quando as políticas ou programas se dirigem às questões socialmente
perversas. Nesses casos, a avaliação formal permite aprender e incorporar lições à
implementação de novas políticas/programas.
Desmistificando o problema: uma rápida introdução ao estudo dos indicadores
Maria das Graças Rua
1. Surgimento e evolução
Na década de 1920, nos EUA, começou a surgir a idéia de que a sociedade deveria ter dados que
permitissem uma imagem precisa de si própria e de suas mudanças. Em 1929 foi criado um
comitê presidencial com a tarefa de produzir um relatório detalhado denominado “Tendências
Sociais Recentes”. Por trás da expressão “tendências sociais” ou “indicadores” a única idéia
existente era a de que estes deveriam expressar um esforço ativo e deliberado para selecionar um
conjunto de medidas de mudança social.
O relatório do comitê teve poucos impactos imediatos, mas levantou essas idéias e, a partir de
então, alguns dados passaram a ser coletados e sistematizados segundo as preocupações ali
apresentadas. Bem mais tarde, após a Segunda Guerra, consolidou-se o conceito de indicadores
sociais, que deveriam representar uma alternativa ao foco exclusivo sobre o crescimento
econômico e em 1953 já havia uma ampla coleção de dados estatísticos, sobre taxas de
desemprego, crimes, níveis de consumo etc.
A busca de indicadores sociais baseava-se numa concepção que poderia ser expressa nos
seguintes termos: “Nós sabemos que certas situações são insatisfatórias. Se coletarmos um boa
quantidade de dados talvez venhamos a saber como as coisas são e tenhamos uma idéia do que
fazer”. Tratava-se de uma abordagem exploratória, empiricista, intuitiva, sem fundamento em
teorias consistentes.
Na década de 1960 vários países já tinham começado a compilar regularmente os dados para
compor indicadores sociais e firmou-se a concepção de que era preciso entender as
“conseqüências de segunda ordem”, ou seja, os efeitos não antecipados sobre extensas áreas da
vida social, política e econômica, que necessitariam amplas intervenções.Porém demorou-se a
perceber que as medidas por si só não traziam soluções para os problemas. E que a definição do
problema, a análise, o planejamento, e o envolvimento com a gestão teriam que amadurecer
junto com os indicadores.
Em meados da década de 1960, uma pesquisa da NASA chegou à conclusão de que havia uma
quase absoluta ausência de conceitos e de metodologia para a construção de indicadores, os
quais foram definidos pelo diretor do projeto, Raymond Bauer,
como “estatísticas e séries
estatísticas e todas as outras formas de evidência que nos capacitem a avaliar em que ponto
estamos e para onde estamos indo com relação aos nossos objetivos e valores”.
Em seguida, na década de 1970 a pesquisa envolvendo indicadores sociais se disseminou para
vários países e organismos internacionais. A OCDE e as Nações Unidas começaram a adota-los e
desenvolveram-se novos conceitos e metodologias para sua elaboração.
Nessa época, pela primeira vez começou-se a discutir se o maior objetivo das sociedades
ocidentais desenvolvidas deveria ser o crescimento econômico. Os custos sociais do crescimento
econômico e a pobreza como a outra face da moeda, tornaram-se o foco do debate politico.
Passou-se a questionar cada vez mais a idéia de que “mais significa o mesmo que melhor”, e
surgiu uma demanda pública de qualidade, em oposição a quantidade. Foi quando se
desenvolveu a discussão sobre “qualidade de vida”.
Passaram a se diferenciar os indicadores sociais objetivos e os subjetivos. Os primeiros
correspondem a estatísticas que representam fatos sociais, independentemente de avaliações
pessoais. São eles, por exemplo, renda per capita, taxas de desemprego, taxa de pobreza,
extensão média da jornada semanal de trabalho, taxa de mortalidade perinatal, etc. Os
indicadores subjetivos, por sua vez, enfatizam as percepções individuais e avaliações das
condições sociais. São eles: satisfação com a vida, com o trabalho, percepção de justiça
distributiva, aspirações quanto ao futuro, etc
Este período caracterizou-se pela constituição de grandes e complexos sistemas de informação
social, baseados em inúmeras pesquisas sobre qualidade de vida e desenvolvimento social.
Entretanto, ao final da década de 1970 devido à crise econômica decorrente do choque do
petróleo reduziu-se o interesse pelos indicadores sociais, de tal forma que, ao final da década de
1980 a sua utilização declinou e o seu desenvolvimento estagnou-se, permanecendo a ênfase
apenas nos indicadores econômicos.
Somente na década de 1990 ressurgiu o interesse pelos indicadores, não somente econômicos,
mas também sociais e gerenciais. Ocorreu sua revalorização tanto na esfera das políticas públicas
e seus resultados substantivos, como na esfera da gestão governamental. Passaram a ser
discutidos e adotados tanto no nível subnacional (estados e municípios), como nacional e
supranacional, especialmente com o estabelecimento de novas instituições de monitoramento e
avaliação e de bases de informação dotadas de sofisticada infra-estrutura tecnológica. Ao final da
década de 1990, especialmente com o avanço e disseminação dos sistemas informatizados de
gerenciamento de dados, e a formação de redes virtuais de participação e controle social,
fortaleceu-se a idéia da utilização dos indicadores sociais e gerenciais com a finalidade de apoiar
o monitoramento e a avaliação das ações governamentais como um todo.
2. O debate conceitual
Existem diversos conceitos de indicadores, expressando perspectivas sutilmente diferenciadas.
Existem também diferentes adjetivos utilizados para caracterizar os indicadores: econômicos,
sociais, gerenciais, de desempenho, de processo, de produto, de qualidade, de impacto, etc –
dependendo muito do tipo de intervenção e do aspecto a ser avaliado, da metodologia de
avaliação e do foco desta, entre outras coisas. Porém, há um consenso em que todo tipo de
monitoramento e avaliação baseia-se no exame de indicadores.
Indicadores não são simplesmente dados, mas uma balança que nos permite “pesar” os dados ou
uma régua, que nos permite “aferir” os dados em termos de qualidade, resultado, impacto, etc.,
dos processos e dos objetivos dos eventos.
Os indicadores são medidas, ou seja, são uma atribuição de números a objetos, acontecimentos
ou situações, de acordo com certas regras. Enquanto medidas, os indicadores referem-se às
informações que, em termos conceituais, são mensuráveis, independentemente de sua coleta
obedecer a técnicas ou abordagens qualitativas ou quantitativas.
Indicadores sempre são variáveis, já que podem assumir diferentes valores. Porém, nem todas as
variáveis são indicadores. Enquanto medidas, os indicadores devem ser definidos em termos
operacionais, ou seja, mediante as categorias pelas quais eles se manifestam e podem ser
medidos.
Entre os indicadores, especial destaque é atribuído aos índices. Estes consistem, em primeiro
lugar, em medidas de ordenamento ou escalonamento, crescente ou decrescente de um objeto de
observação. Índices, portanto, expressam seus resultados de modo a construir uma ordem e/ou
hierarquia de situações, que é o seu principal objetivo: o de criar parâmetros de comparação e
ordenação entre diferentes realidades. Em segundo lugar isso é feito mediante a identificação e
mensuração das relações observáveis entre variáveis ou entre uma variável e uma constante. Por
exemplo, o número de analfabetos por grupos de 100 indivíduos é uma relação entre uma variável
e uma constante. A informação proporcionada por este tipo de indicador mostra-se mais útil
quando é possível estabelecer comparações e escalonar os resultados. Já os índices que
expressam relações entre variáveis contêm, em si mesmos, informações relevantes, ainda que a
comparação possa enriquecer a análise. Por exemplo, a proporção de alunos aprovados sobre
alunos matriculados expressa a relação entre duas variáveis e traz informação sobre o
desempenho de uma classe, uma escola, um professor, uma metodologia, etc Da mesma forma,
podem ser apresentados em uma escala crescente ou decrescente.
Alguns dos trabalhos mais significativos no campo da avaliação de mudanças na situação social
mundial foram realizados em agências da Organização das Nações Unidas (ONU) trazendo
importantes avanços na construção de índices.
Desses trabalhos duas vertentes de avaliação multidimensional emergiram. Uma primeira trabalha
ampliando o conjunto de indicadores utilizados com o objetivo de aumentar a precisão das
avaliações. É o caso, por exemplo, do Índice de Progresso Social (IPS). Este é baseado em uma
concepção determinada de necessidades sociais e materiais básicas das diversas populações
mundiais e levanta 44 indicadores considerados relevantes para o bem-estar social para compor
11 subíndices, os quais, ponderados, compõem o IPS: Educação (4 pontos), Saúde (3 pontos),
Condição da Mulher (5 pontos), Esforço de Defesa (1 ponto), Demografia (5 pontos), Geografia (3
pontos), Estabilidade Política (5 pontos), Participação Política (6 pontos), Diversidade Cultural (3
pontos) e Esforços de Bem-estar Social (5 pontos).
A outra vertente busca a simplicidade na composição dos índices, como é o caso do Índice de
Qualidade de Vida Física (IQVF), composto por Mortalidade Infantil, Esperança de Vida ao Nascer
e Analfabetismo entre Adultos.
Esse tipo de índice pode ser criticado porque ignora diversas esferas importantes do bem-estar
humano, mas há razões para se buscar essa simplicidade: índices de baixa complexidade
minimizam alguns problemas conceituais e metodológicos decorrentes de sua composição,
podem ser calculados para um grande número de regiões, são facilmente compreensíveis e,
portanto, podem servir de complemento ou mesmo alternativa às analises baseadas em
indicadores de produto, como o PIB.
O Índice de Desenvolvimento Humano (IDH) pertence a esta última vertente. Criado por uma das
agências especializadas da ONU, o Programa das Nações Unidas para o Desenvolvimento
(PNUD), o IDH possui componentes referentes à saúde, educação e poder aquisitivo que são
combinados para a comparação do nível de desenvolvimento dos indivíduos nas diversas nações.
A maior parte dos índices multidimensionais enfrenta diversas dificuldades. Uma delas é
estabelecer a ponderação dada a cada uma das dimensões. Sintetizar a informação de vários
aspectos da vida humana em um único índice (isto é, criar um indicador sintético) exige a
definição de uma regra que atribua peso específico a cada uma dessas dimensões. Um índice
sintético como o IDH, por exemplo, deve combinar indicadores de escolarização, PIB e esperança
de vida para gerar um resultado (número) único. Ao fazer isso o IDH precisa, em última instância,
determinar a quantos dólares equivale um ano de vida para, assim, ponderar variações na renda
em relação à variações na esperança de vida ao nascer.
Embora índices sintéticos como o IDH sejam amplamente aceitos, é muito pouco provável que a
comunidade de analistas que o utiliza alcance um consenso razoável se o sistema de ponderação
desses índices for colocado em debate. Isso, porém, não é motivo para descartar a sua utilidade,
especialmente quando utilizados em perspectiva comparativa, diacrônica ou sincrônica.
3. Indicadores de desempenho: conceitos e características dos diferentes tipos de indicadores1
Atualmente, no Brasil, as diferentes instâncias de governo realizam esforços para modernizar a
gestão pública, reduzindo custos e melhorando a qualidade dos serviços prestados. Os princípios
básicos que se procura colocar em prática são a busca de resultados e o foco no cidadão. A visão
1
Adaptado de Eduardo Ramos Ferreira da Silva.
de futuro orientadora desses princípios é a formação de um serviço público eficaz, eficiente,
flexível, transparente, altamente capacitado, profissionalizado e comprometido com o bem-estar
da sociedade. Incorporar esses atributos requer uma profunda mudança de atitude.
Uma gestão voltada para resultados exibe acentuada integração de todos os sistemas
organizacionais em torno de especificações de resultados relativos a cada organização no seu
todo, especificações de resultados relativos às unidades que constituem a organização, e
especificações de resultados relativos a todos os gestores individuais. São as seguintes as
principais características desse tipo de gestão:
Previamente à ação estabelece objetivos e metas mediante planejamento sistemático;
Conta com uma especificação dos resultados a atingir conforme suas metas e objetivos;
Dispõe de uma estrutura organizacional que permite atingir os resultados especificados;
Existe uma clara compreensão, por parte de todos os gestores, do significado dos conceitos
de resultados, eficiência e eficácia;
Há uma integração dos sistema-chaves com o conceito de resultados;
Ocorre uma articulação entre os resultados das organizações, das suas unidades e dos
gestores individuais;
É capaz de responder de maneira flexível para atingir os resultados;
Cria um modo próprio de lidar com os resultados, resistindo a copiar os dos outros
Um elemento essencial na gestão com foco em resultados é o uso de indicadores de desempenho
em todo o ciclo de gestão: planejamento, tomada de decisões, implementação e controle. Neste
texto são examinados os principais conceitos e características dos diferentes tipos de indicadores
de desempenho institucional.
Indicadores
De uma maneira simplificada, os indicadores são medidas que representam ou quantificam um
insumo, um resultado, uma característica ou o desempenho de um processo, de um serviço, de
um produto ou da organização como um todo. Um indicador pode ser simples (decorrente de uma
única medição) ou composto; direto ou indireto em relação á característica medida; específico
(atividades ou processos específicos) ou global (resultados pretendidos pela organização como
um todo); e direcionadores (indicam que algo pode ocorrer) ou resultantes (indicam o que
aconteceu). Existem várias tipologias para os indicadores. Abaixo encontram-se algumas das
mais conhecidas.
a)
Indicadores Estratégicos
b)
Indicadores de Processo:
•
Indicadores de Produtividade (eficiência)
•
Indicadores de Qualidade (eficácia)
•
Indicadores de Efetividade (impacto)
•
Indicadores de Capacidade
c)
Indicadores de Projetos
Os indicadores são utilizados para
Internalizar na organização pública as necessidades e expectativas dos clientes;
Possibilitar o estabelecimento e desdobramento das metas de uma intervenção;
Embasar a análise crítica dos resultados da intervenção e do processo de tomada de decisão;
Contribuir para a melhoria contínua dos processos organizacionais;
Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de métricaspadrão e pela apuração dos desvios ocorridos com os indicadores; e
Viabilizar a análise comparativa do desempenho da organização em intervenções
diversificadas.
Indicadores Estratégicos
Informam o “quanto” a organização se encontra na direção da consecução de sua Visão. Refletem
o desempenho em relação aos Objetivos Estratégicos da Organização. São formulados segundo
as dimensões e critérios estabelecidos no Planejamento Estratégico das organizações.
Indicadores de Processos
Representação objetiva de características do processo que devem ser acompanhadas ao longo
do tempo para avaliar e melhorar o seu desempenho. Medem a eficiência e a eficácia dos
processos. São os seguintes os indicadores de processo:
a)
indicadores da qualidade
b)
indicadores de produtividade
c)
indicadores de capacidade
Indicadores da Qualidade
Os Indicadores da Qualidade, ou Indicadores da Satisfação dos Clientes, medem como o produto
ou serviço é percebido pelo cliente e a capacidade do processo em atender os requisitos dos
clientes. Podem ser aplicados para a organização como um todo, para um processo ou para uma
área. Podem ser baseados em pesquisa de opinião. Podemos dividir os Indicadores da Qualidade
em dois tipos: Indicadores da Não-Qualidade e Indicadores da Qualidade.
INDICADORES DA NÃO-QUALIDADE
Total de Deficiências/Erros/Desperdícios
X 100
Total de Saídas (produtos/serviços)
Para os demais indicadores da Qualidade, não diretamente ligados ao índice de satisfação,
devemos comparar a Qualidade do que foi produzido com o total produzido.
INDICADORES DA QUALIDADE
Total de saídas certas
Total de Saídas (produtos/serviços)
X 100
O resultado da aplicação deste indicador para um processo que produziu 2000 produtos dos quais
10 foram considerados defeituosos, é igual a :
10
X 100 = 0,5% de produtos defeituosos
2000
Poderíamos definir o indicador deste processo da forma inversa, com um Indicador da Qualidade
da seguinte forma:
Número de produtos perfeitos
Total de produtos produzidos
X 100
Para o qual obteríamos, nas mesmas condições o seguinte índice:
1990
X 100 = 99,5% de produtos perfeitos
2000
A comparação com os padrões ou parâmetros é que vai indicar o estado dos processos.
A comparação do resultado obtido na medição de um Indicador da Qualidade contra o índice
padrão de aceitação definido para um determinado processo (ou seja, indice desejado) é
chamado de Eficácia.
Índice da qualidade obtido
Índice da qualidade desejado
X 100 = %
Como o índice desejado na medição é um Indicador da Qualidade é de 100%, principalmente
quando pensamos em termos de Qualidade Total, o número resultante da medida de um Indicador
da Qualidade é o mesmo do da medição da Eficácia.
Índice da qualidade obtido
100
X 100 = índice da qualidade obtido
Também podemos definir a Ineficácia de um processo como:
Ineficácia = 100 - Eficácia
Indicadores de Produtividade
Os Indicadores de Produtividade são ligados à eficiência, estão dentro dos processos e tratam da
utilização dos recursos para a geração de produtos e serviços. Medir o que se passa no interior
dos processos e atividades permite identificar problemas e, consequentemente, preveni-los para
que não tragam prejuízos aos clientes
Os Indicadores de Produtividade são muito importantes, uma vez que permitem uma avaliação
precisa do esforço empregado para gerar os produtos e serviços. Além disso, devem andar lado a
lado com os de Qualidade, formando, assim, o equilíbrio necessário ao desempenho global da
organização.
Por exemplo: com uma classe de apenas cinco alunos um professor teria condições de conseguir
oferecer serviços de altíssima Qualidade – seus alunos receberiam muito mais atenção. A
produtividade , entretanto, estaria comprometida: a proporção de um professor para cinco alunos
obrigaria a escola a contratar mais profissionais e aumentar seus custos salariais. Por outro lado,
um professor para cem alunos teria poucas condições para fazer um bom trabalho. Embora a
produtividade aumentasse violentamente, a Qualidade do ensino provavelmente cairia.
Observe, portanto, que deve ser dada igual importância aos Indicadores da Qualidade e da
Produtividade, de modo que ao melhorar um deles o outro também melhore. Deve se ter em
mente que a crença de que a melhoria na qualidade reflete na produtividade negativamente, como
acontece com os pratos de uma balança, é infundada. A verdadeira melhoria da Qualidade vai
melhorar também a Produtividade.
Fórmula dos Indicadores da Produtividade
TOTAL PRODUZIDO
RECURSOS UTILIZADOS OU DISPONÍVEIS
ou
RECURSOS UTILIZADOS OU DISPONÍVEIS
TOTAL PRODUZIDO
Para quantificarmos a Produtividade (interna à organização), devemos comparar o que foi gerado,
com o que foi empregado de recursos para isso acontecer. O resultado indicará o quanto está
sendo consumido ou utilizado para cada unidade do que foi produzida, entregue ou prestada.
Como vemos, ao contrário dos resultados dos Indicadores da Qualidade que aparecem na forma
de percentual, os Indicadores da Produtividade são uma relação entre 2 unidades de medida
diferentes, uma que quantifica os recursos consumidos ou utilizados e outra que quantifica as
saídas produzidas.
O índice resultante de um Indicador da Produtividade não deve sair em forma de fração, mas pelo
resultado desta divisão acompanhada da unidade de medida, por exemplo
50.000 reais gastos
1.000 treinamentos realizados
=
logo o índice de produtividade foi de 50 reais/treinamento.
Obs.: Para os indicadores envolvendo dinheiro, alguns preferem colocá-lo na relação matemática
como numerador ao invés de denominador, como mostrado acima.
É de extrema importância que os indicadores sejam montados após a identificação das saídas e
dos recursos do processo que vai ser medido por estes indicadores. Saídas de um processo são
muitas vezes recursos de outros. Por exemplo, pessoas treinadas de uma organização são saídas
do processo de treinamento (outputs), mas devem ser consideradas como recursos para os
processos subsequentes.
Assim como os indicadores da Qualidade, os resultados dos Indicadores da Produtividade (índices
da produtividade) devem ser comparados com padrões preestabelecidos, considerados como os
valores aceitáveis para o processo que está sendo medido.
Chamamos de Eficiência do processo a relação entre o resultado obtido na medição de um
Indicador de Produtividade e o Índice estabelecido como padrão do processo.
A Eficiência pode ser calculada de duas formas, dependendo de como os Indicadores da
Produtividade foram calculados, e são as mostradas a seguir.
Para índices calculados como recursos utilizados por saídas, temos:
Índice previsto
Índice obtido
=
Recursos previstos/saídas
X 100 = % Eficiência
Recursos utilizados/saídas
Logo podemos considerar que para uma mesma quantidade de saídas boas produzidas,
Eficiência é:
Recursos previstos
X 100
Recursos utilizados
Assim sendo este percentual poderá ser maior ou menor que 100%.
Este valor poderá ser maior que 100% quando alguma melhoria no processo for introduzida e o
mesmo passar a consumir menos recursos que o previsto.
Por exemplo, um processo consumia 5 litros de água por peça fabricada, com a substituição dos
equipamentos usados no processo , passou a gastar 4 litros, a eficiência na utilização do recurso
“água” passou a ser de 5/4 x 100 = 125%.
Quando isto ocorrer os padrões usados precisam ser revisados e novos padrões estabelecidos de
acordo com as mudanças ocorridas no processo.
A outra forma de cálculo da Eficiência usada quando consideramos os índices calculados como
saídas por recurso utilizado, é o seguinte
Índice obtido
=
Índice previsto
saídas
X
saídas
saídas/recursos utilizados
X 100 = % Eficiência
Saídas/recursos previstos
Recursos previstos
Recursos utilizados
X 100 =
Recursos previstos
X 100 =
Recursos utilizados
O que é o mesmo que na forma de cálculo mostrada anteriormente.
CÁLCULO DE EFICIÊNCIA
Eficiência é a relação entre: o índice de produtividade obtido e o índice considerado como padrão.
Dependendo de como os índices foram definidos, será igual a:
Recursos previstos/saídas
Recursos utilizados/saídas
X 100
Ou
Saídas/recursos utilizados
Saídas/recursos previstos
X 100
O que é o mesmo que:
Recursos previstos
Recursos utilizados
X 100
No exemplo anterior os índices, se calculados inversamente seriam:
0,2 produtos/litro de água (1/50) como padrão
e
0,25 produtos/litro de água (1/40) o índice obtido no novo processo
logo no cálculo da Eficiência seria 0,25/0,20 x 100 = 125% sendo portanto o mesmo, pois são
apenas 2 formas diferentes de representar a mesma coisa.
Da mesma forma que podemos medir a Ineficácia, medimos também a Ineficiência que definimos
como:
Ineficiência = 100% - Eficiência
A Figura 4 abaixo mostra as diferenças básicas entre os Indicadores de Produtividade e de
Qualidade.
Figura 4: Diferenças entre os Indicadores de Produtividade e Qualidade.
Indicadores
Produtividade
Dizem respeito a
O modo
recursos
Medem
Eficiência
Eficácia
Tem foco
No esforço
Nos resultados
Indicam
Como fazer
O que fazer
de
Qualidade
utilizar
os Satisfação dos clientes
Indicadores da Capacidade
Os Indicadores da Capacidade medem a capacidade de resposta de um processo por meio da
relação entre as saídas produzidas por unidade de tempo. Mas podem medir também a
constituição, formação ou ampliação de uma capacidade para produzir um resultado avançado
num momento subseqüente.
Exemplos de Indicadores da Capacidade
n.º de peças produzidas / hora
n.º de atendimento / mês
n.º de correspondências enviadas / dia
n.º de clientes visitados / ano
Indicadores de Projeto
São indicadores para acompanhar e avaliar a execução de projetos.
Exemplo: Projeto de Dessanilização
Trata-se de um projeto que visa dessanilizar e tratar fontes de água não-potável com potencial
para uso adequado. Período: Março/2003 – Dez. 2005
Resultados esperados
Água potável em quantidade e qualidade satisfatórias disponível
Uso sustentado pela população residente no município X da água potável nas atividades
Clientes usuários
População residente no município X e no seu entorno
Indicadores (outcomes)
% de potabilidade e uso atingido relativamente ao previsto
n.º de habitantes e % da população beneficiada
Atividades/Módulos
identificar fontes de água potenciais à dessanilização para acesso e uso sustentado
viabilizar infra-estrutura adequada de implantação, tratamento e uso viável de água
Indicadores (outputs)
número de fontes de água do município com potencial para dessanilização identificadas
instalações físicas construídas
% das fontes identificadas dessanilizadas
Metas de desempenho
até maio de 2003, 100% das fontes de água do município com potencial para dessanilização
identificadas
até dezembro de 2005, 100% das instalações necessárias construídas:
30% no primeiro ano do projeto (2003)
30% no segundo ano do projeto (2004)
40% no terceiro ano do projeto (2005)
Principais Atributos dos Indicadores
Para que os indicadores se tornem viáveis e práticos, devem possuir alguns atributos especiais.
Adaptabilidade – capacidade de resposta às mudanças de comportamento e exigências dos
clientes. Os indicadores podem tornar-se desnecessários ao longo do tempo e devem ser
imediatamente eliminados ou substituídos por outros de maior utilidade.
Representatividade – captação das etapas mais importantes e críticas dos processos, no
local certo, para que seja suficientemente representativo e abrangente. Dados desnecessários ou
inexistentes não devem ser coletados. Em contrapartida, dados importantes devem ser precisos,
atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa atenção, pois
indicadores muito representativos tendem a ser mais difíceis de ser obtidos. Deve-se, portanto,
haver um certo equilíbrio entre a representatividade e a disponibilidade para coleta.
Simplicidade – facilidade de ser compreendido e aplicado tanto pelos executores quanto – e
principalmente – pelos que receberão seus resultados. Os nomes e expressões devem ser
conhecidos e entendidos por todos os envolvidos de forma homogênea, garantindo ampla
validade por toda a organização.
Rastreabilidade – facilidade para identificação da origem dos dados, seu registro e
manutenção. Sempre que possível, deve-se transformar os resultados em gráficos para um
acompanhamento mais preciso, o que permite a comparação com desempenhos anteriores.
Disponibilidade – facilidade de acesso para coleta, estando disponível a tempo, para as
pessoas certas e sem distorções, servindo de base para que decisões sejam tomadas. De nada
adiantaria informações atrasadas e desatualizadas, embora corretas, ou informações atuais e
corretas, mas para a pessoa errada.
Economia – não deve ser gasto tempo demais procurando dados, muito menos pesquisando
ou aguardando novos métodos de coleta. Os benefícios trazidos com os indicadores devem ser
maiores que os custos incorridos na medição. Caso contrário, em pouco tempo a organização
estará medindo sua própria falência.
Praticidade – garantia de que realmente funciona na prática e permite a tomada de decisões
gerenciais. Para isso, deve ser testado no campo e, se necessário, modificado ou excluído.
Estabilidade – garantia de que é gerado em rotinas de processo e permanece ao longo do
tempo, permitindo a formação de série histórica.
É fundamental que os indicadores sejam direcionados para a tomada de decisões gerenciais
voltadas para a solução dos problemas apontados, servindo de base inclusive para a revisão de
metas já estabelecidas. Por isso, os indicadores não podem agregar mais trabalho no dia-a-dia
nem tempo excessivo para serem coletados e obtidos. Assim, devem ser representativos para os
processos e atividades, levando a análises e melhorias da forma mais prática e objetiva possível.