A CONSTRUO DE INDICADORES PARA MEDIO DO IMPACTO SOCIAL

Elizeu Francisco Calsing

A gesto eficiente e comprometida com resultados de um projeto social requer um conjunto de competncias e de ferramentas, cabendo destacar, para os propsitos desta discusso, o estabelecimento de metas de desempenho mensurveis e um sistema de informaes regular a partir de indicadores, fornecendo assim um sistema de monitoramento e de controle sobre a prestao de servios a um determinado segmento da populao. Os indicadores constituem uma instncia central do processo de avaliao, na medida em que permitem quantificar e qualificar o sucesso alcanado, como tambm medir o nvel e a intensidade das mudanas sociais. Reconhecida como uma atividade que requer muitos cuidados metodolgicos e preciso conceitual, a construo de indicadores de resultados de projetos sociais vem ganhando destaque nas organizaes do Terceiro Setor, no s como exigncia de seus financiadores ou doadores, como tambm em funo da transparncia exigida pela sociedade como um todo, mas, em particular, pelo pblico beneficiado.1 Neste contexto, indicadores representam uma imagem integrada e resumida de diversos fenmenos de ordem econmica, social, cultural, poltica, demogrfica, etc.; buscam apreender aspectos relevantes e expressivos de uma realidade, fenmeno, espao ou grupo social; representam um instrumental imprescindvel para todas as fases de um projeto social, tornando assim as intervenes, decises e anlises mais palpveis e controlveis, segundo a idia de um modelo sistmico, que possibilita a compreenso integrada dos fenmenos, em seus efeitos diretos e indiretos, de curto, mdio e longo prazos. Os indicadores so, portanto, medidores, e significam uma possibilidade de adaptar dados, informaes e estatsticas s necessidades de anlise, deciso e ao, de modo a aumentar e melhorar o nvel de conhecimento cientfico e tcnico no tratamento e soluo de problemas e necessidades da populao-alvo.

1. GERAES DE INDICADORES Os indicadores representam evidncias, sinais ou marcas que permitem verificar em que medida um determinado fenmeno observado est sofrendo variaes, que podem ser resultado de uma ou de um conjunto de intervenes de atores pblicos e/ou privados. Neste sentido, alguns autores consideram um indicador como uma placa que indica se tais atores, ou a prpria sociedade, esto no caminho certo, quanto caminho j foi percorrido, quanto ainda deve ser percorrido para se alcanar o objetivo, a meta, o destino.2

Doutor em Sociologia pela Universidade de Braslia e Coordenador da Unidade de Pesquisa, Avaliao e Desenvolvimento do Departamento Nacional do SESI Servio Social da Indstria. 1 PASSOS, Carlos A. Indicadores, ONGs e Cidadania: contribuies sociopolticas e metodolgicas. Curitiba: Plataforma Contrapartes Novib. GT Indicadores, 2003; Fundao ABRINQ Palestras e Debates do 1 Seminrios Internacional sobre Avaliao, Sistematizao e Disseminao de Projetos Sociais. Realizado em 17-19 de setembro de 2002. 2 FEUERSTEIN, Marie-Thrse Avaliao: como avaliar programas de desenvolvimento com a participao da comunidade. Traduo de Beatriz C. Orsini, So Paulo: Paulinas,

De um lado, os indicadores so instrumentos de medio utilizados para captar aspectos ou dimenses de um fenmeno ou realidade social cuja totalidade difcil ou impossvel apreender e, de outro, so instrumentos resultantes de mltiplas medies que refletem percepes, valores, processos de comunicao, uso diferenciado de recursos, vontade poltica, dilogo e um ideal de sociedade que deve ser perseguido. A partir desse enfoque possvel perceber diferentes geraes no processo de construo de indicadores. O PIB foi usado, por um longo tempo, como um indicador do nvel de desenvolvimento dos pases e mesmo como uma medida de pobreza da populao, revelando assim as dificuldades de acesso real aos bens e servios mnimos necessrios a uma vida digna. Essa primeira gerao de indicadores revelou-se, na verdade, muito equivocada, pois escondia profundas desigualdades sociais, alm de mostrar que simplesmente o crescimento da renda no pas no resolvia o problema.3 Uma segunda gerao de indicadores relaciona-se ao IDH e outros ndices similares, havendo uma grande profuso deles no Brasil, inclusive com sua replicao em escala regional, estadual e municipal, tentando captar num simples nmero uma realidade complexa sobre o desenvolvimento humano e a privao social.4 Indicadores internos de projetos sociais, com o objetivo de medir eficincia e eficcia, por exemplo, constituem uma terceira gerao de indicadores, preocupados em verificar a boa utilizao dos recursos (financeiros, humanos, fsicos e materiais) em relao aos resultados alcanados e previstos.5 O que se busca com a quarta gerao de indicadores? Ser que se trata de uma nova gerao de indicadores, em processo de construo, e que esta Conferncia de Gesto Social quer resignificar? Vrios trabalhos recentes destacam a necessidade de se construir indicadores de impacto e efetividade de projetos sociais, em geral de difcil mensurao, e que examinam os benefcios diretos e indiretos gerados sobre a populao beneficiria ou na rea de influncia do projeto. A avaliao de efetividade mede a relao entre um bem ou servio e a satisfao de necessidades vitais da populao, estabelecendo assim uma relao de causalidade entre um projeto, enquanto um sistema de interveno, e as alteraes nas condies sociais, culturais e econmicas da populao-alvo.

1990; SESI Elaborao e Monitoramento de Projetos Sociais. Braslia, Edio SESI Departamento Nacional em conjunto com o LTDS Laboratrio de Tecnologia e Desenvolvimento Social da COPPE/UFRJ, 2002. 3 DUPAS, Gilberto Economia Global e Excluso Social: Pobreza, Emprego, Estado e Futuro do Capitalismo. So Paulo: Paz e Terra, 1999. 4 Ver Relatrio de Desenvolvimento Humano do PNUD, como tambm as publicaes contendo os ndices de Desenvolvimento Humano. H tambm o ndice de Desenvolvimento Socioeconmico do Rio Grande do Sul, o ndice Paulista de Responsabilidade Social, o ndice Social e Municipal de So Paulo, ndices de Privao Humana, ndices de Cumprimento de Compromissos, ndice de Percepo de Corrupo, etc., como ndices ajustados por raa e gnero, dentre muitos outros. 5 CALSING, Elizeu Situao da Avaliao de Programas Sociais. In: Ensaio Avaliao e Polticas Pblicas em Educao, publicao da Fundao CESGRANRIO, Rio de Janeiro, Volume I, n 1, out/dez 1993, pg. 55-66.

O grande desafio que se coloca gesto social , precisamente, a construo de indicadores que permitem avaliar ou medir mudanas geradas por projetos, no sentido da incorporao permanente destas mudanas realidade ou modo de vida da populao-alvo.6 2. DESAFIOS EXISTENTES Quando se fala da construo de indicadores, fala-se de medidores, de algo que prope um parmetro, sinalizao ou expresso de aspectos de uma realidade observvel, mensurvel. Vrias questes costumam ser colocadas: medidores do qu? Medidores para qu? Medidores obtidos por quem? Medidores para quem?7 A construo, escolha ou seleo de indicadores no constitui tarefa fcil, no s porque no existe qualquer consenso quanto a uma possvel definio de indicadores, como, e principalmente, porque ainda no se resolveram satisfatoriamente os problemas do processo metodolgico denominado de operacionalizao. Se, por um lado, existem questes metodolgicas relacionadas mensurao de variveis, conceitos e realidades, por outro, necessrio considerar que, para muitos projetos sociais, existem atributos menos mensurveis, outros praticamente avessos mensurao e outros, ainda, que esto latentes e no so visualizados pelos avaliadores. Como analogia, pode-se utilizar o exemplo da mquina fotogrfica, que no consegue um retrato igual realidade, uma vez que isto depende, dentre vrios outros fatores, da qualidade da mquina (ou mesmo do filme se for o caso), da qualidade do fotgrafo, das condies ambientais, etc. Assim, alguns desafios gesto social so colocados quando se trata da construo de indicadores com vistas medio do impacto de programas ou projetos sociais: a) Uma das restries no combate pobreza o diagnstico feito e os indicadores utilizados. Em geral, so construdos indicadores que costumam comover pessoas, gestores, polticos, etc. Contudo, na perspectiva da gesto social ou da contribuio para a compreenso das mudanas pouco significam. O que se pode fazer, por exemplo, com um indicador macro de analfabetismo, alm de saber quantos so os analfabetos? O espao da interveno social no pode ser considerado como algo abstrato. b) Cada novo governante introduz mudanas nas polticas e nos programas sociais. Ou seja, cada um quer projetar as polticas pblicas sua viso e ideal. Mudam as
6

ROCHE, Cris Avaliao de Impacto dos Trabalhos de ONGs: aprendendo a valorizar as mudanas, So Paulo: Cortez Editora, Oxfam e ABONG, 2000. 7 KLILSBERG, Bernardo O Desafio da Excluso: para uma gesto social eficiente. So Paulo: Edies FUNDAP, 1997; CANO, Ignacio Introduo Avaliao de Programas Sociais. Rio de Janeiro: Editora FGV, 2002; ULRICH, Dave e outros Liderana Orientada para Resultados. Rio de Janeiro: Editora Campus, 2000; DINSMORE, Paul Campbell Transformando Estratgias Empresariais em Resultados atravs da Gerncia por Projetos. Rio de Janeiro: Qualitymark Editora, 1999; PNUD Manual de Seguimiento y Evaluacin de Resultados. New York, Programa de las Naciones Unidas para el Desarrollo, Oficina de Evaluacin, 2002; CALSING, Elizeu (org.) Indicadores Educacionais no Contexto do Desenvolvimento Social, Braslia: Ministrio da Educao e Cultura, Srie Planejamento n 2, 1980.

concepes dos programas, mas no dos indicadores utilizados para medir resultados. Portanto, h sempre um recomeo na construo e medio de indicadores, a tal ponto de no se conseguir montar sries histricas, indicadores com capacidade explicativa, relevantes e confiveis. c) Os indicadores devem estar relacionados aos produtos que o programa ou projeto entrega populao-alvo. Existe, ainda hoje, a viso ingnua entre gestores sociais e avaliadores de que o impacto resultado da oferta. Deve ficar claro que no basta entregar um determinado produto populao para obter os resultados desejados. Este um pressuposto falso que est muito arraigado entre gestores e avaliadores sociais. d) Os indicadores de impacto e de efetividade devem ser considerados pontos de partida para as polticas pblicas, ou seja, o que se entrega populao deve ser referncia imprescindvel para a medio de impacto e efetividade. Como a maioria dos programas e projetos sociais no consegue estabelecer tais resultados ou benefcios, torna-se complicado o processo de avaliao. Em outras palavras, os problemas atuais da gesto social, e persistentes desde longo tempo, impossibilita assumir pressupostos de impacto e efetividade. Superar tais desafios da gesto social constitui condio necessria e suficiente para os ajustes na ineficincia das polticas pblicas, principalmente sociais. e) A gesto dos programas e projetos sociais deve contribuir para o alcance de resultados macro-econmicos. Na verdade, h que se formular indicadores especficos para programas especficos. Contudo, devem estar referidos a metas sociais globais que fazem parte de uma agenda social, a exemplo das Metas do Milnio. Um programa de elevao da escolaridade do trabalhador no pode ser encarado apenas como um esforo visando assegurar o domnio de competncias para o exerccio da cidadania e a insero produtiva. A elevao da escolaridade possui impactos na elevao da renda futura e no crescimento econmico, entre outros. Estes so, portanto, os resultados desejados e a gesto das polticas pblicas deve contribuir para o alcance de tais resultados, que so macrosociais e macro-econmicos. f) Os indicadores de resultados, que deveriam ser perseguidos de forma incansvel no processo de gesto, representam uma forma de avaliao da capacidade distributiva das polticas pblicas. Ou seja, o esforo para aumentar os anos de vida mdia da populao, sua qualidade de vida, seu nvel de satisfao e de felicidade, enfim, o esforo de valorizao da dimenso do ser, e menos do ter. Numa avaliao de custos e benefcios, os indicadores tm a funo de medir os crculos virtuosos de um determinado investimento social, o que, no fundo, refere-se ao grande desafio de requalificar as polticas pblicas para que busquem maior efetividade. g) Em decorrncia, surge outro desafio, qual seja, o de montar o que pode ser chamado de decomposio analtica do agregado bem-estar social, no somente como base emprica indispensvel para o conhecimento da realidade social, como tambm para a avaliao de impacto e efetividade de polticas e programas sociais. Por analogia com a matriz de insumo-produto da economia, uma matriz de produtos (derivados de programas) e de demandas ou resultados exerce o efeito da decomposio do bem ou do mal estar da populao, devendo ser suscetvel para responder at que ponto as pessoas tm as mesmas oportunidades de acesso aos bens e servios e para mostrar at que ponto as desigualdades existentes esto diminuindo ou aumentando em funo das estratgias de desenvolvimento adotadas.

Esta situao cria uma srie de constrangimentos eficcia das polticas pblicas, pois torna difcil identificar claramente os beneficirios reais, o que precisam e quantos so. h) Da a importncia da participao das diversas partes interessadas na formulao de indicadores e na avaliao de impacto e efetividade. A participao deve ser compreendida como um processo colaborativo importante tendo em vista a construo e articulao de redes sociais, pois cada vez mais incompreensvel a tal da cultura da competio setorializada que impera na rea social. 3. A TTULO DE CONCLUSO Os indicadores fazem parte do conjunto de meios de verificao de programas e projetos, necessrios para auxiliar na percepo dos rumos que os processos de mudana social esto tomando. Quando propostos antes da execuo de um projeto, representam resultados a serem produzidos com vistas soluo de uma situao-problema, sobre os quais no se tm muitas garantias de alcan-los, mas h sempre grande aposta nesta possibilidade. Portanto, um dos grandes desafios atuais refere-se construo de um conjunto convergente de indicadores, referidos a uma proposio poltica e terica consistente, pois os indicadores no falam por si mesmos, no adquirem sentido em si mesmos. Dentro deste esprito, algumas preocupaes finais podem ser formuladas, visando at mesmo corrigir uma notria separao existente entre o trabalho de formulao de indicadores de programas e projetos sociais e de organizao das bases tericas e poltico-institucionais que os sustentam:

a correta determinao do significado dos indicadores pressupe o

conhecimento do contexto social de onde so ou foram coletados ou captados;

as interrogaes a que so submetidos os indicadores envolvem um processo

de ver para alm das fachadas, para que seja possvel captar mudanas sociais;

a desatualizao dos indicadores muitas vezes significa uma perda irreparvel

na sua capacidade de aproveitamento, definindo assim a prpria trajetria de projeto social atrasado em comparao com as necessidades do processo de interveno;

o processo de gesto social requer uma avaliao de impacto e efetividade

com base em indicadores que no s indicam a possibilidade de correo de rumos, como tambm as melhores escolhas futuras a serem tomadas com vistas a agregar valor vida humana numa perspectiva de desenvolvimento sustentvel.