Paulo de Martino Jannuzzi

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil*

Paulo de Martino Jannuzzi

Introduo O interesse pela temtica dos indicadores sociais e sua aplicao nas atividades ligadas ao planejamento governamental e ao ciclo de formulao e avaliao de polticas pblicas vm crescendo no Pas, nas diferentes esferas de governo e nos diversos fruns de discusso dessas questes. Tal fato deve-se, em primeiro lugar, certamente, s mudanas institucionais por que a administrao pblica tem passado no Pas, em especial com a consolidao da sistemtica do planejamento plurianual, com o aprimoramento dos controles administrativos dos ministrios, com a mudana da nfase da auditoria dos Tribunais de Contas da avaliao da conformidade legal para a avaliao do desempenho dos programas, com a reforma gerencial da gesto pblica em meados dos anos 1990 (G ARCIA, 2001. COSTA ; CASTANHAR , 2003). Esse interesse crescente pelo uso de indicadores na administrao pblica tambm est relacionado ao aprimoramento do controle social do Estado brasileiro nos ltimos 20 anos. A mdia,
Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

137

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

os sindicatos e a sociedade civil passaram a ter maior poder de fiscalizao do gasto pblico e a exigir o uso mais eficiente, eficaz e efetivo dele, demandando a reorganizao das atividades de planejamento em bases mais tcnicas. Tambm tem contribudo para a disseminao do uso dos indicadores o acesso crescentemente facilitado s informaes mais estruturadas de natureza administrativa e estatstica que as novas tecnologias de informao e comunicao viabilizam. Dados cadastrais antes esquecidos em armrios e fichrios passam a transitar pela Internet, transformando-se em informao estruturada para anlise e tomada de deciso. Dados estatsticos antes inacessveis em enormes arquivos digitais passam a ser customizados na forma de tabelas, mapas e modelos quantitativos construdos por usurios no especializados. Sem dvida, a Internet, os CD-ROMs inteligentes, os arquivos de microdados potencializaram muito a disseminao da informao administrativa compilada por rgos pblicos e a informao estatstica produzida pelas agncias especializadas. com o objetivo de apresentar como essas informaes estruturadas podem ser empregadas nas diferentes etapas do ciclo de formulao e avaliao de programas pblicos que se apresenta este texto. Para isso, inicialmente, apresentam-se, nas duas primeiras sees, os aspectos conceituais bsicos acerca dos indicadores sociais, as suas propriedades e as formas de classific-los. Depois, discute-se uma proposta de estruturao de um sistema de indicadores para subsidiar o processo de formulao e avaliao de polticas e programas pblicos no Pas.

Indicadores nas polticas pblicas: conceito e suas propriedades

No campo aplicado das polticas pblicas, os indicadores sociais so medidas usadas para permitir a operacionalizao de um conceito abstrato ou de uma demanda de interesse programtico. Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimenses sociais de interesse definidas a partir de escolhas tericas ou polticas realizadas anteriormente. Prestam-se a subsidiar as atividades de planejamento pblico e a formulao de polticas sociais nas diferentes esferas de governo, possibilitam o monitoramento das condies de vida e bem-estar da populao por parte do poder pblico e da sociedade civil e permitem o aprofundamento da investigao acadmica sobre a mudana social e sobre os determinantes dos diferentes fenmenos sociais (MILES, 1985. NAES UNIDAS, 1988). Taxas de analfabetismo, rendimento mdio do trabalho, taxas de mortalidade infantil, taxas de desemprego, ndice de Gini e proporo de crianas matriculadas em escolas so, nesse sentido, indicadores sociais, ao traduzirem em cifras tangveis e operacionais vrias das dimenses relevantes, especficas e dinmicas da realidade social. O processo de construo de um indicador social, ou melhor, de um sistema de indicadores sociais, para uso no ciclo de polticas pblicas inicia-se a partir da explicitao da demanda de interesse programtico, tais como a proposio de um programa para ampliao do atendimento sade, a reduo do dficit habitacional, o aprimoramento do desempenho escolar e a melhoria das condies de vida de uma comunidade. A partir da definio desse objetivo programtico, busca-se, ento, delinear as dimenses, os

138

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

componentes ou as aes operacionais vinculadas. Para o acompanhamento dessas aes em termos da eficincia no uso dos recursos, da eficcia no cumprimento de metas e da efetividade dos seus desdobramentos sociais mais abrangentes e perenes, buscam-se dados administrativos (gerados no mbito dos programas ou em outros cadastros oficiais) e estatsticas pblicas (produzidas pelo IBGE e outras instituies), que, reorganizados na forma de taxas, propores, ndices ou mesmo em valores absolutos, transformam-se em indicadores sociais (Figura 1). Os indicadores guardam, pois, relao direta com o objetivo programtico original, na forma operacionalizada pelas aes e viabilizada pelos dados administrativos e pelas estatsticas pblicas disponveis.

A relevncia para a agenda poltico-social a primeira e uma das propriedades fundamentais de que devem gozar os indicadores escolhidos em um sistema de formulao e avaliao de programas sociais especficos. Indicadores como a taxa de mortalidade infantil, a proporo de crianas com baixo peso ao nascer e a proporo de domiclios com saneamento adequado so, por exemplo, relevantes e pertinentes para acompanhamento de programas no campo da sade pblica no Brasil, na medida em que podem responder demanda de monitoramento da agenda governamental das prioridades definidas na rea nas ltimas dcadas. Indicadores de pobreza (no sentido de carncia de rendimentos), por outro lado, s vieram a ser regularmente produzidos quando

Figura 1: Construo de sistema de indicadores para ciclo de polticas pblicas

A escolha de indicadores sociais para uso no processo de formulao e avaliao de polticas pblicas deve ser pautada pela aderncia deles a um conjunto de propriedades desejveis e pela lgica estruturante da aplicao, que definir a tipologia de indicadores mais adequada (JANNUZZI, 2001). No Quadro 1, esto relacionadas 12 propriedades cuja avaliao de aderncia (+) e de no aderncia ou indiferena deveria determinar o uso, ou no, do indicador para os propsitos almejados.

programas e aes focalizados em grupos mais vulnerveis entraram na agenda da poltica social, a partir dos anos 1980. Validade outro critrio fundamental na escolha de indicadores, pois desejvel que se disponha de medidas to prximas quanto possvel do conceito abstrato ou da demanda poltica que lhes deram origem. Em um programa de combate fome, por exemplo, indicadores antropomtricos ou do padro de consumo familiar de alimentos certamente gozam de

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

139

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

maior validade que uma medida baseada na renda disponvel, como a proporo de indigentes. Afinal, ndice de massa corprea, baixo peso ao nascer ou quantidade de alimentos efetivamente consumidos esto mais diretamente relacionados nutrio adequada e desnutrio que disponibilidade de rendimentos. Por outro lado, operacionalmente mais complexo e custoso levantar informaes para o

que aqueles passveis de serem obtidos a partir de pesquisas de vitimizao, em que se questionam os indivduos acerca de agravos sofridos em seu meio em determinado perodo. Naturalmente, mesmo nessas pesquisas, as pessoas podem-se sentir constrangidas a revelar situaes de violncia pessoal sofrida, por exemplo, no contexto domstico, no assdio sexual ou na discriminao por raa e/ou cor.

Quadro 1: Avaliao da aderncia dos indicadores s propriedades desejveis

clculo desses indicadores de maior validade, comprometendo o uso deles para fins de monitoramento peridico do grau de fome na comunidade (da o uso de indicadores de rendimento como medidas de acompanhamento). Confiabilidade da medida outra propriedade importante para legitimar o uso do indicador. Na avaliao do nvel de violncia em uma comunidade, por exemplo, indicadores baseados nos registros de ocorrncias policiais ou mesmo de mortalidade por causas violentas tendem a ser menos confiveis e menos vlidos

Sempre que possvel, deve-se procurar empregar indicadores de boa cobertura territorial ou populacional, que sejam representativos da realidade emprica em anlise. Essa uma das caractersticas interessantes dos indicadores sociais produzidos a partir dos censos demogrficos, o que os tornam to importantes para o planejamento pblico no Pas. Mas mesmo indicadores de cobertura parcial podem ser teis. Os indicadores de mercado de trabalho construdos a partir das bases de dados administrativos do Ministrio do Trabalho, por exemplo, no retratam a

140

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

dinmica conjuntural do mercado de trabalho brasileiro, j que se referem apenas ao mercado de trabalho formal. Ainda assim, esses indicadores aportam conhecimento relevante acerca da dinmica conjuntural da economia e do emprego, em especial em mbito municipal. Sensibilidade e especificidade so propriedades que tambm devem ser avaliadas quando da escolha de indicadores para a elaborao de um sistema de monitoramento e avaliao de programas pblicos. Afinal, importante dispor de medidas sensveis e especficas s aes previstas nos programas, que possibilitem avaliar rapidamente os efeitos (ou noefeitos) de determinada interveno. Taxa de evaso ou freqncia escolar, por exemplo, so medidas sensveis e com certa especificidade para monitoramento de programas de transferncia de renda, na medida em que se espera verificar, em curto prazo, nas comunidades atendidas por tais programas, maior engajamento das crianas na escola, como resultado direto de controles compulsrios previstos ou mesmo como conseqncia indireta da mudana de comportamento ou da necessidade familiar. A boa prtica da pesquisa social recomenda que os procedimentos de construo dos indicadores sejam claros e transparentes, que as decises metodolgicas sejam justificadas, que as escolhas subjetivas invariavelmente freqentes sejam explicitadas de forma objetiva. Transparncia metodolgica certamente um atributo fundamental para que o indicador goze de legitimidade nos meios tcnicos e cientficos, ingrediente indispensvel para sua legitimidade poltica e social. Comunicabilidade outra propriedade importante, com a finalidade de garantir a transparncia das decises tcnicas tomadas

pelos administradores pblicos e a compreenso delas por parte da populao, dos jornalistas, dos representantes comunitrios e dos demais agentes pblicos. Na discusso de planos de governo, oramento participativo, projetos urbanos, os tcnicos de planejamento deveriam valer-se, tanto quanto possvel, de alguns indicadores sociais mais facilmente compreendidos, como a taxa de mortalidade infantil e a renda familiar, ou que o uso sistemtico j

Indicadores sociais permitem a operacionalizao de um conceito abstrato ou de uma demanda de interesse programtico. Eles apontam, indicam, aproximam, traduzem em termos operacionais as dimenses sociais de interesse definidas a partir de escolhas tericas ou polticas realizadas anteriormente
os consolidou, como o ndice de preos e a taxa de desemprego. Nessas situaes, o emprego de indicadores muito complexos pode ser visto como abuso tecnocrtico dos formuladores de programas, primeiro passo para o potencial fracasso na sua implementao. A periodicidade com que o indicador pode ser atualizado e a factibilidade de sua obteno a custos mdicos so outros

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

141

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

aspectos cruciais na construo e seleo de indicadores sociais para acompanhamento de qualquer programa pblico. Para que se possa acompanhar a mudana social, avaliar o efeito de programas sociais implementados, corrigir eventuais distores de implementao, necessrio que se disponha de indicadores levantados com certa regularidade. Essa uma das grandes limitaes do sistema estatstico brasileiro e, a bem da verdade, de muitos pases. Para algumas temticas da poltica social trabalho, por exemplo , possvel dispor-se de boas estatsticas e indicadores de forma peridica (mensal), para alguns domnios territoriais (principais regies metropolitanas). Para outras temticas, em escala estadual, possvel atualizar indicadores em bases anuais, por meio da Pesquisa Nacional por Amostra de Domiclios (PNAD). Nos municpios, em geral, pela falta de recursos, organizao e compromisso com a manuteno peridica dos cadastros (de contribuintes, de imveis, de favelas, etc.), s se dispe de informaes mais abrangentes a cada dez anos, por ocasio dos censos demogrficos1. Tambm preciso que os indicadores se refiram, tanto quanto possvel, aos grupos sociais de interesse ou populaoalvo dos programas, isto , deve ser possvel construir indicadores sociais referentes a espaos geogrficos reduzidos, grupos sociodemogrficos (crianas, idosos, homens, mulheres, brancos, negros, etc.), ou grupos vulnerveis especficos (famlias pobres, desempregados, analfabetos, etc.). O Censo Demogrfico 2000 reflete, nesse sentido, o esforo governamental em atender novas demandas informacionais para formulao e avaliao de polticas pblicas, em especial as polticas compensatrias e as voltadas discriminao positiva. Pela primeira vez, em censos brasi-

leiros, investigou-se a freqncia creche, educao infantil, questo fundamental na agenda de discusso da poltica educacional nos municpios brasileiros. A caracterizao do tipo e grau de deficincia fsica outro aspecto que mereceu especial ateno no levantamento, como resultado da presso de grupos organizados interessados em implementar, de fato, os direitos assegurados na Constituio. Tentou-se, tambm, na fase de pr-teste do censo, aprimorar o levantamento da ascendncia tnica da populao, de forma a fornecer subsdios mais precisos a polticas de discriminao positiva, de acesso compensatrio a bens e servios pblicos (educao superior, por exemplo) de grupos historicamente desprivilegiados (negros, por exemplo). O acesso a programas de renda mnima, como o Bolsa Escola, e outras transferncias governamentais tambm foram objeto de maior detalhamento no censo. A comparabilidade do indicador ao longo do tempo uma caracterstica desejvel, de modo a permitir a inferncia de tendncias e a avaliar efeitos de eventuais programas sociais implementados. O ideal que as cifras passadas sejam compatveis do ponto de vista conceitual e com confiabilidade similar das medidas mais recentes, o que nem sempre possvel. Afinal, tambm desejvel que a coleta dos dados melhore ao longo do tempo, seja pela resoluo dos problemas de cobertura espacial e organizao da logstica de campo, como pelas mudanas conceituais que ajudem a precisar melhor o fenmeno social em questo. Em uma perspectiva aplicada, dadas as caractersticas do sistema de produo de estatsticas pblicas no Brasil, muito raro dispor-se de indicadores sociais que gozem plenamente de todas essas

142

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

propriedades. Na prtica, nem sempre o indicador de maior validade o mais confivel; nem sempre o mais confivel o mais sensvel; nem sempre o mais sensvel o mais especfico; enfim, nem sempre o indicador que rene todas essas qualidades passvel de ser obtido na escala territorial e na periodicidade requerida. O importante que a escolha dos indicadores seja fundamentada na avaliao crtica das propriedades anteriormente discutidas e no simplesmente na tradio de uso deles. H esforo significativo de diversas instituies de disponibilizar novos contedos e informaes a partir de seus cadastros, as quais podem ser usadas para a construo de novos indicadores sociais.

Taxonomia dos indicadores para fins de aplicao nas polticas pblicas

Alm da observncia s propriedades, a escolha de indicadores para uso no ciclo de formulao e avaliao de programas tambm deveria pautar-se pela natureza ou pelo tipo dos indicadores requeridos. H vrios sistemas classificatrios para os indicadores sociais (CARLEY, 1985). A classificao mais comum a diviso dos indicadores segundo a rea temtica da realidade social a que se referem. H, assim, os indicadores de sade (leitos por mil habitantes, percentual de crianas nascidas com baixo peso, por exemplo), os indicadores educacionais (taxa de analfabetismo, escolaridade mdia da populao de 15 anos ou mais, etc.), os indicadores de mercado de trabalho (taxa de desemprego, rendimento mdio real do trabalho, etc.), os indicadores demogrficos (esperana de vida, etc.), os indicadores habitacionais (posse de bens durveis, densidade de moradores por domiclio, etc.), os

indicadores de segurana pblica e justia (mortes por homicdios, roubos mo armada por cem mil habitantes, etc.), os indicadores de infra-estrutura urbana (taxa de cobertura da rede de abastecimento de gua, percentual de domiclios com esgotamento sanitrio ligado rede pblica, etc.), os indicadores de renda e desigualdade (proporo de pobres, ndice de Gini, etc.). Outra classificao usual corresponde diviso dos indicadores entre objetivos e subjetivos. Os indicadores objetivos referem-se a ocorrncias concretas ou a entes empricos da realidade social, construdos a partir das estatsticas pblicas disponveis, como o percentual de domiclios com acesso rede de gua, a taxa de desemprego, a taxa de evaso escolar ou o risco de acidentes de trabalho. Os indicadores subjetivos, por outro lado, correspondem a medidas construdas a partir da avaliao dos indivduos ou especialistas com relao a diferentes aspectos da realidade, levantados em pesquisas de opinio pblica ou grupos de discusso, como a avaliao da qualidade de vida, o nvel de confiana nas instituies, a percepo da corrupo, a performance dos governantes. Ainda que se refiram a dimenses sociais semelhantes, indicadores objetivos e subjetivos podem apontar tendncias diferentes. Famlias de baixa renda, quando instadas a avaliar suas condies de vida, podem emitir juzos paradoxalmente mais positivos que uma anlise baseada em parmetros normativos e com indicadores objetivos de rendimentos e de infra-estrutura domiciliar. Assim, a opinio da populao atendida por um programa certamente importante, desejvel e complementar em qualquer sistemtica de monitoramento e avaliao, trazendo subsdios para a correo e melhoria do processo de implementao dos programas e tambm indcios da

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

143

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

efetividade social desses programas, especialmente aqueles difceis de serem mensurados em uma escala quantitativa. Uma outra lgica de classificao, interessante de se usar na anlise de polticas pblicas, a diferenciao dos indicadores entre indicador-insumo, indicador-processo, indicador-resultado e indicador-impacto (OMS, 1996. COHEN; FRANCO, 2000). Os indicadores-insumo correspondem s medidas associadas disponibilidade de recursos humanos, financeiros ou de equipamentos alocados para um processo ou programa que afeta uma das dimenses da realidade social. So tipicamente indicadores de alocao de recursos para polticas sociais o nmero de leitos hospitalares por mil habitantes, o nmero de professores por quantidade de estudantes ou ainda o gasto monetrio per capita nas diversas reas de poltica social. Os indicadores-resultado so aqueles mais propriamente vinculados aos objetivos finais dos programas pblicos, que permitem avaliar a eficcia do cumprimento das metas especificadas, como, por exemplo, a taxa de mortalidade infantil, cuja diminuio espera-se verificar com a implementao de um programa de sade maternoinfantil. Os indicadores-impacto referemse aos efeitos e desdobramentos mais gerais, antecipados ou no, positivos ou no, que decorrem da implantao dos programas, como, no exemplo anterior, a reduo da incidncia de doenas na infncia ou a melhoria do desempenho escolar futura, efeitos decorrentes de atendimento adequado da gestante e da criana recm-nascida em passado recente. Os indicadores-processo ou fluxo so indicadores intermedirios, que traduzem, em medidas quantitativas, o esforo operacional de alocao de recursos humanos, fsicos ou financeiros (indica-

dores-insumo) para a obteno de melhorias efetivas de bem-estar (indicadores-resultado e indicadores-impacto), como nmero de consultas peditricas por ms, merendas escolares distribudas diariamente por aluno ou ainda homens-hora dedicados a um programa social. A distino entre essas dimenses operacionais insumo, processo, resultado, impacto pode no ser muito clara em algumas situaes, especialmente quando os programas so muito especficos ou no caso contrrio, quando os objetivos dos programas so muito gerais. Mas sempre possvel identificar indicadores mais vinculados aos esforos de polticas e programas e aqueles referentes aos efeitos (ou no-efeitos) desses programas. Na Figura 2, so apresentados alguns indicadores de acompanhamento de um suposto programa de transferncia de renda, cuja finalidade seja a de reduzir a parcela de famlias em condio de indigncia, isto , de famlias com recursos monetrios insuficientes para a compra de uma cesta de produtos para a alimentao de seus membros: como indicador-insumo, o volume de recursos do programa, com percentual do oramento ou em bases per capita; como indicadores-processo, os percentuais de famlias cadastradas pelas prefeituras e daquelas efetivamente atendidas, que podem fornecer elementos para a avaliao da eficincia do programa; como indicadorresultado, a proporo de famlias em situao de indigncia, ou com rendimentos abaixo de determinado valor, medida que deveria refletir o grau de eficcia com que o programa atendeu ao objetivo esperado; como indicadores-impacto, a taxa de evaso escolar e a desnutrio infantil, efeitos potenciais do programa implementado que permitem dimensionar a sua efetividade social.

144

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

Insumo
Gasto pblico em programas de transferncia de renda

Processo
% de famlias cadastradas % de famlias atendidas

Resultado

Impacto
Taxa de evaso escolar Reduo da desnutrio infantil

Proporo de indigentes

Figura 2: Indicadores de acompanhamento de programas de transferncia de renda

Os indicadores podem tambm ser classificados como simples ou complexos, ou, na terminologia que se tem empregado mais recentemente, como analticos ou sintticos. O que os diferencia , como as denominaes sugerem, o compromisso com a expresso mais analtica ou de sntese do indicador. Taxa de evaso escolar, taxa de mortalidade infantil, taxa de desemprego so medidas comumente empregadas para anlise de questes sociais especficas no campo da educao, da sade e do mercado de trabalho. Medidas como ndice de Preos ao Consumidor ou ndice de Desenvolvimento Humano (IDH), por outro lado, procuram sintetizar vrias dimenses empricas da realidade econmica e/ou social em uma nica medida. No primeiro caso, o ndice de preos corresponde a uma mdia ponderada de variaes relativas de preos de diferentes tipos de produto (alimentao, educao, transporte, etc.). No segundo caso, o IDH corresponde a uma mdia de medidas derivadas originalmente de indicadores (simples ou analticos) de escolarizao, alfabetizao, renda mdia e esperana de vida. H uma idia subjacente a essa diferenciao entre indicadores analticos e sintticos, de que estes ltimos, ao contemplarem no seu cmputo um conjunto mais amplo de medidas acerca da realidade social de uma localidade, tenderiam a refletir o comportamento mdio ou situao

tpica dessa localidade em termos do desenvolvimento humano, qualidade de

Na prtica, nem sempre o indicador de maior validade o mais confivel; nem sempre o mais confivel o mais sensvel; nem sempre o mais sensvel o mais especfico; enfim, nem sempre o indicador que rene todas essas qualidades passvel de ser obtido na escala territorial e na periodicidade requerida

vida, vulnerabilidade social ou outro conceito operacional que lhes deu origem. Como mostrado no Quadro 2, tem havido muitas propostas de indicadores sintticos no Brasil, com maior ou menor grau de sofisticao metodolgica, elaborados por pesquisadores de universidades, rgos pblicos e centros de pesquisa, motivadas, por um lado, pela necessidade de atender s demandas de informao para

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

145

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

formulao de polticas e tomada de decises nas esferas pblicas e, por outro, pelo sucesso do IDH e seu impacto, nestes ltimos 15 anos, na disseminao da cultura de uso de indicadores nos crculos polticos.

midade entre a medida e o conceito original e da usual subsuno do ltimo pela primeira, em que o indicador adquire o status de conceito, como no caso da proporo de famlias com renda abaixo de determinado valor, que passou a designar a popu-

Quadro 2: Alguns dos indicadores sintticos propostos no Brasil

Instituio promotora Fundao Joo Pinheiro/MG Fundao CIDE/RJ ndice proposto IDH-M: ndice de Desenvolvimento Humano Municipal ICV : ndice de Condies de Vida Municipal IQM: ndice de Qualidade Municipal - verde IQM: ndice de Qualidade Municipal - carncias IQM: ndice de Qualidade Municipal - necessidades habitacionais IQM: ndice de Qualidade Municipal - sustentabilidade fiscal IPRS: ndice Paulista de Responsabilidade Social IVJ: ndice de Vulnerabilidade Juvenil IPVS: ndice Paulista de Vulnerabilidade Social ISMA: ndice Social Municipal Ampliado IDS: ndice de Desenvolvimento Social IDE: ndice de Desenvolvimento Econmico IQVU: ndice de Qualidade de Vida Urbana IVS: ndice de Vulnerabilidade Social IMDE: Indicador Municipal de Desenvolvimento Educacional

Fundao SEADE/SP

Fundao Economia e Estatstica/RS Superintendncia de Estudos Econmicos e Sociais da Bahia (SEI/BA) Prefeitura Municipal de Belo Horizonte/PUC Minas/MG INEP/Cedeplar/NEPO

Contudo, a aplicabilidade dos indicadores sintticos como instrumentos de avaliao da efetividade social das polticas pblicas ou como instrumentos de alocao prioritria do gasto social est sujeita a fortes questionamentos (RYTEN , 2000). Ao partir da premissa de que possvel apreender o social por meio da combinao de mltiplas medies dele, no se sabe ao fim e ao cabo quais as mudanas especficas ocorridas e qual a contribuio ou o efeito dos programas pblicos especficos sobre sua transformao. Alm disso, h questionamento acerca do grau de proxi-

lao indigente, que passa fome, etc. (ROCHA, 2002). H questionamentos acerca do grau de arbitrariedade com que se definem os pesos com os quais os indicadores devem ser ponderados no cmputo da medida final. H ainda crticas com relao s distores na seleo de pblicos-alvo a que o uso desses indicadores sintticos podem levar, sobretudo em casos de programas setoriais (GUIMARES; JANNUZZI, 2004). Por mais consistentes que sejam essas crticas, preciso reconhecer que os indicadores sintticos acabaram por se legitimar em diversos aspectos. A legitimidade social

146

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

dessas propostas de indicadores tem-se demonstrado pela visibilidade e freqncia que os indicadores sintticos tm conferido s questes sociais na mdia pelo formato apropriado para a sntese jornalstica e instrumentalizao poltica do movimento social e das ONGs no monitoramento dos programas sociais. O fato de que alguns desses indicadores foram criados sob encomenda e mesmo com a participao de gestores pblicos e legisladores

forte contingenciamento e de corte de verbas no setor pblico, nos ltimos 15 anos. Alm disso, como se discute mais frente, indicadores sintticos podem ser teis como instrumentos de tomada de deciso no ciclo de programas sociais. Assim, alm de avaliar a aderncia de cada indicador s propriedades relacionadas anteriormente, tambm pode ser til fazer uma reflexo sobre a natureza de cada um (Quadro 3), a fim de entender o seu papel

Quadro 3: Identificao da natureza dos indicadores

certamente lhes confere legitimidade poltica. O fato de que os ndices acabam aparentemente funcionando bem, apontando o que se espera que apontassem as iniqidades, os bolses de pobreza, etc. , garante-lhes tambm legitimidade tcnica. Tambm desfrutam de legitimidade cientfica, j que vrios desses projetos tm obtido financiamento de agncias nacionais e internacionais de fomento pesquisa. Por fim, a legitimidade institucional dessas propostas sustenta-se no fato de terem servido de instrumento de garantia do espao institucional das instituies de estatstica e planejamento em um quadro de

informativo em um sistema de indicadores para formulao e avaliao de programas sociais, como se dir na seo seguinte.

Indicadores no ciclo de formulao e avaliao de programas sociais

Apresentado o marco conceitual acerca dos indicadores sociais, passa-se agora discusso a respeito do uso deles no ciclo de formulao e avaliao de polticas pblicas ou programas sociais (Figura 3). Cada etapa do ciclo envolve o uso de um conjunto de indicadores de diferentes naturezas e propriedades, em funo das
147

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Figura 3: Representao clssica do ciclo de formulao e avaliao de programas sociais

necessidades intrnsecas das atividades a envolvidas (Quadro 4). Assim, na etapa de elaborao do diagnstico para a poltica ou programa social, so necessrios indicadores de boa confiabilidade, validade e desagregabilidade, cobrindo as diversas temticas da realidade social. Afinal, preciso ter um retrato to amplo e detalhado quanto

possvel acerca da situao social vivenciada pela populao para orientar, posteriormente, as questes prioritrias a atender, os formatos dos programas a implementar, as estratgias e aes a desenvolver. Trata-se de caracterizar o marco zero, a partir do qual se poder avaliar se o programa est provocando as mudanas sociais desejveis. Os indicadores usados

Quadro 4: Indicadores requeridos em cada etapa do ciclo de programas sociais

148

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

nessa etapa so construdos, em geral, a partir do censo demogrfico ou de pesquisas amostrais multitemticas (como as PNADs), quando os dados do censo j estiverem distantes do momento de elaborao do diagnstico. Como observado anteriormente, o Censo 2000 constitui-se em fonte muito rica de indicadores de diagnstico pelo escopo temtico, pela desagregabilidade territorial e populacional e pela comparabilidade inter-regional. Foram levantados, na amostra do censo, mais de 70 quesitos de informao, cobrindo caractersticas domiciliares, infra-estrutura urbana, caractersticas demogrficas e educacionais dos indivduos, insero da mo-de-obra, rendimentos, acesso a alguns programas pblicos, etc. Os indicadores dessas dimenses analticas podem ser computados para diversos grupos sociodemogrficos (por sexo, raa/cor, estratos de renda, etc.) e escalas territoriais que chegam ao nvel de agregaes de bairros de municpios (reas de ponderao, mais propriamente) e at mesmo ao nvel de setor censitrio (conjunto de cerca de 200 a 300 domiclios na zona urbana, para os quesitos levantados no questionrio bsico, aplicados em todos os domiclios do Pas). Por meio de um software de fcil manipulao Estatcart pode-se extrair estatsticas e cartogramas da quase totalidade dos municpios de mdio porte no Pas, em nvel de setor censitrio ou reas de ponderao, como ilustrado na Figura 4. Essa possibilidade de dispor de informao estatstica por setor censitrio (ou rea de ponderao) no parece ter sido explorada em toda a sua potencialidade por parte de formuladores e gestores de programas sociais, seja no mbito federal, estadual ou municipal. Quando se trata de fazer diagnsticos sociais mais detalhados

territorialmente, empregam-se, em geral, indicadores mdios computados para os municpios, escondendo-se os bolses de iniqidades presentes dentro de cada um dos municpios brasileiros. Os indicadores mdios de rendimentos ou de infra-estrutura urbana do Municpio de So Paulo so, por exemplo, bem melhores que a mdia geral dos municpios brasileiros. Contudo, se os indicadores forem computados em nvel de setores censitrios, poder-se- constatar no territrio paulistano a diversidade de situaes de condies de vida encontrada pelo territrio nacional, ou seja, possvel encontrar bolses de pobreza na capital paulistana com caractersticas de alguns municpios do Nordeste2. Um dos recursos que tm auxiliado na elaborao e apresentao de diagnsticos sociais a proposio de tipologias, agrupamentos ou arqutipos sociais, usados para classificar unidades territoriais segundo um conjunto especfico de indicadores sociais e, portanto, apontando os dficits de servios pblicos, de programas especficos, etc. O ndice Paulista de Resposabilidade Social um exemplo nesse sentido, ao classificar os municpios paulistas em cinco grupos, de acordo com os nveis observados de indicadores de sade, escolaridade e porte econmico municipal (SEADE, 2002). Alm dos indicadores multitemticos para retratar as condies de vida, referentes sade, habitao, ao mercado de trabalho, etc., tambm devem fazer parte do diagnstico os indicadores demogrficos, em especial, aqueles que permitem apresentar as tendncias de crescimento populacional passado e as projees demogrficas futuras (que dimensionam os pblicos-alvo dos diversos programas em termos de idade e sexo no futuro). As mudanas demogrficas foram bastante

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

149

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Chefes sem rendimento ou at 1 s.m.

Chefes sem instruo ou at 1 ano de estudo

Pessoas de 7 a 14 anos analfabetas

Domiclios urbanos sem acesso rede de gua

Figura 4: Cartogramas com indicadores sociais referidos em nvel de setor censitrio Campinas/SP - 2000

intensas pelo Pas nos ltimos 30 anos, com impacto significativo e regionalmente diferenciado sobre a demanda de vagas escolares, postos de trabalho, etc. (MARTINE; CARVALHO; RIAS, 1994). Na segunda etapa do ciclo de formulao e seleo de programas, requer-se um conjunto mais reduzido de indicadores, selecionados a partir dos objetivos norteadores dos programas definidos como prioritrios pela agenda poltico-social vigente. J se conhecem, em tese, por meio do diagnstico, os bolses de pobreza, as reas com

maior dficit de servios urbanos, com maior parcela de crianas fora da escola, com maior nmero de responsveis sujeitos ao desemprego. Nessa etapa, requer-se definir, a partir da orientao poltico-governamental, a natureza dos programas, as questes sociais prioritrias a enfrentar, os pblicos-alvo a atender. nessa fase que os indicadores sintticos j mencionados podem ter maior aplicao, na medida em que oferecem ao gestor uma medida-sntese das condies de vida, da vulnerabilidade,

150

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

do desenvolvimento social de municpios, estados ou de outra unidade territorial em que h implementao de programas. O IDH-municipal foi, por exemplo, o indicador empregado pelo Programa Comunidade Solidria para selecionar os municpios para suas aes, o que certamente representou um avano em termos de critrio tcnico-poltico de priorizao. Contudo, a escolha desse indicador acabou por excluir do programa todas as cidades mdias e populosas do Sudeste, j que suas medidas sociais mdias calculadas para a totalidade do municpio eram sempre mais altas que as dos municpios do Norte e Nordeste. Se fosse usado um indicador calculado para domnios submunicipais (setor censitrio, bairros, reas de ponderao, etc.), os municpios do Sudeste certamente teriam bolses que se enquadrariam entre os pblicos-alvo prioritrios do programa. Esse exemplo deixa claro a importncia do diagnstico microespacializado comentado anteriormente, em especial o realizado em nvel de setor censitrio. possvel, dessa forma, no s garantir maior preciso e eficincia na alocao dos programas que devem ser focalizados, como tambm acompanhar, posteriormente, os seus efeitos. Alm disso, o uso do setor censitrio (ou rea de ponderao) garante, em alguma medida, a compatibilizao dos quantitativos populacionais de cada pequena rea, amenizando os efeitos potencialmente destoantes da tomada de deciso baseada em indicadores expressos em termos relativos. Dois municpios podem ter, por exemplo, percentual similar de famlias indigentes, mas totais absolutos de indigentes muito distintos. Municpios populosos podem apresentar cifras relativamente mais baixas de

indigentes, mas ainda assim podem reunir totais absolutos bastante significativos. Em qual municpio devem-se priorizar as aes de programas de transferncia de renda: naquele em que a intensidade de indigncia elevada ou naquele em que o quantitativo de indigentes maior? Quando se tm indicadores calculados para reas com totais populacionais mais compatveis, os rankings de priorizao baseados em indicadores relativos ou absolutos diferem pouco 3. Idealmente, a tomada de deciso com relao aos pblicos-alvo a serem priorizados deve-se pautar em um indicador mais especfico e vlido para o programa em questo, mais relacionado aos seus objetivos, como a taxa de mortalidade infantil em programas de sade maternoinfantil, o dficit de peso ou altura em programas de combate fome ou a proporo de domiclios com baixa renda em programas de transferncia de renda. Se vrios indicadores devem ser usados e os critrios de elegibilidade referem-se a variveis existentes no censo demogrfico, possvel fazer processamentos especficos, de forma relativamente rpida, por meio de um pacote estatstico (com os microdados do censo em 16 CD-ROMs) ou mesmo por meio de uma ferramenta disponibilizada pela Internet (Banco Multidimensional de Estatsticas) no stio do IBGE. Um desses indicadores construdos pelo cruzamento de variveis do Censo 2000 o trazido na ltima tabela da publicao Indicadores municipais do IBGE (2002). Trata-se de um indicador combinado construdo a partir do cruzamento simultneo dos diversos critrios , representando a proporo dos domiclios particulares permanentes que no tm escoadouros ligados rede geral ou fossa sptica, no so servidos de gua por rede

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

151

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

geral, no tm coleta regular de lixo, seus responsveis (chefes) tm menos de quatro anos de estudo e rendimento mdio mensal at dois salrios mnimos. Esse indicador batizado informalmente de Indicador de Dficit Social pode ser calculado tambm por reas de ponderao do censo e tem-se mostrado com grande poder de discriminao e validade em representar situaes de carncias de servios pblicos bsicos pelo territrio nacional.

deciso seja pautada com base nos critrios (indicadores) considerados relevantes para o programa em questo pelos agentes decisores e que a importncia dos critrios seja definida por eles, em um processo de interatividade com outros atores tcnicopolticos. Alguns algoritmos que implementam a tcnica produzem solues hierarquizadas como um indicador sinttico e robustas, no dependentes da escala de medida ou disperso das variveis (Figura 5).

Figura 5: Anlise multicritrio para tomada de deciso com base em indicadores sociais

Em alguns casos de programas intersetoriais que envolvem esforos de equipes de diferentes reas e o alcance de vrios objetivos, pode ser interessante tomar a deciso acerca das reas prioritrias de implantao dos programas a partir da combinao de vrios critrios (indicadores). Nesse caso, pode-se empregar a anlise multicritrio, tcnica estruturada para tomada de decises em que interagem vrios agentes, cada um com seus critrios e juzos de valor acerca do que mais importante considerar na deciso final (ENSSLIN, 2001). A vantagem do uso dessa tcnica em relao a outras, como o emprego de indicadores sintticos, que ela permite que a

Na etapa de implementao e execuo dos programas, so necessrios indicadores de monitoramento, que devem primar pela sensibilidade, especificidade e, sobretudo, pela periodicidade com que esto disponveis. Esse um grande problema, como j se observou anteriormente, em especial se se necessita de indicadores em escala municipal. As informaes produzidas pelas agncias estatsticas no so, em geral, especficas para os propsitos de monitoramento de programas, seja na escala territorial desejada, seja na regularidade necessria. Contudo, procurando atender demanda por informaes municipais mais

152

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

peridicas, o IBGE tem realizado, de forma mais regular, a Pesquisa Nacional de Assistncia Mdico-Sanitria (AMS), a Pesquisa de Informaes Bsicas Municipais (MUNIC) e a Pesquisa Nacional de Saneamento Bsico (PNSB). A AMS corresponde a um censo de estabelecimentos de sade no Pas, identificando volume e qualificao de pessoal, equipamentos e outros recursos disponibilizados para atendimento mdico-sanitrio da populao. Com isso, pode-se ter uma idia mais clara e precisa do nvel e da diversidade da oferta de servios de sade pelo Pas, por meio da construo de indicadores de esforos de polticas na rea de sade. A MUNIC contempla, anualmente, o levantamento de conjunto amplo de informaes nas prefeituras dos mais de 5 mil municpios brasileiros. Nessa pesquisa, levantam-se dados sobre a estrutura administrativa, o nvel de participao e formas de controle social (existncia de conselhos municipais), a existncia de legislao e instrumentos de planejamento municipal (como a institucionalizao do plano de governo, do plano plurianual de investimentos, do plano diretor e da lei de parcelamento do solo), a disponibilidade de recursos para promoo da justia e segurana (existncia de delegacia da mulher, juizados de pequenas causas, etc.), alm da existncia de equipamentos especficos de comrcio, servios da indstria cultural e de lazer, como bibliotecas pblicas, livrarias, jornais locais e ginsios de esporte. Essa pesquisa permite, pois, construir indicadores que permitem retratar o grau de participao e controle popular da ao pblica e caracterizar o estgio de desenvolvimento institucional das atividades de planejamento e gesto municipal pelo Pas. A PNSB veio complementar esse quadro informacional sobre os

municpios brasileiros com a coleta de dados sobre abastecimento de gua, esgotamento sanitrio, limpeza urbana e sistema de drenagem urbana. Pode-se, assim, dispor de outros indicadores mais informativos sobre a estrutura e qualidade dos servios de infra-estrutura urbana, que no se limitam a apontar o grau de cobertura populacional atendida. Com os dados levantados nessa pesquisa, possvel construir indicadores do volume de gua

Dois municpios podem ter percentual similar de famlias indigentes, mas totais absolutos de indigentes muito distintos. Em qual municpio devem-se priorizar as aes de programas de transferncia de renda: naquele em que a intensidade de indigncia elevada ou naquele em que o quantitativo de indigentes maior?

ofertada per capita, do tipo de tratamento e do volume da gua distribuda populao, do volume e destino do esgoto e lixo coletado, entre outros aspectos. H tambm esforos louvveis de vrias instituies pblicas, alm do IBGE, em disponibilizar informaes de seus cadastros e registros de forma mais peridica, fato que se deve no s necessidade de monitoramentos da ao governamental,

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

153

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

mas tambm s facilidades que as novas tecnologias de informao e comunicao tm proporcionado. Os rgos estaduais de estatstica, os Ministrios da Sade, da Educao, do Trabalho, do Desenvolvimento Social, da Previdncia Social, das Cidades e a Secretaria do Tesouro Nacional disponibilizam pela Internet informaes bastante especficas em escopo temtico e escala territorial a partir de seus registros e sistemas de controle internos, que podem ser teis para a construo de indicadores de monitoramento de programas (Quadro 5).

A lgica do acompanhamento de programas requer a estruturao de um sistema de indicadores que, alm de especficos, sensveis e peridicos, permitam monitorar a implementao processual do programa na lgica insumo-processoresultado-impacto, isto , so necessrios indicadores que permitam monitorar o dispndio realizado por algum tipo de unidade operacional prestadora de servios ou subprojeto; o uso operacional dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos efeitos sociais

Quadro 5: Algumas das fontes oficiais para atualizao peridica de indicadores

154

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

mais amplos dos programas. Assim, a distino entre a terceira e a quarta etapas do ciclo de programas pode ser menos evidente que nas demais, sobretudo em programas de longa durao, isto , monitoramento e avaliao de programas so termos cunhados para designar procedimentos de acompanhamento de programas, focados na anlise da sua eficincia, eficcia e efetividade (COHEN; FRANCO, 2000). Monitoramento e avaliao so processos analticos organicamente articulados, sucedendo-se no tempo, com o propsito de subsidiar o gestor pblico com informaes acerca do ritmo e da forma de implementao dos programas (indicadores de monitoramento) e dos resultados e efeitos almejados (indicadores de avaliao). Como atividade de monitoramento ou de avaliao, importante analisar os indicadores de resultados a partir dos indicadores de esforos e recursos alocados, o que permite o dimensionamento da eficincia dos programas. O emprego da Anlise Envoltria de Dados (DEA) pode representar grande avano metodolgico nesse sentido (LINS; MEZA, 2000). A DEA uma tcnica derivada dos mtodos de pesquisa operacional que visa identificao das unidades de operao mais eficientes, tendo em vista como os recursos (retratados por vrios indicadores de insumo) so utilizados para gerar os resultados finais (medidos por diversos indicadores-resultados), considerando as condies estruturais de operao dos programas. Determinados programas implementados em regies mais pobres, podero no ter resultados to promissores como em outras mais desenvolvidas. Assim, preciso avaliar a eficincia dos programas em funo no apenas em relao ao resultado obtido e quantidade de recursos alocados, mas considerando as dificuldades ou potencialidades

existentes na regio em que os programas esto funcionando. O que torna essa tcnica particularmente interessante de ser aplicada que se podem considerar os recursos e resultados como vetores de indicadores em suas escalas originais e no como variveis representando valores monetrios de custos e benefcios. Como ilustra a Figura 6, um programa de sade deve ser avaliado em relao aos diversos resultados que produz em termos de reduo das taxas de mortalidade e morbidade, a partir dos recursos alocados (mdicos por mil habitantes) e servios de sade prestados (consultas atendidas), considerando as condies estruturais de vida existentes em cada local de sua implementao (indicadores de renda e infra-estrutura de saneamento). Pela tcnica possvel identificar as boas prticas ou benchmarks reais, isto , unidades de implementao do programa em que os resultados so, de fato, compatveis com o nvel de esforo empreendido e de recursos gastos. Os indicadores de desembolso de recursos e produtos colocados disposio da populao construdos a partir de registros prprios da sistemtica de controle e gerenciamento dos programas podem permitir uma avaliao indireta da eficcia dos programas no alcance das metas estabelecidas, quando as estatsticas pblicas ou os dados administrativos de ministrios e secretarias estaduais no forem mais especficos e peridicos na escala territorial desejada. Na falta de pesquisas amostrais regulares que contemplem temticas relativas, por exemplo, ao consumo de produtos culturais e aos hbitos de lazer ainda no incorporadas na agenda poltico-social nacional de forma imperativa , a eficcia de programas na rea, como os de fomento leitura, ter

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

155

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Figura 6: Aplicao da Anlise Envoltria de Dados na avaliao de programas em sade

de ser inferida a partir dos produtos previstos na aes desencadeadas, como o volume de livros distribudos s escolas e bibliotecas. Nesse caso, indicadores de resultados mais vlidos para avaliar a eficincia do programa, como nmero mdio de livros lidos no ltimo ano, por exemplo, so apenas ocasionalmente levantados pelo IBGE ou pela Cmara Brasileira do Livro. Outra demanda no ciclo de programas, em particular na etapa de avaliao, a identificao dos seus impactos. Para tanto, devem-se empregar indicadores de diferentes naturezas e propriedades, de forma a conseguir garantir tanto quanto possvel a vinculao das aes do programa com as mudanas percebidas, ou no, nas condies de vida da populao, tarefa sempre difcil de ser realizada (ROCHE, 2002). Em primeiro lugar, a menos que a realidade social vivenciada antes do incio do programa (marco zero) fosse muito trgica, ou que o programa tenha recebido recursos muito expressivos para serem gastos em curto espao de tempo, no se pode esperar que os produtos e resultados gerados no
156

mbito dele possam ser imediatamente impactantes sobre a sociedade. Programas de transferncia de renda ou de distribuio de leite ou cestas bsicas em periferias de grandes cidades do Sudeste proporcionam impactos sociais comparativamente menos intensos e rpidos que programas de investimento em saneamento bsico, por exemplo, no que diz respeito s condies de mortalidade infantil. Contudo, ao longo do tempo, a transferncia de renda ou a distribuio de produtos estar contribuindo para a melhoria da nutrio de crianas, garantindo ganhos adicionais contra a mortalidade infantil, assim como, mais a mdio prazo, para a melhoria do seu desempenho escolar. Esse exemplo revela, pois, a dificuldade de se atriburem os efeitos de programas especficos sobre as mudanas estruturais das condies sociais, dificuldade que, paradoxalmente, cresce medida que tais transformaes e os impactos tendem a se tornar mais evidentes. A dificuldade ainda maior quando se observam problemas de descontinuidades e de implementao nos programas pblicos.

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

De modo a perceber mais claramente os impactos dos programas, deve-se buscar medidas e indicadores mais especficos e sensveis aos efeitos por eles gerados. Uma das formas de se operacionalizar isso avaliando efeitos sobre grupos especficos da populao, seja em termos de renda, idade, raa, sexo ou localizao espacial. Se os programas tm pblicos-alvo preferenciais, localizados em determinadas regies ou estratos de renda, deve-se no s buscar indicadores de impacto que privilegiem a sua avaliao do conjunto da populao, que pode estar, inclusive, sob o risco de efeitos estruturais mais gerais (que podem no afetar o pblico-alvo na mesma intensidade), mas tambm desenvolver estratgias metodolgicas avaliativas de natureza qualitativa, com pesquisas de opinio ou grupos de discusso, incorporando indicadores subjetivos na avaliao. Nesse sentido, os impactos podem ser avaliados em uma perspectiva mais restrita ou mais ampla, considerando o tamanho da populao afetada, o espao de tempo considerado para a referncia dos indicadores e a natureza mais objetiva ou subjetiva dos impactos percebidos pela populao.

Consideraes finais
Uma das grandes dificuldades atuais no acompanhamento de programas pblicos dispor de informaes peridicas e especficas acerca do processo de sua implementao e do alcance dos resultados e do impacto social que tais programas esto tendo nos segmentos sociodemogrficos ou nas comunidades focalizadas por eles. Seja da perspectiva da avaliao formativa, isto , aquela com os propsitos de acompanhar e monitorar a implementao de programas, a fim de verificar se os rumos traados esto sendo seguidos e permitir intervenes corretivas,

seja da perspectiva da avaliao somativa, isto , aquela mais ao final do processo de implementao, com propsitos mais amplos e meritrios (CANO, 2002), o gestor de programas sociais defronta-se com a dificuldade de obter dados vlidos, especficos e regulares para seus propsitos. Se fato que as informaes produzidas pelas agncias estatsticas so, em boa medida, pouco especficas para os propsitos de monitoramento de programas, no provendo informao na escala territorial desejada ou na regularidade necessria, tambm verdade que elas podem-se prestar elaborao de diagnsticos bastante detalhados em escopo e escala, como no caso das informaes provenientes dos censos demogrficos. As informaes produzidas no mbito dos processos administrativos dos ministrios e das secretarias estaduais e municipais podem tambm suprir boa parte da demanda de dados para a construo de indicadores peridicos de monitoramento, requerendo, contudo, algum retrabalho de customizao em funo das necessidades de delimitao territorial dos programas, desde que exista um cdigo de localizao da escola, do posto de sade, da delegacia, etc. De qualquer forma, as estatsticas e os dados do IBGE e de outros rgos pblicos dificilmente atendero todas as necessidades informacionais requeridas para o monitoramento e a avaliao de programas pblicos mais especficos. Assim, necessrio, quando da formulao desses programas, prever a organizao de procedimentos de coleta e tratamento de informaes especficas e confiveis em todas as fases do ciclo de implementao, que possam permitir a construo dos indicadores de monitoramento desejados.
(Ar tigo recebido em maio de 2005. Verso definitiva em junho de 2005)

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

157

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Notas
* Texto submetido editoria da Revista do Servio Pblico em que se procura compilar e reorganizar idias expostas em trs oportunidades anteriores (Jannuzzi , 2001, 2002. Guimares; Jannuzzi, 2004), a partir das experincias de capacitao de tcnicos de ONGs e gestores do setor pblico nos cursos de extenso de Indicadores Sociais e Polticas Pblicas, desenvolvidos no mbito do convnio ENCE/IBGE e Fundao FORD , e nos cur sos de formao da Escola Nacional de Administrao Pblica ao longo de 2003 e 2004. 1 Dada a inexistncia e desorganizao dos cadastros nos municpios brasileiros, os censos demogrficos acabam levantando um conjunto muito amplo de informaes, o que o torna ainda mais custoso e complexo. 2 De fato, o que o ndice Paulista de Vulnerabilidade Social calculado por setor censitrio permite constatar (vide em: www.seade.gov.br). 3 Vale obser var, contudo, que os setores censitrios apr esentam variabilidade significativa em termos de quantitativos populacionais pelos municpios brasileiros.

Referncias bibliogrficas CANO, I. Avaliao de programas sociais . Rio de Janeiro: FGV, 2002. CARLEY, Michael. Indicadores sociais: teoria e prtica. Rio de Janeiro: Zahar, 1985. COSTA, F.L.; C ASTANHAR, J. C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista Brasileira de Administrao Pblica, Rio de Janeiro, v. 37, n.5, p.:969992, 2003. COHEN, E.; FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 2000. ENSSLIN, Leonardo et al. Apoio deciso: metodologias para estruturao de problemas e avaliao multicritrio de alternativas. Florianpolis, SC: Insular, 2001. v. 1. 296 p. GARCIA, R.C. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia, v. 23, n. 7, p. 70, 2001. GUIMARES, J. R. S.; J ANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes em polticas pblicas: uma anlise crtica. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS, 14. Anais... Caxambu, 2004. IBGE. Indicadores sociais municipais. Rio de Janeiro: 2002. JANNUZZI , P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Campinas: Alnea, 2001. ___________ . Consideraes sobre o uso, mau uso e abuso dos indicadores sociais na formulao e avaliao de polticas pblicas municipais. Revista de Administrao Pblica , Rio de Janeiro, v. 36, n. 1, p. 51-72, jan./fev. 2002. LINS, M.E; MEZA, L. A. Anlise envoltria de dados e perspectivas de integrao no ambiente de apoio deciso. Rio de Janeiro: COPPE/UFRJ, 2000.

158

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

RSP

MARTINE, G.; CARVALHO, J. A. M.; RIAS, A. R. Mudanas recentes no padro demogrfico brasileiro e implicaes para a agenda social . Braslia, IPEA, 1994. (Texto para Discusso n. 345) MILES, I. Social indicators for human development. New York: St. Martins Press, 1985. NAES UNIDAS. Handbook of social indicators. Nova York: 1988. OMS. Catalogue of health indicators . Genebra: 1996. ROCHA, S. Pobreza: do que se trata afinal. Rio de Janeiro: FGV, 2003. ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. So Paulo: Cortez, 2002. RYTEN, J. Should there be a human development index? Statistique, Dveloppement et Droits de lHomme Seminar, Montreaux, Setembre, 2000. SEADE. Monitorao de prioridades de desenvolvimento com equidade social. In: KEINERT, Tnia; KARRUZ, Ana Paula (Orgs.). Qualidade de vida: observatrios, experincias e metodologias. So Paulo: Annablume; Fapesp, 2002.

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

159

RSP

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Resumo - Resumen - Abstract

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil Paulo de Martino Jannuzzi O objetivo do texto discutir as potencialidades e limitaes do uso das informaes estatsticas produzidas pelo IBGE e os registros administrativos de rgos pblicos para a construo de indicadores para dia gnstico, monitoramento e avaliao de programas sociais no Br asil. Inicia-se com uma apresentao sobre os aspectos conceituais bsicos acerca dos indicadores sociais, suas propriedades e formas de c lassificao. Depois, discute-se uma proposta de estruturao de um sistema de indicadores para subsidiar o processo de formulao e avaliao de polticas e programas pblicos no Pas. Conclui-se o texto advogando-se a necessidade de estruturar sistemas de indicadores que se apiem na busca de informaes j existentes em fontes secundrias e na produo de dados no mbito dos prprios programas. Palavras-chave: indicadores, monitoramento, polticas sociais Los indicadores para formulacin y evaluacin de programas sociales en Brasil Paulo de Martino Jannuzzi El artculo discute las potencialidades y las limitaciones del uso de la informacin estadstica producida por el IBGE y los registros administrativos de las agencias pblicas para la construccin de los indicadores para la diagnosis, seguimiento y evaluacin de programas sociales en Brasil. Comienza presentando la base conceptual referente a los indicadores sociales, sus caractersticas y los sistemas de clasificacin. Despus, presenta un marco del sistema de indicadores para subsidiar el proceso de formulacin y evaluacin de programas pblicos. El artculo concluye proponiendo la necesidad de construir sistemas de indicadores basados en fuentes secundarias de datos y tambin en los datos primarios recogidos en las etapas de los programas. Palabras clave : indicadores, monitoreo, polticas sociales Indicators for social policy making and evaluation in Brazil Paulo de Mar tino Jannuzzi The paper discusses the potentialities and limitations of the use of statistical information produced by the IBGE and the administrative registers of public agencies for the construction of indicators to be used in the diagnosis, monitoring and evaluation of social programs in Brazil. It begins by presenting the conceptual basis for understanding the social indicators, their properties and classification systems. It then outlines a framework of a system of indicators to support the process of formulation and evaluation of public programs. The paper concludes by advocating the need to structure systems of indicators based on secondary sources of data and also on primary data collected in the scope of the programs. Key words: indicators, monitoring, social policies

Paulo de Martino Jannuzzi Assessor da Diretoria Executiva do SEADE, professor da ENCE/IBGE, pesquisador CNPq no projeto de pesquisa Infor mao estatstica no ciclo de f ormulao, monitoramento e avaliao de polticas pblicas no Brasil, com recursos do CNPq (Proc. 307101/2004-5). Contato: [email protected]
160
Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005