Entrevista: Michael Bamberger

entrevista michael bamberger Por Márcia Paterno JoPPert Entrevista realizada durante a Conferência da Associação Americana de Avaliação, em Anaheim, CA – uSA , no dia 04 de novembro de 2011. Michael, você tem exPeriências em trabalhos com o Brasil desde a década de 1970 e acomPanhou muito de Perto a evolução da área de avaliação no País. Gostaria de saber como você vê este desenvolvimento desde essa éPoca: Eu ingressei neste campo no início da década de 1970 trabalhando com uma organização vo- Michael Bamberger tem quase 40 anos luntária de desenvolvimento co- de experiência na área de avaliação de munitário urbano que se chamava iniciativas de desenvolvimento, sendo Accion international. O programa uma década de trabalho com organizações não governamentais na América la- começou na venezuela, onde eu vivia, mas ajudei a construir uma ação nas favelas dos estados da tina, 25 anos de atuação em avaliações Guanabara (atual Rio de Janeiro) de projetos do Banco Mundial e 10 anos e São Paulo, que se chamava Ação como consultor independente em avaliação, incluindo programas com agên- Comunitária no Brasil. Começamos por avaliar a efetividade das intervenções com relação aos cias do Sistema nações unidas e outras impactos econômicos e sociais agências de desenvolvimento bilaterais nas favelas. As avaliações eram e multilaterais. Publicou três livros sobre então realizadas para demonstrar avaliação, bem como inúmeros artigos em revistas profissionais. Participou do o custo-efetividade de trabalhar nas favelas, pois havia um senso comum de que era muito difícil Conselho Editorial das seguintes revis- produzir mudanças econômicas tas: “new Directions for Evaluation”, positivas nessas áreas. Concorda- “Journal of Development Effectiveness”, va-se na sua realização como uma “Journal of Mixed Methods Research” e “American Journal of Evaluation”. Mi- ação social, mas não como uma ação que alavancaria o desenvolvimento econômico. Havia uma nistrou cursos em programas de avalia- ideia de que as pessoas que vi- ção na áfrica, América latina, ásia e no viam nas favelas não tinham mui- Oriente Médio e, desde 2002, no international Program for Development Evaluation training (iPDEt) no Canadá. 100 100 to valor econômico-social, mas, com o tempo, foi-se descobrindo que este grupo representava um grande recurso econômico: mão volvimento social. tanto o setor de obra e potencial para desen- público como as OnGs têm pro- volvimento de pequenas e micro- movido muitas avaliações para empresas. logo os empresários entender a situação da pobre- brasileiros começaram a apro- za e os resultados dos recursos fundar este conceito por meio empregados. O governo também de pesquisas. O trabalho tinha sofreu, nos últimos anos, muita por objeto as favelas, mas tam- influência das organizações inter- bém testava diferentes modelos nacionais, como o Banco Mundial de desenvolvimento econômico e o BiD, que sempre exerceram em outras áreas e regiões, como pressões para incorporar compo- o microcrédito no nordeste. Esta nentes de avaliação no desenho foi a minha primeira experiência de programas financiados com de avaliação no Brasil. seus recursos. O enfoque era mais quantitativo, ligado aos mo- Depois, quando ingressei no Ban- delos econométricos e lógicos. co Mundial, em 1978, trabalhei na Em especial, no setor urbano e na avaliação dos programas urbanís- habitação, havia dentro do Banco ticos de pequenas habitações e Mundial e do BiD muitas pessoas desenvolvimento das áreas mar- com experiência em investiga- ginais, organizei vários programas ções econômicas, principalmen- de formação em técnicas de ava- te da “escola” da universidade liação para o então Ministério do de Chicago – havia mais impulso interior (MintER). Essas experiên- para avaliações mais rigorosas de cias de avaliação eram bastante programas de desenvolvimento inovadoras, pois, nessa época, só urbano, com a filosofia de elimi- havia basicamente monitoramen- nar todas as barreiras ao desen- to no Brasil. volvimento econômico. Segundo o modelo da Escola de Chicago, Você acha que hoje esse camPo está mais desenvolvido no Brasil? uma vez dados os meios para Sim, hoje, o campo de monitora- vestimentos, como, por exemplo, mento e avaliação está mais de- de suas próprias habitações ou senvolvido no Brasil por várias pequenas empresas. isso, as pessoas sabem aproveitar as oportunidades para realizar in- razões: mudanças no sistema democrático e, principalmente, Em outros países onde eu traba- maior preocupação com o desen- lhei, El Salvador, por exemplo, R EVISTA B RASILEIRA DE M ONITORAMENTO E A VALIAÇÃO | N ÚMERO 2 | J ULHO -D EZEMBRO DE 2011 101 onde eu era encarregado da uni- desafios organizacionais e técni- dade de avaliação de um projeto cos que os métodos mistos pode- de habitação para os setores mar- riam implicar1. ginalizados, houve uma diferença de enfoque entre a OnG naciopreocupava mais com direitos Mas essas questões também são objeto de discussões no Brasil, você não acha? sociais e humanos, e a equipe Sim. trabalhar no Brasil com in- do Banco Mundial, que queria vestigações sociais era muito uma avaliação mais econômica, delicado nessa época porque estimando a taxa de retorno, etc. sociologia não era uma profissão Acabou-se chegando a um acor- regulamentada e eu ingressei do de preparar duas versões de no país como economista (assim todos os relatórios de avaliação: constava em meu visto de traba- uma para a OnG executora, mais lho), apesar de ser sociólogo. Era voltada para a questão social, e muito difícil achar profissionais outra para o Banco Mundial, que de sociologia para pesquisas. nal executora do projeto, que se achava que o importante era construir habitações. Ou seja, por esse enfoque teve que ser in- Quais, na sua oPinião, seriam os caminhos que o Brasil deveria trilhar Para desenvolver essa área de forma sustentável? corporado às investigações. Esse Em primeiro lugar, quanto ao tipo de diferença de perspectiva enfoque, acho interessante for- ainda não acontecia no Brasil talecer e desenvolver avaliações nessa época (anos 1970), que com métodos mistos porque, na privilegiava totalmente o enfo- grande escala em que opera o que técnico, quantitativo e eco- Brasil, é importante incorporar a nômico das avaliações. dimensão quantitativa, saber se conta das pressões das organizações nacionais (OnGs inclusive), um projeto piloto pode ser repli- 102 Os esforços em El Salvador para cado. no entanto, apesar de pro- integrar os enfoques econômicos gresso impressionante, nas últi- e quantitativos com um aspecto mas décadas, na redução da taxa qualitativo e social foram bons da pobreza no Brasil, ainda existe exemplos dos benefícios poten- um grande contingente em situ- ciais de usar uma metodologia ação de miséria. Então é preciso mista. também demostraram os ter avaliação dos programas pú- blicos e privados para entender o titativas e apoiam, por exemplo, impacto na redução da pobreza e departamentos de universidades em outros cortes, como equidade, formados por economistas, com situação da mulher, jovens, que enfoques quantitativos, e os ou- estão fora do sistema. Seria então tros podem ficar um pouco mar- recomendável usar métodos com ginalizados. enfoques mistos, que são mais sofisticados. Nesse tipo de en- Para mim, é uma pena que não se foque, é necessário ter um time possa aproveitar todos os recur- formado por pessoas de diferen- sos intelectuais para entender a tes disciplinas que muitas vezes dinâmica da problemática econô- não trabalham muito bem juntas mico-social e cultural. Acho que – os economistas acham que in- o Brasil tem a possibilidade, pela vestigações que usam técnicas grande capacidade intelectual, qualitativas não são sérias e os de ser um dos líderes na América investigadores sociais acham que latina em realmente integrar to- economistas “não têm coração”. das as dimensões da avaliação, o Assim, acho que um processo de que não está muito desenvolvido desenvolvimento da avaliação no em nenhum país dessa região. A Brasil deve contemplar o uso de Colômbia é um exemplo onde o métodos mistos desde os dese- governo, por meio do Ministério nhos, pois senão vão-se desen- do Planejamento, tem se esfor- volvendo dois tipos de avaliação çado em contratar avaliações. paralelos e depois é mais difícil Porém, privilegiando enfoques de ligar. é uma oportunidade para quantitativos. o governo e outras entidades en- sabem que deveriam fortalecer volvidas em avaliação. Este é um o enfoque qualitativo, mas não aspecto que tem muitas implica- sabem ainda muito bem como ções em como se organizam as fazê-lo e, por isso, contratam de avaliações, porque, o que aconte- forma um pouco esporádica e ce em muitos países cujas fontes não muito bem planejada estu- de financiamento de projetos de dos de caso sem conexão lógica Os consultores desenvolvimento são organiza- com a avaliação principal e de- ções internacionais, embora isso pois não se sabe como enqua- ocorra menos no Brasil agora, é drar esses estudos de caso com que essas organizações têm mais uma grande amostragem quan- interesse nas avaliações quan- titativa. Então, passei um tempo 1 Para uma discussão da metodologia mista e suas aplicações no campo de avaliações, ver Michael Bamberger, Jim Rugh e lind Mabry (2011). RealWorld Evaluation: working under budget, time, data and political constraints. [Sage Publications]. Capítulo 14: “Mixed Method Evaluations”. no momento, somente disponível em inglês. R EVISTA B RASILEIRA DE M ONITORAMENTO E A VALIAÇÃO | N ÚMERO 2 | J ULHO -D EZEMBRO DE 2011 103 na Colômbia trabalhando pelo uma maneira de incentivar esta Banco Mundial no Ministério do aplicação seria priorizar empre- Planejamento sobre como forta- sas consultoras que propusessem lecer mecanismos de avaliação. o uso de métodos mistos nas suas temos pensado um pouco nisso. propostas técnicas. também, uma Mas, é bem difícil, dentro de uma das situações que muitos econo- avaliação específica, decidir que mistas vivenciam é a de que as vamos convidar diversos tipos de revistas econômicas conceitua- profissionais para participar – é das não aceitam artigos que não um processo de desenvolvimen- tenham muitas tabelas de regres- to de capacidades, de formação e sões – eu conheço vários econo- de criar uma cultura de trabalho mistas que dizem entender bem conjunto porque existe uma des- a importância das avaliações mis- confiança entre os profissionais. tas, mas o fato de nunca poderem publicar trabalhos que não 104 é difícil também planejar uma tenham enfoques quantitativos avaliação mista. é preciso inves- nas revistas de referência é um tir mais tempo na formação de fator de desestímulo para eles. equipe e ter várias reuniões para Algumas revistas dão muita im- entender o pensamento de to- portância para o número de tabe- dos e construir mais confiança. las e para os métodos estatísticos Geralmente, em uma avaliação utilizados. Então, é preciso mudar com métodos mistos, existe uma a mentalidade das revistas, dos orientação profissional dominan- departamentos das universida- te (quantitativa ou qualitativa) e des, das organizações contratan- os outros entram para seguir o tes do governo, das organizações plano desse grupo. Então, para financiadoras, passo a passo. Se a conseguir este equilíbrio, é ne- intenção for utilizar efetivamente cessário um plano de desenvolvi- métodos mistos em pesquisas mento de vários anos que, pouco avaliativas, o Brasil terá que for- a pouco, é experimentado e dá mular uma estratégia. A utiliza- apoio financeiro e organizacional ção de métodos mistos poderá para avaliações por meio de me- fornecer muitos benefícios para todologias mistas. Por exemplo, o país. Organizações promotoras de avaliação (como a Agência de caso, enfim, era fabuloso, mas Brasileira de Avaliação e a Rede era muito complicado2. Há tam- Brasileira de Monitoramento e bém muitos problemas logísticos Avaliação) poderiam incentivar em ter uma equipe aplicando debates abertos sobre isso, não técnicas quantitativas ao mesmo defendendo a ideia de que so- tempo em que outro time está mente avaliações mistas devem fazendo pesquisa de campo. Em ser realizadas, mas procurando diversas comunidades, especial- mostrar o valor e talvez promover mente nas áreas rurais onde é pesquisas que mostrem o custo- necessário organizar transporte e -benefício deste enfoque, que pernoite, em países que têm pro- custa mais tempo e dinheiro. blemas de segurança, é preciso ter permissão oficial para circular Em 2000, o Banco Mundial pro- em certos lugares e dias. E como moveu pesquisa sobre uma série todos que contratam avaliação de estudos de caso de avaliações esperam resultados rápidos, mui- mistas em vários países e, em um tas vezes os tempos reais não são deles, um economista que tinha compatíveis com as expectativas adotado métodos mistos em e necessidades. Então, o planeja- avaliações de programas educa- mento passa a ser fundamental. cionais no Paquistão afirmou que isso é um pouco mais complica- utilizar métodos mistos foi muito do, apesar de ser até mais fácil valoroso para o desenho do pro- em algumas áreas, como, por jeto e promoveu uma compre- exemplo, na saúde, porque muita ensão mais profunda, mas que gente faz avaliações quantitati- não poderia fazer isso outra vez vas e também qualitativas – tal- porque era muito custoso e mui- vez fosse mais fácil, nesse setor, to complicado de contratar. De- formar equipes mistas do que morou muito mais tempo porque em outros como transporte, por tiveram que contratar um diag- exemplo, onde a maioria das ava- nóstico qualitativo e esperar os liações são quantitativas. Então, resultados deste antes de come- esta é uma área da avaliação que çar o desenho do questionário, tem implicações organizacionais para depois voltar a fazer estudo e estratégicas. 2 Guillerme Sedlacek e Pamela Hunte (2000). “Evaluating the impacts of decentral- ization and community participation on educational quality and the participation of girls in Pakistan” in Michael Bamberger (editor). integrating quantitative and qualitative research in development projects. Directions in Development. World Bank (somente disponível em inglês). R EVISTA B RASILEIRA DE M ONITORAMENTO E A VALIAÇÃO | N ÚMERO 2 | J ULHO -D EZEMBRO DE 2011 105