Uso Das Avaliações de Larga Escala
Uso Das Avaliações de Larga Escala
Uso Das Avaliações de Larga Escala
1590/S0104-40362021002902436 501
ARTIGO
Resumo
O objetivo do estudo é analisar os usos dos resultados das avaliações de larga
escala na formulação de políticas públicas educacionais no Brasil, com base no
Sistema de Avaliação da Educação Básica (Saeb). A pesquisa foi desenvolvida
em três etapas: pesquisa documental; aplicação de um questionário sobre o uso
dos resultados; e entrevistas com representantes estaduais, aprofundando as
informações coletadas na etapa anterior. Apresenta-se, como resultado uma matriz
classificatória na qual as políticas educacionais identificadas estão relacionadas,
principalmente, ao uso dos dados como instrumento de gestão, à formação de
professores, à disseminação de informações sobre o sistema educacional, à
produção de materiais pedagógicos, a critérios de distribuição de recursos e a
políticas de incentivo salarial. Conclui-se que os resultados gerados estão sendo,
de fato, utilizados na formulação de políticas educacionais. Contudo, é necessário
ampliar o uso das informações disponibilizadas para além do desempenho dos
alunos nos testes cognitivos.
Palavras-chave: Políticas Públicas. Políticas Educacionais. Avaliação
Educacional. Saeb.
1 Introdução
O acompanhamento das políticas públicas surge como tendência no final dos
anos 1970, diante das crises econômicas e sociais enfrentadas por alguns países
como Inglaterra e Estados Unidos, as quais geraram questionamentos sobre a
a
Instituto Nacional de Estudos e Pesquisas Anísio Teixeira, Brasília, DF, Brasil.
b
Universidade de Brasília, Brasília, DF, Brasil.
c
Instituto Nacional de Estudos e Pesquisas Anísio Teixeira, Brasília, DF, Brasil.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
502 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Diante desse cenário, essa pesquisa tem como principal objetivo analisar os
usos dos resultados do Saeb na formulação de políticas públicas educacionais
no Brasil, mostrando de maneira crítica como essas informações vêm sendo
empregadas tanto no desenvolvimento de ações administrativas e pedagógicas
quanto na promoção de accountability na área educacional.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 503
evidências. Wiseman (2010) contribuiu para essa análise ao discutir sobre o uso
de evidências nas políticas públicas, especificamente no campo educacional. O
autor apresentou três abordagens macroteóricas para explicar como as evidências
são utilizadas no processo de elaboração política: a perspectiva técnica-funcional,
na qual se utilizam evidências em busca da forma mais adequada ou eficaz de
solucionar problemas educacionais; a perspectiva sociopolítica, que é considerada
mais complexa, pois nessa perspectiva as agendas políticas e sociais ditam as
decisões e as maneiras em que serão resolvidos os problemas educacionais; e,
por fim, a perspectiva institucional ou organizacional, que pressupõe que os
modelos racionalmente legitimados para a elaboração de políticas já existentes, e
que são lentamente institucionalizados como parte dos sistemas organizacionais,
incluindo os sistemas educacionais.
No período em que esse Sistema de Avaliação foi estudado, tinha como público
alvo os anos iniciais e finais do Ensino Fundamental e o Ensino Médio (3º, 5º e
9º anos do Ensino Fundamental e 3ª série do Ensino Médio) e contava com três
avaliações: Avaliação Nacional da Educação Básica (Aneb), Avaliação Nacional
do Rendimento Escolar (Anresc) – ou, como é mais conhecida, Prova Brasil
–, e Avaliação Nacional da Alfabetização (ANA). As avaliações realizadas em
diferentes etapas possuem objetivos específicos, mas, de maneira geral, são
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
504 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
O presente estudo destaca uma das avaliações desse sistema, a Prova Brasil,
que foi criada em 2005 e inovou ao possibilitar a divulgação dos resultados por
escola. Antes disso, os dados eram coletados de forma amostral e permitiam
apenas um diagnóstico da situação nos âmbitos estadual, regional e federal. Após
a aplicação e a finalização do processamento e da análise dos dados, cada escola,
município e unidade federativa (UF) recebe os resultados da avaliação por meio de
boletins ou de sistemas informáticos específicos. Nesse estudo, adota-se o termo
Saeb para abarcar tanto a parte amostral (Aneb) quanto a parte censitária (Prova
Brasil), deixando de fora a avaliação de alfabetização, cuja utilização dos dados
não foi explorada nessa pesquisa. Discutir o uso de avaliações permite verificar
o efeito que a avaliação tem trazido para a política educacional e identificar de
que maneira os governos têm tomado decisões com base nos resultados dessas
avaliações (PESTANA, 2016).
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 505
4 Método
O presente estudo, de recorte temporal transversal, caracteriza-se por ser uma
pesquisa empírica e descritiva. Quanto à abordagem, se apresenta uma proposta
de pesquisa qualitativa, dividida em três fases: coleta e análise de dados por meio
de uma pesquisa documental; coleta de informações com base em questionário
fechado; e, por fim, realização de entrevistas semiestruturadas com uma amostra
dos respondentes dos questionários.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
506 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 507
análise de dados do questionário: pouco uso, médio uso ou muito uso. Com base
nos três grupos, foi selecionada uma amostra por acessibilidade, para realização
das entrevistas, o que totalizou três representantes de cada grupo. Apesar da não
intencionalidade, a amostra contou com pelo menos um representante de cada
região do país (três estados do Norte, dois do Centro-Oeste, dois do Sul, um do
Nordeste e um do Sudeste). Como instrumento de pesquisa, foi elaborado um
roteiro de perguntas que norteou a realização das entrevistas. Os dados foram
analisados seguindo as etapas de análise de conteúdo, descritas por Bardin (2009).
5 Resultados
A pesquisa documental consistiu na análise dos PEE, em que foram utilizadas
como palavras-chave da busca os termos: Saeb, Prova Brasil e Ideb. Nessa
análise foi possível identificar que nove UFs registraram informações específicas
sobre o Saeb ou sobre a Prova Brasil e a maioria delas (24) registra algum tipo
de informação sobre o Ideb, ficando apenas um estado sem nenhuma menção
ao índice. Verificou-se também uma tendência de replicar a Meta 7 do PNE,
que diz respeito ao fomento da qualidade da Educação Básica, mas seguindo as
metas estabelecidas para cada unidade da federação pelo Compromisso Todos
pela Educação (BRASIL, 2007).
A maioria das UFs (21) estabeleceu alguma estratégia em que o Ideb ou o Saeb foi
citado explicitamente. Identifica-se que os casos são majoritariamente de replicação
da legislação nacional, mas cabe destaque para 10 UFs que registraram diferentes
estratégias. O estado do Acre, por exemplo, estabelece a previsão de bônus para
os profissionais das escolas que alcançarem as metas do Ideb (índice que tem entre
seus componentes o Saeb) e do indicador estadual, o que indica uma política de
incentivo salarial com base nos resultados da avaliação. Outro exemplo diz respeito
ao estado de Alagoas, que registra a exigência para as escolas disponibilizarem em
suas entradas principais uma placa com a nota do Ideb. Com base nessa análise,
destaca-se a relevância dada ao Ideb como indicador de qualidade da Educação
Básica. Tais apontamentos corroboram os estudos de Brooke et al. (2011) e Silva
et al. (2013), que mostraram que os resultados das avaliações são utilizados para
o monitoramento, o planejamento e o estabelecimento de metas.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
508 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 509
de utilização dos resultados dos testes, em detrimento dos dados contextuais, já foi
discutido em estudos anteriores, como o de Bonamino (2016), que problematiza
a questão da excessiva ênfase nos resultados dos testes cognitivos em detrimento
das demais medidas sociais, escolares e pedagógicas, que são mensuradas com
base nos questionários da avaliação. Os dados apresentados reforçam essa tese ao
indicarem que os testes são mais utilizados do que os questionários.
Outra evidência coletada no questionário foi o uso de dados para formulação dos
Planos Estaduais de Educação, apontada por 96% dos respondentes (n = 30). Os
participantes afirmaram que os resultados foram utilizados para o estabelecimento
de metas e de estratégias e para o planejamento da gestão das redes de Ensino,
achados compatíveis com os da pesquisa documental. Identifica-se que esse tipo
de uso da avaliação é a que apareceu com maior frequência entre os demais usos,
inclusive foi mencionada nas três etapas da coleta de dados, e está associada a
uma concepção mais gerencial de políticas públicas, que visa à maior eficácia,
efetividade e competitividade (SECCHI, 2009).
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
510 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Duas questões, centrais para o presente estudo, tiveram como objetivo identificar
e aprofundar, de forma qualitativa, o conhecimento sobre como os entrevistados
utilizam os resultados dos testes de proficiência e dos questionários do Saeb/
Prova Brasil. Essa informação foi gerada a partir de uma medida quantitativa
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 511
Sobre os testes cognitivos, foi possível verificar usos semelhantes aos encontrados
no questionário e na literatura estudada. Nesse item, identificou-se o uso da
avaliação para o estabelecimento de metas, como já apontando anteriormente na
pesquisa documental e nos questionários. Além disso, um elemento novo surge
nas entrevistas, que é a comparação das metas estabelecidas no Saeb com as das
avaliações estaduais próprias e outros mecanismos de avaliação internos aos
estados, tais como avaliações institucionais, avaliações processuais, indicadores
específicos de desempenho, entre outros. Em relação a esse tipo de uso, Klein
(2019) registra uma importante análise de como as metas já estabelecidas no
Saeb necessitam de ajustes. Nesse sentido, ao invés de apenas replicar as metas
estabelecidas nacionalmente, é preciso problematizá-las de acordo com a realidade
de cada estado e de cada contexto educacional. Outras falas evidenciaram o uso
como política de formação, corroborando o estudo de Brooke et al. (2011), para
quem tal uso é significativo, uma vez que possibilita a realização de feedback para
a comunidade escolar, principalmente para os professores, e auxilia no diagnóstico
e na busca de soluções para o aprimoramento do processo de aprendizagem.
6 Discussão
O cenário evidenciado na pesquisa vai ao encontro dos achados da literatura recente da
área de políticas públicas, relativas ao debate sobre formulação de políticas e tomada
de decisões baseada em evidências (evidence-based decision making). Campbell e
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
512 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 513
Sendo assim, com base nesses estudos anteriores e nas evidências encontradas
nessa pesquisa, foi possível delinear seis tipos de uso dos resultados do Saeb nas
UF brasileiras. A categorização proposta a seguir (Figura 1) apresenta-se como
um complemento da matriz classificatória descrita por Brooke et al. (2011).
A intenção de uma nova classificação visa contemplar os demais estudos que
foram subsequentes à pesquisa desses autores, bem como agregar o resultado
dessa pesquisa. Além disso, a proposta de representação que usa uma pirâmide
invertida, mostra os resultados encontrados de maneira mais intuitiva, que vai da
maior para menor utilização dos dados. No entanto, ressalta-se, essa classificação
possui limitações, pois visa identificar o uso especificamente em relação ao Saeb,
não sendo possível generalizá-la para uso de outras avaliações.
Gestão
Formação
Informativo
Materias
pedagógicos
Recursos
Políticas
salariais
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
514 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
A 3ª dimensão foi designada como uso Informativo e, mais uma vez, foi uma das
mais citadas pelos respondentes do questionário. Essa dimensão também ficou
clara na pesquisa documental, no qual a análise dos sites das Secretarias Estaduais
evidenciou esse tipo de uso da avaliação. Nesse caso, está relacionada com as
premissas de transparência e de controle social, em que os resultados são fontes
de informações para os diferentes atores envolvidos no processo educacional.
As demais categorias identificadas e citadas com menor frequência, foram: a
dimensão Materiais Pedagógicos, identificada nos questionários e na pesquisa
documental, que utiliza a avaliação como parâmetro de revisão dos conteúdos e
referência para elaboração dos materiais didáticos utilizados na prática pedagógica;
a dimensão Recursos, que consiste no uso para alocação de recursos financeiros
ou materiais para as escolas; e, por fim, a dimensão de Políticas Salariais, na
qual os resultados são utilizados como parâmetros para pagamento de incentivos,
como bônus salarial decorrentes dos resultados da avaliação.
7 Considerações finais
As conclusões da presente pesquisa tendem a contribuir tanto do ponto de
vista social quanto acadêmica. Sob a ótica social, sua contribuição consiste em
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 515
mostrar que o uso tem sido feito com as avaliações de larga escala. Identifica-se
que os princípios gerenciais da administração pública, que pressupõem maior
controle social e monitoramento das políticas públicas, ganharam espaço no
cenário educacional. Nesse sentido, a avaliação passa a ser um instrumento da
melhoria do processo educacional quando ela é analisada e se traduz em uma
reflexão acerca do processo pedagógico desenvolvido nas escolas, fato que pode
ser atingido apenas se os instrumentos disponibilizados dialogarem mais com
os agentes escolares.
Por fim, com base nos resultados obtidos na análise da literatura e nos limites
apresentados, sugere-se que estudos futuros investiguem de maneira mais
aprofundada as implicações desses usos e os efeitos reais que trazem para o
processo educacional, considerando os distintos atores envolvidos no contexto
das redes de Ensino. Admite-se que as classificações de uso estão mapeadas e
bem identificadas no cenário nacional. Porém, é preciso dar um passo à frente,
investigando se os usos identificados estão contribuindo, ou não, para a qualidade
da Educação brasileira.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
516 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 517
Referências
BARDIN, L. Análise de conteúdo. 6. ed. Lisboa: 70, 2009.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
518 Flávia Viana Basso, Rodrigo Rezende Ferreira e Adolfo Samuel de Oliveira
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022
Uso das avaliações de larga escala na formulação de políticas públicas educacionais 519
TURNER, S. P. The concept of face validity. Quality & Quantity, Cham, v. 13,
n. 1, p. 85-90, fev. 1979. https://doi.org/10.1007/BF00222826
WEISS, C. H. Have we learned anything new about the use of evaluation? The
American Journal of Evaluation, Washington, v. 19, n. 1, p. 21-33, jan. 1998.
https://doi.org/10.1177/109821409801900103
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.30, n.115, p. 501-519, abr./jun. 2022