8657782-Texto Do Artigo-66314-1-10-20200309
8657782-Texto Do Artigo-66314-1-10-20200309
8657782-Texto Do Artigo-66314-1-10-20200309
RESUMO
No contexto da América Latina e Caribe, há uma diversidade de
Instituições de Educação Superior (IES) e de sistemas de avaliação e
acreditação. Este artigo analisa alguns desses sistemas, buscando entender
como se configuram, seus instrumentos de avaliação institucional e de
cursos, seus estágios de maturidade, suas relações com as políticas
públicas de seus respectivos países, bem como, aspectos relativos à
valorização da autoavaliação e do contexto institucional. O estudo se
compõe de uma pesquisa bibliográfica e documental, tendo como base os
documentos, legislações e informações oficiais dos organismos de
avaliação e acreditação de cada país, além de uma pesquisa de campo, com
professores e pesquisadores em atividade nessas localidades, no intuito de
captar as percepções acerca desses sistemas em cada realidade. A pesquisa
contou com respondentes de oito países: Brasil, Chile, Colômbia, Equador,
México, Peru, Uruguai e Venezuela. Foi possível observar que apesar de
haver uma grande diversidade e formatos de sistemas de avaliação e
acreditação, há processos muito semelhantes em alguns deles, assim como
ficou evidente um anseio dos respondentes no sentido de que os sistemas
Correspondência ao Autor avancem para que haja uma contribuição efetiva na melhoria da qualidade.
¹ Alexey Carvalho Os resultados da análise dos documentos e das percepções colhidas na
E-mail: [email protected] pesquisa de campo, demonstraram que é preciso que os sistemas de
Universidade Estadual de Campinas, avaliação e acreditação superem os aspectos burocráticos, de verificação
Campinas, SP, Brasil de conformidade e busquem avaliações formativas, que valorizem a
CV Lattes autoavaliação e a pertinência das IES e cursos, de forma a alimentar uma
http://lattes.cnpq.br/0893051454726659 cultura de qualidade e melhoria contínua.
10.20396/riesup.v6i0.8657782
e-location: e020043
ISSN 2446-9424
Checagem Antiplagiarismo
Distribuído sobre
1
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
KEYWORDS
Higher education. Evaluation. Accreditation. Public policy.
PALABRAS CLAVE
Educación superior. Evaluación. Acreditación. Política pública.
2
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
Introdução
A região da América Latina e Caribe é marcada por sua grande diversidade cultural,
social e étnica, além das diferenças de desenvolvimento econômico, as desigualdades sociais
e a falta de uma educação de qualidade, presentes em alguns dos seus países.
3
desenvolvimentos local e regional.
Metodologia
Na análise das respostas das questões fechadas e dos dados relativos à caracterização
da amostra, foram usadas escalas nominais, que segundo Marconi e Lakatos (2002), visam a
transformar fatos qualitativos em quantitativos ou variáveis para serem mensuradas, no caso
da escala nominal em categorias específicas, o que permite analisar percentualmente os
agrupados em cada categoria.
Para analisar as respostas das questões abertas, foi utilizada a técnica de análise de
conteúdo, que segundo Levin e Fox (2004) permite ao pesquisador descrever objetivamente o
conteúdo das mensagens coletadas. Nesta, o conteúdo das mensagens coletadas é agrupado
em unidades de análise e eixos temáticos, que Franco (2008) chama de categorias e núcleos
de sentido. Esse procedimento ajuda a compreender o significado dado pelo respondente e a
comparar com outras respostas, permitindo atingir a essência do conteúdo, visando responder
ao questionamento da pesquisa. Os agrupamentos permitem ainda, analisar quantitativamente
a frequência com que determinado termo aparece e quais aparecem mais ou menos.
5
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
Na maioria dos países, os organismos responsáveis por estes processos são estatais,
mas há também agências da sociedade e instâncias internacionais, em alguns casos. Mesmo
ocorrendo de forma diferente nos países, os processos de forma geral, seguem os padrões de
qualidade estabelecidos pelos organismos reguladores, que normalmente consideram a
autoavaliação e a avaliação externa realizada por equipe de pares avaliadores. A avaliação de
cursos acontece em todos os países, porém, a avaliação institucional não ocorre da mesma
forma.
Brasil
Com base nos resultados das avaliações in loco, são gerados o Conceito de Curso
(CC) e o Conceito Institucional (CI). Enquanto que, com base nos resultados do ENADE, nas
informações do Censo da Educação Superior e nos conceitos da pós-graduação stricto sensu,
quando aplicáveis, são gerados quatro indicadores de qualidade: o Índice Geral de Cursos
(IGC); o Conceito Preliminar de Curso (CPC); o Conceito ENADE e o Índice de Diferença
entre os Desempenhos Observado e Esperado (IDD). Todos esses indicadores de qualidade
são apresentados em uma escala de 1 a 5, em que os conceitos abaixo de 3, são considerados
insatisfatórios e podem implicar medidas para IES ou curso, com a previsão de punições que
vão desde a suspenção da entrada de novos estudantes, bloquear o acesso dos estudantes aos
financiamentos públicos e até mesmo ao fechamento do curso ou IES. Esses indicadores são
6
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
De acordo com Weko (2017) nenhum país membro da OCDE implementa avaliações
públicas, externas, obrigatórias e padronizadas de estudantes do ensino superior, assim, neste
aspecto a experiência brasileira do ENADE foi inovadora mundialmente. Apesar disso, o
ENADE, dentro do SINAES, tem sido usado de forma desproporcional, o que leva o sistema
como um todo a minorar o valor da avaliação externa por pares. Não há uma adequada
valorização da relevância e inserção social da IES, que são reduzidas a apenas um indicador
no instrumento de avaliação. A autoavaliação, apesar de obrigatória e considerada no
processo, normalmente como uma exigência meramente burocrática, aquém de poder
contribuir para a melhoria da qualidade.
Colômbia
O Sistema Nacional de Acreditação (SNA) foi criado na Colômbia, pela Lei Nº. 30, de
28 de dezembro de 1992, com as diretrizes definidas em seus artigos 53 ao 56 e tem como
objetivo “garantir à sociedade que as instituições que fazem parte do Sistema cumpram os
mais elevados requisitos de qualidade e que atendam aos seus propósitos e objetivos”
(COLOMBIA, 1992, tradução nossa), a lei criou o Conselho Nacional de Acreditação (CNA)
e estabelece sua relação com o Conselho Nacional de Educação Superior (CESU).
7
internacional; pesquisa e criação artística; relevância e o impacto social; processos de
autoavaliação e autorregulação; bem-estar institucional; organização, gestão e administração;
recursos de apoio acadêmico e infraestrutura física; e recursos financeiros.
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
A acreditação de cursos, de acordo com CNA (2013), considera dez fatores: missão e
o projeto institucional e de curso; estudantes; professores; processos acadêmicos; visibilidade
nacional e internacional; pesquisa, inovação e criação artística e cultural; bem-estar
institucional; organização, administração e gestão; impacto dos egressos no meio; e recursos
físicos e financeiros.
México
O COPAES é uma associação civil sem fins lucrativos que atua como a única
instância autorizada pelo Governo Federal mexicano, ligada à Secretaria da Educação Pública
(SEP), para conferir reconhecimento formal e supervisionar os Organismos Acreditadores
(OA). Entre 2000 e 2010, o COPAES operou sob a estrutura dos CIEES, posteriormente,
houve a separação dos organismos, a fim de articular o trabalho das diferentes instâncias de
avaliação e acreditação, contando hoje com 30 OA reconhecidos (COPAES, 2019). O
estabelecimento do COPAES como instância adicional, se deu, de acordo com Dias Sobrinho
(2006), devido à proliferação dos OA.
A acreditação de cursos, fica a cargo dos CIEES, que se configuram como uma
associação civil sem fins lucrativos e contam com nove Comitês Interinstitucionais (CI),
sendo sete de cursos e dois de gestão educacional. Os CIEES (2018a) adotam como
metodologia a acreditação por módulos ou funções, de acordo com o tipo de instituição, ao
todo são seis módulos: gestão institucional (básico), gestão da pesquisa, gestão da inovação,
gestão da vinculação, internacionalização e gestão da difusão da cultura.
Peru
O processo de acreditação é voluntário, com exceção dos cursos das áreas de educação
e saúde, realizado por seis organismos acreditadores credenciados no âmbito do sistema. Para
as avaliações são disponibilizados três documentos orientadores ou modelos de acreditação:
para cursos de institutos e escolas de educação superior; para cursos universitários de
educação superior; e para a acreditação institucional de universidades (SINEACE, 2019).
Venezuela
Equador
Chile
12
docente; efetividade e resultado do processo formativo; e autorregulação e melhoria contínua.
No caso do resultado do processo formativo, não são previstos exames aos estudantes, são
avaliados aspectos relativos ao percurso formativo, evasão, dentre outros.
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
Uruguai
O Uruguai é o único país da América Latina que não possui um sistema de avaliação e
acreditação da educação superior institucionalizado. O Ministério da Educação e Cultura
realiza a autorização para o funcionamento de IES e cursos. Para representar o país no
Sistema ARCU-SUL e administrar as diretrizes do sistema em seu território, o Decreto Nº.
251/008, de 19 de maio de 2008, criou a Comissão Ad Hoc de Acreditação, com
independência técnica no âmbito do Ministério da Educação e Cultura (ARCU-SUL, 2019).
Resultados
13
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
14
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
Respondente
Característica Resposta s %
N=124
Pública 60 49
Não 71 57
Atividade Gestão 69 56
Dentre aqueles que atuam como avaliadores, 91% atuam há 4 anos ou mais, e 79%
mais de 5 anos nesta atividade, denotando relevante experiência em avaliação. Considerando
o vínculo com os organismos de acreditação, em que um mesmo avaliador pode estar
vinculado a mais de um organismo, tem-se que 58% estão vinculados ao INEP/MEC – Brasil,
14% ao CNA – Colômbia, 14% ao sistema ARCU-SUL, 11% a organismos do México e 5%
ao SINEACE – Peru. Ressalta-se que, aqueles vinculados ao Sistema ARCU-SUL, também
estão vinculados ao INEP/MEC, assim como, a presença de respondentes vinculados a mais
de um organismo mexicano, contribui para o enriquecimento das análises.
Respostas
Palavras %
N=413
Qualidade 63 15
Regulação 61 15
Certificador 43 10
Supervisão 40 10
Controle 35 8
Formação 28 7
Padronizado 27 7
Fiscalizador 23 6
Ranking 22 5
Internacionalização 19 5
Burocrático 18 4
Mercado 11 3
Confiável 9 2
Informativo 7 2
Punitivo 7 2
Maturidade Total Brasil Colômbia México Peru Venezuela Equador Chile Uruguai
Inicial 18 8 3 2 2 2 1
Executado 33 14 5 8 1 2 2 1
Definido 30 15 8 2 3 1 1
Gerenciado 20 9 5 5 1
Otimizado 23 6 9 6 1 1
Na análise geral, observa-se que a maior parte das respostas está entre Executado e
Definido, padrão mantido nas respostas brasileiras, com uma leve oscilação no sentido de
otimizado na Colômbia e uma discrepância nas respostas do México que fica com maiores
ocorrências em executado e otimizado. Os documentos oficiais e os indícios apresentados por
Lemaitre (2018), mostram que os sistemas Uruguaio e Venezuelano estariam em fase inicial,
enquanto México, Peru, Equador e Chile, podem ser considerados como definidos e Brasil e
Colômbia, como gerenciados. Desta forma, verifica-se que em geral, os respondentes têm
normalmente uma percepção aquém do esperado, acerca da maturidade de seus sistemas, o
que possibilita propostas de melhorias e evolução dos mesmos.
17
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
Respostas Total Brasil Colômbia México Peru Venezuela Equador Chile Uruguai
Falta capacitação
para os 32 8 6 8 4 4 1 1
avaliadores
Nem sempre
cumprem de
35 26 6 2 1
forma isenta seu
papel
São capacitados e
cumprem de
57 18 18 13 3 2 3
forma isenta seu
papel
Apesar de que na amostra geral 46% dos respondentes entenderem que há capacitação
e isenção na atuação dos avaliadores, 54% divergem, 28% apontando a questão ética como
ponto de atenção e 26% a questão da capacitação. Nota-se que no Brasil, 50% dos
respondentes apontam para uma preocupação quanto a isenção na atuação dos avaliadores.
Nas respostas abertas, foi possível verificar que isso está relacionado em grande parte a uma
possível atuação inadequada, na percepção dos respondentes, de avaliadores oriundos de IES
públicas nas IES privadas. A preocupação quanto a capacitação é mais latente no Peru,
Venezuela, Chile e Uruguai, que se justifica, com exceção do Chile, pelo fato dos sistemas
estarem em fase inicial ou em consolidação, como apontado na Tabela 3.
A composição das comissões de avaliação externa por pares avaliadores está presente
em grande parte dos países estudados, de acordo com as informações de seus organismos.
Cada um, porém, utiliza critérios específicos para a seleção, formação da comissão e de seu
banco de avaliadores. No México, especificamente, que utiliza o formato de avaliação
interinstitucional, a comissão é composta por pares avaliadores da própria IES, no Brasil, as
comissões são compostas de forma aleatória, havendo restrição quanto a atuação do avaliador
no estado onde atua.
Quanto ao alinhamento dos sistemas de avaliação e acreditação com os organismos
internacionais, obteve-se que 80% dos pesquisados tem a percepção de que os sistemas de
avaliação e acreditação estão alinhados às diretrizes dos organismos internacionais, ocorrendo
em todos os países pesquisados, sendo que 70% entende, ainda, que os sistemas de avaliação
e acreditação conserva suas características locais e regionais.
Com exceção do Uruguai, que não possui um sistema estabelecido, todos os demais
países estão em linha com o esperado pela OCDE (2008) e pelo BM (1995), no sentido de
desenvolver uma cultura de qualidade na educação superior e assegurar mecanismos de 18
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
A Tabela 5, a seguir, apresenta uma síntese dos resultados gerais acerca da percepção
dos respondentes acerca de diversos aspectos que envolvem os sistemas de avaliação e
acreditação. Nestas questões, o respondente deveria, em uma escala de 1 a 5, escolher em que
grau concorda ou não com cada afirmação, lembrando que, o Índice de Concordância (IC)
considera apenas as respostas 4 e 5, assim como, o Índice de Discordância (ID) considera
apenas as respostas 1 e 2, desconsiderando assim as respostas indiferentes (3).
19
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
uma vez que não há um processo de acreditação institucional oficial, mas são feitos por
entidades que reúnem diferentes tipos de IES, uma majoritariamente para públicas e outra
para privadas.
Nos demais países, não há evidência dessa distinção, porém, isso pode estar
relacionado a dois fatores: 1) grande parte dos sistemas de avaliação e acreditação terem se
originado em universidades públicas e trazerem em seu bojo, indicadores e critérios próprios
dessa realidade, que posteriormente foram impostos à realidade das privadas; 2) é comum em
vários países a predominância de membros oriundos de IES públicas em Conselhos, Comitês
e demais órgãos dos sistemas de avaliação e acreditação, bem como, em seu próprio banco de
avaliadores. Ambos fatores, podem trazer a sensação de desfavorecimento de um tipo de IES
em relação a outro. Nos comentários, que serão analisados posteriormente, fica evidente essa
percepção por boa parte dos respondentes, de vários dos países estudados.
Com relação à periodicidade das visitas in loco dos avaliadores, apenas Equador não
apresenta uma resposta conclusiva, tendo ID e IC iguais, chama a atenção também que o
México apresenta o maior ID (35%). Nas informações disponibilizadas, pelos organismos de
avaliação e acreditação, não foi possível evidenciar qualquer tipo de distorção em relação às
visitas atenderem às propostas dos seus sistemas. Especificamente, no Brasil e na Colômbia,
há previsão de dispensa de visitas em determinadas situações, o que pode ser questionável
uma vez que a visita in loco é importante componente do sistema e sua ocorrência periódica
contribui para que a IES busque melhoria contínua.
Para complementar as informações obtidas nas respostas fechadas, foram examinadas
as respostas das questões abertas, que foram deixadas por 72 dos 124 respondentes, destas, 10
respostas foram desconsideradas para análise por se tratar de conteúdos neutros, ou seja,
trazem mensagens fora do contexto da pesquisa. Assim, 62 respostas tiveram seu conteúdo
analisado, com respondentes de seis países: Brasil (35%); Colômbia (29%); México (18%);
Peru (10%); Venezuela (5%) e Equador (3%), destacando-se que no caso do Peru, 75% dos
respondentes daquele país também deixaram suas considerações em respostas abertas,
indicado um interesse sobre o tema.
Por meio da análise dos conteúdos, partindo-se das 62 repostas, chegou-se a 97
unidades de análise, que foram agrupadas em 33 eixos temáticos, a Tabela 6 a seguir,
apresenta os cinco eixos com maior número de respostas.
Tabela 6. Eixos Temáticos
O eixo temático mais presente está relacionado aos instrumentos de avaliação e foi
mencionado por 10 respondentes brasileiros e 3 colombianos. Os comentários dos brasileiros
versaram sobre a subjetividade do instrumento de avaliação, como ilustra a resposta a seguir.
Além dos eixos apresentados, surgiram ainda outros, com pelo menos cinco respostas,
que convém abordar, como no caso do Brasil, em que houve contundente crítica à gestão do
INEP, inclusive com termos mais fortes e até pejorativos, como bagunça, confusão, momento
confuso e falta de transparência, houve ainda, uma cobrança para que haja envolvimento e
participação dos avaliadores na revisão e elaboração dos instrumentos.
Além dos pontos abordados, cabe um destaque específico à realidade mexicana, onde
o atual modelo que prevê sistemas distintos de avaliação e acreditação, com diversos
organismos, trouxe a percepção, por parte dos respondentes, de que falta uma integração e ao
mesmo tempo a definição de critérios e requisitos mínimos para a avaliação. Os comentários
a seguir ilustram bem essa situação.
A análise das respostas abertas contribuiu para elucidar e reforçar alguns pontos 24
levantados nas questões fechadas, bem como, entender mais profundamente as percepções
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
dos respondentes acerca de suas realidades. Mesmo que parte dos respondentes tenha
considerado os sistemas adequados ou até consolidados, a necessidade de evolução ficou
patente em todos os países analisados. Notou-se um anseio no sentido de que os sistemas
avancem para que haja uma contribuição efetiva para a melhoria da qualidade, por meio de
formatos multivariados de avaliações que incluam aspectos qualitativos, que valorizem os
resultados das ações e o impacto local das IES e cursos.
Considerações Finais
Embora não tenha feito parte do escopo deste trabalho analisar as mudanças sucedidas
nos sistemas colombiano e chileno, em 2019, entende-se ser aconselhável no caso da
Colômbia, se precaver ao introduzir em seu processo de acreditação, os resultados dos
exames em larga escala aplicados aos estudantes, para não repetir os desvios ocorridos como
no caso do Brasil com o ENADE, especialmente no que diz respeito à valorização desses
exames, uma vez que, eles facilmente podem desfavorecer os demais aspectos do processo
avaliativo. No caso do Chile, é recomendável uma reflexão acerca de seus instrumentos de
avaliação, de modo a aprimorar a forma como os resultados são considerados em cada
indicador, alinhado com o que já existe em outros países.
Referências
BRASIL. Decreto No. 9.235, de 15 de dezembro de 2017. Diário Oficial [da] República
Federativa do Brasil, Poder Executivo, Brasília, DF, 18 dez. 2017.
BRASIL. Lei No. 10.861, de 14 de abril de 2004. Diário Oficial [da] República Federativa
do Brasil, Poder Executivo, Brasília, DF, 15 abr. 2004.
FRANCO, Maria L. P. B. Análise de conteúdo. 3.ed. Brasília: Líber Livro Editora, 2008.
LARSON, Ron; FABER, Betsy. Estatística Aplicada. São Paulo: Pearson Prentice Hall,
2010. 29
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020
Artigo de Pesquisa
LEMAITRE, María José (coord). La educación superior como parte del sistema educativo
de América Latina y el Caribe. Calidad y aseguramiento de la calidad. Córdoba:
Universidad Nacional de Córdoba, 2018.
LEVIN, Jack; FOX, James A. Estatística para ciências humanas. 9.ed. São Paulo: Prentice
Hall, 2004.
MALAVASI, Maria M. S. Avaliação é boa foto, mas deve resultar em políticas públicas.
O Estado de São Paulo. 13 dez. 2013. Disponível em: http://sao-
paulo.estadao.com.br/noticias/geral,avaliacao-e-boa-foto-mas-deve-resultar-em-politicas-
publicas-imp-,1103533 Acesso: 04.jan.2019.
MARCONI, Marina de A.; LAKATOS, Eva Maria. Técnicas de pesquisa. 5.ed. São Paulo:
Atlas, 2002.
PERU. Ley 28.740 de 23 de mayo del 2006. Ley del Sistema Nacional de Evaluación,
Acreditación y Certificación de la Calidad Educativa. Lima, 23 may. 2006.
WEKO, Thomas. Medidas de Qualidade do Ensino Superior: qual o papel da avaliação dos
estudantes em países da OCDE? In: Seminário Internacional – Avaliação da Educação
Superior. Brasília: INEP, 2017.
31
© Rev. Inter. Educ. Sup. Campinas, SP v.6 1-31 e020043 2020