This article looked at a problem of comparability of PISA results in some countries, in various y... more This article looked at a problem of comparability of PISA results in some countries, in various years and between countries. This problem occurs because the school age of each country is not considered and because there is no rule for the date the test is held in relation to Uma re-análise dos resultados do PISA: Problemas de comparabilidade Resumo Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as
Resumo Este artigo trata da importância do erro de medida tanto na Teoria Clássica dos Testes (TC... more Resumo Este artigo trata da importância do erro de medida tanto na Teoria Clássica dos Testes (TCT) como na Teoria de Resposta ao Item (TRI) e de alguns aspectos ligados a estimação das proficiências pelos modelos logísticos da TRI. O artigo mostra que somente no modelo de 3 parâmetros, a consistência no padrão de respostas afeta a estimação das proficiências. O artigo mostra também a importância de se ter testes adequados ao aluno ou a população. Palavras-chave: Teoria Clássica dos Testes (TCT). Teoria de Resposta ao Item (TRI). Erro de medida. Proficiência. Estimador de Máxima Verossimilhança (EMV). Estimador Expected a Posteriori (EAP). Padrão de respostas.
Advances in Statistics Education: Developments, Experiences, and Assessments IASE Satellite, 2015
The aim of this paper is to identify school, parents’ and students’ characteristics associated wi... more The aim of this paper is to identify school, parents’ and students’ characteristics associated with educational achievement of students in the third, fourth, seventh and eighth years measured by a large assessment test. We analyze individual and school level factors that can affect the student achievement and, in addition, the work looks for factors influencing performance gains between two consecutive evaluation rounds. The analysis is conducted based on a two-level hierarchical linear model. The primary data source was an educational assessment procedure conducted by Rio de Janeiro City Council. The results confirm some findings already obtained in cross-sectional studies. Furthermore, these findings show a main effect associated with the fail/pass event in 3rd grade students and that not only low-performance students may fail the final exams and have been held back in school.
Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2018
A Avaliação vem suscitando um crescente interesse nos Sistemas Escolares contemporâneos. Desde a ... more A Avaliação vem suscitando um crescente interesse nos Sistemas Escolares contemporâneos. Desde a metade da década de 80 e ao longo dos anos 90, países da Europa, América do Norte e América Latina criaram mecanismos institucionais, centros ou programas de avaliação de seus Sistemas Educativos. Nos dias atuais, há um grande consenso em conferir a avaliação um papel estratégico nos processos de mudanças e nas reformas educacionais. O Brasil, desde 1990, realiza avaliações nacionais por intermédio do Sistema de Avaliação da Educação Básica-SAEB-do Ministério da Educação e, a partir de 1995, a adoção de uma Metodologia de Avaliação permitiu realizar análises comparativas do desempenho dos alunos, colocados em escalas de proficiências e também, avaliar os progressos da educação ao longo dos anos. Um dos desafios enfrentados pelos profissionais que conduzem os processos de Avaliação de Sistemas Escolares é o de desenvolver estratégias de apresentação dos resultados capazes de facilitar a compreensão e a apropriação desses resultados pelas diferentes equipes das Secretarias de Educação, Gestores das Escolas, Professores e demais membros da comunidade.
Este artigo apresenta os resultados de uma pesquisa sobre pratica docente em sala de aula, realiz... more Este artigo apresenta os resultados de uma pesquisa sobre pratica docente em sala de aula, realizada com professores de matematica da rede estadual de Sao Paulo, selecionados a partir de dois criterios: aprovacao em concurso publico de promocao na carreira e bom desempenho das turmas em que eles lecionaram, no SARESP, nos anos 2008, 2009 e 2010. Os professores foram observados por pesquisadores de campo e suas aulas foram gravadas em video e analisadas por um Painel de Especialistas para avaliacao de comportamentos docentes que podem ser considerados boas praticas de ensino. As 12 praticas identificadas sao discutidas a luz de uma bibliografia internacional que fundamenta teoricamente a escolha realizada. O artigo detalha as 12 praticas e, em sua conclusao, apresenta sugestoes para os programas de formacao e educacao continuada de docentes com vistas a facilitar a aquisicao de habilidades que levam o professor a ser um bom professor. Palavras-Chave : Boas praticas docentes. Ensino d...
Ensaio: Avaliação e Políticas Públicas em Educação, 2010
O Projeto Piloto de Alfabetização foi desenvolvido com alunos da rede pública do Rio Grande do Su... more O Projeto Piloto de Alfabetização foi desenvolvido com alunos da rede pública do Rio Grande do Sul que ingressaram com seis anos, no ensino fundamental de nove anos, no ano de 2007 e que permaneceram no segundo ano, em 2008. Visando a avaliar as habilidades de leitura, escrita e matemática alcançados pelos alunos nesses dois anos foi conduzida uma pesquisa separando esses alunos em quatro grupos, sendo que três deles participaram das atividades de aprendizagem desenvolvidas por três Instituições convidadas e o outro grupo, de controle, que realizou atividades promovidas pelas próprias escolas. No ano de 2008 o projeto abrangeu também alunos novos que ingressaram no 1º ano do EF. Os resultados serão apresentados em escalas únicas de proficiências em Leitura, Escrita e Matemática obtidas pela Teoria de Resposta ao Item (TRI) que expressam os desempenhos dos alunos ao final do 1º e do 2º ano de escolaridade do ensino fundamental. Os principais resultados mostraram que houve um grande g...
Ensaio: Avaliação e Políticas Públicas em Educação, 2007
O artigo discute os resultados obtidos pelos alunos dos Cursos Pré-Vestibulares Comunitários do R... more O artigo discute os resultados obtidos pelos alunos dos Cursos Pré-Vestibulares Comunitários do Rio de Janeiro, no ENEM 2006. Os 350 professores desses alunos, todos voluntários, participaram de atividades de Capacitação voltadas para o desenvolvimento das habilidades do ENEM. Os alunos desses professores, além de material didático, realizaram um Simulado do ENEM, em junho de 2006. Pesquisando os resultados desses alunos, no ENEM, constatou-se que eles obtiveram médias maiores do que as obtidas pelos alunos brasileiros e do Rio de Janeiro. Os alunos dos Pré-Vestibulares Comunitários, têm renda familiar menor, são mais velhos e, em maior percentual, se declararam pretos e pardos, quando comparados com os alunos brasileiros e do Rio de Janeiro. Essas variáveis, em geral, estão associadas a piores desempenhos. Os autores discutem o possível impacto da capacitação dos professores nos resultados positivos obtidos pelos alunos no ENEM 2006.
Resenha da obra RIBEIRO, Sergio Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, v... more Resenha da obra RIBEIRO, Sergio Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, v. 5, n. 12, p. 7-21, 1991.
O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ... more O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasioes distintas, 2017 e 2019. A edicao de 2019 do PISA para Escolas foi administrada somente via computador a uma populacao de 11.484 alunos pertencentes a 229 escolas publicas e privadas. O PISA para Escolas avalia tres areas de conhecimento com itens de teste calcados nas matrizes de referencia do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, publicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a analise comparativa do desempenho dos alunos entre as Redes e com variaveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas caracteristicas socioeconomicas e culturais, praticas de ensino e clima disciplinar. Investigaram-se, tambem, tres aspectos que vem sendo tratados na literatura mais atual e, entre eles, a pratica do bullying , o fenomeno ...
O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ... more O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasioes distintas, 2017 e 2019. A edicao de 2019 do PISA para Escolas foi administrada somente via computador a uma populacao de 11.484 alunos pertencentes a 229 escolas publicas e privadas. O PISA para Escolas avalia tres areas de conhecimento com itens de teste calcados nas matrizes de referencia do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, publicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a analise comparativa do desempenho dos alunos entre as Redes e com variaveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas caracteristicas socioeconomicas e culturais, praticas de ensino e clima disciplinar. Investigaram-se, tambem, tres aspectos que vem sendo tratados na literatura mais atual e, entre eles, a pratica do bullying , o fenomeno ...
Item Response Theory (IRT) started to be used in la rge scale learning assessments in Brazil in 1... more Item Response Theory (IRT) started to be used in la rge scale learning assessments in Brazil in 1995, in the realization of SAEB (Sistema de Avaliação da Educação Básica – Basic Education Assessment System). It is a natio l assessment conducted by INEP/MEC (Instituto Nacional de Estudos Educacionai s Anísio Teixeira/Ministry of Education) in Reading and Mathematics at the 5 th and 9 grade of Educação Fundamental, EF, (end of primary and middle school, respectively) and at the 3 rd
... do Ensino Fundamental e pela 3a série do Ensino Médio transformadas como as distribuições a p... more ... do Ensino Fundamental e pela 3a série do Ensino Médio transformadas como as distribuições a priori para estes grupos. Observa-se que estas distribuições são re-... Page 12. 136 Ruben Klein Meta: Avaliação | Rio de Janeiro, v. 1, n. 2, p.125-140, mai./ago. 2009 ...
Traz a lume a correção do modelo de fluxo escolar para o sistema educacional brasileiro. Discute ... more Traz a lume a correção do modelo de fluxo escolar para o sistema educacional brasileiro. Discute os conceitos e as formas de verificar a consistência do modelo e mostra a utilização equivocada de conceitos educacionais. Tem sido utilizado pelo Inep, desde seu lançamento, em 1994, e subsidiado o cálculo das taxas de transição de fluxo escolar para o Brasil e unidades da Federação. Palavras-chave: fluxo escolar; taxas de transição; censo escolar; indicadores educacionais; educação básica. This work points out the correction of the model of school flow for the Brazilian educational system, it discusses concepts and forms of verifying the consistence of the model and it shows the mistaken use of educational concepts. The model has been used by Inep, since its release in 1994, and subsidized the calculation of the rates of school flow transition for Brazil and units of the Federation. Keywords: school flow; transition rates: promotion, retention and evasion, cohort and school census.
Ensaio: Avaliação e Políticas Públicas em Educação
Resumo Neste artigo, mostramos que há necessidade de se construir um consenso sobre terminologia ... more Resumo Neste artigo, mostramos que há necessidade de se construir um consenso sobre terminologia dos níveis, que as metas do Todos pela Educação são razoáveis e que não há discordância com os níveis da divulgação do SAEB 2017, desde que se definam corretamente as metas para cada nível e que sejam feitas as correções necessárias. Para isso, construímos uma distribuição de referência ancorada a uma distribuição empírica de uma população alvo. No artigo, utilizou-se a população dos estudantes dos países pertencentes à OCDE. Indicamos que as metas do IDEB deveriam ser mais altas e mais consistentes com as metas do Todos pela Educação.
This article looked at a problem of comparability of PISA results in some countries, in various y... more This article looked at a problem of comparability of PISA results in some countries, in various years and between countries. This problem occurs because the school age of each country is not considered and because there is no rule for the date the test is held in relation to Uma re-análise dos resultados do PISA: Problemas de comparabilidade Resumo Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as
Resumo Este artigo trata da importância do erro de medida tanto na Teoria Clássica dos Testes (TC... more Resumo Este artigo trata da importância do erro de medida tanto na Teoria Clássica dos Testes (TCT) como na Teoria de Resposta ao Item (TRI) e de alguns aspectos ligados a estimação das proficiências pelos modelos logísticos da TRI. O artigo mostra que somente no modelo de 3 parâmetros, a consistência no padrão de respostas afeta a estimação das proficiências. O artigo mostra também a importância de se ter testes adequados ao aluno ou a população. Palavras-chave: Teoria Clássica dos Testes (TCT). Teoria de Resposta ao Item (TRI). Erro de medida. Proficiência. Estimador de Máxima Verossimilhança (EMV). Estimador Expected a Posteriori (EAP). Padrão de respostas.
Advances in Statistics Education: Developments, Experiences, and Assessments IASE Satellite, 2015
The aim of this paper is to identify school, parents’ and students’ characteristics associated wi... more The aim of this paper is to identify school, parents’ and students’ characteristics associated with educational achievement of students in the third, fourth, seventh and eighth years measured by a large assessment test. We analyze individual and school level factors that can affect the student achievement and, in addition, the work looks for factors influencing performance gains between two consecutive evaluation rounds. The analysis is conducted based on a two-level hierarchical linear model. The primary data source was an educational assessment procedure conducted by Rio de Janeiro City Council. The results confirm some findings already obtained in cross-sectional studies. Furthermore, these findings show a main effect associated with the fail/pass event in 3rd grade students and that not only low-performance students may fail the final exams and have been held back in school.
Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2018
A Avaliação vem suscitando um crescente interesse nos Sistemas Escolares contemporâneos. Desde a ... more A Avaliação vem suscitando um crescente interesse nos Sistemas Escolares contemporâneos. Desde a metade da década de 80 e ao longo dos anos 90, países da Europa, América do Norte e América Latina criaram mecanismos institucionais, centros ou programas de avaliação de seus Sistemas Educativos. Nos dias atuais, há um grande consenso em conferir a avaliação um papel estratégico nos processos de mudanças e nas reformas educacionais. O Brasil, desde 1990, realiza avaliações nacionais por intermédio do Sistema de Avaliação da Educação Básica-SAEB-do Ministério da Educação e, a partir de 1995, a adoção de uma Metodologia de Avaliação permitiu realizar análises comparativas do desempenho dos alunos, colocados em escalas de proficiências e também, avaliar os progressos da educação ao longo dos anos. Um dos desafios enfrentados pelos profissionais que conduzem os processos de Avaliação de Sistemas Escolares é o de desenvolver estratégias de apresentação dos resultados capazes de facilitar a compreensão e a apropriação desses resultados pelas diferentes equipes das Secretarias de Educação, Gestores das Escolas, Professores e demais membros da comunidade.
Este artigo apresenta os resultados de uma pesquisa sobre pratica docente em sala de aula, realiz... more Este artigo apresenta os resultados de uma pesquisa sobre pratica docente em sala de aula, realizada com professores de matematica da rede estadual de Sao Paulo, selecionados a partir de dois criterios: aprovacao em concurso publico de promocao na carreira e bom desempenho das turmas em que eles lecionaram, no SARESP, nos anos 2008, 2009 e 2010. Os professores foram observados por pesquisadores de campo e suas aulas foram gravadas em video e analisadas por um Painel de Especialistas para avaliacao de comportamentos docentes que podem ser considerados boas praticas de ensino. As 12 praticas identificadas sao discutidas a luz de uma bibliografia internacional que fundamenta teoricamente a escolha realizada. O artigo detalha as 12 praticas e, em sua conclusao, apresenta sugestoes para os programas de formacao e educacao continuada de docentes com vistas a facilitar a aquisicao de habilidades que levam o professor a ser um bom professor. Palavras-Chave : Boas praticas docentes. Ensino d...
Ensaio: Avaliação e Políticas Públicas em Educação, 2010
O Projeto Piloto de Alfabetização foi desenvolvido com alunos da rede pública do Rio Grande do Su... more O Projeto Piloto de Alfabetização foi desenvolvido com alunos da rede pública do Rio Grande do Sul que ingressaram com seis anos, no ensino fundamental de nove anos, no ano de 2007 e que permaneceram no segundo ano, em 2008. Visando a avaliar as habilidades de leitura, escrita e matemática alcançados pelos alunos nesses dois anos foi conduzida uma pesquisa separando esses alunos em quatro grupos, sendo que três deles participaram das atividades de aprendizagem desenvolvidas por três Instituições convidadas e o outro grupo, de controle, que realizou atividades promovidas pelas próprias escolas. No ano de 2008 o projeto abrangeu também alunos novos que ingressaram no 1º ano do EF. Os resultados serão apresentados em escalas únicas de proficiências em Leitura, Escrita e Matemática obtidas pela Teoria de Resposta ao Item (TRI) que expressam os desempenhos dos alunos ao final do 1º e do 2º ano de escolaridade do ensino fundamental. Os principais resultados mostraram que houve um grande g...
Ensaio: Avaliação e Políticas Públicas em Educação, 2007
O artigo discute os resultados obtidos pelos alunos dos Cursos Pré-Vestibulares Comunitários do R... more O artigo discute os resultados obtidos pelos alunos dos Cursos Pré-Vestibulares Comunitários do Rio de Janeiro, no ENEM 2006. Os 350 professores desses alunos, todos voluntários, participaram de atividades de Capacitação voltadas para o desenvolvimento das habilidades do ENEM. Os alunos desses professores, além de material didático, realizaram um Simulado do ENEM, em junho de 2006. Pesquisando os resultados desses alunos, no ENEM, constatou-se que eles obtiveram médias maiores do que as obtidas pelos alunos brasileiros e do Rio de Janeiro. Os alunos dos Pré-Vestibulares Comunitários, têm renda familiar menor, são mais velhos e, em maior percentual, se declararam pretos e pardos, quando comparados com os alunos brasileiros e do Rio de Janeiro. Essas variáveis, em geral, estão associadas a piores desempenhos. Os autores discutem o possível impacto da capacitação dos professores nos resultados positivos obtidos pelos alunos no ENEM 2006.
Resenha da obra RIBEIRO, Sergio Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, v... more Resenha da obra RIBEIRO, Sergio Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, v. 5, n. 12, p. 7-21, 1991.
O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ... more O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasioes distintas, 2017 e 2019. A edicao de 2019 do PISA para Escolas foi administrada somente via computador a uma populacao de 11.484 alunos pertencentes a 229 escolas publicas e privadas. O PISA para Escolas avalia tres areas de conhecimento com itens de teste calcados nas matrizes de referencia do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, publicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a analise comparativa do desempenho dos alunos entre as Redes e com variaveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas caracteristicas socioeconomicas e culturais, praticas de ensino e clima disciplinar. Investigaram-se, tambem, tres aspectos que vem sendo tratados na literatura mais atual e, entre eles, a pratica do bullying , o fenomeno ...
O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ... more O PISA para Escolas, uma avaliacao de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasioes distintas, 2017 e 2019. A edicao de 2019 do PISA para Escolas foi administrada somente via computador a uma populacao de 11.484 alunos pertencentes a 229 escolas publicas e privadas. O PISA para Escolas avalia tres areas de conhecimento com itens de teste calcados nas matrizes de referencia do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, publicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a analise comparativa do desempenho dos alunos entre as Redes e com variaveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas caracteristicas socioeconomicas e culturais, praticas de ensino e clima disciplinar. Investigaram-se, tambem, tres aspectos que vem sendo tratados na literatura mais atual e, entre eles, a pratica do bullying , o fenomeno ...
Item Response Theory (IRT) started to be used in la rge scale learning assessments in Brazil in 1... more Item Response Theory (IRT) started to be used in la rge scale learning assessments in Brazil in 1995, in the realization of SAEB (Sistema de Avaliação da Educação Básica – Basic Education Assessment System). It is a natio l assessment conducted by INEP/MEC (Instituto Nacional de Estudos Educacionai s Anísio Teixeira/Ministry of Education) in Reading and Mathematics at the 5 th and 9 grade of Educação Fundamental, EF, (end of primary and middle school, respectively) and at the 3 rd
... do Ensino Fundamental e pela 3a série do Ensino Médio transformadas como as distribuições a p... more ... do Ensino Fundamental e pela 3a série do Ensino Médio transformadas como as distribuições a priori para estes grupos. Observa-se que estas distribuições são re-... Page 12. 136 Ruben Klein Meta: Avaliação | Rio de Janeiro, v. 1, n. 2, p.125-140, mai./ago. 2009 ...
Traz a lume a correção do modelo de fluxo escolar para o sistema educacional brasileiro. Discute ... more Traz a lume a correção do modelo de fluxo escolar para o sistema educacional brasileiro. Discute os conceitos e as formas de verificar a consistência do modelo e mostra a utilização equivocada de conceitos educacionais. Tem sido utilizado pelo Inep, desde seu lançamento, em 1994, e subsidiado o cálculo das taxas de transição de fluxo escolar para o Brasil e unidades da Federação. Palavras-chave: fluxo escolar; taxas de transição; censo escolar; indicadores educacionais; educação básica. This work points out the correction of the model of school flow for the Brazilian educational system, it discusses concepts and forms of verifying the consistence of the model and it shows the mistaken use of educational concepts. The model has been used by Inep, since its release in 1994, and subsidized the calculation of the rates of school flow transition for Brazil and units of the Federation. Keywords: school flow; transition rates: promotion, retention and evasion, cohort and school census.
Ensaio: Avaliação e Políticas Públicas em Educação
Resumo Neste artigo, mostramos que há necessidade de se construir um consenso sobre terminologia ... more Resumo Neste artigo, mostramos que há necessidade de se construir um consenso sobre terminologia dos níveis, que as metas do Todos pela Educação são razoáveis e que não há discordância com os níveis da divulgação do SAEB 2017, desde que se definam corretamente as metas para cada nível e que sejam feitas as correções necessárias. Para isso, construímos uma distribuição de referência ancorada a uma distribuição empírica de uma população alvo. No artigo, utilizou-se a população dos estudantes dos países pertencentes à OCDE. Indicamos que as metas do IDEB deveriam ser mais altas e mais consistentes com as metas do Todos pela Educação.
Uploads
Papers by Ruben Klein