Exámenes de ingreso en perspectiva

José O. Medel Bello Antonio Martínez Pineda Lucía Monroy Cazorla Exámenes de ingreso en perspectiva Marcos de referencia 1 José O. Medel Bello Antonio Martínez Pineda Lucía Monroy Cazorla Exámenes de ingreso en perspectiva Marcos de referencia 1 D.R. © 2009, Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19, Col. San Ángel, Deleg. Álvaro Obregón, C.P. 01000, México, D.F. www.ceneval.edu.mx Diseño y formación: Alvaro Edel Reynoso Castañeda Julio de 2009 Impreso en México • Printed in México Directorio Dirección General Rafael Vidal Uribe Dirección General Adjunta de los EXANI José O. Medel Bello Dirección General Adjunta de los EGEL Jorge Hernández Uralde Dirección General Adjunta de Programas Especiales Rocío Llarena de Thierry Dirección General Adjunta Técnica y de Investigación Lucía Monroy Cazorla Dirección General Adjunta de Operación Francisco Javier Apreza García Méndez Dirección General Adjunta de Difusión Javier Díaz de la Serna Braojos Dirección General Adjunta de Administración Francisco Javier Anaya Torres Dirección de Procesos Ópticos y Caliicación María del Socorro Martínez de Luna Dirección de Tecnologías de la Información y las Comunicaciones Francisco Manuel Otero Flores Índice Introducción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Capítulo 1 Pruebas estandarizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Desarrollo de pruebas estandarizadas 9 Pruebas normativas y criteriales 11 Pruebas referidas a la norma 11 Pruebas referidas a criterio 11 Capítulo 2 Pruebas de ingreso. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 act 13 Diseño del act 13 Estructura del act 14 Reporte de resultados del act 17 Validez del act 18 bmat 19 Estructura del bmat 20 Reporte de resultados del bmat 20 Validez del bmat 21 dat 21 Diseño del dat 22 Estructura del dat 22 Reporte de resultados del dat 23 Confiabilidad y validez del dat 24 gamsat 25 Diseño del gamsat 25 Estructura del gamsat 26 Reporte de resultados del gamsat 27 gmat 27 Estructura del gmat 28 Reporte de resultados del gmat 30 Validez del gmat 31 gre 31 Estructura del gre 31 Reporte de resultados del gre 33 Validez del gre 34 lsat 34 Estructura del lsat 35 Reporte de resultados del lsat 36 Validez del lsat 36 mcat Estructura del mcat Reporte de resultados del mcat pcat pet sat Estructura del pcat Reporte de resultados del pcat Estructura del pet Reporte de resultados del pet Diseño del sat Estructura del sat Reporte de resultados del sat Validez del sat 37 37 38 39 39 41 42 42 43 44 45 46 47 48 Capítulo 3 Pruebas internacionales de desempeño . . . . . . . . . . . . . . . . . . . . . 49 pisa 49 Diseño de pisa 50 Estructura de pisa 51 Reporte de resultados de pisa 52 timss 52 Diseño del timss 53 Estructura del timss 53 Reporte de resultados del timss 54 Capítulo 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Antecedentes del exani-i 57 Evolución del exani-i 58 Diseño del exani-i 61 Nueva estructura del exani-i 64 Reporte de resultados del exani-i 68 Numeralia 1994-2008 73 Validez del exani-i 74 exani-i Referencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 L Introducción os exámenes de ingreso son extremadamente importantes y su razón de ser es muy sencilla. El historial académico y las caliicaciones son indicadores directos del desempeño de un estudiante. Si se dispone de ellos, ¿cuál es la necesidad de utilizar un examen para decidir su ingreso a un programa de educación superior? La pregunta debe tomar en cuenta que en México la educación media superior es de lo más variado en cuanto a modalidades, programas y contenidos curriculares, de ahí que para las instituciones de educación superior la comparación de los conocimientos y habilidades mostrados por los sustentantes resulte muy compleja. Por consiguiente, la respuesta es que un examen que evalúe las cualidades con que debe contar un estudiante para cursar o tener éxito en el nivel superior resulta práctico y conveniente. A este tipo de pruebas pertenecen los Exámenes Nacionales de Ingreso (exani) desarrollados por el Centro Nacional de Evaluación para la Educación Superior (Ceneval). Los exani son pruebas de diagnóstico para los estudios de nivel medio y superior. Proveen información sobre el grado de desarrollo de habilidades intelectuales básicas y habilidades y conocimientos especíicos necesarios para cursar exitosamente la educación media (exani-i), superior (exani-ii) y posgrado (exani-iii). En este trabajo, cuando se habla de exani, generalmente se reiere especíicamente al exani-i. Aquí se ofrece una muy breve explicación sobre lo que es una prueba estandarizada y cuáles son sus características, antes de proceder a la revisión de algunos exámenes de gran difusión que se han utilizado en diferentes países como parte de procesos de ingreso a instituciones educativas de nivel superior con base en su objetivo, tipo de reactivos, caliicación, contenidos y reporte de resultados. Se revisan las características de dos de las pruebas internacionales de desempeño más importantes. Por último, se exponen los rasgos principales del exani-i. 7 B Capítulo 1 Pruebas estandarizadas ásicamente, una prueba estandarizada es aquella que sigue procedimientos bien establecidos y consistentes en cada aplicación. No importa en qué lugar o cuántas veces sea aplicada, los procedimientos mediante los cuales se administra esa prueba siempre serán consistentes (Mertler, 2007). Con la estandarización se brinda la misma oportunidad a todos los sustentantes, de modo que puedan compararse sus resultados sin importar que el examen sea presentado en diferentes aplicaciones. Los exámenes estandarizados se caracterizan por tener instrucciones claras y bien deinidas, un tiempo límite para responder y una forma de caliicación consistente. Se conforman tradicionalmente de reactivos de opción múltiple, lo que facilita el proceso de caliicación que, al ser automatizado, elimina el sesgo del juicio de un evaluador. No obstante, ante el reto de evaluar habilidades y competencias que difícilmente pueden evaluarse mediante reactivos de opción múltiple, esto está cambiando y cada vez con mayor frecuencia los exámenes incluyen preguntas que requieren la construcción de una respuesta, lo que complica la estandarización de la caliicación; por ende, deben especiicarse criterios de caliicación que permitan disminuir lo más posible la subjetividad y que la caliicación continúe siendo consistente. Desarrollo de pruebas estandarizadas El proceso mediante el cual se construyen los exámenes estandarizados es costoso en términos de tiempo y de inversión. Comienza con el establecimiento de objetivos para la evaluación y con la producción de reactivos, generalmente en un número muy superior al que se necesitará para la prueba inalmente, que en seguida serán revisados por expertos en la materia en cuestión y por especialistas en construcción de pruebas, quienes constatarán que su contenido sea pertinente con respecto a los objetivos y que la redacción sea correcta y esté libre de ambigüedades y de indicios con los que sea dable inferir la respuesta correcta. 9 10 Después, es necesario probar los reactivos en una muestra representativa de la población a la que está dirigida el examen; los que presentan un mejor comportamiento en cuanto a validez y coniabilidad se integran en la versión inal de la prueba (Mertler, 2007). La validez se deine, de acuerdo con Kaplan y Saccuzzo (2006), como “la concordancia entre la puntuación o medida de una prueba y la cualidad que se cree está midiendo”; es decir, la validez atañe al asunto de si la prueba mide lo que debe medir. Y la coniabilidad se reiere al grado en el cual las caliicaciones obtenidas en la prueba son consistentes (Mertler, 2007) a través del tiempo. La validez y la coniabilidad son dos características primordiales de cualquier examen estandarizado; también es indispensable comprobar las propiedades estadísticas en los reactivos para determinar que la dispersión de las caliicaciones sea funcional: el índice de diicultad y la discriminación del reactivo: • El índice de diicultad es igual a la proporción de estudiantes que contestan de forma correcta un reactivo (Mertler, 2007). Su valor puede ir de 0 a 1; mientras menor sea su valor, el reactivo presenta una mayor diicultad. Si se expresa como porcentaje este índice es conocido como grado de diicultad. • El índice de discriminación del reactivo es una medida de la diferencia en la respuesta al reactivo de los estudiantes con mejores puntajes y los que tienen los puntajes más bajos. Su valor luctúa entre -1 y 1; mientras más alto sea su valor, mayor será su discriminación (National Postsecondary Education Cooperative, 2000). Con base en estas características se obtiene una versión operativa de la prueba. Es necesario aplicar esta versión a una muestra representativa de la población para normar el examen. Los resultados de esta aplicación sirven como parámetro para hacer comparaciones de las caliicaciones individuales con las de esa población. Exámenes de ingreso en perspectiva Pruebas normativas y criteriales Pruebas referidas a la norma Según el tipo de caliicación que utilice, una prueba puede clasiicarse como normativa o criterial. Las pruebas normativas permiten comparar las caliicaciones de cada estudiante con el desempeño esperado de la población, estimado a partir de una muestra representativa de la población o “grupo normativo”. De lo que se trata al inal es de poder comparar el desempeño de cada sustentante con el de sus compañeros. La caliicación de un examen con referencia a la norma puede expresarse en diferentes escalas: • Rangos percentiles • Escalas de desarrollo o de crecimiento • Caliicaciones lineales estándar • Caliicaciones estándar normalizadas Los rangos percentiles son una de las escalas más frecuentes en los reportes de caliicación de exámenes normativos, pese a que su comprensión se diiculta y suele confundirse con el porcentaje de aciertos (Mertler, 2007). El uso de escalas de desarrollo o de crecimiento tiene como limitante el hecho de que se trata de escalas únicas que no pueden compararse con los resultados de otras versiones, a diferencia de las caliicaciones estandarizadas que surgen de la conversión de los puntajes crudos a una escala común, con características bien deinidas y conocidas. Tal es el caso, por ejemplo, de las caliicaciones lineales estándar que nos muestran la distancia del puntaje crudo de cada estudiante con respecto de la media y la desviación estándar del grupo normativo (Nitko, 2001). Pruebas referidas a criterio En las pruebas referidas a la norma el resultado del estudiante es comparado o caliicado con respecto a los resultados de otros pares que han presentado el 11 12 mismo examen; pero en las pruebas referidas a criterio la caliicación de cada estudiante no depende del desempeño de otros. En este tipo de pruebas se preestablece en un parámetro lo que un estudiante debe saber y las habilidades que debe haber adquirido, y su caliicación refrenda si tiene conocimientos y habilidades y qué tanto los ha desarrollado. La interpretación de las pruebas referidas a criterio no se basa en análisis estadísticos, sino en el establecimiento de puntos de corte (Mertler, 2007). En general, las pruebas referidas a criterio se reportan de acuerdo a si se cumple con el criterio. El reporte más conocido, por ejemplo, es el de “aprobado” y “reprobado”, aunque existen otras “etiquetas” que, dependiendo del examen, designan el nivel que alcanzó el sustentante. Alguna información complementaria que muchas veces se ofrece como resultado puede ser el número o porcentaje de aciertos, así como los aciertos en cada una de las áreas evaluadas. Exámenes de ingreso en perspectiva Capítulo 2 Pruebas de ingreso E act l American Collage Test (act) es un examen de admisión de aspirantes a la educación superior en los Estados Unidos; mide las habilidades académicas que son necesarias para el buen desempeño en los programas universitarios; reúne, procesa y reporta datos acerca de los estudiantes de nivel preparatoria para que éstos puedan planear adecuadamente su educación y que las instituciones que ofrecen dicha instrucción sean capaces de detectar con precisión las necesidades de sus estudiantes; la consejería académica, la acreditación y evaluación de estudios, la asignación de diversos tipos de asistencia inanciera para los estudiantes, la identiicación de estudiantes talentosos y el otorgamiento de becas escolares son algunas otras de las decisiones que se toman con base en los resultados del act. Desde su publicación en 1988 la prueba se hizo acreedora a un reconocimiento emitido por un comité integrado por la Asociación Americana de Investigación Educativa (aera) y la Asociación Psicológica Americana (apa) entre otras instancias, denominado Código de Prácticas Justas de Evaluación en la Educación. Diseño del act Un supuesto fundamental del diseño del act es que la forma de evaluar la preparación de un estudiante que pretende ingresar a la universidad es la medición directa de las habilidades que se requieren para realizar adecuadamente el trabajo académico en dicho nivel educativo. Por eso el act es una prueba de logro educativo que busca determinar el grado de habilidad que un estudiante ha desarrollado para resolver problemas, captar signiicados implícitos, hacer inferencias, ponderar ideas y formular juicios en diversas materias que son importantes para la educación universitaria (act, 2007). Las preguntas que lo conforman exigen de los estudiantes la capacidad de integrar los diversos conocimientos y habilidades adquiridos durante su formación preparatoria. Las respuestas que los estudiantes dan a cada uno de los 13 reactivos se procesan para generar los puntajes obtenidos, de ahí que se asuma que dichos puntajes están directamente relacionados con el progreso educativo de los estudiantes en cada una de las áreas curriculares. Por consiguiente, se puede considerar que este programa de medición forma parte importante de la transición entre la educación preparatoria y la universitaria. El proceso mediante el cual se hizo la especiicación de conocimientos y habilidades que se miden en el act constó de varios pasos: análisis de estructuras curriculares, revisión de libros de texto, consultas a profesores y construcción de consensos en paneles de expertos. 14 Estructura del act El act se compone de cuatro instrumentos (tabla 2.1) de opción múltiple –inglés, matemáticas, lectura y ciencia– y de un examen de escritura (opcional) (act, 2007). El examen de inglés del act mide dos tópicos: la comprensión de las convenciones del inglés escrito (puntuación, gramática y usos y estructuras del enunciado) y la destreza retórica de los sustentantes (estrategia, organización y estilo). El examen consta de cinco textos elegidos por sus propiedades para evaluar las destrezas de escritura y para identiicar los intereses y experiencias de los sustentantes. Cada texto es acompañado por reactivos de opción múltiple que se reieren a fragmentos del texto, los cuales pueden incluir errores, y ofrecen diferentes alternativas para sustituir dichos fragmentos incluyendo la opción de “sin cambio”. También se incluyen preguntas referentes al texto en general; y el estudiante tiene que elegir aquí la opción más apropiada. El examen de matemáticas está diseñado para evaluar las habilidades de Razonamiento matemático de los sustentantes; contiene reactivos que demandan la solución práctica de problemas de matemáticas; se requiere de los conocimientos de fórmulas y cálculo mínimos para iniciar un curso de 12° grado exitosamente, incluyendo los contenidos que se enuncian en la tabla siguiente, al igual que los contenidos de los otros exámenes del act: Exámenes de ingreso en perspectiva Tabla 2.1. Estructura del Áreas Inglés Matemáticas act Contenido Usos/mecánicos Habilidades retóricas Total Preálgebra/álgebra elemental Álgebra intermedia/geometría coordinada Geometría plana/trigonometría Total Lectura Estudios sociales/ciencias Artes/literatura Total Ciencia Comprensión Análisis Generalización Escritura Ensayo Número de reactivos 40 35 75 24 18 18 60 Tiempo 45 minutos 60 minutos 20 20 40 35 minutos 40 35 minutos 30 minutos El examen de lectura del act mide la comprensión de lectura con base en las habilidades para relacionar y razonar. Los reactivos requieren que los estudiantes reieran contenidos explícitos de los textos incluidos en el examen y también que mediante el razonamiento extraigan sus signiicados implícitos, a partir de la localización e interpretación de detalles signiicativos, la determinación de ideas principales, comparaciones, comprensión de relaciones de causa y efecto, comprensión de secuencias de sucesos, esclarecimiento del signiicado de palabras, frases y enunciados del contenido en relación con el contexto, generalizaciones y análisis de la voz o del método del autor o narrador. Se incluyen cuatro textos de características similares a los textos que se encontrarán en el primer año de college: un texto para ciencias sociales, uno para ciencias naturales, uno de prosa de icción y uno de humanidades. Cada texto 15 es seguido de reactivos de opción múltiple que se centran en conjuntos de habilidades que se complementan y que son necesarios para estudiar materiales escritos de diversas materias. El examen de ciencias naturales del act mide la interpretación, evaluación, razonamiento, análisis y solución de problemas necesarios en las áreas que abarca: biología, física, química y ciencias de la tierra/espacio. Se presentan siete conjuntos de información cientíica en tres diferentes formatos: • Representaciones de datos (gráicas, tablas y otras formas de esquemas) • Resúmenes de investigación (descripción de muchos experimentos relacionados) • Puntos de vista divergentes (presentación de muchas hipótesis relacionadas pero inconsistentes entre sí). 16 El examen de escritura (opcional) solicita a los sustentantes desarrollar un argumento con base en dos opiniones encontradas respecto de un tema dado, y defender alguna de estas opiniones o desarrollar una diferente. El act abarca cuatro niveles cognitivos: conocimientos y habilidades, aplicación directa, comprensión de conceptos y comprensión conceptual integrada, que se describen a continuación: • Conocimientos y habilidades. Usar uno o más hechos, deiniciones, fórmulas o procedimientos para resolver problemas que son presentados en términos puramente matemáticos. • Aplicación directa. Requiere aplicar uno o más conceptos, deiniciones, fórmulas o procedimientos para solucionar un problema planteado en una situación de la vida real. • Comprensión de conceptos. Requiere llevar a cabo un proceso de razonamiento en el cual, a partir de un concepto, se obtiene una inferencia o conclusión. En otras palabras, evalúa la profundidad de entendimiento que poseen los estudiantes de conceptos principales para hacer una inferencia o llegar a una conclusión. Exámenes de ingreso en perspectiva • Comprensión conceptual integrada. Prueba la capacidad de integrar la comprensión de dos o más conceptos a in de resolver problemas no rutinarios. La prueba del act (2007) se construye tomando en cuenta dos tipos de especiicaciones: las de contenido y las estadísticas. El objetivo de las especiicaciones de contenido es mantener la estructura básica de la prueba para que las escalas de caliicación sean comparables año con año. Las características especíicas de los reactivos se revisan y reforman regularmente y diieren ligeramente año con año. Las especiicaciones estadísticas de la prueba indican el índice de diicultad y la discriminación (correlación punto biserial) mínima de los reactivos. La prueba está construida con una media de diicultad objetivo de 0.58, con un rango de diicultad para los reactivos de 0.20 a 0.89. Con respecto a la discriminación, los reactivos deben tener una correlación punto biserial de 0.20 o más con las caliicaciones de la prueba que miden contenidos comparables. Reporte de resultados del act Para las cuatro áreas obligatorias se transforman los puntajes crudos en puntajes estandarizados en una escala de 1 a 36. Se otorga una caliicación compuesta que es el promedio de las cuatro caliicaciones de las áreas redondeado al entero más próximo. Se reportan también siete subcaliicaciones que son independientes de las caliicaciones de cada área; dos corresponden a inglés, dos más a lectura y tres a matemáticas. Estas subcaliicaciones se reportan en una escala con rango entre 1 y 18 puntos (act, 2007). A los aspirantes que presentan el área de escritura se les otorgan dos caliicaciones en un rango de 1 a 6 puntos. La subcaliicación del área de escritura es la suma de estas dos caliicaciones y tiene un rango de 2 a 12 puntos. Se asigna también una caliicación combinada de las áreas de inglés y escritura en la escala 1-36 que no afecta la caliicación compuesta de la prueba. 17 En el reporte de caliicaciones se incluye una gráica con los rangos percentiles para cada una de las secciones (igura 2.1). Figura 2.1. Muestra del reporte de calificaciones para quienes presentan el act 18 Validez del act Con respecto a la validez del act (2005), se considera que el desempeño durante el primer año de la universidad determina el éxito o el fracaso posterior: los estudiantes que suelen tener diicultades en ocasiones desertan, pero si superan ese primer año, su desempeño suele mejorar o mantenerse. Por consiguiente, un indicador importante del probable éxito universitario es el logro durante el primer año. Los resultados de un estudiante en ese periodo pueden estar asociados a varios factores, entre ellos las habilidades desarrolladas durante su formación preparatoria, los cursos tomados, las caliicaciones obtenidas, los intereses y objetivos personales, y algunas características no académicas –como curiosidad intelectual, habilidad para trabajar en equipo, etcétera (Andrews & Ziomek, 1998). Exámenes de ingreso en perspectiva El act, por medio de los instrumentos incluidos, proporciona información acerca de las habilidades que se consideran necesarias para el éxito académico en la universidad; además, mediante sus secciones cgis (sección de información sobre cursos y caliicaciones), el peril del estudiante y el inventario de intereses, provee información acerca de los cursos y caliicaciones de la educación preparatoria, los intereses y objetivos personales. En términos de la relación que hay entre los puntajes de las pruebas del act y los del primer año de la universidad, se ha observado en diversos estudios que los promedios compuestos del act permiten a las instituciones diferenciar el probable éxito de los estudiantes en función de su nivel de logro medido por las pruebas. Estos puntajes se usan en combinación con los promedios de la educación preparatoria; sin embargo, se ha visto que el uso de los promedios de la educación preparatoria no tiene gran capacidad predictiva por sí solo (Andrews & Ziomek, 1998). Los resultados del ACT están fuertemente relacionados con las caliicaciones de los cursos del nivel educativo anterior (high school) y el Grade Point Average (gpa), que, combinados, explican entre el 30 y el 55% de la varianza en los puntajes del act (Nobel, Davenport, Schiel & Pommerich, 1999). bmat El Bio-Medical Admission Test es una prueba que se utiliza como parte del proceso de selección para el ingreso a cursos de medicina o veterinaria y especíicamente para la materia de biomedicina en la Universidad de Cambridge desde 2003, y en otras prestigiadas universidades del Reino Unido. Es una prueba de ejecución máxima con el objetivo de discriminar efectivamente a los aspirantes con las capacidades necesarias para los cursos universitarios. 19 Estructura del bmat La prueba se compone de tres secciones: Conocimientos cientíicos y sus aplicaciones, Habilidades y aptitudes y Tarea de escritura, con las siguientes características (tabla 2.2). Tabla 2.2. Estructura del Sección Conocimientos científicos y sus aplicaciones 20 Habilidades y aptitudes Tarea de escritura bmat Contenido Número de reactivos Solución de problemas Entendimiento de un argumento Análisis de datos e inferencia Total 13 10 12 35 Biología Química Física Matemáticas Total Ensayo 6-8 6-8 6-8 5-7 27 Tiempo Aproximadamente 8 min. Aproximadamente 8 min. Aproximadamente 8 min. Aproximadamente 6 min. 30 minutos Aproximadamente 30 min. Aproximadamente 15 min. Aproximadamente 15 min. 60 minutos 30 minutos La sección de Conocimientos cientíicos y sus aplicaciones evalúa si el sustentante tiene los conocimientos esenciales para cursar estudios superiores de ciencias biomédicas, y si es capaz de aplicar dichos conocimientos. La sección de Habilidades y aptitudes evalúa habilidades genéricas utilizadas comúnmente en los estudios universitarios. Por último, la Tarea de escritura brinda una oportunidad para determinar si el sustentante es capaz de considerar los diferentes aspectos de una proposición y expresarlos de forma escrita. Reporte de resultados del bmat El reporte de resultados se extiende a cada institución de interés para el aspirante. Cada sección tiene un cuadernillo aparte. En las primeras dos secciones Exámenes de ingreso en perspectiva (Conocimientos cientíicos y Habilidades) cada pregunta tiene valor de 1 para el puntaje crudo, que se transforma a la escala bmat de 9 puntos con espacio para un decimal. El ensayo de la tercera sección recibe una caliicación en una escala de 0 a 15 que releja la calidad general del ensayo. La caliicación del ensayo se realiza mediante un proceso de doble caliicación por jueces; en caso de una gran diferencia entre estas dos caliicaciones se realiza una tercera bajo la supervisión de personal del equipo de evaluación de Cambridge. Validez del bmat Las relaciones entre los resultados del bmat 2005 y los resultados de las evaluaciones después del primer año de carrera, realizadas en el verano de 2007, demostraron una fuerte predicción del desempeño durante el primer año después del ingreso a las carreras de medicina (r=0.27) y veterinaria (r=0.42) en la Universidad de Cambridge, mayor para la sección de Conocimientos cientíicos y sus aplicaciones (r=0.44) que para la sección de Habilidades y aptitudes (r=0.24) (Emery, 2007). dat El Dental Admission Test (dat) es una prueba desarrollada a partir de 1945. Su aplicación es mediante la computadora (generalmente en línea) y está compuesta de una batería de cuatro instrumentos de opción múltiple que mide la capacidad académica general, comprensión de la información cientíica y capacidad de percepción. Es parte del proceso de ingreso para escuelas de odontología en Estados Unidos y Canadá; aun cuando cada país diseña su prueba, son aceptadas como equivalentes para el ingreso a las escuelas de ambos países. Cada escuela determina la relevancia de la prueba para la admisión. 21 22 Diseño del dat El dat se construye mediante la determinación de especiicaciones obtenidas a través de un análisis de prácticas profesionales, cuyo propósito es contar con información de los conocimientos y habilidades necesarios en la práctica de la profesión. En el dat se utilizan reactivos de opción múltiple pues son los más ventajosos y versátiles en las pruebas objetivas. El proceso de construcción de las pruebas que integran el dat es continuo y diferente en cada una de ellas. Para las pruebas de razonamiento cuantitativo y el cuestionario de ciencias naturales se efectúa anualmente –a lo largo y ancho de Estados Unidos– una captación de reactivos hechos por académicos en sus respectivas materias de enseñanza. Estos reactivos son revisados en su contenido y características psicométricas por los comités de construcción de pruebas del dat con base en los estándares establecidos. Para la prueba de Comprensión de lectura se solicita a las escuelas y facultades de odontología redacten textos y reactivos para incluirlos en la prueba. Mientras tanto, consultores, especialistas y personal de la Asociación Dental Americana (ada) desarrollan los reactivos para la prueba de Habilidad perceptual. Estructura del dat Los instrumentos que componen la prueba son Razonamiento cuantitativo, Habilidad perceptual, Comprensión de lectura y un cuestionario de Ciencias naturales (tabla 2.3). Exámenes de ingreso en perspectiva Tabla 2.3. Estructura del Sección Razonamiento cuantitativo Habilidad perceptual Comprensión de lectura Ciencias naturales dat Contenido Problemas matemáticos Problemas matemáticos aplicados Total Aperturas Ángulo de discriminación Conteo de cubos Desarrollo de forma 3D Papel plegado Reconocimiento visual Pasajes de lectura (3) Biología Química general Química orgánica Total Número de reactivos Tiempo 30 10 40 45 minutos 90 60 minutos 50 60 minutos 40 30 30 100 90 minutos Los reactivos de la prueba se clasiican en tres niveles cognitivos: comprensión, análisis y razonamiento. Son dos los parámetros en que se basa la inclusión de reactivos en la estructura del dat: su grado de diicultad y la correlación punto biserial. El grado de diicultad recomendado para los reactivos del dat se establece entre 40 y 70%, aunque la media del grado de diicultad para los reactivos tiende hacia el límite superior de este rango; y para su correlación punto biserial no se indica un criterio mínimo en el Manual del usuario (ada, 2005), pero se considera que un reactivo con “un coeiciente de correlación alto de 0.45 puede indicar que un reactivo contribuye en gran medida a la consistencia, precisión y coniabilidad de la capacidad que se está midiendo.” (Ibíd.). Reporte de resultados del DAT La caliicación de este examen se da a conocer al aspirante y a la escuela o escuelas en las que hizo su solicitud; al primero se le entrega un reporte no 23 oicial al terminar el examen y sólo se entregan reportes oiciales a las segundas. Cada prueba usada en la batería del dat arroja un puntaje bruto que se estandariza para poder hacer comparaciones entre diferentes aplicaciones de la prueba. Se presenta una caliicación estandarizada en un rango de 1 a 30 puntos para cada una de las áreas. No existe un puntaje aprobatorio, pero la media a nivel nacional es de 17 puntos. 24 Confiabilidad y validez del dat Para determinar la calidad del dat se evalúan la coniabilidad y la validez de la prueba. De acuerdo con el Manual del usuario (ada, 2005), la consistencia interna del dat –evaluada mediante la fórmula de Kuder-Richardson (kr20)– tiene los siguientes coeicientes para las cuatro pruebas: • Razonamiento cuantitativo 0.85 (con base en 40 reactivos) • Comprensión de lectura 0.86 (50 reactivos) • Encuesta de Ciencias naturales 0.92 (100 reactivos) • Habilidad perceptual 0.92 (75 reactivos) En cuanto a la validez de la prueba, cada año se analiza la relación entre los puntajes del dat y las evaluaciones del primer año en la carrera (igura 2.2). La siguiente tabla muestra, en general, una relación positiva entre los puntajes del dat y el desempeño en el primer año en la escuela de odontología (Ibíd.) Cuando se incluyen todos los puntajes del dat y el gpa, se explica el 30% de la varianza del primer y segundo año de los grados en biomédicas, técnicas dentales preclínicas y promedios de grado (ada, 2007). Cuando se consideran exclusivamente los resultados del primer año, el coeiciente es signiicativamente mayor, como se comprueba en la siguiente tabla, seguramente porque temporalmente se encuentran más cerca. Exámenes de ingreso en perspectiva Figura 2.2. Coeficientes de correlación media (R de Pearson) para los grupos de primer año en el ciclo 2002-2003 de las escuelas de odontología. Tomada del Manual del usuario (ada, 2005) BioMedical Science Predental GPAs Total Science DAT Scores Quantitative Reasoning Reading Comprehension Biology General Chemistry Organic Chemistry Survey of the Natural Sciences Perceptual Average Multiple R DAT DAT and GPAs 0.391 0.387 0.197 0.232 0.266 0.297 0.285 0.363 0.145 0.357 0.487 0.582 Preclinical Operative Technique First Year GPA 0.257 0.243 0.397 0.393 0.401 0.491 0.483 0.606 0.140 0.126 0.122 0.152 0.140 0.172 0.283 0.194 0.201 0.269 0.261 0.294 0.282 0.349 0.194 0.376 gamsat Diseño del gamsat El gamsat (Graduate Australian Medical School Admission Test) es un examen desarrollado por el Australian Council of Educational Resaearch (acer) como parte del proceso de selección de estudiantes que desean ingresar a alguna escuela de medicina. Está diseñado para evaluar la capacidad de cursar estudios de nivel intelectual elevado y se utiliza en Australia, el Reino Unido y en otros países. Evalúa las capacidades, habilidades y destrezas obtenidas y desarrolladas previamente por aspirantes que hayan terminado el Bachelor o que al presentar el examen se encuentren cursando el penúltimo o último año, sin importar que esta formación no esté relacionada con un campo de estudio cientíico. El enfoque del examen se centra en la solución de problemas (acer, 2007). 25 Estructura del gamsat El gamsat consta de tres secciones (tabla 2.4). La sección 1 evalúa habilidades de interpretación y comprensión de ideas en los contextos social y cultural. Se conforma con preguntas de opción múltiple en relación a textos, con lo cual se evalúa: • Comprensión.- Implica el reconocimiento de signiicados explícitos e implícitos mediante la atenta lectura de palabras, frases y de interpretaciones generales del texto. • Razonamiento plausible.- Involucra la interrelación y elaboración de conceptos e ideas, así como de conclusiones. • Pensamiento crítico.- Requiere de la capacidad de hacer discriminaciones y juicios en el ámbito del razonamiento plausible. 26 En la sección 2 se prueba la habilidad de producir y desarrollar ideas de forma escrita. Consiste en dos tareas de las cuales se ofrecen varias ideas para que el sustentante desarrolle una de ellas. Los temas tienden más a lo general que a lo especíico; la primera de las tareas trata sobre un tema sociocultural y la segunda sobre un tema más personal y social. Estas tareas se caliican con dos criterios: la calidad de las ideas expresadas sobre el tema y el control del lenguaje demostrado en el escrito. En la sección 3 se examina la resolución de problemas en un contexto cientíico y la evocación y comprensión de conceptos cientíicos básicos. Estas competencias incluyen la capacidad de identiicar los conocimientos en nuevos contextos y de traducir los conocimientos de una forma simbólica a otra. Para esto se presentan estímulos en una gran variedad de formatos, incluyendo el verbal, el matemático, el gráico y el visual. La sección se compone de preguntas en las áreas de química, biología y física en un formato de opción múltiple y el nivel de conocimiento exigido es el requerido en un curso de química, física y biología del primer año de estudios universitarios. Exámenes de ingreso en perspectiva Tabla 2.4. Estructura del Sección Sección 1 (S1) Sección 2 (S2) Sección 3 (S3) gamsat Contenido Razonamiento en humanidades y Ciencias sociales Comunicación escrita Razonamiento en Ciencias biológicas y físicas Número de reactivos Tiempo 75 100 minutos 110 170 minutos 2 ensayos 60 minutos Reporte de resultados del gamsat Se obtienen cuatro caliicaciones para el gamsat, una para cada sección y una caliicación total para el examen que se obtiene del promedio ponderado de las secciones mediante la siguiente fórmula: S1 + S2 + 2S3 4 Todas las caliicaciones se reportan en una escala de 0 a 100 puntos. Se proporciona una tabla que permite a los sustentantes calcular su rango percentil para ubicar su desempeño en relación con la población que participó en la misma aplicación de la prueba. gmat El General Management Admission Test es utilizado como fuente de datos para ayudar a determinar el ajuste de cada candidato a estudios de posgrado con los programas de mba (Maestría en administración de negocios). Esta prueba –que se desarrolla en los Estados Unidos pero que es utilizada en diferentes países– se conforma de tres partes principales: la evaluación de escritura analítica, la sección cuantitativa y la sección verbal. 27 28 Estructura del gmat La sección de evaluación de escritura analítica está diseñada para ser una medida directa de pensar críticamente y de comunicar ideas de forma escrita. Consta de dos ensayos: uno para el análisis de un tema –que mide la capacidad de explorar la complejidad del tema (o de una opinión) ijando una posición a partir de los conocimientos propios– y otro sobre el análisis de un argumento –que mide la capacidad de formular una crítica con base en una conclusión, siguiendo una línea de pensamiento establecida (tabla 2.5). La sección cuantitativa mide la capacidad de razonar cuantitativamente, resolver problemas cuantitativos e interpretar gráicas. Consta de dos tipos de preguntas de opción múltiple, resolución de problemas y suiciencia de datos, que requieren conocimientos de aritmética, álgebra elemental y conceptos generales de geometría. Cada uno de los dos tipos de pregunta es descrito a continuación: • Las preguntas de solución de problemas están diseñadas para medir habilidades matemáticas básicas, comprensión de conceptos matemáticos elementales y razonamiento cuantitativo. • Las preguntas de suiciencia de datos están diseñadas para medir las habilidades al analizar un problema cuantitativo, reconocer la información relevante y determinar cuánta información es necesaria para resolver un problema. Cada una de estas preguntas es precedida por dos enunciados, de los cuales se debe elegir el que contiene los datos necesarios para responder la pregunta. Se ofrecen cinco opciones de respuesta para estas preguntas: • El enunciado (1) por sí mismo es suiciente, pero el enunciado (2) no es suiciente. • El enunciado (2) por sí mismo es suiciente, pero el enunciado (1) no es suiciente. • juntos los dos enunciados son suicientes, pero ninguno lo es por separado. • Cada enunciado por sí mismo es suiciente. • Los dos enunciados juntos no son suicientes. Exámenes de ingreso en perspectiva La sección verbal mide la capacidad de leer y comprender materiales escritos, razonar y evaluar argumentos y el uso adecuado del idioma inglés. Esta sección cuenta con tres contenidos principales: • Comprensión de lectura. Mide la capacidad de comprender, analizar y utilizar información y conceptos presentados de forma escrita mediante la evaluación de habilidades, a saber: comprensión de palabras y enunciados en pasajes de lectura; comprensión de las relaciones lógicas entre puntos relevantes de la lectura; hacer inferencias de hechos y enunciados incluidos en la lectura; entender y seguir el desarrollo de conceptos cuantitativos. • Razonamiento crítico. Desarrollado para evaluar las capacidades involucradas en el desarrollo y evaluación de argumentos y la formulación y evaluación de planes de acción. • Corrección de enunciados. Esta sección mide dos amplios aspectos del dominio del lenguaje: la expresión gramatical y estructuralmente correcta y la efectividad para expresar una idea o relación clara y concisamente. Tabla 2.5. Estructura del Sección Escritura analítica Sección cuantitativa Sección verbal gmat Contenido Análisis de un tema Análisis de un argumento Total Suficiencia de datos Solución de problemas Comprensión de lectura Razonamiento crítico Corrección de enunciados Número de reactivos Tiempo Ensayo Ensayo 30 minutos 30 minutos 60 minutos 37 75 minutos 41 75 minutos 29 Reporte de resultados del gmat El reporte de caliicaciones incluye cuatro puntajes y sus rangos percentiles correspondientes: escritura analítica, sección cuantitativa, sección verbal y total. La escritura analítica tiene un rango de caliicación de 0 a 6; las secciones cuantitativa y verbal se caliican en un rango de 0 a 60, y la caliicación total en un rango de 200 a 800 puntos (igura 2.3). Figura 2.3. Reporte de resultados del gmat 30 Hay una peculiaridad en la forma de caliicar las secciones cuantitativa y verbal. Puesto que es un examen administrado mediante la computadora, se puede “ajustar” la diicultad del examen de acuerdo a la capacidad de cada sustentante, de tal modo que la computadora parte de que el sustentante tiene un nivel inicial de 500 y –dependiendo de si contesta correcta o incorrectamente cada pregunta– muestra una pregunta con mayor o menor grado de Exámenes de ingreso en perspectiva diicultad, respectivamente. Por este motivo la caliicación del sustentante no depende directamente de cuántas preguntas contestó correctamente, sino de la diicultad de las preguntas que contestó. De este modo se espera que al terminar cada una de las secciones la caliicación sea una medida precisa de la habilidad del sustentante. Validez del gmat En un meta-análisis hecho por Talento-Miller y Rudner (2005) que incluye estudios de validez de la prueba realizados por el Validity Study Service (vss) entre 1997 y 2004, se conirma que el gmat tiene una validez excepcionalmente alta para casi todos los programas incluidos en los estudios, con una media de validez predictiva de 0.46 para programas en Estados Unidos y de 0.48 para los programas fuera de ese país. gre El General Record Examination es una prueba diseñada para medir habilidades de razonamiento, pensamiento crítico y la capacidad de comunicarse efectivamente de forma escrita (ets, 2004), independientemente de si tales habilidades son adquiridas sin relación con algún campo especíico de estudio de los aspirantes a posgrado. Adicionalmente a la prueba general, se ofrecen ocho pruebas de temas especíicos, que pueden ser requeridos por las instituciones para el ingreso de sustentantes a programas especíicos. El gre es desarrollado y administrado por el Educational Testing Service (ets) y ha desempeñado un papel importante en los procesos de admisión a posgrado durante cerca de seis décadas. Estructura del gre Consta de tres áreas: Razonamiento verbal, Razonamiento cuantitativo y Escritura analítica, divididas en cinco secciones. Además se incluye una sección 31 32 “variable” que no cuenta para la caliicación (Tabla 2.6). El tiempo para resolver el examen es de 3 ¾ horas. A continuación se describen las áreas temáticas del gre: • Razonamiento verbal. Evalúa las habilidades para analizar y evaluar materiales escritos, así como de sintetizar información, analizar relaciones entre componentes y partes de los enunciados y reconocer relaciones entre palabras y conceptos. • Razonamiento cuantitativo. Prueba las capacidades matemáticas básicas y la comprensión de conceptos matemáticos básicos, al igual que las habilidades de razonar cuantitativamente y solucionar problemas en ambientes cuantitativos. • Escritura analítica. Diseñada para probar las capacidades de pensamiento crítico y escritura analítica, así como las habilidades necesarias para articular y sustentar ideas complejas, analizar un argumento y sostener una discusión coherente. Tabla 2.6. Estructura del Sección Razonamiento verbal Razonamiento cuantitativo Escritura analítica gre Contenido Analogías Antónimos Completar enunciados Comprensión de lectura Aritmética Álgebra Geometría Análisis de datos Comparación cuantitativa Solución de problemas Opinión sobre un tema Análisis de un argumento Total Exámenes de ingreso en perspectiva Número de reactivos Tiempo 76 60 minutos 60 60 minutos 1 1 2 45 minutos 30 minutos 75 minutos Reporte de resultados del gre Se presentan tres caliicaciones, una por sección. Las secciones de Razonamiento verbal y Razonamiento cuantitativo tienen una escala de caliicación que va de 200 a 800 puntos en incrementos de 10 puntos. La caliicación para la sección de Escritura analítica se presenta en una escala de 0 a 6 puntos en incrementos de medio punto. Para una mejor comprensión del desempeño se presenta el rango percentil asociado a cada una de las caliicaciones (igura 2.4). Figura 2.4. Hoja para el reporte de calificaciones del gre 33 34 Validez del gre En un estudio realizado por Burton y Wang (2005) se muestran dos tipos de resultados. Primeramente, resultados de validez predictiva comparando la capacidad de los resultados del gre con el gpa para predecir los resultados a largo plazo en el posgrado; en lo anterior se tomaron en cuenta cuatro criterios por predecir: el gpa acumulado al obtener el grado (cgpa), las caliicaciones otorgadas por los docentes sobre el dominio de la disciplina, la productividad profesional y las habilidades de comunicación. Como predictores se utilizaron la sección verbal del gre (grev), la sección cuantitativa (greq) y el gpa anterior al posgrado (ugpa), y se obtuvieron los siguientes resultados: • Cuando se combinan los tres predictores la correlación corregida para las tres caliicaciones de los docentes es de al menos .5. • Del mismo modo, cuando se combinan los tres predictores la correlación corregida para el cgpa se estima en alrededor de .5. • Las correlaciones de las dos secciones del gre combinadas (.40) son casi tan altas que las de los tres predictores juntos (.49). La mayor contribución del ugpa es en la predicción del cgpa, lo cual tiene sentido. En una segunda parte se formulan –en un análisis más detallado– predicciones especíicas por materia y grado (maestría o doctorado) y se encuentran inconsistencias en los datos, atribuidas a características particulares de la muestra. En otro estudio de Donald E. (Powers, 2004) para el ets, se analizó el uso del gre para el ingreso a 16 escuelas de veterinaria, en el que resultó una correlación con las caliicaciones del primer año de 0.53 usando las tres caliicaciones; 0.56 si se utiliza el gpa; y 0.72 para ambos indicadores lsat Este examen mide las habilidades que son necesarias para lograr el éxito en la escuela de leyes. El Law Schools Admission Test cuenta con más de 50 años de existencia. Exámenes de ingreso en perspectiva Estructura del lsat Se compone de tres áreas: Comprensión de lectura, Razonamiento analítico y Razonamiento lógico (tabla 2.7). • Comprensión de lectura. Esta sección mide la capacidad de leer con lucidez textos largos y complejos como los que se consultan cotidianamente en la escuela de leyes. Contiene cuatro bloques de lectura y preguntas que consisten en una lectura seleccionada seguida de cinco a ocho preguntas que miden la capacidad lectora y la comprensión. • Razonamiento analítico. Diseñada para medir la capacidad de entender una estructura y desprender las conclusiones. Se solicita al aspirante que haga deducciones a partir de un conjunto de enunciados, reglas o condiciones que describen la relación entre personas, lugares, cosas o eventos que simulan la solución de problemas legales a los que se enfrentará. • Razonamiento lógico. La prueba consiste de dos secciones de 35 minutos cada una, incluyendo una sección variable que sirve para igualar futuras versiones y no se toma en cuenta para la caliicación de la actual. Esta sección esta diseñada para evaluar la habilidad de razonar lógicamente y de pensar críticamente mediante el análisis y crítica de una gran variedad de argumentos. Tabla 2.7. Estructura del Sección lsat Contenido Número de reactivos Tiempo Comprensión de lectura Una sección 25-28 35 minutos Razonamiento analítico Una sección 24-26 35 minutos Razonamiento lógico Dos secciones 22-24 70 minutos 35 Reporte de resultados del lsat Para reportar las caliicaciones del lsat se transforman los puntajes crudos a una escala que va de 120 a 180 puntos. Además de la caliicación se presentan los rangos percentiles para cada candidato. 36 Validez del lsat Thorton, Reese, Pashley y Dalessandro (2005) evalúan la validez predictiva del lsat en cuanto al promedio del primer año en la escuela de leyes en grupos con diferentes condiciones (tiempo extra para contestar el examen, condiciones de aplicación normales y con desventajas como trastorno por déicit de atención (tda) o problemas de aprendizaje). La muestra consistió en 590 estudiantes de nuevo ingreso de 168 escuelas de leyes cuyos datos fueron recolectados durante un lustro. La medida utilizada para comparar los puntajes del lsat fue el promedio del primer año en la escuela de leyes (fya); al mismo tiempo se evaluó la validez predictiva del gpa de high school (ugpa), así como la validez de la combinación de la caliicación del lsat y el ugpa. Los resultados muestran que: • La puntuación en el lsat y en el gpa predicen, en conjunto, alrededor de 0.48 del fya. • Los puntajes del lsat en condiciones normales son comparables aun cuando se hayan presentado otras condiciones (sin incluir aquellas relacionadas con el tiempo dado para contestar el examen). • Los puntajes en condiciones de tiempo estandarizado no son comparables a aquellos obtenidos en condiciones que incluyen tiempo extra. • Los puntajes en condiciones de tiempo no estandarizado (tiempo extra) tienden a sobreestimar el fya, por lo que deben tomarse con precaución sus resultados. • El ugpa tiende a una sobreestimación del fya, pero es ligeramente menor que la de la condición anterior. Exámenes de ingreso en perspectiva mcat El Medical College Admission Test (mcat) es un examen estandarizado que consiste en tres secciones de opción múltiple y una sección para evaluar la escritura. Su propósito es evaluar las habilidades y conocimientos considerados esenciales como prerrequisito para el éxito en la escuela y en la práctica médica. El mcat ha sido parte del proceso de admisión a las escuelas de medicina por más de 60 años y actualmente todas las escuelas de medicina en Estados Unidos y la mayoría de ellas en Canadá exigen a los aspirantes presentar puntajes recientes del mcat como parte de los requisitos para la selección. Muchos otros programas de profesiones de la salud y posgrado aceptan los resultados del mcat en lugar de otras pruebas estandarizadas (Association of American Medical College, 2008). Estructura del mcat Cada una de las cuatro secciones del mcat se enfoca en la evaluación de la capacidad de solución de problemas, pensamiento crítico y habilidades generales de escritura; además, en el dominio de los conceptos básicos de biología, química general y orgánica y física. Las secciones (tabla 2.8) son descritas a continuación: • Ciencias biológicas y físicas. Estas secciones evalúan los conocimientos básicos de física, química y biología y la capacidad de resolver problemas con base en esos conocimientos. La sección de Ciencias físicas evalúa en el contexto de física y química general; la de Ciencias biológicas, en el contexto de la biología y la química orgánica. • Razonamiento verbal. Requiere la habilidad de comprender, evaluar y utilizar información y argumentos de un texto en prosa. • Muestra escrita. Evalúa las habilidades necesarias para desarrollar una idea, sintetizar conceptos e ideas, presentar ideas lógicamente y escribir clara- 37 mente, con apego a las reglas de la gramática y la sintaxis y manteniendo la congruencia entre personas y tiempos verbales. Tabla 2.8. Estructura del Sección Ciencias físicas Razonamiento verbal Muestra escrita Ciencias biológicas 38 mcat Número de reactivos Tiempo 52 70 Pasajes de lectura (7) 40 60 Solución de problemas en: Biología Química orgánica 52 70 Contenido Solución de problemas en: Física Química Ensayos (2) 2 60 Reporte de resultados del mcat El objetivo de todas las secciones del mcat es evaluar las mismas habilidades y conceptos básicos en diferentes contextos temáticos, pero cada una de las secciones recibe su propia caliicación (igura 2.5). Las secciones de Ciencias físicas, Razonamiento verbal y Ciencias biológicas se caliican en una escala de 1 a 15 puntos. La Muestra escrita –que consiste de dos ensayos– se caliica en una escala de 1 a 6 puntos. Cada ensayo recibe dos caliicaciones y la caliicación de la Muestra escrita es la suma de las cuatro caliicaciones individuales para obtener un puntaje crudo total que se convierte después a una escala alfabética que va de J (la caliicación más baja) a T (la más alta). La suma de las caliicaciones numéricas se reporta como caliicación total acompañada de la caliicación de la muestra escrita. Exámenes de ingreso en perspectiva Figura 2.5. Reporte de calificaciones del mcat pcat El Pharmacy College Admission Test es un examen especializado que ayuda a identiicar a los aspirantes más caliicados al ingreso a escuelas de farmacéutica, midiendo la habilidad cientíica general y los conocimientos cientíicos necesarios para iniciar la formación farmacéutica. Estructura del pcat El pcat se compone de siete subtest que abarcan seis áreas de contenido, descritas a continuación, con un total de 240 reactivos de opción múltiple y dos tópicos escritos (tabla 2.9): • Habilidad verbal. Mide el conocimiento y uso general de palabras no cientíicas mediante el uso de analogías y la tarea de completar enunciados. • Biología. Mide el conocimiento de principios y conceptos básicos de biología, abarcando biología general, microbiología, anatomía humana y psicología. • Química. Mide el conocimiento de principios y conceptos de química inorgánica y de química orgánica elemental. 39 • Lectura de comprensión. Mide la habilidad de comprender, analizar y evaluar pasajes de lecturas en el contexto de temas relacionados con la ciencia. • Habilidad cuantitativa. Mide las capacidades en procesos matemáticos y la habilidad de razonar y entender procesos cuantitativos y relaciones, incluyendo matemáticas básicas, probabilidad y estadística, álgebra, precálculo y cálculo. • Escritura. Estos dos subtest miden el uso efectivo de las convenciones del idioma y la habilidad para sugerir la solución de problemas en forma de un ensayo escrito. Tabla 2.9. Estructura del Sección 40 Habilidad verbal Biología Química Comprensión de lectura Habilidad cuantitativa Escritura 1 Escritura 2 pcat Contenido Analogías Completar enunciados Total Biología general Microbiología Anatomía humana Total Química inorgánica Química orgánica Total Comprensión Análisis Evaluación Total Matemáticas básicas Álgebra Probabilidad y estadística Precálculo Cálculo Total Convenciones del lenguaje Solución de problemas Convenciones del lenguaje Solución de problemas Exámenes de ingreso en perspectiva Número de reactivos 60% 40% 48 60% 20% 20% 48 60% 40% 48 30% 40% 30% 6 pasajes y 48 reactivos 15% 20% 20% 22% 22% 48 Tiempo 30 minutos 30 minutos 30 minutos 50 minutos 40 minutos Ensayo 30 minutos Ensayo 30 minutos Existen reactivos de prueba en cada una de las secciones, de modo que de los 48 reactivos de cada sección, ocho servirán para igualar y conformar versiones futuras, mientras que los 40 reactivos restantes cuentan para la caliicación del sustentante. De igual forma, uno de los ensayos es experimental y no cuenta para la caliicación del sustentante. Reporte de resultados del pcat La caliicación se reporta en una escala estandarizada de 200 a 600 puntos para cada una de las secciones de opción múltiple y para un puntaje compuesto que es el promedio de las caliicaciones de las cinco secciones de opción múltiple. Paralelamente, se reporta el rango percentil obtenido por el sustentante en cada subtest y un rango percentil compuesto (igura 2.6). Para la sección de escritura se otorgan dos caliicaciones: una para convenciones del lenguaje y otra para solución de problemas en una escala que va de 0 a 5 puntos. La caliicación para convenciones del lenguaje se asigna por un solo revisor, mientras que la caliicación para solución de problemas se asigna por dos revisores sacando el promedio de ambas caliicaciones. Figura 2.6. Reporte de calificaciones del pcat 41 pet El Psychometric Entrance Test es una prueba desarrollada por el Nacional Institute for Testing and Evaluation (nite). Está compuesta de tres exámenes (Razonamiento verbal, Razonamiento cuantitativo e Inglés) que evalúan habilidades necesarias en el desempeño académico. Se utiliza para ubicar a los aspirantes de acuerdo a su probabilidad de éxito en los estudios universitarios. Esta prueba puede presentarse en distintos idiomas (árabe, ruso, francés, español y una combinación de inglés con hebreo). Para los aspirantes que presentan el pet en otro idioma diferente del hebreo, existe un examen adicional de aptitud para el hebreo (nite, s.f.). 42 Estructura del pet Consta de tres secciones: Razonamiento verbal, Razonamiento cuantitativo e Inglés. Y una sección adicional para los estudiantes que presentan examen en un idioma diferente al hebreo (tabla 2.10). Cada una de estas secciones mide diferentes aspectos requeridos para el ingreso a la universidad. • Razonamiento verbal. Examina habilidades verbales necesarias para los estudios académicos: vocabulario, procesos de pensamiento lógico, comprensión y análisis de textos complejos; y la habilidad de pensar clara y metódicamente, mediante el uso de analogías, enunciados incompletos, preguntas sobre lógica y lectura de comprensión. Todos estos reactivos se presentan en formato de opción múltiple con cuatro opciones de respuestas. • Razonamiento cuantitativo. Evalúa las habilidades en el uso de números y conceptos matemáticos en la resolución de problemas cuantitativos, así como la habilidad de analizar datos en diferentes formatos de presentación, como son las tablas o gráicas. Sin embargo, sólo es necesario tener conocimientos de matemáticas básicas (10° grado) para responder esta sección. • Inglés. En esta sección se mide la capacidad del sustentante en el dominio del idioma inglés mediante su vocabulario y la habilidad de leer y entender frases complejas en un nivel académico. Exámenes de ingreso en perspectiva • Hebreo (opcional). Esta sección es únicamente para los aspirantes que presentan el pet en un idioma diferente al hebreo. Consta de dos partes: una de opción múltiple y otra de un ensayo que debe escribir el aspirante. Tabla 2.10. Estructura del Sección Razonamiento verbal (V) Razonamiento cuantitativo (Q) Inglés (E) Hebreo (adicional) pet Contenido Analogías Completar enunciados Lógica y lectura de comprensión Preguntas y problemas Comprensión de gráfica o tabla Comparaciones cuantitativas y series de números Completar enunciados Replanteamientos Comprensión de lectura Completar enunciados y Replanteamiento Lectura de comprensión Número de reactivos Tiempo 27 25 minutos 25 25 minutos 27 25 minutos 22 Ensayo 20 minutos 15 minutos 35 minutos Reporte de resultados del pet Para calcular el puntaje estandarizado de cada sección se otorga a los aspirantes una tabla de equivalencias entre el puntaje crudo y el puntaje estandarizado (igura 2.7). Una vez que se obtienen los puntajes estandarizados –en un rango de caliicación de 50 a 150–, el aspirante puede calcular su puntaje total –en una escala de 200 a 800 puntos– de la prueba psicométrica, para lo cual debe obtener primero su puntaje ponderado mediante la siguiente fórmula: 2V + 2Q + E 5 43 Ya obtenido el puntaje ponderado, se utiliza una tabla de equivalencias para localizar el puntaje total de la prueba psicométrica (igura 2.7). Con otra tabla se ubica el percentil correspondiente a la caliicación total, de modo que el sustentante puede saber en qué posición de la curva se encuentra su desempeño. Figura 2.7. Tablas para la obtención de las calificaciones por área y calificación total del pet 44 sat El College Board es una asociación no lucrativa entre cuyos objetivos está brindar servicios de admisión a la educación universitaria, consejería, evaluación, apoyo inanciero, registro, enseñanza y aprendizaje. Uno de los programas de evaluación del College Board es el Scholastic Aptitude Test (sat), que se ha aplicado desde 1926. El sat es uno de los exámenes de mayor uso y aceptación para la admisión a la universidad (Norris, Oppler, Luang, Day & Adams, 2006). Es un programa de pruebas objetivas y estandarizadas cuyo propósito es medir las Exámenes de ingreso en perspectiva capacidades de razonamiento verbal y matemático que los estudiantes han desarrollado, tanto en la escuela como durante su vida cotidiana. Es una prueba que mide las habilidades de pensamiento crítico necesarias para el éxito en la universidad y evalúa qué tan bien analiza y resuelve problemas el estudiante. Diseño del sat El sat trata de contribuir al cumplimiento de los objetivos de estudiantes, profesores, consejeros de high school y los equipos de admisión de las universidades. Los reactivos que se incluyen en el examen son semejantes a los que se presentan en los cursos escolares, ya que se considera que permiten medir el grado de desarrollo de las habilidades de razonamiento y pensamiento que se requieren para tener éxito en la universidad y en la vida. Las pruebas del sat están construidas a partir de reactivos diseñados por expertos en desarrollo de instrumentos y por profesores de high school y universidad de diferentes partes de Estados Unidos. Algunos profesores interesados en la construcción del sat envían propuestas de reactivos que son analizados por los expertos para elegir aquellos que pueden ser incluidos. Además, un comité formado por administradores y miembros del cuerpo docente de preparatorias y universidades de diferentes orígenes geográicos y étnicos se encarga de revisar las pruebas para asegurarse que medirán realmente las habilidades y conocimientos de interés. Cada pregunta es revisada a lo largo de un periodo mínimo de dos años para asegurar que es útil. Después de dicho proceso de revisión, la pregunta en cuestión se aplica a manera de ensayo para decidir si puede ser incluida o no en el sat. Una característica importante de las preguntas que se incluyen en el sat es su grado de diicultad, por lo que pueden ser clasiicadas como fáciles, regulares y difíciles. La mayor parte de las preguntas evaluadas son de nivel regular, lo cual se determina porque entre uno y dos tercios de los estudiantes las pueden responder correctamente. 45 46 Estructura del sat El sat consta de tres áreas divididas en 10 secciones, nueve de las cuales evalúan las habilidades de razonamiento en lectura, matemáticas y redacción. La décima sección tiene propósitos de investigación y diseño, por lo que puede contener reactivos de cualquiera de las áreas mencionadas y no se consideran para la evaluación (tabla 2.11). A continuación se describen brevemente las áreas de la prueba: • Lectura crítica. Evalúa la capacidad de plantear inferencias, sintetizar información, distinguir entre ideas centrales y complementarias, así como la comprensión del lenguaje con base en el contexto. • Matemáticas. Evalúa la interpretación de tablas, gráicas o cuadros mediante el uso de conceptos matemáticos y habilidades en el manejo de datos. • Escritura. Contiene preguntas de opción múltiple en relación con la lectura de un texto; también pide a los aspirantes desarrollar un ensayo para medir su habilidad de transmitir ideas de forma escrita. El tiempo total en que los estudiantes deben responder el sat es de 210 minutos, distribuido de la siguiente forma: 70 minutos para lectura crítica, 70 minutos para matemáticas y 60 minutos para la prueba de redacción. Cada una de las pruebas aplicadas tiene tiempos deinidos para cada sección, los cuales oscilan entre 10 y 25 minutos. Por ejemplo, el tiempo dedicado a la prueba de matemáticas se divide en dos secciones de 25 y una de 20 minutos, como se muestra en la siguiente tabla: Exámenes de ingreso en perspectiva Tabla 2.11. Estructura del Área Lectura crítica Matemáticas Escritura sat Contenido Razonamiento extendido Comprensión literaria Vocabulario en contexto Completar enunciados Total Números y operaciones Álgebra y funciones Geometría y medición Análisis de datos, estadística y probabilidad Total Ensayo Mejora de enunciados Identificar errores del enunciado Mejora de párrafos Total Número de reactivos 36-40 4-6 4-6 19 67 11-14 19-22 14-16 5-8 54 1 25 18 6 50 Tiempo 70 minutos en dos secciones de 25 y una de 20 minutos 70 minutos en dos secciones de 25 y una de 20 minutos 60 minutos, 25 minutos para el ensayo, dos secciones de opción múltiple, una de 25 minutos y otra de 10 minutos Además se incluye una sección que no se caliica denominada equating la cual contiene reactivos piloto que se utilizarán en versiones futuras de la prueba. Al incluir esta sección para obtener los estadísticos de los nuevos reactivos se intenta mantener la capacidad de comparación entre las diferentes versiones. Reporte de resultados del sat En cuanto a los resultados de la prueba se obtienen tres caliicaciones, una por cada sección, en una escala que va de 200 a 800 puntos. En la sección de escritura se otorgan dos subcaliicaciones: una para el ensayo (en una escala de 2-12 puntos) y otra para los reactivos de opción múltiple (con una escala de 20-80 puntos). Estas subcaliicaciones se acumulan y transforman para dar la caliicación de la sección de escritura en la escala de 200-800, de la cual el puntaje del ensayo es de aproximadamente un 30%. 47 El reporte de caliicaciones contiene la comparación del resultado actual con hasta seis aplicaciones anteriores del estudiante. 48 Validez del sat En términos de coniabilidad, se ha observado que los estudiantes que presentan en más de una ocasión el sat por lo general obtienen puntajes similares en cada una de las aplicaciones. En un estudio hecho con estudiantes de primer ingreso de los años de 1995, 1996 y 1997 de 26 universidades, se consideró que algunas posibles variables predictivas de las caliicaciones obtenidas por los estudiantes en su primer año de la universidad son el promedio de la educación preparatoria, los puntajes para las subescalas verbal y de matemáticas del sat, y las combinaciones de éstas. Las correlaciones entre cada una de estas variables y el éxito de los estudiantes en su primer año mostraron que la combinación entre ambos puntajes del sat era la que predecía mejor las caliicaciones de la educación universitaria, ya que presenta la mayor correlación (0.65) (Norris et al., 2006). Exámenes de ingreso en perspectiva L Capítulo 3 Pruebas internacionales de desempeño as pruebas internacionales no son propiamente utilizadas como parte del proceso de ingreso a una institución educativa, pero son programas que –por su reconocimiento internacional– no se pueden dejar de lado. A continuación se presentan las características de dos de las más representativas. pisa La Organización para la Cooperación y el Desarrollo Económicos (ocde) planeó y puso en marcha desde 1997 el Programa para la Evaluación Internacional de los Alumnos ( pisa). pisa es un programa estratégico diseñado para aplicarse en los países que conforman la ocde y otros muchos que se han incorporado voluntariamente, a lo largo de varios ciclos trienales desde el año 2000 hasta el 2015. Este programa de evaluación ha sido desarrollado para examinar amplias muestras de estudiantes de 15 años de edad (5,000 a 10,000), quienes están cerca de terminar la fase de educación considerada obligatoria por la mayoría de los países participantes y comparten estructuras curriculares semejantes. La aplicación periódica de pisa produce datos que permiten inferir los logros de los programas educativos en diferentes momentos. Dado que cada tres años se exploran todas las áreas consideradas en el programa de evaluación, pero sólo alguna de ellas se evalúa de manera extendida, pisa traza un peril general de tendencia cada tres años y, sólo cada nueve, analiza exhaustivamente los logros en cada una de las áreas consideradas. Hasta ahora se han aplicado tres ciclos (2000, 2003 y 2006), en cada uno de los cuales se ha profundizado en la evaluación de un área diferente: la competencia lectora en 2000, la competencia matemática en 2003 y la competencia cientíica en 2006. Estos son los objetivos principales de pisa: medir el grado de preparación de los estudiantes para enfrentar los retos en su vida futura y evaluar los logros que han alcanzado; examinar los sistemas educativos de los países miem- 49 bros de la ocde; tener una idea de la calidad de los programas educativos de cada uno de los países participantes con el in de diseñar políticas adecuadas. Más especíicamente, pisa evalúa lo que son capaces de hacer los estudiantes con lo que han aprendido hasta ese momento, de ahí que la evaluación tome como común denominador los currículos nacionales. El proyecto pisa reúne información acerca de las competencias lectora, matemática y cientíica; de factores familiares, escolares, demográicos, sociales y económicos que inluyen en el desarrollo de habilidades y actitudes, y analiza cómo interactúan esos factores y cuáles son sus implicaciones en la adopción de pautas de actuación política. 50 Diseño de pisa El diseño de pisa es revisado por los diversos participantes en el proyecto para asegurarse de que sus resultados sean válidos y coniables. Los países participantes colaboran mediante grupos de expertos para garantizar la validez de los instrumentos de evaluación, su adecuación al contexto cultural y curricular de los países miembros de la ocde y su poder de medición. Aunque se toman como base las estructuras curriculares comunes de los países participantes, también se trata de evaluar la forma en que los estudiantes aplican lo que han aprendido en sus años de educación obligatoria para superar retos cotidianos. El diseño de las pruebas del programa de evaluación pisa se centra en las competencias transversales que implican el manejo de conceptos y habilidades de cada una de las áreas consideradas. A diferencia de otras pruebas, en especial las de ingreso que se reseñaron arriba, pisa no está diseñada para dar resultados individuales. En su lugar, se eligen muestras amplias de sustentantes en el país a los que se aplica un gran número de reactivos en varios cuadernillos. El conjunto permite hacer, en el agregado, una exploración más amplia que lo que podría contestar un solo individuo. Exámenes de ingreso en perspectiva Estructura de pisa pisa no sólo evalúa áreas de conocimientos, también evalúa habilidades cognitivas asociadas de forma importante a cada una de las áreas de interés (lectura, matemáticas y ciencias), y actitudes (especíicamente, en 2006 se investigó el interés por las ciencias y la investigación cientíica). Además recolecta información acerca del entorno familiar del estudiante, el enfoque que da a su aprendizaje, la percepción que tiene de su entorno educativo y su grado de familiaridad con el uso de las computadoras (ocde, 2006). Para obtener la información necesaria, el programa de evaluación pisa está conformado por tres instrumentos de recolección de datos: un cuestionario para los directores de los centros de enseñanza, un cuestionario contextual para los estudiantes y un instrumento constituido por tres pruebas que exploran diferentes áreas de competencia (lectora, matemática y cientíica). • Prueba de competencia lectora. Entendida ésta como la capacidad para comprender, emplear y relexionar sobre textos escritos, con el in de alcanzar metas personales y desarrollar el conocimiento, así como participar en la sociedad. Se evalúa con frecuencia mediante textos continuos, es decir, en prosa. pisa utiliza también textos discontinuos, en los que la información se presenta de otras maneras, como son: listas, formularios, gráicos o diagramas. • Prueba de matemáticas. Explora cuatro áreas de contenido (espacio y forma, cambio y relaciones, cantidad e incertidumbre), cuatro tipos de situaciones (personal, educativa, pública y cientíica) y tres grupos de capacidades cognitivas (reproducción, conexiones y relexión). • Prueba de competencia cientíica. La capacidad de extraer conclusiones apropiadas a partir de hechos y datos recibidos, de criticar los argumentos de otros con base en hechos y de distinguir entre una mera opinión y una airmación sustentada por hechos. La idea de competencia cientíica adoptada por pisa tiene en cuenta una combinación de formas de pensar y comprender los aspectos cientíicos del mundo. Se evalúan tres aspectos en esta prueba: 51 conocimientos y conceptos cientíicos a la luz de su empleo en materias especíicas; procesos cientíicos que implican el conocimiento de la ciencia sin que éste sea una limitante para poder contestar correctamente; y situaciones o contexto. Aun cuando son tres los aspectos que se tratan separadamente en la evaluación de la competencia cientíica, siempre aparecerá una combinación de los tres. Una característica importante es el formato de respuesta: puede ser elección múltiple, construida-cerrada o construida-abierta. Cada uno de estos formatos de respuesta representa un tercio de los ejercicios incluidos en la prueba. Los ejercicios también se pueden presentar como una unidad de análisis en la cual, a partir de una situación o problemas, se plantean varias preguntas que van de menor a mayor complejidad. 52 Reporte de resultados de pisa A partir de las pruebas aplicadas por pisa se obtiene un peril con indicadores de rendimiento en diversas habilidades y conocimientos de los estudiantes de 15 años, así como posibles relaciones entre esos indicadores y algunas variables personales, educativas, demográicas, económicas y sociales. También se reportan indicadores de tendencia que muestran la evolución de los resultados en diferentes periodos. timss El Estudio Internacional de Tendencias en Matemáticas y Ciencias (timss) es un proyecto de la Asociación Internacional para la Evaluación del Rendimiento Educativo (iea). Institución independiente de cooperación internacional, la iea agrupa a instituciones de investigación nacionales y organismos gubernamentales y ha estado realizando estudios transnacionales de rendimiento desde 1959. Exámenes de ingreso en perspectiva es una prueba que evalúa el desempeño de estudiantes de 4° y 8° grado en las áreas de ciencia y matemáticas (iea, 2003). timss Diseño del timss Las pruebas del timss se desarrollan mediante un proceso de consenso internacional con el apoyo de expertos en educación, medición, matemáticas y ciencias. Las preguntas del timss se centran en las tareas que aportan información sobre destrezas y capacidades analíticas, de resolución de problemas y de investigación que poseen los estudiantes. El contenido del timss se basa en un modelo curricular que incluye la evaluación de las oportunidades de aprendizaje disponibles para los estudiantes y cómo la administración de estos inluye en el aprendizaje. Este modelo incluye tres aspectos: el currículo pretendido, el currículo aplicado y el currículo obtenido. El enfoque del timss se basa en técnicas de muestreo matricial, es decir, se divide el total de los reactivos en diferentes cuadernillos; y cada estudiante responde sólo uno de estos cuadernillos. Los reactivos se asignan de forma que se pueda obtener una visión global del rendimiento de la población evaluada a partir de las respuestas de cada estudiante. En otras palabras, ya que el tiempo requerido para evaluar todos los contenidos curriculares es excesivo, el timss distribuye los contenidos entre los estudiantes y obtiene resultados aplicables a la población, pero no a cada individuo (iea, 2003). Estructura del timss Las pruebas del timss que responden los estudiantes están formadas por cuatro bloques de reactivos y un cuestionario de contexto. El tiempo que tardan los estudiantes en responder el cuadernillo de reactivos es de aproximadamente 72 minutos para cuarto grado y de 90 para octavo grado. Además responden un cuestionario que dura 30 minutos. Las pruebas del timss presentan preguntas de opción múltiple y preguntas abiertas en las cuales los estudiantes tienen que construir sus propias respuestas. Otra característica 53 54 importante es que las preguntas y tareas no sólo evalúan contenidos temáticos, también exploran las capacidades analíticas y de resolución de problemas de los estudiantes. La estructura del timss (tabla 3.1) contiene dos dimensiones generales: la cognitiva y la de contenidos. Las dos dimensiones y sus dominios constituyen el fundamento de la evaluación de las matemáticas. Los dominios de contenido deinen la temática especíica cubierta por las pruebas. Los dominios cognitivos deinen los comportamientos esperados de los estudiantes al ocuparse del contenido de matemáticas. Cada uno de los dominios de contenido tiene varias áreas temáticas (es decir, “Números” incluye las categorías de números naturales, fracciones y decimales, enteros, así como razón, proporción y porcentaje). Cada área temática se presenta como una lista de objetivos cubiertos en la mayoría de los países participantes, bien en cuarto grado o bien en octavo grado. Del mismo modo para ciencias: los dominios de contenido deinen las materias especíicas de ciencias cubiertas por la evaluación, mientras que los dominios cognitivos deinen los conjuntos de comportamientos que se esperan de los estudiantes al abordar el contenido de ciencias. Cada dominio de contenido tiene varias áreas temáticas principales. Cada área temática se presenta como una lista de objetivos especíicos de evaluación que son apropiados para cuarto u octavo grado y relejan el currículo de ciencias en esos grados en la mayoría de los países participantes. Reporte de resultados del timss Debido a que cada estudiante responde sólo una porción de los contenidos del timms, es necesario combinarlas para obtener una visión general de los resultados para cada país. Mediante la teoría de respuesta al ítem (tri), el timms convierte los resultados a escalas comunes que se enlazan a los resultados de aplicaciones posteriores para permitirle a cada país un seguimiento de su rendimiento. Exámenes de ingreso en perspectiva Tabla 3.1. Estructura del Dominio Contenido matemáticas Cognitivo matemáticas Contenido ciencias Cognitivo ciencias timss Área temática Números Álgebra* Medición Geometría Datos Conocimiento de hechos y de procedimientos Utilización de conceptos Resolución de problemas habituales Razonamiento Ciencias de la vida Física y química Física Química Ciencias de la tierra Ciencias del medio ambiente Conocimiento factual Comprensión conceptual Razonamiento y análisis % tiempo 4° grado % tiempo 8° grado 20% 15% 40% 15% 20% 15% 10% 20% 40% 20% 45% 35% * * 20% * 40% 35% 25% 30% 25% 15% 15% 15% 20% 40% 25% 30% * 15% 25% 15% 15% 30% 35% 35% 55 E Capítulo 4 EXANI-I l Examen Nacional de Ingreso a la Educación Media Superior (exani-i) es uno de los primeros instrumentos que desarrolló el Ceneval en 1994. Su antecedente son los trabajos para desarrollar el Examen Diagnóstico Indicativo de Ingreso a la Educación Media Superior (ems) diseñado por la Comisión Nacional de Educación Media Superior (Conaems) entre 1993 y 1994. El exani-i está dirigido a estudiantes que han concluido o están por concluir la educación secundaria y desean ingresar a instituciones de educación media superior. Es una prueba que en su inicio exploraba –en un solo instrumento– habilidades y conocimientos en varias áreas de estudio del nivel medio. Actualmente, la prueba se compone de dos instrumentos: uno de selección –que informa del desarrollo de las habilidades que se consideran necesarias para continuar con los estudios de bachillerato– y otro, de uso opcional, denominado de diagnóstico –que determina el nivel de dominio en los contenidos esenciales de los programas de estudios de la educación secundaria. Ambos instrumentos ofrecen información importante a las instituciones para que seleccionen con criterios de desempeño académico a sus estudiantes y establezcan las medidas necesarias para que éstos alcancen los mínimos requeridos en cada uno de los temas. antecedentes del exani-i El propósito inicial del Examen Diagnóstico Indicativo mencionado era “conocer el dominio que los educandos de primer ingreso a la educación media superior poseen con respecto a habilidades y conocimientos comunes y necesarios para fundamentar la toma de decisiones en la ems” (Hernández, 2004). Sus características eran las siguientes: un examen integrado por dos áreas de habilidades y conocimientos divididas en 10 secciones: habilidad verbal, habilidad matemática, matemáticas, física, química, biología, geografía, español, literatura e historia. Compuesto por 120 reactivos de opción múltiple con cinco opciones de respuesta, sus funciones eran: indicativa, ya que contribuía a identiicar las características académicas de los alumnos de primer ingreso a las instituciones de bachillerato; diagnóstica, porque permitía establecer los puntos fuertes y débiles de los educandos, y de retroalimentación, debido a que per- 57 mitía proponer alternativas de solución para articular el ciclo secundario con el de bachillerato y fortalecer ambos niveles (Hernández, 2004). Desde su origen el Examen Diagnóstico Indicativo fue concebido como una prueba estandarizada, objetiva, normativa y de ejecución máxima –lo que contribuía al diagnóstico de los conocimientos necesarios para el buen desempeño en el ciclo de estudios al que se demandaba el ingreso. 58 evolución del exani-i A partir de marzo de 1994 el conjunto de reactivos, análisis estadísticos y la metodología desarrollada por la conaems fueron cedidos al Ceneval, con el in de que esta instancia elaborara el examen de ingreso a la educación media superior. Aunque sus objetivos fundamentales permanecen, la estructura del examen ha experimentado a lo largo de su existencia varios cambios, que obedecen a la evolución de las ideas y de las necesidades planteadas por las instituciones usuarias. A continuación se ofrece una vista muy general de la evolución del exani-i desde 1994 hasta 2008 (tablas 4.1 a 4.4). Más adelante veremos las nuevas estructuras que operan a partir de 2009. En 1996 egresa la primera generación que cursó la educación secundaria con la nueva estructura curricular. Asimismo durante este año se pone en marcha el Concurso de Ingreso a la Educación Media Superior convocado por la Comisión Metropolitana de Instituciones Públicas de Educación Media Superior (Comipems). Las nueve instituciones que la componen deciden emplear el exani-i como el instrumento para la selección de aspirantes. Estos dos hechos mueven a la redeinición de la estructura y contenidos del exani-i, tanto en las habilidades como en los contenidos vinculados al currículo. En 2001 se mantiene la misma estructura que en el periodo 1996-2000; sin embargo, el nombre y los contenidos de la materia de Civismo cambia por Formación Cívica y Ética, de conformidad con la modiicación curricular establecida por la Secretaría de Educación Pública (sep). Asimismo, en 2002, a solicitud de las instituciones usuarias del exani-i, se incluye el módulo optativo de Inglés. Exámenes de ingreso en perspectiva Tabla 4.1. Estructura del Áreas Habilidades intelectuales básicas Conocimientos disciplinarios Total de reactivos Reactivos por área % 24 20 96 80 120 100 Tabla 4.2. Estructura del Áreas Habilidades intelectuales básicas Conocimientos disciplinarios Total de reactivos Reactivos por área % exani-i durante el periodo 1994-1995 Subárea Habilidad verbal Habilidad matemática Español Historia Literatura Matemáticas Física Química Biología Geografía exani-i Subárea 38 Habilidad matemática 80 62 128 100 Comprensión de lectura Sinónimos Antónimos Analogías Sucesiones numéricas Series espaciales Patrones espaciales Problemas de razonamiento durante el periodo 1996-2000 Habilidad verbal 48 Sección Español Historia Geografía Civismo Matemáticas Física Química Biología Sección Comprensión de lectura Sinónimos Antónimos Analogías Metáforas Completar enunciados Sucesiones numéricas Series espaciales Patrones numéricos Patrones espaciales Problemas aritméticos Problemas de razonamiento Reactivos por sección 4 3 12 3 2 3 3 12 3 3 12 12 12 12 12 12 12 12 120 Reactivos por sección 10 3 3 24 3 2 3 5 5 4 4 3 3 24 10 10 10 10 10 10 10 10 128 59 Tabla 4.3. Estructura del Áreas Habilidades intelectuales básicas Conocimientos disciplinarios 60 Total de reactivos Reactivos por área 32 % 25 96 75 128 100 Módulo de Inglés (Opcional) Exámenes de ingreso en perspectiva exani-i durante el periodo 2002-2006 Subárea Habilidad verbal Habilidad matemática Español Historia Geografía Formación cívica y ética Matemáticas Física Química Biología Sección Comprensión de lectura Sinónimos Antónimos Analogías Sucesiones numéricas Series espaciales Imaginación espacial Problemas de razonamiento Reactivos por sección 7 3 16 3 3 4 4 4 4 16 12 12 12 12 12 12 12 12 128 16 Tabla 4.4. Estructura del Áreas Habilidades intelectuales básicas Conocimientos disciplinarios Reactivos por área % exani-i durante el periodo 2007-2008 Subárea Habilidad verbal 32 25 Habilidad matemática 96 Total de reactivos 128 por sección Módulo de Inglés (Opcional) 75 100 Español Historia Geografía Formación cívica y ética Matemáticas Física Química Biología Sección Comprensión de lectura Sinónimos Antónimos Analogías Sucesiones numéricas Series espaciales Imaginación espacial Problemas de razonamiento Total de reactivos en el examen Reactivos por sección Reactivos a prueba (para calificación) (no se califican) 7 3 3 3 16 4 16 2 12 12 12 2 2 2 12 12 12 12 2 2 2 2 4 4 4 4 12 128 16 2 150 22 2 Durante 2007 y 2008, los contenidos y el número de reactivos por caliicar se mantienen sin cambios; sin embargo, con la inalidad de fortalecer el banco de reactivos del examen, la estructura pasa de 128 a 150 reactivos, 22 de los cuales fueron incluidos como preguntas piloto (168 reactivos, si se incluye el módulo optativo de Inglés). diseño del exani-i El proceso de diseño del exani-i ha sido supervisado por un Consejo Técnico, que a su vez nombró a un Comité de Supervisión Académica encargado de garantizar la pertinencia y calidad de las decisiones respecto al examen. Dicho 61 62 consejo se auxilia con Comités Académicos para la validación del peril referencial y los reactivos del examen. Estos comités se integraron con profesionales, educadores e investigadores de reconocido prestigio tanto en el ámbito de la evaluación como en el de la educación; estos académicos pertenecen a instituciones nacionales de educación media superior tales como el ipn, Conalep, Cosnet, Colegio de Bachilleres y la Dirección General de Bachillerato (dgb) de sep; representantes de las subsecretarías de Educación Básica y de Servicios del Distrito Federal de la sep, así como representantes de órganos gubernamentales dedicados a la educación en los estados de Aguascalientes, Estado de México y Tabasco. De igual forma, había un Consejo Técnico para cada uno de los demás Exámenes Nacionales de Ingreso (exani-ii y exani-iii). Desde 2007 existe un solo Consejo Técnico, con funciones y tareas similares a los del inicio, que supervisa los tres exámenes de ingreso: exani-i (ingreso a educación media superior), exani-ii (ingreso a educación superior) y exani-iii (ingreso al posgrado). Para este trabajo los académicos toman en cuenta los cambios sociales, económicos, cientíicos y tecnológicos que inluyen en la educación, los cuales conducen a una reformulación de los contenidos curriculares que, a su vez, se relejan necesariamente en la evaluación. Una preocupación actual es que las competencias adquiridas permitan a los estudiantes continuar con sus estudios o integrarse al mundo laboral. Las instituciones usuarias del exani-i tienen un papel importante en los cambios, ya que sus observaciones, inquietudes y necesidades son consideradas en la creación de nuevas estructuras que les permitan tomar mejores decisiones. Además, son revisados minuciosamente los planes y programas de estudios (tabla 4.5), y el peril de egreso de la sep, y los rasgos deseables del egresado de educación básica (tales como la utilización de lenguaje, la búsqueda de información, el razonamiento, el análisis, la argumentación y solución de problemas, formular preguntas y aprovechar los recursos tecnológicos que le permitan aumentar sus conocimientos y habilidades). Exámenes de ingreso en perspectiva Tabla 4.5. Mapa curricular de la Primer grado Español I Matemáticas I Ciencias I (énfasis en Biología) sep Horas Segundo grado Horas Tercer grado Horas 5 Matemáticas II 5 Matemáticas III 5 5 Español II 6 Geografía de México y del Mundo Ciencias II (énfasis en Física) 5 Lengua Extranjera I 3 Tecnología I 3 Educación Física I 2 Artes (Música, Danza, Teatro o Artes Visuales) 2 Asignatura Estatal 3 Total 35 Orientación y Tutoría para la educación secundaria 1 5 Español III 5 6 Ciencias III (énfasis en Química) Historia I 4 Historia III 4 Formación Cívica y Ética I 4 Formación Cívica y Ética II 4 Educación Física II 2 Educación Física III 2 Lengua Extranjera II 3 Tecnología II 3 Artes (Música, Danza, Teatro o Artes Visuales) Orientación y Tutoría 2 1 35 6 Lengua Extranjera III 3 Tecnología III 3 Artes (Música, Danza, Teatro o Artes Visuales) Orientación y Tutoría 2 1 35 El plan de estudios para la educación media favorece (como contenidos fundamentales) el aprendizaje del español y el de las matemáticas, al darles presencia durante los tres grados con una buena cantidad de horas semanarias (5), sólo superada por ciencias (6), pero esta última abarca tres áreas: física, química y biología, y como generalmente tiene un carácter experimental, requiere de mayor tiempo para su enseñanza (sep, 2006). 63 En cuanto a las habilidades que se desarrollan en este ciclo escolar tenemos la capacidad para resolver problemas extrapolando situaciones, comprender textos, hacer inferencias, analogías y deducciones (sep, 2006). 64 Nueva estructura del exani-i A partir del año 2009 la estructura del exani-i se modiica. Ahora incluye dos instrumentos con inalidades claramente diferenciadas; un examen de carácter normativo cuya inalidad es apoyar los procesos de selección de las instituciones usuarias y otro instrumento cuyo propósito es conocer el nivel de adquisición de contenidos adquiridos durante la educación secundaria y que son fundamentales para los aprendizajes en la educación media superior. Ambos instrumentos son de opción múltiple con cuatro opciones de respuesta, de las cuales solamente una es la correcta. El examen de selección se estructura con las áreas de habilidades: Razonamiento verbal y Razonamiento matemático, así como con Español y Matemáticas. El examen diagnóstico se conforma de tres módulos: Ciencias naturales, que incluye Biología, Física y Química; Ciencias sociales, integrada por Historia, Geografía y Formación cívica y ética y el módulo de Inglés (tabla 4.6). Tabla 4.6. Estructura del Exámenes De Selección De Diagnóstico * Opcional exani-i a partir de 2009 Áreas Razonamiento lógico-matemático Matemáticas Razonamiento verbal Español Subtotal Biología Módulo de Ciencias Física Química naturales Historia Módulo de Ciencias Geografía Formación Cívica y Ética sociales Módulo de Inglés* Subtotal Total Exámenes de ingreso en perspectiva Reactivos Reactivos de prueba 20 20 20 20 2 2 2 2 (para calificar) 20 20 20 20 20 20 20 (no se califican) 88 154 242 2 2 2 2 2 2 2 Como se puede observar en la tabla, cada área del examen tiene dos reactivos piloto (no son tomados en cuenta para la caliicación de los sustentantes). Los reactivos con los que se caliican a los sustentantes han pasado por varias revisiones de carácter técnico por personal del Ceneval, que incluyen aspectos como: a) la veriicación de correspondencia entre los reactivos y la población a la que se dirigen, b) que los reactivos evalúen sólo un tema, c) que no contengan información innecesaria para la resolución de un problema, por mencionar sólo algunos. En lo que atañe a la validación externa de los reactivos, un Comité Académico integrado por tres especialistas en cada una de las secciones del examen, ajeno al Ceneval, procede a la revisión de 16 criterios preestablecidos y tras una discusión decide si el reactivo es aceptado o descartado. Con los criterios utilizados en esta tarea veriica si el contenido académico corresponde al examen; por ejemplo, si es relevante, si carece de estereotipos, si se encuentra en el nivel especiicado, y otros más relativos al enunciado del reactivo y otros tantos sobre las opciones de respuesta. Una vez que los reactivos son aceptados, pasan por una revisión de estilo que cuida ortografía y puntuación básicamente. Todo lo anterior ocurre antes de iniciar el proceso de construcción del examen. El piloteo y la calibración de los nuevos reactivos se realiza al incorporarlos en cuadernillos de diferentes versiones del examen (como reactivos piloto). Los cuadernillos son aplicados a los sustentantes, quienes contestan en hojas de lectura óptica. Estas hojas son leídas y caliicadas y se emiten y entregan los resultados. Posteriormente, en una nueva lectura se aplican los criterios para determinar los estadísticos de cada reactivo en piloteo. La parte del exani-i de selección integrada por los razonamientos verbal y matemático, español y matemáticas, es un instrumento con referencia a la norma, es decir, compara el desempeño de cada sustentante con el de toda la población a la que se aplica el examen. 65 66 Los contenidos básicos del examen de selección son los siguientes: Habilidad de razonamiento verbal. Esta área mide la amplitud del vocabulario del sustentante (en reactivos de sinónimos, antónimos y analogías), la construcción de oraciones y la comprensión de textos. Habilidad de razonamiento lógico-matemático. Esta área explora las habilidades lógico-matemática y espacial. La primera se mide con reactivos de sucesiones numéricas y problemas de razonamiento y la segunda mide, con reactivos de series espaciales y de imaginación espacial, la capacidad de percepción visual (objetos y formas) para realizar transformaciones y modiicaciones. Asimismo el examen de selección incluye los contenidos de las materias de Español y Matemáticas que son considerados fundamentales para diversos aprendizajes en el ciclo de la educación media superior. La estructura del examen de diagnóstico descansa en los conocimientos disciplinarios adquiridos durante la secundaria y se divide en Ciencias naturales y Ciencias sociales; cuando las instituciones usuarias lo requieren, se aplica un módulo de Inglés. Este instrumento es de carácter criterial, lo cual signiica que cada estudiante es independiente del desempeño de los otros. En este instrumento, el Consejo Técnico establece los puntos de corte que se relacionan con los conocimientos y habilidades que un estudiante debió adquirir, y su caliicación reiere si los tiene o no. La interpretación de este instrumento criterial es con respecto a los puntos de corte establecidos y no con respecto a la población. Exámenes de ingreso en perspectiva Tabla 4.7. Estructura del Exámenes Razonamiento verbal Español Comprensión de lectura Manejo de vocabulario Obtención de información Organización de información Elementos que intervienen en la coherencia, la cohesión y la adecuación en los textos Tipos de textos Biología El valor de la biodiversidad Tecnología y sociedad Transformación de materia y energía Nutrición y respiración para el cuidado de la salud Reproducción y sexualidad Genética, tecnología y sociedad Geografía Historia Inglés Química (para calificar) Sucesiones numéricas Series espaciales Imaginación espacial Problemas de razonamiento Significado y uso de los números Álgebra Manejo de la información estadística Formas geométricas Formación cívica y ética Reactivos Subáreas Matemáticas Física Diagnóstico a partir de 2009 (Detalle) Áreas Razonamiento lógico-matemático Selección exani-i La formación cívica y ética en el desarrollo social y personal La dimensión cívica y ética de la convivencia Identidad e interculturalidad para una ciudadanía democrática Los adolescentes y sus contextos de convivencia Principios y valores de la democracia Participación y ciudadanía democrática Hacia una ciudadanía informada, comprometida y participativa Pensar, decidir y actuar para el futuro El espacio geográfico y los mapas Geosistemas y ambiente Dinámica de la población y riesgos Espacios económicos y desigualdad social Espacios culturales y políticos De principios del siglo XVI a principios del siglo XVIII México en la era global (1970-2000) Ubicación espacio-temporal De mediados del siglo XVIII a mediados del siglo XIX De mediados del siglo XIX a 1920 El mundo entre 1920 y 1960 Décadas recientes Las culturas prehispánicas y la conformación de Nueva España Nueva España desde su consolidación hasta la independencia De la consumación de la Independencia al inicio de la Revolución Mexicana (1821-1911) Instituciones revolucionarias y desarrollo económico (1911-1979) English Texts understanding Las características de los materiales Estructura y periodicidad de los elementos La reacción química Total (no se califican) 20 2 20 2 20 2 20 2 Total El movimiento. La descripción de los cambios en la naturaleza Las fuerzas. La explicación de los cambios Las interacciones de la materia. Un modelo para describir lo que no percibimos Manifestaciones de la estructura interna de la materia Reactivos de prueba 88 20 2 20 2 20 2 20 2 20 2 20 2 20 2 154 67 Debido a que la ems en México incluye una gran variedad de opciones educativas para el bachillerato, el exani-i puede aplicarse de siete formas distintas en atención a las necesidades, características y requerimientos de las instituciones usuarias. Estas opciones de aplicación se detallan en la tabla 4.8. Tabla 4.8. Opciones de aplicación y duración del Opciones de aplicación del exani-i 1 Examen de selección (únicamente) 88 Duración 2 hrs. 220 5 h. 15 min. 3 Examen de selección y examen de diagnóstico, con módulo de Inglés 242 5 h. 45 min. 4 Examen de selección y módulo de Ciencias naturales 154 3 h. 45 min. 5 Examen de selección y módulo de Ciencias sociales 154 3 h. 45 min. 6 Examen de selección, módulo de Ciencias naturales e Inglés 176 4 h. 15 min. 7 Examen de selección, módulo de Ciencias sociales e Inglés 176 4 h. 55 min. 2 Examen de selección y examen de diagnóstico, sin módulo de Inglés 68 Total de reactivos exani-i Tiempo total Incluye 15 minutos de receso al terminar el Examen de selección Reporte de resultados del exani-i Los resultados del exani-i se emiten en una escala conocida como índice Ceneval (icne). Esta escala tiene puntajes que van de 700 a 1,300 puntos en números enteros (Vidal, Leyva, Tristán y Martínez-Rizo, 2000). Esta escala se obtiene al tomar las puntuaciones (xi) de acuerdo con la versión presentada, se le resta la media (m) de las puntuaciones de los sustenExámenes de ingreso en perspectiva tantes y se divide entre la desviación estándar (s). Para calcular una puntuación estandarizada se utiliza la siguiente fórmula: Z=(Xi-M)/s Dado su carácter normativo, el instrumento es diseñado con reactivos cuyo grado de diicultad está distribuido uniformemente en un rango de 20% a 80%, lo que permite que los puntajes de la población tengan una distribución normal. Por lo anterior, este procedimiento se lleva a cabo con la media de 50% y desviación estándar de 16.67% correspondiente a una distribución normal teórica. Posteriormente se efectúa el cálculo del icne a partir del valor z, de acuerdo con lo siguiente: ICNE=100Z + 1000;700 ≤ ICNE ≤ 1300 El valor del icne es redondeado al entero más próximo. Los valores que exceden los límites del rango de caliicación se limitan imponiendo un valor mínimo de 700 y uno máximo de 1,300. Se reporta además de la caliicación global y por tema en icne el percentil alcanzado en ambos para facilitar a los sustentantes su ubicación con respecto al grupo en el cual presentaron el examen, así como una gráica comparativa del grupo de sustentantes y las puntuaciones más altas y más bajas alcanzadas en este grupo. Las instituciones usuarias del exani-i hasta 2008 han recibido informes con gráicos como los siguientes que les permiten obtener la información que requieren. Sin embargo, a partir de 2009 el Ceneval ha desarrollado un software llamado Sistema Generador de Informes Institucionales (sigii) con el que cada institución podrá manejar la información de acuerdo con sus necesidades. En la siguiente gráica se presenta una comparación de los resultados de una institución “x” con la población total que presenta el examen. 69 Figura 4.1. Comparación entre la distribución de puntajes de una institución con la distribución nacional del exani-i 70 El siguiente gráico (igura 4.2) muestra los resultados obtenidos en cada una de las áreas que maneja el examen. Figura 4.2. Resultados global y por áreas en el exani-i de la institución Exámenes de ingreso en perspectiva x También es posible comparar los resultados obtenidos por género o cualquier otra característica reportada de la población (igura 4.3 y 4.4). Figura 4.3. Comparación de resultados por género 71 Hombres Hombres Mujeres Mujeres Todos estos gráicos y otros que sean de interés para los usuarios podrán ser generados a partir del sigii. Figura 4.4. Comparación de resultados por régimen de la escuela de procedencia (público y privado) 72 Pública Pública Exámenes de ingreso en perspectiva Privada Privada numeralia 1994-2008 A continuación se ofrece información generada en la Unidad de Proyectos Especiales de la Dirección General Adjunta de exani sobre el exani-i, desde sus inicios hasta nuestros días. Las cifras corresponden a las aplicaciones del Examen Metropolitano utilizado en el Valle de México, el de admisión al Conalep y las demás aplicaciones nacionales. De 1994 a 1997, siendo director del Ceneval el Mtro. Antonio Gago, se tuvieron las siguientes cifras: Examen exani-i 1994 299,973 1995 395,669 1996 437,737 1997 511,351 De 1998 a 2001, durante el segundo período del Mtro. Antonio Gago, se tuvieron las siguientes cifras: Examen exani-i 1998 504,857 1999 523,052 2000 467,577 2001 493,412 De 2002 a 2005, estando en la Dirección del Ceneval el Dr. Salvador Malo, se tuvieron las siguientes cifras: Examen exani-i 2002 502,379 2003 534,235 2004 567,090 2005 635,785 A partir de 2006, con el Mtro. Rafael Vidal al frente del Ceneval, tenemos las siguientes cifras: Examen exani-i 2006 708,118 El total de exámenes de 8,043,678. 2007 667,240 exani-i 2008 795,203 aplicados desde 1994 hasta 2008 es de 73 74 Validez del EXANI-I En 1999 se llevó a cabo por cuarto año consecutivo el análisis de validez predictiva del exani-i el cual reporta las correlaciones entre los resultados obtenidos en las aplicaciones de 1997 y las caliicaciones obtenidas por una muestra de sustentantes al concluir el primer año de bachillerato en las instituciones que participaron voluntariamente en el estudio. Los resultados se obtuvieron con respecto a la muestra en general, por submuestras y por cada institución participante, tomando en cuenta la situación académica (regular o irregular) de los 5,124 estudiantes que participaron, de los cuales 3,213 eran alumnos regulares y 1,911 irregulares. También se tomó en cuenta el género de los estudiantes y el régimen o tipo de escuela de procedencia. Los resultados del estudio muestran una correlación alta entre las caliicaciones totales del exani-i y las obtenidas por los estudiantes después del primer año de bachillerato (0.46) al igual que la obtenida en las dos áreas del examen (conocimientos, 0.45 y habilidades 0.41), por lo que se airma que la prueba tiene un buen valor predictivo. Esto se apoya en el hecho de que durante los cuatro años en que se realizaron estudios de validez predictiva los coeicientes de correlación del examen aumentaron signiicativamente. Con respecto al género no hubo diferencias signiicativas entre las correlaciones de las caliicaciones del exani i y las obtenidas al terminar el primer año de bachillerato, tanto para los estudiantes de género masculino como del femenino (0.49 y 0.47, respectivamente). El exani obtuvo coeicientes de correlación signiicativos sin importar el régimen de escuela de procedencia (público o privado), y la diferencia entre los coeicientes de los regímenes no fue signiicativa (pública, 0.45 y privada, 0.51). Exámenes de ingreso en perspectiva Referencias act (2005). act Scores Are Better Than High School gpa in Predicting Supe- rior Performance in First Year of College. Recuperado el 21 de febrero de 2008, disponible en: www.act.org/news/releases/2002/09-25-02.html act (2007). The act: Thecnical manual., disponible en: www.act.org American Dental Association (2005). User’s manual. Recuperado el 10 de marzo de 2008, disponible en: www.ada.org American Dental Association (2007). Validity study 2003 - 2004. Recuperado el 10 de marzo de 2008, disponible en: www.ada.org Andrews, K.M. & Ziomek, R.L. (1998). Score gains in retesting with the act assessment. act. Recuperado el 23 de julio de 2008, disponible en: www. act.org/research/researchers/reports/pdf/act _RR98-07.pdf Association of American Medical College (2008). mcat essentials. Washington, dc: mcat. Australian Council of Educational Research (2007). gamsat Information booklet. Recuperado el 15 de mayo de 2008, disponible en: www.gamsat.acer. edu.au Burton, N.W., & Wang, M. (2005). Predicting long-term success in graduate school: A collaborative validity study. Educational Testing Service. Recuperado el 11 de marzo de 2008, disponible en: www.ets.org/portal/site/ets/ menuitem Centro Nacional de Evaluación para la Educación Superior (2008). Metodología Ceneval. México: Ceneval. Centro Nacional de Evaluación para la Educación Superior (2009). Guía del exani-i. México: Ceneval. Emery, J.L. (2007). A report on the predictive validity of the bmat (2005) for 1st year examination performance on the Medicine and Veterinary Medicine courses at the University of Cambridge. Cambridge Assessment. Recuperado el 10 de marzo de 2008, disponible en: www.bmat.org.uk ets (2004). What is the value of the Graduate Record Examinations? Educational Testing Service. Recuperado el 21 de febrero de 2008, disponible en: www.ets.org/gre 75 76 Hernández, J. (2004). “Origen y desarrollo del exani”. En: Evaluación de la Educación en México: Indicadores del exani-i. México: Ceneval. iea (2003). timss assessment frameworks and speciications 2003. recuperado el 8 de mayo de 2007, disponible en: http://timss.bc.edu/timss2003i/PDF/ t03_af_book.pdf Kaplan, R.M. & Saccuzzo, D.P. (2006). Pruebas psicológicas: Principios, aplicaciones y temas. Mexico: Cengage Learning Editores. Mertler, C.A. (2007). Interpreting standardized test scores: Strategies for data-driven instrutional decision making. California, ee. uu.: Sage Publications. National Postsecondary Education Cooperative (2000). The npec sourcebook on assessment, volume 1: Deinitions and assessment methods for critical thinking, problem solving and writing. Washington, dc: National Center for Education Statistics. Nitko, A.J. (2001). Educational assessment of students. Upper Saddle River, nj: Merril Prentice Hall. Nobel, J. et al. (1999). Relationship between the noncognitive characteristics, high school course work and grades, and test scores for act-tested students. Recuperado el 8 de agosto de 2008, disponible en: http://www.act. org/research/researchers/reports/pdf/ACT_RR99-04.pdf Norris, D. et al. (2006). The College Board sat writing validity study: An assessment of predictive and incremental validity. New York, ee. uu.: College Board. No. 2006-2. powers, d.e. (2004) Validity of Graduate Record Examinations (gre) General Test Score for admissions to Colleges of Veterinary Medicine. Journal of Applied Psychology: Vol. 89(2) pp. 208-219. oecd (2006). Assessing cientiic, reading and mathematical literacy: A framework for pisa 2006. recuperado el 14 de mayo de 2007, disponible en: http://www.oecd.org/dataoecd/63/35/37464175.pdf Exámenes de ingreso en perspectiva Secretaría de Educación Pública (2006). Plan de Estudios. Recuperado el 16 de febrero de 2009, disponible en: www.telesecundaria.dgme.sep.gob.mx/ formacion/planestudios2006.pdf Talento-Miller, E., & Rudner L.M. (2005). gmat validity study summary report for 1997 to 2004. Graduate Management Admission Council. Recuperado el 5 de marzo de 2008, disponible en: http://www.gmac.com/NR/ rdonlyres/C5775E5D-B3C9-420F-A520-3D016E79BC1C/0/RR0506_ VSSSummaryReport.pdf Thorton, A.E. et al. (2005). Predictive validity of accommodated lsat scores. Technical report. Law School Admission Council. Recuperado el 6 de marzo de 2008, disponible en: www.eric.ed.gov/contentdelivery/servlet/ ERICServlet?accno=ED469183 Vidal, R. et al. (2000). Manual técnico del Centro Nacional de Evaluación para la Educación Superior. México: Ceneval. 77 El Centro Nacional de Evaluación para la Educación Superior es una asociación civil sin ines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura pública número 87036 pasada ante la fe del notario 49 del Distrito Federal. Sus órganos de gobierno son la Asamblea General, el Consejo Directivo y la Dirección General. Su máxima autoridad es la Asamblea General, cuya integración se presenta a continuación, según el sector al que pertenecen los asociados, así como los porcentajes que les corresponden en la toma de decisiones (voto ponderado): Asociaciones e instituciones educativas (40%): Asociación Nacional de Universidades e Instituciones de Educación Superior, a.c. (anuies); Federación de Instituciones Mexicanas Particulares de Educación Superior, a.c. (fimpes); Instituto Politécnico Nacional (ipn); Instituto Tecnológico y de Estudios Superiores de Monterrey (itesm); Universidad Autónoma del Estado de México (uaem); Universidad Autónoma de San Luis Potosí (uaslp); Universidad Autónoma de Yucatán (uady); Universidad Nacional Autónoma de México (unam); Universidad Popular Autónoma del Estado de Puebla (upaep); Universidad Tecnológica de México (unitec). Asociaciones y colegios de profesionales (20%): Barra Mexicana Colegio de Abogados, a.c.; Colegio Nacional de Actuarios, a.c.; Colegio Nacional de Psicólogos, a.c.; Federación de Colegios y Asociaciones de Médicos Veterinarios y Zootecnistas de México, a.c.; Instituto Mexicano de Contadores Públicos, a.c. Organizaciones productivas y sociales (20%): Academia de Ingeniería, a.c.; Academia Mexicana de Ciencias, a.c.; Academia Nacional de Medicina, a.c.; Fundación ica, a.c. Autoridades educativas gubernamentales (20%): Secretaría de Educación Pública. • Ceneval, a.c.®, exani-i®, exani-ii® son marcas registradas ante la Secretaría de Comercio y Fomento Industrial con el número 478968 del 29 de julio de 1994. egel®, con el número 628837 del 1 de julio de 1999, y exani-iii®, con el número 628839 del 1 de julio de 1999. • Inscrito en el Registro Nacional de Instituciones Cientíicas y Tecnológicas del Consejo Nacional de Ciencia y Tecnología con el número 506 desde el 10 de marzo de 1995. • Organismo Certiicador acreditado por el Consejo de Normalización y Certiicación de Competencia Laboral (conocer) (1998). • Miembro de la International Association for Educational Assessment. • Miembro de la European Association of Institutional Research. • Miembro del Consortium for North American Higher Education Collaboration. • Miembro del Institutional Management for Higher Education de la ocde. La publicación de esta obra la realizó el Centro Nacional de Evaluación para la Educación Superior, A.C. Se terminó de imprimir el 31 de julio de 2009 en los talleres de Winkilis, Bugambilias 131, Col. El Rosario, México, D.F., C.P. 09930, con un tiraje de 500 ejemplares