Encuentros o Desencuentros

Perfiles Educativos ISSN: 0185-2698 [email protected] Instituto de Investigaciones sobre la Universidad y la Educación México Padilla Magaña, Rosa Aurora Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Perfiles Educativos, vol. XXXI, núm. 123, 2009, pp. 44-59 Instituto de Investigaciones sobre la Universidad y la Educación Distrito Federal, México Disponible en: http://www.redalyc.org/articulo.oa?id=13211176004 Cómo citar el artículo Número completo Más información del artículo Página de la revista en redalyc.org Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros?* Rosa Aurora Padilla Magaña** El propósito de este artículo es ofrecer un panorama del contenido de dos de los exámenes masivos aplicados en México a estudiantes que han concluido o están por concluir la educación básica; uno es de corte internacional y el otro, nacional. Analizar el contenido de los exámenes a gran escala que se aplican de manera consecutiva en nuestro país permitirá conocer el estado que guardan nuestros exámenes nacionales con respecto a las tendencias internacionales en materia de elaboración de exámenes. — Evaluación Exámenes nacionales Pruebas internacionales Educación básica The purpose of this paper is to provide an outlook of the contents of two of the large-scale examinations administered to students who have finished or are about to finish secondary education; one is international and the other national. To analyze the contents of large-scale tests that are taken in a consecutive way in our country will help to know the state of our national examinations compared to the international trends for what regards the making of examinations. — Assessment National examinations International tests Secondary education * Este trabajo forma parte de una investigación más amplia denominada “Exámenes masivos: un análisis entre pruebas internacionales y nacionales”. ** Maestra en pedagogía y actualmente estudiante del doctorado en pedagogía en la Facultad de Filosofía y Letras de la UNAM. Profesora de asignatura del Colegio de Pedagogía en el Sistema de Universidad Abierta. Correo electrónico [email protected] Recepción: 9 de octubre de 2007 / Aprobación: 24 de febrero de 2009 44 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM ta en nuestro sistema educativo, pero que adolece de una reflexión teórica y metodológica en materia de elaboración de exámenes. Por tal razón el docente, único capaz de generar un cambio y mejora educativa, presenta dificultades para identificar las tendencias actuales en materia de elaboración de exámenes y reconocer la posible evolución que el campo ha tenido. Esta situación resulta ambigua y contradictoria, porque por un lado se juzga al docente ante los resultados obtenidos por sus estudiantes en los ámbitos nacional e internacional; pero al mismo tiempo, se le deja al margen de los procesos y reflexiones que pueden surgir en torno a los sistemas evaluativos y al porqué de sus resultados. Preocupados por esta situación, consideramos que lo importante en materia de exámenes masivos4 no es nada más cuestionar su pertinencia o buscar un culpable del resultado obtenido por los estudiantes, la escuela o el país. Es importante analizar y comparar el contenido de dos de las pruebas de mayor auge y permanencia en nuestro país. El fin es dar a conocer a los docentes y público en general el tipo de contenidos INTRODUCCIÓN Durante las últimas décadas, la evaluación mediante exámenes a gran escala se ha convertido en una práctica común en México y Latinoamérica. Su rápida inserción en los sistemas educativos, sobre todo a partir de la segunda mitad del siglo xx, los ha convertido en el instrumento idóneo para poner en tela de juicio el trabajo del docente. El examen, con su aplicación masiva, ha pasado de ser un instrumento del docente, para convertirse en un instrumento contra el docente. La aparición de agencias de evaluación que desde los años cincuenta han aplicado estudios comparados del rendimiento escolar, como la Internacional Association for the Evaluation of Educational Achievement (Asociación Internacional para la Evaluación del Logro Educativo) (IEA)1 y la incursión de México en estudios de evaluación internacional a partir de los años noventa2 lleva a pensar que la adopción de exámenes nacionales e internacionales3 para medir el rendimiento escolar es parte de una política educativa que se ha insertado y adoptado de manera abrup— 1 “Los orígenes de esta asociación se remontan a inicios de internacionales. Se trata de “instrumentos de medición los 50, cuando pequeños grupos de profesores iniciaron estandarizados que se aplican en varios países simultánea- conversaciones informales en torno al entonces Instituto de mente, en grados o grupos seleccionados y que recogen Educación de la UNESCO. El interés común que reunía a las información sobre logros de aprendizaje conceptual y pro- personas en esa época era el área de educación comparada, cedimental en diferentes disciplinas y sobre los factores pero con el tiempo el énfasis varió hacia las técnicas aplica- contextuales que se presume influyen en el logro académico das de evaluación educacional, que permitiera hacer com- de los estudiantes” (Ferrer y Arregui, 2003: 8). paraciones válidas entre naciones” (Hull, 1997: 117). 2 3 4 Como exámenes masivos entendemos las pruebas aplicadas México comienza su incursión en estudios internacionales a gran escala que cumplen con las cualidades psicométricas de evaluación en 1995 con el Tercer Estudio Internacional básicas y las características técnicas que permitan la aplica- en Matemáticas y Ciencias (TIMSS). En 1997 participó en ción a muestras numerosas en forma casi simultánea. La el Primer Estudio Internacional Comparativo sobre Len- aplicación de exámenes masivos en México comienza a par- guaje, Matemáticas y Factores Asociados para Alumnos de tir de 1970. Una de las experiencias pioneras al respecto en Tercer y Cuarto grado de la Educación Básica, realizado este país fue la realizada por la Facultad de Medicina de la por el Laboratorio Latinoamericano de Evaluación de la UNAM, Calidad (LLECE) de la UNESCO. En 2000, 2003 y 2006 ha reactivos de opción múltiple para el examen de titulación participado de manera consecutiva en el Programa Interna- de la carrera de Médico Cirujano. Los exámenes de selec- cional para la Evaluación de los Estudiantes (PISA) auspicia- ción para ingreso a la do por la Organización para la Cooperación y el Desarrollo importantes al respecto. En materia de educación básica la que a mediados de los 70 desarrolló un banco de UNAM se consideran como las más Económico (OCDE). SEP, Se conoce como “pruebas internacionales” a los estudios de muestras nacionales de alumnos para valorar el aprendizaje evaluación comparada realizados por agencias y organismos (Martínez, 2001: 80-83). 45 a finales de los 70 comienza la aplicación de pruebas a Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? primera vez en el año 2000 a un número aproximado de 250 mil estudiantes de 15 años, aquellos que en el ámbito mundial se encuentran concluyendo la educación básica. Una muestra pequeña de los 17 millones de jóvenes de los 32 países participantes (OCDE, 2002a: 16).7 Su objetivo fue obtener indicadores sobre el rendimiento en las áreas de lectura,8 matemáticas y ciencias de los estudiantes de 15 años para, por una parte, contar con elementos que permitieran influir en la definición de las políticas educativas y, por otra, identificar y difundir los factores que en cada sistema educativo favorecen el desarrollo de competencias y aptitudes. El fin de todo esto es apoyar a los países en la mejora de su sistema escolar, con miras a una mejor preparación de los jóvenes para ingresar al mundo cambiante y globalizado. con los que están siendo evaluados nuestros estudiantes y advertir la relación que éstos guardan entre sí y con lo trabajado en el aula. Hemos optado por analizar y comparar el contenido del Programa Internacional para Evaluación de Estudiantes, mejor conocido como PISA, promovido por la Organización para la Cooperación y el Desarrollo Económico (OCDE), y del Examen Nacional de Ingreso a la Educación Media Superior (EXANI-1), aplicado por el Centro Nacional para la Evaluación de la Educación Superior (CENEVAL) presentando el origen, propósito y habilidades que se incluyen en cada uno de ellos en un área de evaluación común de ambas pruebas como son las matemáticas y el ejemplo del manejo de este contenido en algunos de sus reactivos.5 Aunque se trata de exámenes diferentes en cuanto a su concepto de elaboración,6 ambos son de tipo prospectivo y diagnóstico y son aplicados a estudiantes que han concluido o están por concluir su educación básica, lo que los hace factibles de una posible comparación y permite dar cuenta de la situación que guarda nuestro país en materia de elaboración de exámenes a gran escala. Propósito PISA es una evaluación comparada de tipo estandarizada y de corte prospectivo, cuya intención es conocer el grado de preparación de los estudiantes para la vida adulta en cuanto al manejo de ciertos conocimientos básicos, los procesos y principios que se necesitan para la comprensión de los conceptos implicados en éstos y la capacidad de los alumnos para responder a situaciones diferentes en contextos que demandan la aplicación de conocimientos y destrezas desarrolladas hasta el momento (OCDE, 2000). Las cuestiones a las que obedece PISA son, de acuerdo con la OCDE (2002a: 3): LA PRUEBA PISA El Programa Internacional de Evaluación de Estudiantes (PISA) es el más reciente estudio evaluativo de corte internacional realizado básicamente con todos los países miembros de la OCDE y con algunos países no miembros que han aceptado unirse. • ¿Tienen los estudiantes la preparación adecuada para enfrentar los retos del futuro? • ¿Son capaces de analizar, razonar y comunicar sus ideas eficazmente? Origen El estudio se concibió en 1997 y se puso en marcha al año siguiente. Fue aplicado por — 5 6 Dado que la intención de este artículo no es un análisis 7 Posteriormente, en el año 2001, 11 países decidieron in- de reactivos, sino del contenido de las pruebas, se toma- corporarse al proyecto ron como ejemplos sólo dos reactivos de cada una de las Hong Kong-China, Indonesia, Israel, pruebas. Perú, Rumania y Tailandia. Los resultados de este estudio, Aunque ambos manejan el término de habilidades, PISA: Argentina, Bulgaria, Chile, FYR Macedonia, que implica una cobertura más amplia, se publicaron en PISA está enfocado a diagnosticar las habilidades y destrezas para OECD-UNESCO, 8 la vida y el EXANI-1 se aboca a las habilidades de tipo más PISA 2003. 2000, estuvo principalmente orientado a la evaluación de la lectura. académico, relacionadas con contenidos disciplinarios. 46 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? • ¿Tienen la capacidad de continuar aprendiendo durante toda su vida?9 mandan la reunión de ideas y procedimientos matemáticos para resolver problemas. La reflexión consiste en el razonamiento matemático y la generalización e introspección. Es decir, son destrezas generales que incluyen la argumentación, diseño, planteamiento y resolución de problemas, representación, simbolización, formalismo, comunicación y uso de herramientas, todas ellas enfocadas a la resolución de problemas, al uso del pensamiento matemático y el diseño de éste. Estas competencias no se evalúan por separado, sino de manera conjunta, mediante tareas que a su vez demandan un tipo de destreza específico. Para el primer nivel de competencia, que es el más elemental, las tareas se refieren al recuerdo de objetos y propiedades matemáticas, desarrollo de procedimientos de rutina y la manipulación de expresiones que contengan símbolos, es decir, destrezas de corte simbólico, formal y técnico. En el segundo nivel de competencia, el intermedio, las tareas que se solicitan son: manejo de distintos métodos de representación de acuerdo con ciertas situaciones y objetos, así como distinguir y relacionar diferentes afirmaciones, lo que requiere destrezas de argumentación, diseño, planteamiento, decodificación e interpretación del lenguaje simbólico y formal, y comprensión de sus relaciones con el lenguaje natural. En el tercer nivel de competencia, que es el más complejo, lo que se pretende es la matematización implícita en todo pensamiento matemático.11 Las tareas que se incluyen son: Contenido de la evaluación matemática en PISA En las pruebas de matemáticas del PISA, lo que se mide es la aptitud matemática, entendida como la “aptitud para plantear, formular, resolver e interpretar problemas a través de las matemáticas en diferentes situaciones y contextos” (OCDE, 2004: 27). Dos son los campos de evaluación: a) “Grandes ideas”10 b) Competencias matemáticas Estos campos incluyen tres áreas: • Contenidos • Procesos o procedimientos • Situaciones o tareas en las que se emplean las matemáticas Los contenidos, definidos como “conjuntos de conceptos matemáticos relevantes y conectados que se presentan en situaciones y contextos reales” (OCDE, 2000: 24), son temas generales presentados como grandes ideas que incluyen cantidades, espacios, formas, cambios y relaciones e incertidumbre. Los procesos o procedimientos se refieren a aptitudes agrupadas en tres clases de “conjuntos de competencias”: reproducción, conexiones y reflexión. La reproducción incluye cálculos simples o definiciones comunes. Las conexiones de— 9 una intencionalidad de comprobar la efectividad de los sisEstos son los cuestionamientos base que la OCDE establece temas educativos en términos de su funcionalidad para en sus documentos y que responde a un modelo de apren- insertar a los jóvenes al mundo del trabajo y a la vida pro- dizaje dinámico entendido como “aprendizaje a lo largo de ductiva. Este es el transfondo sociopolítico y económico de la vida en el que se van añadiendo nuevos conocimientos y los estudios de evaluación de la OCDE, aspecto que no abor- destrezas que son necesarios para la adaptación con éxito a damos con profundidad en este trabajo por considerar que las circunstancias de cada momento” (OCDE, 2000: 20). El escapa a las intención central del mismo: realizar un análisis propósito que la OCDE se plantea es realizar una evaluación de los estudios de evaluación de la de tipo prospectiva, enfocada a comprobar la capacidad de pedagógico que de lo social. OCDE más desde lo los jóvenes para emplear sus conocimientos y competencias 10 En el proyecto OCDE-PISA, “las grandes ideas matemáticas al enfrentar los retos que presenta la vida real y la sociedad representan conjunto de conceptos matemáticos funda- del conocimiento, más que comprobar el dominio de un mentales y conectados que aparecen en situaciones y con- plan de estudios (OCDE, 2002: 14). Sin embargo, asumimos textos matemáticos reales” (OCDE, 2000: 74). que indudablemente tales cuestionamientos responden a 11 En el proyecto PISA la matematización se concibe como la 47 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Cuadro 1. La evaluación de las matemáticas en el examen PISA Procesos cognitivos Destrezas implícitas Reproducción Cálculos simples Recuerdo Desarrollo de procedimientos Manipulación de expresiones Conexiones Reunión de ideas y procedimientos Manejo de métodos Distinguir y relacionar Interpretar Argumentar Diseñar Plantear Decodificar Reflexión Razonamiento matemático Generalización Análisis Interpretación Desarrollo de modelos Demostración Generalización Definición Dimensiones Campos Temas Capacidad de identificar, comprender y practicar las matemáticas Grandes ideas Contenidos Cantidades Espacios/formas Cambios Relaciones e incertidumbre Competencias Procesos y procedimientos (competencias) Situaciones o con- Tareas auténticas textos Problemas donde se empleen las matemáticas organización de la realidad percibida a través de la utilización de ideas y conceptos matemáticos para lo cual se mientos y destrezas matemáticas adquiridas. La matemati- requiere de diversas competencias. Esta matematización zación vertical, que requiere trabajar sobre un problema y puede acontecer en dos direcciones: matematización hori- emplear herramientas para resolverlo, mediante la repre- zontal, que implica trasladar al mundo real el matemático, sentación de una relación, la comprobación de regularida- mediante la organización empleada para descubrir regula- des, el refinado, combinación e integración de ajustes y ridades, relaciones y estructuras con base en los conoci- modelos (OCDE, 2000: 79). 48 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? El Cuadro1 muestra de manera conjunta la organización del contenido en las pruebas de matemáticas del PISA para alumnos que están por concluir la educación básica y permite observar que el contenido de evaluación en PISA está más enfocado a procesos y procedimientos que a contenidos disciplinares como tales. Más bien éstos están agrupados en cinco grandes grupos, que tienen que ver con tales procedimientos. Como una manera de ilustrar el contenido propuesto presentamos algunos ejemplos de los reactivos de matemáticas de la prueba PISA. análisis, interpretación y desarrollo de los propios modelos y estrategias para la resolución de problemas, así como presentación de argumentos matemáticos que incluyen demostraciones y generalizaciones. Para ello se requiere de la capacidad para expresar y comunicar ideas matemáticas en distintas maneras, así como de la comprensión y razonamiento de las expresiones matemáticas en diversidad de formas (OCDE, 2000: 75-78). Las situaciones se refieren a “tareas auténticas” que representan los tipos de problemas en donde se emplean las matemáticas que se encuentran en la vida diaria. Reactivo de matemáticas de la prueba PISA. Manzanas Un agricultor planta manzanos en un patrón cuadrado. Para proteger sus árboles contra el viento, planta coníferas alrededor de la huerta. A continuación puedes ver un diagrama de esta situación donde puedes observar el patrón de manzanos y coníferas para cualquier número (n) de filas de manzanas: x = coníferas / • = manzano n=1 x x x x • x x x x n=2 xxxxx x • • x x x x • • x xxxxx n=3 x x x x x x x xxxxxx • • • x x • • • x x • • • x xxxxxx n=4 x x x x x x x x x xxxxxxxx • • • • x x • • • • x x • • • • x x • • • • x xxxxxxxx * Tomado de OCDE, 2002, p. 105. 49 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Pregunta 1 Completa el siguiente cuadro: n Núm. de manzanos Núm. de coníferas 1 2 3 4 5 1 4 9 16 25 8 16 24 32 40 Pregunta 2 Existen dos fórmulas que puedes emplear para calcular el número de manzanos y el número de coníferas para el patrón descrito arriba: Número de manzanos = n Número de coníferas = 8n Donde n es el número de filas de manzanos. Existe un valor de n para el cual el número de manzanos es igual al número de coníferas. Encuentra el valor de n y muestra el método para calcularlo. Pregunta 3 Supón que el agricultor desea agrandar mucho más su huerta y sembrar varias filas de manzanos. Conforme el agricultor agranda su huerta, ¿cuál crecerá más rápido, el número de manzanos o el de coníferas? Explica cómo encontraste tu respuesta. Contenido (Idea): Procesos (comportamientos): Cambio y relaciones Preguntas 1 y 2: conexiones e integración para la solución de problemas. Pregunta 3: construcción matemática, pensamiento matemático, generalización y planteamiento de ideas. Este es un multireactivo,12 en donde las preguntas que lo conforman contienen diferente grado de complejidad: en la pregunta 1 se espera que a partir de un patrón dado los alumnos sean capaces de interpretar la información presentada y encontrar las relaciones correspondientes. En la pregunta 2, los alumnos necesitarán interpretar expresiones que contengan palabras y símbolos y vincular diferentes representaciones (gráfica, verbal y algebraica) en dos relaciones (cuadráti- ca y lineal), además de usar su razonamiento para explicar su respuesta. En la pregunta 3 se requiere demostrar la comprensión de las funciones matemáticas mediante la comparación de una función lineal con una cuadrática. Se trata de una pregunta que implica un pensamiento matemático, en donde el estudiante deberá reconocer y extraer las matemáticas incluidas en una situación dada para el planteamiento y resolución de problemas, en situaciones que requieren del análisis, la interpretación y el desarrollo de los propios modelos matemáticos, que incluyan la demostración y generalización. — 12 Se conocen como multireactivos los reactivos que dependen de un texto fuente, del cual se derivan varias preguntas. 50 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Reactivo. Las figuras ¿Cuál de las figuras tiene mayor área? Muestra tu razonamiento A B Contenido (Idea) Espacio y forma C Procesos (comportamiento) Reproducción y cálculo *Tomado de OCDE, 2001a, p. 95. Este reactivo requiere de procesos de reproducción y cálculo y memoria de expresiones y procedimientos de medida relacionados con el espacio y la forma (geometría). Los reactivos de un examen de matemáticas del PISA para jóvenes de 15 años, dan cuenta de que las matemáticas son evaluadas con reactivos que demandan capacidades de análisis, interpretación y representación de situaciones matemáticas que se puedan encontrar en la vida diaria. Así tenemos que el contenido de la evaluación matemática en PISA está centrado en la activación de procesos y habilidades intelectuales para la aplicación del conocimiento a contextos reales. damentalmente por la Coordinación Nacional para la Planeación de la Educación Superior (CONPES), cuyos orígenes datan del año 1996;13 se estructura y elabora por el Centro Nacional de Evaluación de la Educación Superior (CENEVAL) con base en las normas, políticas y criterios que establece su consejo técnico (véase http://www.cenevalac.edu.mx/ portalceneval/index.php?q=info.fichas.ficha54). Propósito del EXANI-1 El EXANI-1, examen dirigido a jóvenes que actualmente se encuentran cursando el tercer grado de secundaria, tiene fines meramente de diagnóstico; de acuerdo a lo señalado por CENEVAL, es un examen para explorar lo que se sabe y cómo se usa lo que se sabe, es decir, las habilidades14 que deben haber desarrollado los estudiantes durante los estudios de secundaria y que son indispensables para enfrentar con éxito los aprendizaje que se ofrecen en la educación media superior. Los resultados del EXANI-1 permiten identificar a los aspirantes con mayores probabilidades de éxito en la educación media superior (CENEVAL, 2004). EL EXAMEN NACIONAL DE INGRESO A LA EDUCACIÓN MEDIA SUPERIOR PARA ALUMNOS QUE CONCLUYEN LA EDUCACIÓN BÁSICA (EXANI-1) Orígenes del EXANI-1 El Examen Nacional de Ingreso a la Educación Media Superior (EXANI-1), creado fun— 13 El Concurso de Selección para la Educación Media Supe- la educación media superior que las instituciones por sí solas rior, convocado en el año de 1996 por la Comisión Metro- no podían resolver. (Véase Comisión Metropolitana de Ins- politana de Instituciones Públicas de Educación Media tituciones Públicas de Educación Media Superior, Concurso Superior, se sitúa como un antecedente importante del de Selección para la Educación Media Superior 1996). EXANI-1 y se establece como respuesta para atender las pro- 14 Nótese que aquí se manejan habilidades como uso de co- blemáticas originadas por el incremento de la demanda de nocimientos. 51 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? • No hay relación entre la definición del objeto de evaluación y la organización del contenido a evaluar en sus reactivos. • La conceptualización sobre las habilidades o contenidos que se evalúan es inexistente. • Las “habilidades” se evalúan de manera independiente a los contenidos, lo que hace pensar que no se consideran como parte de un proceso de conocimiento. • Se refieren habilidades como contenidos, lo que denota no sólo una ausencia de clarificación del concepto, sino una confusión en el uso de los mismos. • Se nota la ausencia de una fundamentación que justifique el tipo de reactivos utilizados y la forma en como éstos se estructuran e integran en la prueba.15 La Contenido del EXANI-1 El EXANI-1 (Cuadro 2) es una prueba de razonamiento y conocimientos básicos en donde se incluyen preguntas que están organizadas de acuerdo a dos campos de evaluación: • Habilidades intelectuales básicas • Conocimientos disciplinarios. Al revisar el contenido que el EXANI-1 presenta, observamos algunas situaciones que consideramos importante destacar: • El contenido de evaluación está centrado en los planes y programas de estudio de la educación básica; no existe un contenido propio debido a la ausencia de la definición de un contenido a evaluar. • La mayor parte de los contenidos a evaluar son de tipo declarativo, lo que hace escasa la evaluación de procedimientos. • Los conocimientos evaluados son presentados como un listado de temas, lo que revela cierto enciclopedismo. — 15 El argumento que se les da a los estudiantes para explicarles la estructura del examen es: “el EXANI-1 evalúa sólo los conocimientos y habilidades que van a ser indispensables para que progreses en los estudios del nivel superior, y que debes haber aprendido gracias al trabajo regular realizado en la escuela secundaria” (CENEVAL, 2004: 13). Cuadro 2. EXANI-1 (Contenido de la evaluación) Habilidades intelectuales básicas Conocimientos disciplinarios Habilidad verbal Comprensión de lectura Sinónimos Antónimos Analogías Habilidad matemática Sucesiones numéricas Series espaciales Imaginación espacial Problemas de razonamiento Español Historia Geografía Formación cívica Ética Matemáticas Física Química Biología Adaptado de: CENEVAL, 2004, http://www.cenevalac.edu.mx/portalceneval/index.php?q=docs.desp&ndf=49 52 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? evaluación de las matemáticas reside, la mayoría de las veces, en tareas de cálculo a manera de práctica y realización de ejercicios descontextualizados para los cuales generalmente no se requiere el pensamiento lógico. Veamos algunos reactivos del EXANI-1, que han sido liberados en su guía de estudio. Reactivos de habilidad matemática del EXANI-1 En las preguntas 65 a 68 selecciona la opción que contenga el término que sigue en la sucesión presentada. 34, 27, 20, 13, ____ a. 10 b. 8 c. 7 d. 6 e. 4 En las preguntas 69 a 72, elige la opción que complete la serie presentada. 70. a) b) c) d) e) Series numéricas y espaciales Observa la siguiente sucesión: 4, 9, 14, 19, 24... ¿Qué número ocupa el lugar 34 de la sucesión? A) 39 B) 164 C) 169 D) 170 E) 174 Tomado de CENEVAL, http://www.cenevalac.edu.mx/portalceneval/index.php?q=docs.desp&ndf=49 53 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Aunque se afirme que el EXANI-1 del es una prueba que mide habilidades, las habilidades o procesos implícitos en las tareas de los reactivos están encaminados a la activación de la memoria para la reproducción de un conocimiento; se desconoce el ejercicio de procesos superiores de pensamiento encaminados al uso, transferencia o aplicación del conocimiento, como ocurre en las pruebas internacionales. En estos reactivos se puede observar que en el EXANI-1 la evaluación de la “habilidad matemática” se realiza bajo las siguientes circunstancias: CENEVAL • Las tareas se refieren a encontrar la relación numérica o gráfica de la secuencia presentada. • Los procesos implícitos en las tareas comprenden procesos de ordenamiento, percepción y análisis. • Con base en los procesos incluidos en las tareas se puede decir que la habilidad matemática se considera como el ejercicio16 de operaciones mentales encaminadas al tratamiento y manejo de la información. • El tipo de reactivos presenta situaciones un tanto abstractas, lejanas de la realidad y necesidades cotidianas de los estudiantes. PRUEBAS INTERNACIONALES Y PRUEBAS NACIONALES. UN ANÁLISIS DE SU CONTENIDO A partir del análisis realizado de una prueba internacional como PISA y de una nacional como EXANI-1, en un área de evaluación común, ambas aplicadas a alumnos que están concluyendo la educación básica, podemos dar cuenta de las semejanzas y diferencias encontradas en cuanto a su estructura. Cuadro 3. Contenido de la evaluación matemática para alumnos que concluyen la educación básica en dos exámenes masivos: uno internacional y uno nacional EXANI-1 Aptitud para plantear, formular, No se define resolver e interpretar problemas a través de las matemáticas en diferentes situaciones y contextos (OCDE, 2004: 27) PISA Concepto Dimensiones Grandes ideas (contenidos) Competencias (procesos y procedimientos) Situaciones (OCDE, 2000: 25, 26) Conocimientos disciplinarios y habilidades de sucesiones numéricas, series espaciales, imaginación espacial y problemas de razonamiento (CENEVAL, 2004: 14) Contenidos Cantidades Espacios y formas Cambios Relaciones Incertidumbre (OCDE 2000: 24) Listado de diversos temas del plan de estudios Procesos Reproducción Conexiones Reflexión Tareas auténticas (OCDE, 2000: 76) Sucesiones numéricas Series espaciales Imaginación espacial Problemas de razonamiento (CENEVAL, 2004: 14) — 16 Referimos ejercicio desde la noción de ejercicio didáctico de Snyders (1978), es decir, como simple práctica. 54 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Las semejanzas y diferencias encontradas en el contenido de los exámenes de matemáticas para alumnos que concluyen la educación básica, residen en que: • Los exámenes que circulan en el plano internacional incorporan y presentan un concepto de contenido (véase Díaz Barriga, 2004 y 2006) en su marco de evaluación, mismo que se puede identificar en la conceptualización que hacen de su objeto de evaluación y la vinculación que existe con la manera en como organizan su contenido. La situación de los exámenes en México dista mucho de contar con un concepto de contenido. • Las pruebas internacionales están estructuradas en torno a conceptos tales como habilidades, competencias, conocimientos y aptitudes para la vida. No son pruebas elaboradas conforme a un plan de estudios, como en las pruebas de la experiencia mexicana como el EXANI-1, sino a las capacidades adquiridas por los estudiantes para aplicar el conocimiento y desempeñarse adecuadamente en situaciones de la vida cotidiana. En el marco internacional el contenido de evaluación está ubicado con un enfoque más funcional que nominal, como es el caso de las pruebas mexicanas. He aquí una de las diferencias más importantes. • En los instrumentos internacionales de evaluación, los procesos y contenidos implícitos en los reactivos se refieren a procesos complejos de pensamiento para la aplicación de procedimientos. En el EXANI -1 vemos procesos o habilidades básicas, asociados siempre a un contenido disciplinar. • Los exámenes internacionales presentan cambios importantes en los atributos y operaciones a medir, los cuales están perfectamente definidos e incluyen nuevos objetos y propiedades de evaluación tales como pensamiento lógico y sistemático, competencia comunicativa, competencia matemática y reflexión sobre los textos. Los exámenes en México definen su atributo a partir de los planes y programas de estudio solamente. maneja un concepto funcional y cognitivo de las matemáticas al conceptualizarlas como la activación de procesos de identificación, lógica, sistematización, comprensión, práctica y transferencia; en el EXANI-1, no se define. • PISA contempla dos dimensiones en su contenido de evaluación: conocimiento y habilidades (procesos, comportamientos o competencias). En el EXANI-1 no se contemplan. • PISA establece cinco campos temáticos. En el EXANI-1 sólo se presentan tareas encaminadas al tratamiento y manejo de la información. • En los estudios internacionales los procesos que se incluyen en la evaluación de las matemáticas son de distinta índole. PISA comprende procesos de corte más genérico, funcional y cognitivo. El EXANI-1 sólo ser refiere a cuestiones de ordenamiento, percepción y análisis. • PISA Estas diferencias dan cuenta de que mientras los exámenes masivos en el ámbito internacional presentan cierta relación entre conceptualización y contenido de la evaluación matemática, que induce a un concepto de contenido enfocado a la aplicación del conocimiento matemático, el EXANI-1 no ofrece ningún planteamiento teórico y su evaluación se centra en la mera resolución de ejercicios matemáticos. COMPARACIÓN ENTRE EXÁMENES INTERNACIONALES Y NACIONALES El análisis y comparación de los sustentos teórico-metodológicos con respecto a cómo se mide en el plano internacional y lo que prevalece y existe a nivel nacional en materia de instrumentos para evaluar y medir el aprendizaje en la educación básica, dan cuenta de que: Hasta aquí tenemos que las agencias internacionales están promoviendo y aplicando modelos y teorías alternativas para medir y 55 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? Conviene aclarar el uso del término “habilidad” como contenido de evaluación de los exámenes masivos tanto en el plano internacional como en el nacional, pues no queda claro si lo que se mide es una habilidad entendida como destreza, como finalidad educativa, como contenido, como estrategia o como capacidad. En la concepción tradicional sobre enseñanza y aprendizaje, los contenidos son saberes constituidos, sistemáticamente planificados con fines de transmisión, incorporación y acumulación de los conocimientos más importantes para una determinada sociedad. La concepción cognitiva y constructivista minimiza y relativiza la importancia de los contenidos y se centra en el desarrollo de las capacidades cognitivas de los alumnos, rechazando y cuestionando la importancia que se le da a los contenidos en la postura llamada comúnmente como tradicional. Existen ciertas posturas, como la de la Reforma Española, que tienden a incluir todos estos aspectos en los objetivos curriculares.17 El aporte de la Reforma Española y, en concreto, de la propuesta de Coll, es integrar ambos conceptos como contenidos de aprendizaje y romper con el antagonismo de dichas posturas al conceder una importancia considerable al aprendizaje de ciertos contenidos, pero considerándolos no como un fin en sí mismos, sino como un medio para el desarrollo de las capacidades cognitivas18 de los estudiantes; se destaca así la necesidad de una actividad constructiva del alumno en el aprendizaje a través de la enseñanza no sólo de hechos o principios, sino de procedimientos y actitudes. De ahí que dentro de la propuesta de la Reforma Española, los contenidos se conciben en una acepción mucho más amplia y se definen como “conjunto de saberes o formas culturales cuya asimilación y apropiación por los alumnos se considera esencial para su desarrollo y socialización” (Coll, Pozo, Sarabia y Valls, 1992:13). Con respecto a la habilidad, o a las llamadas habilidades del pensamiento, éstas son concebidas dentro de la teoría constructivista como la práctica controlada y consciente de un proceso mental, entendiendo como proceso a los operadores intelectuales que actúan sobre los conocimientos para transformarlos y generar nuevas estructuras (De Sánchez, 1991). Algunos procesos considerados como básicos son: la observación, la comparación y — 17 Con la finalidad de no privilegiar o descartar la enseñanza 18 En su más reciente libro, Coll considera el desarrollo de las y aprendizaje de contenidos, o bien de habilidades y/o capacidades como finalidades educativas de los procesos de estrategias cognitivas, Coll ha caracterizado y clasificado a enseñanza-aprendizaje y afirma que: “Las capacidades son los contenidos curriculares en tres tipos: hechos y concep- la meta de la enseñanza, la guía de la práctica en el aula, el tos, procedimientos, actitudes y valores (véase C. Coll y E. referente del éxito o fracaso de las instituciones escolares” Martín, 1994). (véase Coll y Martín, 2003). evaluar el aprendizaje escolar mientras que en México la evaluación se incorporó de manera abrupta, sin incluir las tendencias y teorías actuales. En los exámenes masivos aplicados en México prevalece la idea de aprendizaje como acumulación de contenidos, lo cual reduce a la evaluación a una mera reproducción del conocimiento de los mismos; a diferencia de lo que pasa en este país, en las pruebas internacionales subyace una idea de aprendizaje más funcional y sobre todo integrador, pues éste se concibe como la vinculación entre el conocimiento y su aplicación a una situación real y cotidiana. Detrás de toda práctica educativa –y dentro de ésta, la evaluación del aprendizaje no es la excepción– siempre hay teorías o supuestos que se asumen; la intención de este artículo ha sido ponerlos de manifiesto y compararlos, para situar el estado que guardan los exámenes masivos a nivel nacional dentro del plano internacional. ALGUNAS REFLEXIONES A PROPÓSITO DEL CONCEPTO DE CONTENIDO EN LOS EXÁMENES MASIVOS 56 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? la clasificación. Estos procesos a su vez pueden descomponerse en procedimientos para generar estructuras mentales de tipo procedimiental, que es a lo que César Coll ha llamado contenidos procedimentales.19 En cuanto a las estrategias, Nickerson las concibe como mecanismos a través de los cuales se pueden relacionar los procesos y las estructuras y dependen del tipo de situación y de tarea; de ahí que se refieran a saber qué hacer y cuándo hacerlo, es decir, a la clase de operaciones mentales que se es capaz de aplicar ante diferentes situaciones de aprendizaje (Nickerson, Perkins y Smith, 1994). La necesidad de clarificar qué se entiende por el contenido de la evaluación radica en que un elemento básico en todo proceso de medición es la definición del atributo u objeto a medir (véase Thorndike y Hagen, 1978) de ahí la importancia de que, si se dice que es una prueba centrada en habilidades, se especifique y defina qué se entiende por dicho término; es decir, si se trata de un “contenido procedimental”, una “estrategia” o una “capacidad desarrollada”; una clarificación del concepto permitiría a los docentes trabajar mucho más y mejor dichos elementos en el proceso enseñanza-aprendizaje. La inclusión de términos como “habilidades” y “competencias” en el contenido de evaluación de los exámenes masivos, tanto en el plano internacional como nacional, induce a cuestionamientos como los siguientes: • ¿A los alumnos en la escuela primaria o secundaria se les enseña cómo utilizar el conocimiento trabajado? • ¿Los exámenes elaborados por los docentes son exámenes que demandan la aplicación del conocimiento e incluyen la evaluación de algunas habilidades mentales, o sólo se enfocan a la reproducción de información? Tales cuestionamientos inducen a pensar que la mayoría de los estudiantes, en especial los alumnos de la escuela básica en México, están muy poco familiarizados con pruebas centradas en habilidades o “competencias”; la mayoría de los exámenes que ellos han contestado son pruebas que demandan la memorización de conceptos, hechos y principios, y no el uso de procesos cognitivos de mayor nivel. TAREAS PENDIENTES PARA MÉXICO EN LA ELABORACIÓN DE EXÁMENES La comparación realizada en cuanto a contenido y estructura de los exámenes masivos a nivel internacional y la situación que guardan los exámenes realizados en México, permite identificar algunas tareas pendientes en materia de construcción de pruebas. 1. Es importante que pruebas como el EXANI1, que de acuerdo con los documentos que las sustentan evalúan habilidades, empiecen por definir, de manera independiente al plan de estudios, qué entienden por habilidades y en qué consisten las habilidades que se pretenden medir; es decir, que presenten una definición propia de los atributos y constructos y una organización del contenido acorde con las definiciones elaboradas, para comenzar a conformar un “concepto de contenido” que las sustente (véase Díaz Barriga, 2004 y 2006). 2. Los exámenes masivos a nivel nacional deberán presentar conceptos estructuran- • ¿Qué tanto se promueve la enseñanza y el aprendizaje de procedimientos, estrategias, habilidades o competencias, dentro de la enseñanza básica? • ¿Realmente el proceso enseñanza-aprendizaje, consiste en una práctica constante de acciones tendientes a sistematizar y desarrollar procesos mentales de orden superior para la aplicación de un conocimiento en miras a resolver un problema o alcanzar una meta? — 19 El Diseño Curricular Base de la Reforma Española (DCB), que se pretende es que el alumno aprenda a llevar a cabo considera a los procedimientos como “conjunto de acciones determinadas acciones de manera ordenada para alcanzar ordenadas, orientadas a la consecución de una meta”. Lo una meta (véase Coll, Pozo, Sarabia y Valls, 1992). 57 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? tes propios, diferentes a los de los planes y programas de estudio, que ofrezcan un nuevo concepto y teoría de evaluación y, por ende, de aprendizaje. 3. Los exámenes nacionales tendrán que diversificar el formato de sus reactivos e incorporar procesos cognitivos que no sólo demanden reproducción de información o práctica de algún ejercicio, sino procesos de pensamiento más complejos para una aplicación y reflexión de lo aprendido 4. Las pruebas aplicadas en México requieren de un sustento teórico-metodológico, acorde con las tendencias actuales a nivel internacional, que incorpore modelos y elementos recientes en materia de medición psicométrica. 5. Las pruebas nacionales tendrán que incluir nuevos enfoques que retomen los avances existentes con respecto a la teoría cognitiva para la elaboración de test, con el fin de identificar los procesos y actitudes necesarios para el aprendizaje, tales como las ideas preconcebidas, las estrategias y los recursos cognitivos de los estudiantes (véase Wittrock y Baker, 1998). nuestro sistema educativo, conviene destacar: • La idea que prevalece en los programas de evaluación en México ha residido en la mera selección, jerarquización y comprobación, más que la de mejora. Algunas acciones, como las del EXANI-1, surgen como respuesta a problemáticas de cobertura y recepción que las instituciones no han podido resolver. • La vinculación evaluación-enseñanzaaprendizaje continúa sin resolverse en los exámenes masivos, tanto nacionales como internacionales. • El tratamiento pedagógico de la evaluación a nivel nacional e internacional, y de los resultados obtenidos en pruebas aplicadas a gran escala, continúa como tarea pendiente. • Existe una abundante enumeración de acciones en materia de aplicación de exámenes estandarizados, pero sin la construcción, y sobre todo difusión, de un marco teórico-conceptual que las fundamente. • Prevalece una escasa, o más bien nula, formación de docentes en materia de evaluación y elaboración de exámenes. El docente sigue siendo el gran ausente. Como vemos, existen muchas tareas pendientes en materia de elaboración de exámenes masivos que es importante retomar y comenzar a trabajar, si es que se aspira a contar con un sistema de evaluación, y por ende un sistema educativo, acorde a las tendencias teórico-metodológicas que a nivel internacional se están operando en materia de evaluación del aprendizaje. El propósito de este estudio es ofrecer al docente, y a todos los interesados en la enseñanza, elementos para recuperar su papel protagónico tanto en materia de enseñanza como de evaluación a partir de conocer las tendencias internacionales en la elaboración de exámenes; porque al conocer el contenido, las tareas y el tipo de reactivos de los exámenes masivos elaborados por agencias internacionales, y la situación que guardan nuestros exámenes nacionales, podrá generar estrategias didácticas y de evaluación acordes con las demandas mundiales en materia de aprendizaje. UNA REFLEXIÓN FINAL Ante la ola de exámenes tanto nacionales como internacionales que están invadiendo dizaje de conceptos, procedimientos y actitudes, Madrid, Santillana. COLL, C. y E. Martín (1994), “La evaluación del aprendizaje en el currículum escolar: una perspectiva constructivista”, en C. Coll, E. Martín, T. Mauri, M. Miras, J. Onrubia, I. Sole y A. Zabala, El constructivismo en el aula, Barcelona, Graó. REFERENCIAS (2004), Cómo prepararse para el Examen Nacional de Ingreso a la Educación Media Superior (EXANI-1), México, CENEVAL. COLL, C., J. I. Pozo, B. Sarabia y E. Valls (1992), Los contenidos en la Reforma. Enseñanza y apren- CENEVAL 58 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros? , C. (2003), Aprender contenidos, desarrollar capacidades. Intenciones educativas y planificación de la enseñanza, Barcelona, Edebé. Comisión Metropolitana de Instituciones Públicas de Educación Media Superior (s/f), Concurso de Selección para la Educación Media Superior 1996, (Documento impreso, no editado). DE Sánchez, M.A. (1991), Desarrollo de habilidades del pensamiento. Razonamiento verbal y solución de problemas, México, Trillas. DÍAZ Barriga, A. (2004), “Comentarios de la mesa redonda: comparabilidad de los resultados de las evaluaciones, en INEE, Jornadas de Evaluación Educativa. Memoria, México, INEE. DÍAZ Barriga, A. (2006), “Las pruebas masivas. Análisis de sus diferencias técnicas”, Revista Mexicana de Investigación Educativa, vol. 11, núm. 29, pp. 583-615. FERRER, G. y P. Arregui (2003), Las pruebas internacionales de aprendizaje en América Latina y su impacto en la calidad de la educación: criterios para guiar futuras aplicaciones, Documento 26, Informe de investigación. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL). Disponible en: http://www.preal.org/Biblioteca.asp? Id_Carpeta=64&Camino=63%7CPreal%20P ublicaciones/64%7CPREAL%20Documentos GIL, M. (2005), México en PISA. Análisis de resultados. Mesa Pública de Análisis de Evaluación Educativa, versión estenográfica, México, INEE. Disponible en: http://capacitacion.ilce.edu.mx /inee/mesapublipisa2003.pdf HULL Frank (1997), “Evaluación educacional internacional. El ejemplo de la IEA, su investigación y desafío”, en Claudio De Moura y Martín Carnoy (eds). ¿Qué rumbo debe tomar el mejoramiento de la educación en América Latina? Seminario sobre reforma educativa en América Latina, Washington, D.C., Departamento de Desarrollo Sostenible, Banco Interamericano de Desarrollo (BID). MARTÍNEZ Rizo, F. (2001), “Evaluación educativa y pruebas estandarizadas. Elementos para enriquecer el debate”, Revista de la Educación Superior, vol. XXX, no. 120 (octubre-diciembre). NICKERSON, R., D. Perkins y E. Smith (1994), Enseñar a pensar. Aspectos de la aptitud intelectual, Barcelona, Paidós. Organización para la Cooperación y el Desarrollo Económico, OCDE (2000), Proyecto PISA: La medida de los conocimientos y destrezas de los alumnos: un nuevo marco de evaluación, Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince. mec.es/pub/pisacomp.pdf (Original publicado en 1999). OCDE (2001a), Proyecto PISA. La medida de los conocimientos y destrezas de los alumnos: la evaluación de la lectura, las matemáticas y las ciencias en el proyecto Pisa 2000 / OCDE, Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince.mec. es/pub/pisa2000assessment.pdf (Original publicado en 2000). OCDE (2001b), Conocimientos y destrezas para la vida. Primeros resultados del Proyecto PISA 2000. Resumen de resultados (Versión española de Guillermo Gil Escudero), Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince.mec.es/pub/pisa 2000-int.pdf OCDE (2002a), Conocimientos y aptitudes para la vida. Resultados de PISA 2000 (Traducido por Claudia Estéve), México, OCDE-Santillana (Aula XXI) (Original publicado en 2001). OCDE (2002b), Muestra de reactivos empleados en la evaluación PISA 2000. Aptitudes para la lectura, matemáticas y ciencias, México, OCDESantillana (Aula XXI). OECD-UNESCO (2003), Literacy Skills for the World of Tomorrow: Further Results from PISA 2000, OECD/UNESCO-UNESCO Institute for Statistic (UIES). Disponible en: http://www1.oecd.org/ publications/e-book/9603071E.PDF SÁNCHEZ, M. de A. (1999), Desarrollo de habilidades del pensamiento. Procesos básicos del pensamiento, México, Trillas. SNYDERS, G. (1978), “¿Es el maestro de escuela quien ha perdido la batalla contra las diferencias sociales?”, en Lucien Sève, Michel Verret y Georges Snyders, El fracaso escolar, México, Ediciones de cultura popular. THORNDIKE, R. y E. Hagen (1978), Tests y técnicas de medición en psicología y educación: elaboración, diseños, investigación, aplicación, México, Trillas. WITTROCK, M. y E. Baker (1998), Test y cognición. Investigación cognitiva y mejora de las pruebas psicológicas, España, Paidós. COLL 59 Perfiles Educativos / Tercera época, vol. XXXI, núm. 123, 2009 / IISUE-UNAM Rosa Aurora Padilla Magaña / Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros?