Texto Referencia Módulo 3 TAD Curso Largo

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 22

Pruebas de

evaluación de los
alumnos y actividades
prácticas

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 1
Por qué es bueno diseñar las pruebas de
1
evaluación inmediatamente después de
establecer las metas y los objetivos de un
curso.

El análisis nos ha permitido conocer qué necesidad dentro de nuestra organización va


a cubrir el curso, qué queremos que el alumno aprenda, qué objetivos queremos
conseguir y cómo vamos a saber si los hemos conseguido o no. Ahora podemos pasar
ya al diseño del curso propiamente dicho.

En la metodología ADDIE (recordemos, Análisis, Diseño, Desarrollo, Implementación,


Evaluación), esta fase incluye establecer la forma de dar el curso, crear la estrategia
de formación y elegir los componentes del aprendizaje. El modelo DC&C que nosotros
estamos siguiendo es algo distinto, y esta fase se compone de dos pasos, el diseño de
los instrumentos de evaluación de los alumnos y el desarrollo de la estrategia de
formación.

Merece la pena que nos detengamos un momento en esta diferencia, porque es la


más significativa de las que separan estos modelos y porque se refiere a uno de los
elementos más positivos de la metodología DC&C. Esta, en efecto, propone
desarrollar los elementos de evaluación inmediatamente después de establecer y
analizar los objetivos del curso. Es decir, elaborar los “exámenes” antes de desarrollar
los contenidos de las “lecciones”, algo que uno tiende a rechazar intuitivamente, pero
que, si lo pensamos un momento, nos facilitará mucho el proceso de diseño.
Recordemos cómo hemos fijado los objetivos del curso y cómo hemos analizado las
destrezas y subdestrezas necesarias para su logro; si lo hemos hecho bien, tendremos
un objetivo muy concreto, enmarcado en su contexto y comprobable.

Pongamos un ejemplo: en un curso sobre gestión de recursos humanos online


tenemos un módulo referido a la entrevista de trabajo, cuyo objetivo hemos definido
así:

Dada una entrevista de trabajo, el alumno será capaz de descubrir lo que se está
haciendo bien y mal en ella con un 80% de acierto.

El módulo pretende promover unas conductas correctas en una entrevista de trabajo y


evitar otras, y, teniendo en cuenta que el curso es online y la práctica de la entrevista
no puede ser real, tenemos que asegurarnos al menos de que el alumno identifica
perfectamente unas y otras conductas. ¿Cómo vamos a conseguirlo? Con una
evaluación cómo esta:

Al alumno se le presenta una entrevista de trabajo grabada. En ella el alumno será


capaz de determinar lo que se está haciendo bien y lo que se está haciendo mal en
ella. El alumno tendrá que descubrir un 80% de las características asociadas a esa
entrevista.

Fijaos en dos aspectos principales:

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 2
En primer lugar el objetivo y la evaluación están totalmente alineados, la
evaluación se ha deducido del objetivo. O lo que es lo mismo, al alumno no le
vamos a preguntar nada que no sea directamente relevante para los objetivos del
curso.

Y en segundo lugar, si al alumno le vamos a poner esta prueba al final del módulo,
en el contenido de ese módulo deberá estar la descripción de los
comportamientos aconsejados y desaconsejados en una entrevista, y las
actividades durante el módulo serán del mismo tipo que la prueba que se les va a
poner luego: seguir, por ejemplo, el desarrollo (visual, escrito, oral) de una
entrevista y criticarlo. Al no haber una lista universal de comportamientos “buenos”
o “malos”, otra actividad posible será un foro de discusión sobre qué
comportamientos se incluirían en cada tipo. Es decir, la forma de evaluar nos va a
guiar en el desarrollo de los contenidos y de las estrategias de aprendizaje.

La lógica de la propuesta de DC&C es convincente: objetivos (lo que queremos


conseguir con el curso); elementos de evaluación (cómo nos vamos a asegurar de que
lo conseguimos); contenidos (qué tiene que saber el alumno para alcanzar los
objetivos); actividades prácticas (cómo vamos a entrenar al alumno para que supere la

evaluación, o, gracias al orden de esta secuencia, para alcanzar los objetivos).

2 Tipos de pruebas

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 3
Las pruebas de evaluación son un elemento central en el método de diseño de cursos
que estamos desarrollando. Date cuenta de que no estamos hablando solo de evaluar
al alumno para averiguar si sabe o no hacer algo. Estamos hablando de comprobar
mediante pruebas cada uno de los pasos que damos en un curso determinado, de
valorar su calidad y su pertinencia y de dirigir el esfuerzo del alumno. Creemos, de
hecho, que los “exámenes finales”, serán poco importantes en la mayoría de los
cursos que diseñemos: si las actividades y las pruebas prácticas están bien diseñadas,
los alumnos aprenderán. La función esencial de las pruebas de evaluación no es
la de calificar a los alumnos, aunque debamos hacerlo, sino facilitar el
aprendizaje y asegurarnos que los alumnos han aprendido, lo que lleva también
a decir que nuestro curso ha sido eficaz y ha tenido éxito.

Las pruebas son, pues, constantes a lo largo del desarrollo del curso, evaluables o no,
y según el momento en que se realizan y la función que persiguen podemos distinguir
los siguientes tipos de prueba:

Pruebas de los requisitos de entrada: Se le hacen al alumno antes del curso para
asegurarnos de que posee los requisitos exigidos para el curso. Esto sólo lo haremos
si no está asegurado que los alumnos posean los prerrequisitos para el curso. Si un
alumno no la supera, no podrá hacer el curso. Son, por ejemplo, las pruebas de nivel
que se hacen antes de un curso de idiomas y que permiten ubicar al alumno en el nivel
más adecuado para sus conocimientos, algo que es importante para él y también para
el resto de sus compañeros en el curso. Lo que persiguen estas pruebas es asegurar
en la medida de lo posible la homogeneidad de los alumnos frente a la materia objeto
del curso.

Pruebas previas. Estas sirven para conocer lo que saben los alumnos sobre lo que
van a aprender a lo largo del curso. Se hacen también antes de que el curso empiece.
Ayudan al profesor a ser más eficiente durante el curso. Sólo hay que hacerlas si es
probable que algunos alumnos ya tengan un conocimiento parcial del contenido del
curso. Son, por ejemplo, las pruebas que deberíamos hacer a los funcionarios del
ayuntamiento de tamaño medio que se dispone a elaborar su planificación estratégica,

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 4
y que nos permitirán descargar el curso de los conocimientos de que dispongan e
insistir en lo que aún no sepan.

Pruebas de Prácticas. Son las prácticas que se hacen a lo largo del modulo,
centradas en lo que se da en ese módulo, y alineadas con los objetivos finales o los
subordinados del módulo. Ayudan a los alumnos a familiarizarse con el conocimiento
nuevo, y a contrastar su nivel de comprensión y entendimiento. Al profesor le
proporcionan información de cómo van los alumnos. Son las pruebas con las que el
alumno se entrena para la evaluación final. Estas prácticas, ya lo veremos en el
módulo 6, serán nuestro principal instrumento de aprendizaje. La base del aprendizaje
es el ensayo en un entorno seguro. Como nuestro objetivo es propiciar conductas
observables nuevas o más adecuadas, practicarlas o ensayarlas será lo que con
mayor seguridad nos ayudará a alcanzarlo.

En nuestro curso sobre “cómo cocinar arroz a banda” corresponden a cada uno de los
pasos del proceso: sofreír la sepia y la cebolla, elaborar el caldo de pescado, etc. Si
están bien diseñadas, si los alumnos reciben el adecuado feedback (opinión y
correcciones) del tutor y si pueden repetirlas hasta alcanzar el nivel adecuado, la
prueba final, como hemos dicho, pierde importancia.

Pruebas al final. Como su nombre indica, se hacen después de la formación. El


diseñador tiene que enlazar estas pruebas con los correspondientes objetivos de
aprendizaje. Deberían incluir los aspectos y destrezas que más problemas les pueden
dar a los alumnos para conseguir el objetivo de aprendizaje. En todo caso, constituyen
la demostración del esfuerzo del alumno y de la calidad del curso.

En muchos casos su resultado será previsible en función de cómo se han realizado las
pruebas prácticas, pero en algunos son insustituibles y decisivas: un controlador aéreo
tiene que demostrar que es capaz de dirigir el aterrizaje de un avión en condiciones
meteorológicas difíciles sin cometer errores; es decir, cuando la formación sea
habilitante, cuando permita ejercer una profesión o realizar una función que es crucial
y en la que los errores no son admisibles, tendremos que establecer pruebas finales
exigentes en entornos similares a los reales que serán corregidas con rigor.

Pensemos un momento en cómo aplicaríamos estas pruebas a nuestro curso sobre


cocinar arroz a banda. Eres un cocinero que ha contratado el ayuntamiento para dar
un curso sobre el asunto en un centro cultural. Tienes un público variopinto: una joven
que acaba de emanciparse y descubre que sabe de cocina menos de lo que creía, un
aficionado a la cocina al que se le resisten los arroces, una jubilada que ha cocinado
de todo, pero que se aburre en casa, un adolescente que quiere sorprender a su
familia...

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 5
No puedes establecer requisitos previos, el curso es gratuito y de inscripción libre.

Pero tu público tiene niveles de conocimiento muy distintos; si partes de cero, el


aficionado a la cocina se aburrirá, pero el adolescente te lo agradecerá; si das por
hecho que todo el mundo sabe sofreír puede que pierdas al adolescente y a la joven,
pero la jubilada lo aceptará sin problemas...Una prueba previa sencilla, pochar un poco
de cebolla, por ejemplo, te dará la información necesaria para ordenar a los alumnos
por niveles, o recomendar a alguno de ellos que busque en otra parte.

Las pruebas prácticas son imprescindibles en todos los cursos, y más aún en este, en
el que predominan las habilidades psicomotoras.

En cuanto a la prueba final, es casi la razón de ser del curso: cada uno hace su plato,
y luego los demás lo prueban y lo comentan. Si el ambiente es bueno, esa prueba
contribuirá al aprendizaje, que es el verdadero objetivo del curso.

PASO A PASO
En el curso de Evaluación del desempeño, y debido a las características de los
futuros alumnos comentadas en el módulo anterior y del curso mismo, se ha
decidido no hacer todos estos tipos de pruebas mencionados, y limitarlas a las
prácticas, que serán evaluables y no evaluables, según influyan o no en la nota final
del curso.
Pruebas de requisitos de entrada
No se han especificado requisitos de entrada en el análisis de la formación, porque,
debido a las características de los futuros alumnos, no ha sido necesario
profundizar en las destrezas hasta niveles muy básicos: para seguir este curso son
necesarias dos cosas: estar familiarizado con el derecho de la función pública, y la

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 6
otra, tener experiencia en la dirección de personas. Las dos cosas están
garantizadas por el proceso de selección, que limita las solicitudes a miembros del
Grupo A1 y luego selecciona en función de los puestos de trabajo ocupados. Es
decir, no es necesario hacer pruebas porque los requisitos de entrada están
incorporados en la selección.
Pruebas previas
Como el curso es de iniciación, no hay restricciones de tiempo y el contenido no es
demasiado extenso (es decir, no hay necesidad de ajustar a la baja el tamaño del
curso), no se va a hacer ninguna prueba previa. El supuesto del que parte el curso
es que los participantes no saben nada concreto acerca de la evaluación del
desempeño, y aunque no sea así en todos los casos, no se considera necesario
tener en cuenta en el diseño los conocimientos que algunos participantes pudieran
tener.
Pruebas prácticas
Estas van a ser las más importantes a lo largo del curso. Trabajos prácticos no
evaluables en los que los alumnos vayan practicando lo que acaban de aprender, y
pruebas evaluables a continuación de la misma factura. En todo momento reciben
la opinión y la corrección del tutor, o bien contrastan lo realizado con las soluciones
aportadas. Las prácticas no evaluables se referirán a aspectos parciales del módulo
en los que conviene insistir, mientras que las pruebas evaluables abarcan, si no
todo el contenido del módulo, sí sus aspectos esenciales.
Las pruebas evaluables sirven, claro está, para evaluar, pero su objetivo
fundamental es facilitar el aprendizaje, al igual que las prácticas no evaluables. Por
eso más que la "nota" son las observaciones del tutor las que resultan útiles.
Pruebas al final
No se han considerado necesarias. Este curso no es de acreditación ni tiene que
dar un certificado de nivel de acuerdo a unos requisitos preestablecidos, como
podría ser, por ejemplo, si se capacitase a alguien para ser técnico sistemas
operativos Windows. Por ello, las pruebas evaluables a lo largo del curso se
consideran suficientes para comprobar si el alumno alcanza los objetivos.

Distintas pruebas para distintos dominios de


3
aprendizaje

Las pruebas dependen de los objetivos (recordemos que en nuestro método todo
depende de los objetivos), pero deben contemplar también otros aspectos para ser de
calidad. Uno de esos aspectos es el dominio de aprendizaje al que pertenece el
conocimiento o destreza que se quiere transmitir a los alumnos.

En el módulo 3 hemos introducido los dominios de aprendizaje, y hemos señalado que


trabajaremos con tres dominios de aprendizaje: dominio intelectual, dominio
psicomotor y dominio de actitudes, desdoblando el dominio intelectual en dos:
Información verbal y destrezas intelectuales.

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 7
En este módulo nos adentramos en cada uno de los dominios, analizando según su
complejidad las diferentes categorías y las pruebas más adecuadas a ellas.

Dominio intelectual

Está relacionado con los procesos mentales. Lo que denominamos “información


verbal” se refiere al reconocimiento y memorización de la información. Por ejemplo, un
examen de historia contemporánea para estudiantes de historia contempla la prueba
“establecer la cronología de la revolución francesa”.

En buena parte de los cursos que diseñemos la memorización de información


tendrá un carácter complementario y es difícil que resulte un aspecto crucial de la
formación, pero es probable también que sea necesario que los alumnos dominen de
memoria datos, definiciones y clasificaciones. Cuando sea así, las pruebas
correspondientes requerirán típicamente elementos del mismo estilo que el objetivo:
respuestas cortas, respuestas alternativas, casar elementos, respuesta múltiple. Más
adelante veremos cómo se construyen estas pruebas y cuándo son más adecuadas
unas u otras. El objetivo es determinar si los alumnos recuerdan la información o no la
recuerdan, nada más.

En cuanto a las destrezas intelectuales, podemos clasificarlas, según su


complejidad, en las siguientes categorías:

- Comprensión: Interpretar, traducir o resumir la información dada. Por ejemplo, se


pide a esos mismos estudiantes de historia que listen y expliquen brevemente las
causas de la revolución francesa, a partir de una bibliografía dada.

- Aplicación: Uso de la información en una situación diferente al contexto en el que se


ha aprendido. En el mismo curso, les pedimos a los estudiantes que, a la vista de lo
que sabemos sobre las causas de la revolución francesa, expliquen cuáles serían esas
causas trasladadas a nuestros días.

- Análisis: Separación del conjunto en partes de manera que sus interrelaciones estén
claras. A los ya bastante castigados estudiantes de nuestro ejemplo, les pedimos
ahora que examinen un conjunto de información en bruto del país X (estadísticas,
artículos de prensa, etc.) y establezcan su situación política y social y de qué manera y
en qué medida se ha visto afectada por la crisis actual.

- Síntesis. Combinación de elementos para formar una entidad nueva. Después de


estudiar la revolución francesa, la rusa y de lo que se ha llamado “primavera árabe”,
les pedimos a nuestros estudiantes que elaboren una teoría general sobre las causas
de las revoluciones.

- Evaluación: Implica toma de decisiones basadas en criterios o razonamientos. Por


último, nuestros estudiantes tendrán que ponerse en la piel del dirigente de un país en
una situación prerrevolucionaria y tomar las decisiones que permitan prevenirla, o bien
en la de un líder revolucionario y adoptar las que aseguren su éxito.

Las pruebas destinadas a comprobar el dominio correcto de las destrezas intelectuales


requerirán elementos del mismo estilo que el objetivo: la creación de un producto, una
demostración real, etc. Es decir, del mismo modo que la memorización de la
información se demuestra repitiendo esa información de memoria, cada destreza
intelectual será objeto de una prueba específica: resumir un texto para demostrar que
se ha comprendido su contenido, analizar un conjunto de datos para demostrar que se

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 8
domina el método de análisis, etc. Puede ser necesario en estos casos escribir
instrucciones para el alumno que le dirijan durante la realización de la prueba, y
también establecer de antemano un conjunto de criterios para poder juzgar la calidad
de la respuesta.

Dominio de actitudes

Las actitudes están relacionadas con emociones y sentimientos y con los


comportamientos que se derivan de ellos. A primera vista puede parecer un
dominio poco apropiado para ser objeto de formación, pero lo cierto es que la
formación referida al dominio de actitudes es relativamente frecuente. Un curso sobre
“prevención del acoso laboral en el centro de trabajo” es un ejemplo corriente de
formación en actitudes. Como ya se ha señalado, la formación en actitudes suele
incorporar un elemento de información verbal, en este caso el conocimiento de la
regulación sobre el acoso y la identificación de las conductas que pueden considerarse
acoso laboral, y otro de destrezas intelectuales que podrían ser en nuestro caso,
siguiendo la clasificación anterior, de aplicación y evaluación de esa información.

Dentro de este dominio se consideran diferentes categorías que gradúan el nivel de


actitud que el alumno puede ir asumiendo (según lo publicado por Alan Chapman, ver
aquí la traducción y enlace):

Recibir: Abierto a la experiencia, dispuesto a escuchar. Escuchar al profesor, coger


interés en la sesión o el curso, tomar notas, hacer un hueco para el curso, participar
pasivamente.

Responder: Reaccionar y participar activamente. Participar activamente en la


discusión de grupo, activa participación en la actividad, interés en los resultados,
entusiasmo por la acción, cuestionar y probar ideas, sugerir, interpretar.

Valorar: Aportar valores y expresar opiniones personales. Decidir el valor y la


relevancia de las ideas y experiencias; aceptar o comprometerse con una particular
situación o acción

Organizar o conceptualizar valores: Reconciliar conflictos internos; desarrollar un


sistema de valores. Cualificar y cuantificar los puntos de vista personales, establecer la
posición personal y sus razones, establecer creencias.

Internalizar o caracterizar valores: Adoptar un sistema de creencias y filosofía.


Independencia; comportarse consistentemente con el sistema de valores construido.

No hay una vía directa para medir las actitudes de una persona, y por tanto no nos
podemos asegurar de si la formación en actitudes tendrá o no efecto en la práctica. Lo
que sí podemos hacer es comprobar si, llegado el caso, el alumno será capaz de
comportarse correctamente. Las pruebas correspondientes tendrán que permitir que el
alumno demuestre que ha memorizado, por ejemplo, los aspectos principales de la
regulación sobre el acoso, y que en una simulación de una situación real es capaz de
distinguir la conducta de un acosador de otras conductas; y tendrá también que decidir
qué hacer en esa situación.

El nivel en el que la actitud del alumno avance a lo largo de las diferentes categorías
del dominio actitudinal se puede promover mediante las actividades prácticas.

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 9
Del resultado de esas pruebas no podremos inferir si el alumno ha internalizado o no
una actitud (la que nos hace sensibles al acoso y activos a la hora de combatirlo), pero
sí sabremos al menos si la comprende y lo que implica.

Dominio psicomotor

El dominio psicomotor se refiere a habilidades que tienen que ver con el movimiento
y la coordinación físicos. El nivel de ejercicio de una habilidad psicomotora tiene que
ver con la autonomía con la que una persona puede realizarla, y puede clasificarse,
por orden de dificultad ascendente, en:

Imitación, se observa la destreza y se trata de repetirla.

Manipulación, se ejecuta la destreza de acuerdo a lo aprendido más que a la


observación.

Precisión, se reproduce la destreza con exactitud y se ejecuta de forma


independiente.

Articulación, se combinan una o más destrezas de forma secuencial y coordinada.

Naturalización, se completan una o más destrezas con facilidad y de forma


automática.

Las pruebas se diseñan con el conjunto de instrucciones para hacer que se demuestre
la tarea o destreza. Los criterios para una actuación aceptable deben estar
identificados y reunidos en una lista de comprobación o una escala graduada. Si hay
que obtener un producto, habrá que crear una lista de criterios que sirvan para juzgar
si el producto obtenido es adecuado o no.

Un ejemplo de formación en una actividad psicomotora puede ser un curso sobre


cómo cambiar la rueda de un coche. Esta es una habilidad que responde al nivel de
Articulación, ya que combina varias destrezas: identificar en un automóvil la ubicación
del gato y de la rueda de repuesto, asegurar las ruedas del automóvil con cuñas para
garantizar su inmovilidad, colocar el gato correctamente, desenroscar las tuercas, etc.
La prueba más eficaz es, naturalmente, cambiar la rueda de un coche bajo la
observación del examinador; en un curso online tendríamos que suplirla con otro tipo
de pruebas: ver un vídeo y señalar los aciertos y errores, listar secuencialmente las
operaciones necesarias, etc.

Es difícil aprender habilidades psicomotoras si el curso correspondiente no cuenta con


clases presenciales. Los videos y simulaciones pueden ayudar, pero en algunos casos
el cara a cara es imposible de sustituir.

PASO A PASO.

Nuestro curso de evaluación del desempeño no pretende transmitir habilidades


psicomotoras ni actitudes concretas, aunque una de sus intenciones es
predisponer positivamente a los participantes hacia la implantación de la
evaluación del desempeño. En este sentido, todo el curso está orientado a formar
una actitud, señalando frecuentemente las ventajas de evaluar y las desventajas

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 10
de no hacerlo, y mostrando cómo puede evaluarse, es decir, orientando con
información hacia una conducta determinada y luego facilitando el aprendizaje
práctico de aplicación de esa conducta en situaciones reales.
Todas las pruebas del curso se refieren al dominio intelectual. Vamos a ver,
continuando el ejemplo donde lo habíamos dejado en el módulo dedicado al
establecimiento de objetivos, qué pruebas prácticas y evaluables se han utilizado.
La Meta del curso era
Capacitar a los alumnos para
participar activamente en un
proceso de evaluación del
desempeño, la segunda
actividad de esta Meta era "2.
Establecer objetivos
individuales contra los que
pueda medirse el rendimiento y
logro de resultados del
evaluado". El análisis de la
formación nos había permitido
desglosar esta actividad en dos
destrezas subordinadas: "2.1
Enunciar objetivos eficaces" y "2.2 Derivar objetivos de un plan estratégico
preexistente o alinearlos con los objetivos de la organización".
Para "Enunciar objetivos eficaces" habíamos obtenido dos objetivos de
aprendizaje, el primero "2.1.1 el alumno enumerará las características de un
objetivo eficaz y definirá brevemente cada una de ellas", el segundo "2.1.2 el
alumno será capaz de determinar si un objetivo es eficaz o no lo es".
El primer objetivo, 2.1.1, se refiere, naturalmente, a información verbal, es decir,
conformará una lista de características que el alumno debe recordar. Las pruebas
adecuadas para comprobar si el alumno ha memorizado esa información son
distintos tipos de tests: test de respuesta corta (el alumno tiene que nombrar las
características y definirlas brevemente), test de emparejamiento (el alumno tiene
que casar el nombre de la característica en la columna de la izquierda con una de
las definiciones de la columna de la derecha), test de elección múltiple (el
alumno tiene que elegir una definición de las cuatro que se ofrecen, dada una
característica).
El segundo objetivo, 2.1.2, es una destreza intelectual, la de aplicación; es
decir, el alumno, una vez memorizadas las características, tendrá que ser capaz
de aplicarlas en ejemplos reales. Las pruebas de aplicación pueden ser también
tests (por ejemplo, dado el enunciado de un objetivo, señale si es SMART o no,
justificando la respuesta), o pruebas de composición (por ejemplo, produzca
ejemplos de objetivos SMART).
En nuestro curso sobre evaluación del desempeño se presentaban numerosos
ejemplos de todas clases de objetivos SMART, y se incorporaba una prueba
práctica evaluable que incluía la memorización y la aplicación de las
características SMART: "Establecer objetivos eficaces, es decir, SMART, para un
puesto de trabajo conocido". No se consideró necesario desarrollar tests porque
esta prueba demostraba ya los conocimientos a los que nos referimos, y porque,
en general, los tests asincrónicos (que el alumno puede cumplimentar
cuando quiera a la vista de la documentación del curso) en cursos online no
sirven para demostrarlos.
La segunda destreza subordinada era "2.2 Derivar objetivos de un plan
estratégico preexistente o alinearlos con los objetivos de la organización". Como
el caso más completo es el que se refiere a la primera parte de la destreza, se
renunció a establecer pruebas para la segunda, "alinearlos con los objetivos de la

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 11
organización". El objetivo de aprendizaje correspondiente quedaba, por tanto,
así: "2.2 Dado el plan estratégico de una organización, el alumno será capaz
de descomponer sus actividades en tareas, convirtiéndolas en objetivos
individuales eficaces para cada empleado de la unidad afectada".
Esta destreza es compleja, e implica aplicar, analizar y generar en última instancia
la dirección por objetivos de esa unidad. La prueba diseñada fue, en
consecuencia, un caso práctico: se proporcionó al alumno el plan estratégico de
una organización real, se restringió la prueba a una de las actividades reales del
plan (desarrollar el plan de formación), se proporcionó el organigrama de la
unidad encargada, no real, de desarrollar el plan, y se le entregó un método de
diseño de planes de formación. Con ese material, el alumno debía asignar
objetivos a los titulares de 8 puestos de trabajo. Con la prueba se consiguió
enfrentar al alumno al problema de desglosar objetivos superiores en objetivos
individuales y al de enunciar estos con características SMART (puedes consultar
aquí la prueba).
El análisis nos ha llevado, paso a paso, a diseñar pruebas relevantes y
relacionadas estrechamente con los objetivos de aprendizaje y las destrezas
a que se refieren, que a su vez responden directamente a la Meta del curso.

4 Construcción de las pruebas.

A la hora de diseñar una prueba de evaluación para nuestro curso debemos tener en
cuenta dos cosas: Una, cómo mediremos el Nivel de maestría del alumno, es decir,
cómo debe ser la prueba para que nos permita distinguir entre el alumno excelente del
que no lo es o puntuar a cada uno de los alumnos; la otra, qué criterios de calidad
deberemos respetar para que la prueba sea realmente eficaz.

Nivel de maestría

Para cada objetivo de los que conste nuestro curso deben estar especificados uno o
más criterios con los que evaluar el nivel de dominio de la destreza que tiene el
alumno. En esencia, el criterio indica el nivel de maestría requerido al alumno. La
denominación "nivel de maestría" se suele aplicar a la unidad de formación, e incluso
al curso completo, mientras que el "nivel de criterio" se usa en los objetivos.

¿Cómo determinar el nivel de maestría?

Hay dos aproximaciones posibles a este problema. La primera es la comparación


entre los resultados de los distintos alumnos, en la que el nivel de maestría, o sea,
el máximo nivel de ejercicio de la habilidad, es el equivalente al nivel de actuación de
los mejores alumnos. Esta aproximación es la que se utiliza en las oposiciones a
funcionario: la nota de corte, el nivel de maestría necesario para ser funcionario de un
cuerpo o escala, depende del nivel que hayan alcanzado los mejores en las pruebas
selectivas correspondientes. Podemos utilizarla siempre que el número de aprobados
esté limitado de antemano, como en unas oposiciones, o cuando sea imposible o muy

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 12
difícil establecer el nivel antes de la prueba, como, por ejemplo, en la evaluación de
una habilidad artística.

La segunda aproximación hace depender el nivel de maestría del nivel de


criticidad de la habilidad que es objeto de formación. En un curso sobre un
procesador de textos, por ejemplo, el nivel de maestría podría depender del número de
aciertos y errores a la hora de responder series de preguntas o de ejecutar series de
tareas. El número de pruebas a realizar tendría que ser suficiente como para que se
eliminase la posibilidad de que el alumno acertara sólo por suerte. Así, un 70% de
aciertos podría corresponder a 7 sobre 10, siempre y cuando no penalizasen las
respuestas erróneas o alguna de las respuestas erróneas se hubiera producido en una
cuestión esencial y la prueba recogiera la ponderación correspondiente, que el alumno
debería conocer de antemano. En algunos casos solo puede aceptarse el máximo
nivel de maestría. Pensemos en el adiestramiento de un controlador aéreo o de un
cirujano: las pruebas correspondientes no pueden admitir muchos errores, y ninguno

en las tareas críticas.

Los cursos que nosotros vamos a realizar se referirán fundamentalmente a algún


aspecto del desempeño de un puesto de trabajo en una unidad administrativa. En
estos casos es la segunda aproximación la más adecuada, por lo que tendremos que
definir qué nivel de ejercicio de la habilidad se corresponde con el desempeño
satisfactorio del puesto y cuáles se corresponden con la excelencia y con el
desempeño no satisfactorio. Como estamos hablando en general de destrezas
complejas, lo que tendremos es un continuo de pericia, desde el novato al experto; es
en ese continuo en el que habrá que señalar el nivel de desempeño insatisfactorio, el
satisfactorio y el excelente.

Pensemos por ejemplo en los funcionarios del ayuntamiento de tamaño medio que va
elaborar su plan estratégico. En la formación correspondiente que diseñemos, las
pruebas determinarán al final del curso quiénes pueden participar activamente en el

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 13
proceso de planificación, quienes no están aún en disposición de hacerlo y quienes
pueden tener un papel protagonista en el mismo.

Criterios de calidad.

A la hora de diseñar las pruebas hay unos criterios de calidad a tener en cuenta,
independientemente del tipo de aprendizaje. Son los siguientes:

Criterios centrados en los objetivos:

Las pruebas deben incluir el comportamiento que se refleja en cada


objetivo, incluyendo la acción y los conceptos correspondientes. Si el verbo en el
objetivo es emparejar, listar, seleccionar o describir, entonces hay que poner una
prueba que permita al alumno emparejar, listar, seleccionar o describir. En nuestro
curso sobre planificación, si entre los objetivos del módulo tenemos el de distinguir
entre Objetivos generales, Estrategias y Proyectos, entonces tendremos que
incluir una prueba que sea seleccionar de una lista las frases que se
correspondan con cada uno de esos conceptos.

Deben reunir también las condiciones especificadas en los objetivos.


Recordemos que las condiciones a que nos referimos son aquellas en las que se
tendrá que ejercer la habilidad en situaciones reales. En nuestro curso, cuando
tratemos el apartado de indicadores de progreso de nuestro Plan Estratégico
tendremos que hacerlo teniendo en cuenta la cantidad y la calidad de los datos
con que cuentan las bases de datos del ayuntamiento, es decir, la prueba que se
refiera a establecimiento de indicadores tendrá que limitar la cantidad y calidad de
los mismos en la misma medida que los limitarán las bases de datos reales.

Deben proporcionar a los alumnos la oportunidad de demostrar que


dominan el objetivo esperado, teniendo el número de preguntas adecuado para
cada objetivo, y los criterios para juzgarlas. Así, no nos vale una única prueba
que diga “establece un objetivo estratégico adecuado en materia de seguridad vial
en el término municipal”, tendrán que ser varias y contemplar los distintos
conceptos que vayamos a utilizar en el proceso de planificación (objetivos
generales, estrategias, proyectos, objetivos específicos, indicadores, etc.)

Criterios centrados en el alumno:

Las pruebas deben estar adaptadas a las características de los alumnos.


Cuestiones tales como el nivel del lenguaje empleado, vocabulario, claridad,
deben ser especialmente tenidas en cuenta.

Un aspecto importante también es que no debemos utilizar situaciones o


pruebas que no sean familiares al alumno, o proponer pruebas que sean difíciles
innecesariamente. Eso puede hacer que no midamos lo que realmente
necesitamos medir, que es si el alumno domina los objetivos propuestos en el
curso. Dicho de otra manera, no queremos “cazar” al alumno, sino facilitar su
aprendizaje.

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 14
Un diseñador debe finalmente pensar en cómo ayudar al alumno a ser
evaluador de su propio trabajo. Pueden servir a estos efectos los tests que corrige
el mismo alumno acudiendo a los contenidos que le hayamos proporcionado, o los
ejercicios prácticos para los que se ofrecen en el curso soluciones que el alumno
puede comparar con la suya. La autoevaluación contribuye a fomentar la

autonomía del alumno, que es un factor muy importante en el aprendizaje online.

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 15
Criterios centrados en el contexto

Las pruebas deben ser lo más aproximadas que se pueda a las situaciones
reales o auténticas. Cuanto más próximo el contexto de las pruebas a la realidad,
más válidas podrán considerarse las respuestas de los alumnos. En última instancia, y
en determinados tipos de formación, solo la realización de la prueba en la misma
situación real puede garantizarnos que el aprendizaje se ha producido. Por ejemplo,
los pilotos comerciales se entrenan en simuladores, que pueden reproducir la realidad
con bastante precisión, pero al final únicamente observando cómo pilotan un avión de
verdad podremos saber si están preparados para esa tarea. Lo mismo puede decirse
del aprendizaje para conducir un automóvil.

Criterios centrados en la evaluación

Las pruebas deben ser claras, proporcionando toda la información para que el
alumno pueda responder. Nada de preguntas tramposas, por ejemplo dobles
negativos, preguntas compuestas, información incompleta, etc. Es preferible que los
diseñadores empleen el tiempo en construir buenas preguntas que simulen la realidad,
antes que en preguntas engañosas. Como hemos dicho más arriba, la única razón por
la que nos interesa saber si el alumno es capaz de superar las pruebas es porque esa
es la manera de comprobar el nivel de dominio de la destreza. La función de las
pruebas no es calificar, es facilitar el aprendizaje.

Ordenar los elementos de una prueba en orden creciente de dificultad suele


proporcionar una buena indicación al alumno sobre su actuación y conocimientos.

Criterio de maestría

¿Cuál sería el número adecuado de preguntas para asegurar que se domina un


objetivo? O dicho de otra manera, ¿cuántas preguntas debe acertar un alumno para
considerar que domina un objetivo?

Respondiendo a una sola pregunta o haciendo una sola práctica parece difícil que se
pueda afirmar que un alumno domina un objetivo. O similarmente, si hay una
probabilidad grande de acertar, parece que el número de preguntas relacionadas con
el mismo objetivo debería ser incrementado para que las respuestas acertadas no
sean sólo debidas al azar.

Si lo consideramos por dominios de aprendizaje, es más fácil. Para evaluar destrezas


intelectuales normalmente hay que poner tres o más preguntas o actividades
prácticas. Sin embargo, con información verbal, sólo es necesario hacer una pregunta
para recuperar la información específica de la memoria. Si esa información verbal
cubre un rango amplio, el diseñador debe hacer una muestra al azar de preguntas, y
suponer que lo que saque el alumno representa la proporción de información verbal
que ha aprendido.

En el caso de destrezas psicomotoras, sólo hay una manera que nos permita afirmar
inequívocamente que el aprendizaje se ha producido: pedirle al alumno que realice la
acción. Es el caso del examen para obtener el permiso de conducir que hemos
comentado. Por eso es difícil diseñar cursos online para el aprendizaje de este tipo de
destrezas.

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 16
PASO A PASO.

Vamos a ver someramente cómo se tuvieron en cuenta los distintos criterios de


calidad para la construcción de las pruebas en el curso sobre evaluación del
desempeño.
Ya hemos visto en el apartado 3 de este módulo cómo nos aseguramos de que las
pruebas se ciñeran a los objetivos del curso. Este es, por supuesto, su criterio de
calidad fundamental.
En cuanto a tener en cuenta a los alumnos, todas las pruebas se referían a
situaciones administrativas reconocibles en entornos administrativos comunes. La
evaluación del desempeño es una técnica de gestión de personal, y cualquier
empleado público sabe algo del asunto, más si es directivo. No se diseñó ninguna
prueba engañosa, que tuviera la intención de provocar la equivocación de los
participantes, aunque tampoco se descartó ninguna en la que se esperasen errores
concretos. Se incluyeron, por último, pruebas prácticas con soluciones
incorporadas, que los participantes podían comparar con la que ellos habían
hallado.
Producir contextos reales para las pruebas fue, ya se ha dicho, una de las
preocupaciones principales en el diseño de las pruebas prácticas evaluables y no
evaluables del curso.
Cabe señalar, en este sentido, que el máximo nivel de realismo se puede alcanzar,
en cursos sobre materias administrativas, utilizando documentos administrativos
auténticos de organismos existentes. Pero cabe advertir también que la realidad se
aparta siempre al menos un poco del entorno de aprendizaje.
Recordemos que elaboramos todos los materiales del curso, también las pruebas, a
partir de objetivos de aprendizaje, que es en lo que hemos convertido la Meta de un
curso mediante el análisis de la formación. Como ya hemos señalado, no nos
podemos asegurar de que el alumno realizará en su puesto de trabajo la conducta
observable que perseguimos con la acción formativa, pero sí de que ejecuta las
prácticas de acuerdo con el objetivo de aprendizaje. Es posible que para alcanzar
este punto tengamos que retocar un poco la realidad de los entornos reales, pero
tendremos que hacerlo si es necesario. En el módulo 6 puede accederse a buena
parte de las pruebas prácticas utilizadas en el curso, donde figuran como
actividades prácticas simplemente.
El curso sobre evaluación del desempeño no contaba con pruebas finales,
porque con la evaluación no se pretendía poner a los participantes en una escala
de calificaciones, sino contribuir al aprendizaje. Este será el caso en la mayoría de
los cursos que diseñemos, al menos mientras no se refieran a formación certificada.
Un curso para empleados públicos no es una competición ni una criba, es una
herramienta de la organización para aumentar el rendimiento y cambiar las
conductas de los empleados públicos.
Por último, y en consonancia con lo anterior, no se estableció nivel de maestría,
aunque los tutores hubieran podido ordenar fácilmente a los participantes conforme
al nivel alcanzado al final del curso.

5 Formato de las pruebas y objetivos.


Otra pregunta importante es: ¿Qué tipo de elemento o prueba de evaluación medirá
mejor el conocimiento, la actuación o el rendimiento del alumno?

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 17
La clave nos la da la actuación esperada del alumno, según cada objetivo. En la tabla
siguiente, recogida de D, C&C, la primera columna especifica la actuación esperada
del alumno. En la cabecera horizontal tenemos los tipos de pruebas, y luego, en cada
casilla, marcada con una cruz, si la prueba es adecuada para medir la actuación del
alumno.

Tipo de actuación y pruebas relacionadas

Vamos a ver algunos ejemplos referidos al curso de planificación estratégica en un


ayuntamiento de tamaño medio. El curso consta de 3 módulos, dedicados
respectivamente a los conceptos básicos de la planificación, al desarrollo de
estrategias y sus correspondientes proyectos y a la elaboración de un sistema de
indicadores.

Si en el primero el objetivo es que el alumno defina los conceptos correspondientes


(plan estratégico, estrategias, proyectos, objetivos específicos, indicadores de
resultado, indicadores de impacto, etc.) distinguiendo la función de unos y otros,
entonces tendremos que utilizar algunas de las pruebas relacionadas en las dos
casillas superiores de la columna izquierda. Por ejemplo, “defina brevemente qué es
una estrategia y un objetivo específico”, o sea, una definición cuyo conocimiento se
demuestra con una respuesta corta. También podríamos proporcionar una lista y
pedirle al alumno que seleccione: “escoja de esta lista los indicadores de resultado”, y
combinarla con una respuesta corta: “escoja de esta lista los indicadores de resultado
y justifique brevemente el resultado”. Cuando haya conceptos cercanos por su
significado cuya distinción es importante podemos utilizar una prueba de

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 18
discriminación con una pregunta de elección múltiple: “escoja de esta lista de
indicadores los que sean de impacto”, y combinarla a su vez con una respuesta corta
“…y justifique brevemente su respuesta”.

En el módulo dedicado a desarrollo de estrategias ya es menos importante que el


alumno memorice conceptos, y más que los aplique en la práctica. Podríamos utilizar
una prueba de generación mediante composición: “genere las estrategias más
adecuadas para el objetivo general número 3”. O bien a una de resolución mediante
composición: “decida a qué objetivo general corresponde la siguiente estrategia, y
justifique adecuadamente la respuesta”.

Por último, podríamos considerar que los indicadores de nuestro plan constituyen un
producto, y utilizar en el módulo tres una prueba de generación mediante desarrollo de
un producto: “genere una serie de indicadores de resultado y otra de indicadores de
impacto para el objetivo específico número 4.3.6”.

Recordemos, una vez más, que solo la práctica repetida produce aprendizaje. Cuando
hablamos de conductas observables, leer un texto y saber repetirlo con precisión
significa muy poco para el alumno y nada para la organización. Un médico debe
conocer de memoria los conjuntos de síntomas que apuntan a enfermedades
concretas, y luego los protocolos adecuados para su tratamiento. Pero solo
poniéndose delante de un enfermo una y otra vez, diagnosticando a partir de los
síntomas en esa situación real y decidiendo pruebas y tratamientos concretos llegará
a ser un profesional de la medicina. Lo mismo vale para la planificación en la
administración, por ejemplo, conocer a fondo la documentación y los conceptos
relacionados con la planificación significa muy poco, solo planificando se aprende de
verdad a hacerlo. La formación de calidad da la oportunidad de ensayar las conductas
que luego se ejecutarán en el entorno de trabajo, de ahí que el diseño de las prácticas
sea esencial.

Recordemos también, por último, que hay factores relativos al curso que también hay
que tener en cuenta, en particular los que se refieren al tiempo del que disponen los
alumnos y los profesores. Las pruebas más adecuadas para las destrezas individuales
son las que simulan situaciones reales, pero su diseño requiere tiempo (lo que
incrementará el coste del curso), igual que la realización de las pruebas y su posterior
corrección.

6 Congruencia en el proceso de diseño.

En la aproximación sistemática al diseño de la formación, el producto de un paso es el


inicio del paso siguiente. Por eso es importante pararse y comprobar que los productos
que se van obteniendo son consistentes de un paso a otro del proceso de diseño.

¿Qué tenemos al llegar a este punto? Hemos analizado el objetivo general del curso,
identificado las destrezas subordinadas, analizado a los alumnos y los contextos de
aprendizaje y de trabajo, escrito los objetivos y elaborado las pruebas de evaluación
de los alumnos. Esto es lo que tenemos hasta ahora. Es muy importante que las
destrezas, los objetivos y las pruebas de evaluación sean coherentes entre sí, y por
eso dedicaremos el siguiente paso a comprobarlo.

Podemos establecer cuatro fases para evaluar nuestro diseño:

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 19
1. Organizar y presentar los materiales elaborados hasta la fecha para poder
ver sus interrelaciones.

La siguiente tabla nos puede ayudar a mantener la alineación entre destrezas,


objetivos y pruebas de evaluación de los alumnos

Destreza Objetivo de desempeño Prueba

1 Objetivo 1 Prueba 1

2 Objetivo 2 Prueba 2

3 Objetivo 3 Prueba 3

Meta Objetivo del curso Prueba 4

2. Juzgar la congruencia entre las pruebas y las características de los alumnos


a los que se dirige el curso.

3. Juzgar la congruencia entre las pruebas y los contextos de aprendizaje y de


trabajo.

4. Juzgar la claridad de todas las pruebas.

La evaluación del diseño en cualquier punto del mismo nos obligará a revisar los
puntos anteriores. Es posible que la detección de incongruencias tenga como
consecuencia la reelaboración de los objetivos del curso: si, por ejemplo, no podemos
diseñar pruebas de evaluación correctas por su complejidad, o porque el curso es
demasiado breve como para dar tiempo a los alumnos a realizarlas y a los profesores
a corregirlas, quizá debamos “rebajar” nuestras expectativas, o incluso replantearnos
el formato general del curso. Se vuelve a ver aquí la cualidad de sistema, de iteración
y de revisión del método de D,C&C.

PASO A PASO

Esta es la tabla Destrezas- Objetivos- Evaluación aplicada al curso sobre


evaluación del desempeño, en la parte que venimos analizando como ejemplo.
Nos permite comprobar la alineación de los tres conceptos: los objetivos se
deducen de las destrezas que el alumno ejecutará en su puesto de trabajo, y las
pruebas de evaluación nos permiten comprobar que el alumno los ha alcanzado.

Palabras
Destreza/ Destreza Evaluación del
Objetivos clave/
subordinada alumno
Dominio
2. Establecer objetivos
individuales contra los
que pueda medirse el
rendimiento y logro de
resultados del evaluado
2.1 Destreza El alumno será Describir,
Subordinada: Enunciar capaz de aplicar
objetivos eficaces enunciar
objetivos Comprensión,

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 20
eficaces Aplicación
IV: Enumerar El alumno será Enumerar, El alumno
y describir las capaz de describir, enumerará y
características enumerar y explicará, con
de un objetivo describir las sus propias
eficaz características palabras, las
de un objetivo características
eficaz de un objetivo
SMART
DS: Dado un Determinar Para cada
Determinar si objetivo, el característica
un objetivo es alumno será SMART de un
eficaz o no lo capaz de objetivo eficaz,
es. determinar si el alumno dará
es un objetivo ejemplos de un
eficaz objetivo que la
cumple y uno
que no la
cumple.

Para cada
objetivo de una
lista de
objetivos dada,
el alumno será
capaz de
determinar qué
características
de un objetivo
SMART cumple
cada uno y
cuáles no.
2.2 DS: Derivar Dada una Descomponer/ - Dada una
objetivos de un plan organización el organización y
estratégico preexistente alumno será Aplicar, una parte de su
o alinear objetivos capaz de Analizar, plan
individuales con descomponer Crear estratégico,
objetivos de la las actividades establecer
organización cuando no del plan objetivos
exista plan estratégico estratégico o eficaces
de los partiendo de él
objetivos de la para un
organización conjunto de
en tareas, puestos de
convirtiéndolas trabajo dados.
en objetivos
individuales -
eficaces para Establecimiento
cada empleado de objetivos
de la unidad eficaces para
un puesto de
trabajo

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 21
conocido.

IV: Información verbal. DS: Destreza subordinada

7 Lecturas adicionales.
 Caja de herramientas de la evaluación auténtica de los alumnos: Authentic
assessment Toolbox, de Jon Mueller. Contiene información sobre cómo crear
auténticas tareas (tareas del mundo real), listas de comprobación del aprendizaje
de los alumnos (rubrics, rúbricas), y estándares en general para medir y mejorar al
aprendizaje de los alumnos.

 Rúbrica (lista de comprobación) que ayuda a evaluar la participación de los


alumnos en los foros. “La Rúbrica como instrumento pedagógico para la
tutorización y evaluación de los aprendizajes en el foro online en educación
superior" . Juan Jesús Torres Gordillo y Víctor Hugo Perera Rodríguez.
Universidad de Sevilla (España).

Podéis acceder a este documento también aquí.

 - Mapas conceptuales sobre la metodología ARDDIE en ODL (Online and


Distance Learning), que es similar a la ADDIE pero añadiendo el concepto de
Responsabilidad, en el sentido de personas y estamentos responsables en el
desarrollo del curso.

En este curso os proporcionamos una visión general sobre la metodología de diseño


de cursos, pero obviamente no se cubre todo. Así que estos mapas conceptuales os
pueden servir para tener más información sobre los aspectos involucrados en cada
una de las fases.

La página de la que están recogidos estos documentos es


http://www.toldco.co.uk/access-mind-maps.php, y pertenece a la Online Learning
Development Company. En esta página podéis interactuar con el gráfico del mapa
conceptual general.

Mapa conceptual general

Mapa conceptual sobre consideraciones para la construcción de cursos cuando


estamos hablando de Educación y formación vocacional institucional (no
comercial)

Mapa del uso de soportes (medios) en los cursos

Taller de apoyo al diseño de acciones formativas


Módulo 3 Página 22

También podría gustarte