UNIVERSIDAD SERGIO ARBOLEDA

EVALUACION DEL APRENDIZAJE

DISEÑO DE UNA PRUEBA
INFORME FINAL

Versión 01

Ana María García

2019

ACTIVIDADES REALIZADAS

 Actividad 1: Habiendo tenido la prueba a realizar ya diseñada, aprobada y

ajustada de acuerdo a las recomendaciones realizadas por el juicio de
expertos, el día 18 de octubre se procedió a realizar la prueba. Para ello se
contó con quince personas que cumplieran con una serie de requisitos, esto
es, ser adultos mayores —personas mayores de 55 años—, que contaran con
algún tipo de educación formal o no formal, y cuya residencia se encuentre
dentro de los límites de la unidad de planeamiento zonal (UPZ) número
8897. La prueba no se desarrolló simultáneamente en un mismo lugar, por el
contrario, se adelantó en momentos separados con cada una de las personas.

 Actividad 2: Para responder el cuestionario no se le dio un tiempo límite a los

adultos mayores, sin embargo, en promedio se tomaron 10 minutos. El
mismo 18 de octubre del año en curso se recolectaron las respuestas en un
sobre.

 Actividad 3: El día 20 de octubre, se dio inicio a la digitalización de las

respuestas, estructurando así un cuadro en Excel.

 Actividad 4: Se analizaron las respuestas de la prueba el día 24 de octubre,

contrastándolas con las claves del cuestionario, por medio del programa
Ministep.

MODELO UTILIZADO PARA EL PROCESAMIENTO DE DATOS

Uno de los aspectos fundamentales en el diseño de los instrumentos tiene que ver
con el modelo matemático de medición que se va a utilizar ya que de el depende todo
lo relacionado con los resultados y el procesamiento de información. El modelo tiene
que ver con el marco matemático y con el marco de interpretación de resultados.
Desde la perspectiva matemática el modelo expresa la relación entre la persona que
responde y el ítem que hace la exigencia cognitiva a dicha persona.
Probabilísticamente, se relaciona la probabilidad que tiene una persona, con una
habilidad conocida, de responder a un ítem de una cierta dificultad. El modelo
establece lar elación, pero el significado del resultado debe interpretarse a la luz del
marco teórico empleado.

La psicometría ha avanzado hacia nuevas alternativas y posibilidades a través de

otros postulados como los de la Item Response Theory o Teoría Respuesta al Ítem
(TRI), que tiene dos postulados esenciales: a) la ejecución de una persona en una
prueba puede predecirse, explicarse por un conjunto de factores llamados
habilidades y b) la relación entre la ejecución del examinado y las habilidades que
la soportan puede describirse por una función monotónicamente creciente llamada
.función característica del ítem o curva característica del ítem (ICC).

Uno de los modelos más utilizados en la TRI es el conocido como Modelo de Rasch
que considera como parámetro del ítem su dificultad. El modelo considera que la
respuesta a un ítem sólo depende de la interacción entre la habilidad del sujeto q y
de la dificultad del ítem b. Desde la perspectiva de este modelo (y de los demás de la
TRI) el valor obtenido de la habilidad de una persona es independiente de los ítems
utilizados en una prueba en particular.

Winsteps es un software que opera en plataforma windows y que implementa los

principios de la Teoría de Respuesta al Ítem para construir mediciones objetivas a
partir de una base de datos sencilla en la cual se especifican personas (evaluados) y
sus respuestas a un grupo de ítems. Este programa está diseñado para construir
mediciones a partir de conjuntos de respuestas de personas a ítems ya sea
dicótomos o polítomos.

INDICADORES ESTADÍSTICOS Y PSICOMÉTRICOS PARA ANÁLISIS

Se realiza un análisis de ítem para el que se tiene como criterio principal el valor de
ajuste que indica la correspondencia entre un grupo de datos y el modelo estadístico
utilizado para representarlos. El ajuste próximo (infit) se refiere a la relación entre
los datos que se encuentran cerca del valor de dificultad del ítem y el valor de
dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos
de dicho valor de dificultad y esa dificultad. Ambos indicadores se calculan para la
clave. Adicionalmente se presentará toda la información estadística obtenida.

Análisis de Ítem

Dificultad

Desde el Modelo de Rasch este índice muestra el grado de complejidad de un ítem.

Los valores se expresan en unidades logit y oscilan entre menos infinito y más
infinito; aunque en general los valores aceptables están entre –3 y +3, no puede
decirse que haya valores de rechazo.

Ajuste
Alude a la correspondencia entre un grupo de datos y un modelo estadístico
utilizado para representarlos. En este caso el modelo contra el cual se contrastan los
datos es el Modelo de Rasch.

El procesamiento se realiza con software WINSTEPS. Los valores aceptables de

ajuste para el Modelo de Rasch, con la metodología mnsq, oscilan entre 0.5 y 1.5.
Preguntas con valores de ajuste por fuera de este rango deben ser analizadas.

Correlación PTBIS

Corresponde a la correlación entre las respuestas a un ítem y el puntaje total en la

prueba. Es un indicador de la discriminación del ítem. Sus valores oscilan entre -1 y
+1. Se espera que los ítems tengan valores positivos y altos superiores a 0.20.

Análisis De Prueba

Los indicadores que permiten analizar la calidad de una prueba provienen de los
indicadores de los ítems que la conforman; por tal razón en este apartado se señalan
los indicadores para análisis de prueba sin profundizar en su descripción ya que esta
se realizó en el apartado anterior. El análisis de prueba permite valorar la calidad
del instrumento en su totalidad y contrastar las propuestas del marco conceptual y
los propósitos evaluativos con el desempeño del grupo de evaluados. A continuación
se presentan los indicadores sugeridos.

Confiabilidad

Indica el grado de precisión en la medición o el grado de consistencia interna del

instrumento. En la TCT se calcula con el alpha de Chronbach o el KR#20. En la Teoría
de la Generalizabilidad se estima el índice de separación.

RESULTADOS OBTENIDOS

RESULTADOS DE LA PRUEBA

Se obtuvieron los diferentes indicadores estadísticos para la prueba, que se

presentan a continuación.

Tabla 3.1
Indicadores psicométricos de la prueba
-------------------------------------------------------------------------------
| TOTAL MODEL INFIT OUTFIT |
| SCORE COUNT MEASURE S.E. MNSQ ZSTD MNSQ ZSTD |
|-----------------------------------------------------------------------------|
| MEAN 8.6 16.0 .17 .54 .99 -.01 1.01 .04 |
| SEM .5 .0 .13 .00 .04 .21 .06 .23 |
| P.SD 1.7 .0 .49 .01 .15 .78 .22 .87 |
| S.SD 1.8 .0 .51 .02 .15 .81 .23 .90 |
| MAX. 11.0 16.0 .87 .57 1.27 1.37 1.47 1.45 |
| MIN. 5.0 16.0 -.87 .53 .74 -1.64 .69 -1.62 |
|-----------------------------------------------------------------------------|
| REAL RMSE .56 TRUE SD .00 SEPARATION .00 PERSON RELIABILITY .00 |
|MODEL RMSE .54 TRUE SD .00 SEPARATION .00 PERSON RELIABILITY .00 |
| S.E. OF PERSON MEAN = .13 |
-------------------------------------------------------------------------------
PERSON RAW SCORE-TO-MEASURE CORRELATION = 1.00

CRONBACH ALPHA (KR-20) PERSON RAW SCORE "TEST" RELIABILITY = .00 SEM = 1.70

De acuerdo con la información anterior, el sistema de evaluación no es confiable en

absoluto.

Tabla 12.2
Ajuste de la prueba a la población

En el mapa de estudiantes vs ítems se puede apreciar el desempeño de cada uno de

los estudiantes según,

MEASURE PERSON - MAP - ITEM

<more>|<rare>
2 +
|
|
|
|
|
|
|
|
|T
|
| item 5
|
T|
|
1 +
| item 2
XXX |
|
|
S|S
| item 1 item 3 item 7
X |
|
|
| item 12 item 16
XXXX |
M|
|
| item 14 item 4 item 9
0 XXXX +M
|
|
|
 X
|
S|
|
|
X | item 10 item 6 item 8
|
|S
|
T|
X | item 13 item 15
|
-1 +
|
|
|
| item 11
|
|T
|
|
|
|
|
|
|
|
-2 +
<less>|<freq>

Como se observa los dos promedios identificados con la letra «M» (ítem y
evaluados) se encuentran bastante cerca por lo cual la prueba es apropiada para la
población.

ANÁLISIS DE ÍTEMS

Luego del procesamiento se generó una tabla con la información de cada ítem de
acuerdo con los indicadores mencionados anteriormente.

Tabla 14
Resultados de los ítems de la prueba
---------------------------------------------------------------------------------------------

|ENTRY TOTAL TOTAL MODEL| INFIT | OUTFIT |PTMEASUR-AL|EXACT MATCH| |

|NUMBER SCORE COUNT MEASURE S.E. |MNSQ ZSTD|MNSQ ZSTD|CORR. EXP.| OBS% EXP%| ITEM |

|------------------------------------+----------+----------+-----------+-----------+--------|

| 1 6 15 .60 .54|1.01 .11|1.02 .19| .20 .23| 66.7 62.6| item 1 |

| 2 5 15 .90 .56| .90 -.42| .87 -.48| .42 .22| 66.7 66.6| item 2 |

| 3 6 15 .60 .54| .95 -.29| .91 -.44| .34 .23| 53.3 62.6| item 3 |

| 4 8 15 .04 .53| .80 -1.72| .78 -1.73| .64 .23| 73.3 59.5| item 4 |

| 5 4 15 1.24 .60|1.08 .38|1.27 .86| -.04 .20| 73.3 73.3| item 5 |

| 6 10 15 -.55 .56|1.10 .52|1.15 .67| .00 .23| 66.7 67.6| item 6 |

| 7 6 15 .60 .54|1.21 1.37|1.27 1.44| -.22 .23| 40.0 62.6| item 7 |

| 8 10 15 -.55 .56| .83 -.82| .78 -.90| .58 .23| 80.0 67.6| item 8 |

| 9 8 15 .04 .53| .95 -.35| .95 -.36| .33 .23| 60.0 59.5| item 9 |

| 10 10 15 -.55 .56| .75 -1.28| .70 -1.34| .74 .23| 80.0 67.6| item 10|

| 11 12 15 -1.27 .66| .95 .00| .92 -.02| .28 .20| 80.0 79.9| item 11|

| 12 7 15 .32 .53|1.31 2.36|1.36 2.42| -.41 .23| 40.0 59.5| item 12|

| 13 11 15 -.88 .60|1.24 .89|1.36 1.10| -.32 .21| 73.3 73.2| item 13|

| 14 8 15 .04 .53| .80 -1.72| .78 -1.73| .64 .23| 73.3 59.5| item 14|

| 15 11 15 -.88 .60|1.14 .56|1.12 .47| -.05 .21| 73.3 73.2| item 15|

| 16 7 15 .32 .53| .93 -.52| .91 -.60| .37 .23| 53.3 59.5| item 16|

|------------------------------------+----------+----------+-----------+-----------+--------|

| MEAN 8.1 15.0 .00 .56|1.00 -.1|1.01 .0| | 65.8 65.9| |

| P.SD 2.3 .0 .70 .03| .16 1.1| .21 1.1| | 12.7 6.1| |

---------------------------------------------------------------------------------------------

De acuerdo con la tabla anterior, la pregunta número 5 es la más difícil, y la pregunta

11 es la más fácil de la prueba. Adicionalmente, podría afirmarse que las preguntas
5, 6 y 15 no discriminan en el mismo sentido de las demás.

CONCLUSIÓN

Basándonos en los resultados obtenidos en las tablas anteriores, el ejercicio no

resultó como se esperaba. De acuerdo con la tabla 3.1, se evidencia que el sistema
de evaluación, es decir, la prueba, no es confiable, la tabla 12.2 nos demuestra que
la población a la cual se le presentó la prueba es apropiada, y finalmente con la tabla
14 logramos identificar cuál fue la pregunta más difícil y cual la más fácil. El ejercicio
en sí, no funciona para analizar una prueba de la naturaleza de la que es ésta. Pues
bien, la prueba realizada no fue una en la que se evaluaran conocimientos, por el
contrario, buscaba más bien encontrar una tendencia, se esperaba que los datos
recogidos dieran cuenta si las preferencias de los adultos mayores se encontraban
acordes a lo que el programa ofertará. La prueba en sí está bien hecha, pero falla el
sistema de evaluación, era algo esperado dado que difícilmente se pueden evaluar
como correctas o no las preferencias de una persona.