1

Aprendizaje y enseñanza virtual

Lección 4: Sistemas de gestión de aprendizaje / La calidad y
evaluación del aprendizaje virtual
 2

Tabla de contenido
Introducción a los sistemas de gestión de aprendizaje............................................................... 3
Fundamentos ................................................................................................................................ 6
Elección de un LMS ....................................................................................................................... 8
Tendencias de los LMS ............................................................................................................... 13
La Calidad en escenarios de Aprendizaje Virtual....................................................................... 14
Dimensiones de la Calidad ......................................................................................................... 16
Estándares de Calidad ................................................................................................................ 20
Enfoques y modelos de evaluación............................................................................................ 24
Procesos de Aseguramiento de la Calidad ................................................................................. 31
 3

Introducción a los sistemas de gestión de aprendizaje

Podemos definir LMS o Sistema de Gestión del Aprendizaje o en inglés Learning

Management System, como una aplicación software implementada sobre un
servidor web, donde interaccionan tanto profesores como alumnos, en un
contexto de una acción formativa online.

En dicha interacción el sistema LMS debe permitir tanto el acceso como la

distribución de recursos docentes para ofrecer o posibilitar al alumno el
aprendizaje en cualquier momento y lugar, sólo es necesario disponer de un
ordenador y de una conexión a internet para el acceso a este tipo de sistemas.

También permite u ofrece una mayor flexibilidad temporal en el aprendizaje y

por tanto, se reducen costes asociados a las instalaciones físicas, como pueden
ser las aulas. En este contexto no son necesarias. En esta línea, el aprendizaje
es actualizado y continuo por medio de las distintas herramientas que estos
sistemas ponen a disposición de los profesores y los alumnos, tanto para
comunicarse como para evaluar los conocimientos de los alumnos.

También es necesario conocer el concepto de LCMS o Learning Content

Management System, Sistema Gestor de Contenidos para el Aprendizaje. Es
otra aplicación informática que permite crear y gestionar contenidos docentes,
aplicados a una determinada acción formativa.

Por tanto, lo normal, lo que podemos encontrar en el mundo actual es que este
tipo de sistemas son parte de los LMS.

Ahora, vamos a presentar las características más importantes de los sistemas

gestores de aprendizaje.

La primera característica es que aglutinan todas las actividades de aprendizaje,

por tanto, centralizan la gestión de conocimiento de las distintas acciones
formativas que tengan.

También los sistemas LMS permiten adaptarse y alinearse con las necesidades
formativas concretas y particulares de las instituciones que lo están utilizando.
 4

Esto es muy importante, porque permiten ofrecer a las instituciones ese sello
formativo de calidad.

También hacen los sistemas LMS, ofrecen la capacidad de hacer protagonista

al alumno.

Todos los recursos en este tipo de sistemas son puestos a disposición por parte
del profesor a los alumnos, tienen como objetivo ayudar, facilitar el aprendizaje
y por tanto, el alumno va a ser el protagonista de las acciones formativas.

Los LMS deben soportar estándares internacionalmente aceptados, en distintos

ámbitos, en metadatos, en metodologías docentes, en interoperabilidad, en
concreto, sobre la interoperabilidad los estándares permiten u ofrecen la
posibilidad de que un recurso de un LMS pueda ser reutilizado en otro tipo de
redes.

Esto es muy importante, por tanto, todos los LMS deben soportar los estándares
más importantes.

Siguiendo con las características de los LMS, podemos ofrecer que la

integración con otras aplicaciones de la institución, es un elemento muy
importante.

El objetivo de esta característica es permitir el intercambio de información entre

un LMS y otros sistemas corporativos heterogéneos.

También el acceso a los sistemas LMS debe ser ubicuo, es decir, se puede
acceder desde un ordenador conectado a Internet o desde un Iphone o una
tablet.

Otra característica muy importante en este tipo de sistemas es la escalabilidad

de los recursos, dependiendo de cómo sean las necesidades de la organización
donde se encuentran ubicados.

Por último, comentar la característica de que todos los LMS deben disponer de
un abanico de herramientas de comunicación para relacionar tanto a los
profesores como a los alumnos en las distintas acciones formativas.
 5

Ahora, vamos a presentar los distintos componentes de un sistema gestor del

aprendizaje y sus funciones asociadas.

Todo LMS debe tener un gestor de usuario que permita su administración.

En general, se suele hablar de tres perfiles de usuarios, el perfil de profesor, el

perfil alumno y el perfil administrador o gestor más ligado a la tecnología.

Otro componente que debe de existir obligatoriamente en todos los LMS es el

gestor de contenidos, ya que es fundamental en estos sistemas que el profesor
pueda gestionar o administrar los distintos recursos, ya sea partiendo desde
cero, es decir, colaborando en la creación o ya sea sobre recursos ya creados
que nos permita organizarlos.

Otro componente fundamental es el gestor de la comunicación. En él se ofrecen

una serie de herramientas que permiten comunicar tanto a los distintos actores
de la acción formativa. Se suele hablar de foros, wikis, correo tanto interno como
externo a la plataforma, el chat, videoconferencias, etc.

Otro componente importante es el gestor de informes, ya que permite conocer

de primera mano cómo se están desencadenando la acción formativa, ya que a
través de este gestor se permite o se ofrece la posibilidad de generar informes
y de disponer en ellos información relativa a los distintos grados de interacción
de un alumno en el curso.

Otro componente es el gestor de evaluaciones, que permite a los sistemas LMS

tanto el envío, la evaluación, calificación y la notificación al alumno de cualquier
actividad relacionada con la evaluación. Es decir, cuando se genera una rúbrica,
la rúbrica desencadena una serie de tareas o de elementos que se deben de
cumplir o que debe de cumplir el alumno.

Por último, el gestor administrativo ofrece al personal más ligado con la

tecnología, es decir a un personal técnico, la posibilidad de administrar y
gestionar la plataforma desde un punto de vista tipo o gestión de espacio, todas
las tareas se relacionan con el hosting, con el espacio en disco, con copias de
seguridad, etc.
 6

Fundamentos

La primera cuestión que vamos hacer es definir estándar con un conjunto de

reglas en común para las distintas organizaciones que trabajan en este ámbito
de la tecnología e-Learning. Estas especificaciones, reglas se enfocan en varios
aspectos tanto en la perspectiva tecnológica como la perspectiva más
pedagógica o didáctica y permite fundamentalmente alcanzar la
interoperabilidad de recursos entre plataformas e-Learning o LMS.

Los estándares proponen modelos sobre la estructura de los contenidos, lo que

se denomina empaquetamiento y su reutilización. Como es obvio no cubren
todos los aspectos de los sistemas de gestión del aprendizaje, pero sí los más
importantes y la idea es enumerar a continuación los que consideramos más
importantes o de de obligado cumplimiento.

Por tanto los estándares no van a permitir obtener la interoperabilidad que es la

capacidad de acceso e interacción con otros sistemas LMS o plataformas.
También nos van a permitir este tipo de especificaciones el seguimiento del
alumno a través un modelo que permita aglutinar toda la información asociada
al alumno.

Otros objetivos que también se permiten a través de la implantación de los

distintos estándares es la durabilidad que permite el uso de recursos sin
importarnos los cambios tecnológicos o asociados a la tecnología. También la
reutilización capacita el diseño de contenidos reutilizables en distintas
asignaturas, curso, programa, planes de estudio de una plataforma a otra.

La accesibilidad ofrece la capacidad de acceso a un usuario en el momento

justo con el dispositivo adecuado. También otro objetivo es la adaptabilidad que
permite al entorno personalizarse alineándose con los objetivos o con las
necesidades de la propia institución.

Ahora se van a presentar las instituciones más relevantes en este ámbito de los
estándares e-Learning. La primera institución que me gustaría presentar es
 7

ADL, que surge como una iniciativa del departamento de defensa de los Estados
Unidos.

La segunda es IEEE LTSC , dentro de IEEE LTSC hay un comité de estándares en

el ámbito de las tecnologías para el aprendizaje. También en el contexto
europeo existe CEN, que es el Comité Europeo de Normalización que dispone de
un grupo de trabajo en este ámbito de las tecnologías aplicadas al aprendizaje.

Otra institución importante en el ámbito de los metadatos permite etiquetar y

describir los recursos docentes generados es Dublin Core. También dentro de
ISO existe un comité relacionado con estos temas de estandarización. Esta
institución ISO es muy importante ya que puede acreditar que una determinada
especificación se convierta en un estándar real. Otra institución es IMS también
en el ámbito norteamericano, que ha aportado numerosas especificaciones y
trabajos siempre buscando como objetivo la interoperabilidad como elemento
de distinción frente a otras instituciones.

Por último me gustaría comentar la institución AENOR de España como espejo

del comité de la ISO. En concreto AENOR tiene un subcomité sobre tecnologías
de la información para el aprendizaje.

Ahora vamos a presentar una relación de especificaciones, algunas de ellas se

han convertido en estándares de facto ya que la industria los utiliza de una
manera decidida. Presentaré el modelo SCORM de la institución ADL que ofrece
la capacidad de empaquetar contenidos que pueden ser reutilizados en otros
LMS o plataformas. También la institución IMS de los Estados Unidos ofrecen
distintas especificaciones como puede ser LTI, la búsqueda de
interoperabilidad, herramientas que permita la interoperabilidad entre
plataformas; QTI que permite el intercambio interoperable de test, de exámenes
entre plataformas o Content Packaging que permite también algo parecido al
modelo SCORM que es el empaquetado de recursos y la especificación Common
Cartridge.

En concreto sobre Common Cartridge que ofrece un formato que incluye o que
agrupa un conjunto de especificaciones quiero entrar en detalle. En particular
 8

como Common Cartridge ofrece las siguientes especificaciones IMS Content

Packaging y SCORM para el empaquetado de contenido de recursos. IEEE LOM
para la definición de metadatos. LTI para la búsqueda de interoperabilidad que
entre las herramientas de aprendizaje y QTI para la búsqueda de
interoperabilidad entre distintas plataformas cuando el intercambio de
información son exámenes o test.

Otra especificación en el ámbito de los metadatos es LOM de IE cubo, ya que

tienen una gran difusión.

Y por último, la norma UNE 66181 sobre calidad de la formación virtual de la

institución de AENOR de España.

Elección de un LMS

Una cuestión previa a cualquier criterio de los que vamos a presentar ahora, a
continuación es que debemos realizar un estudio de mercado analizando todas
las posibilidades que existen. Una vez hecho eso nos tenemos que preguntar
sobre el coste de adquisición de la plataforma, ya que tenemos a nuestra
disposición dos opciones totalmente distintas. O bien, adquirimos una
plataforma comercial bajo una licencia o bien adquirimos una plataforma
abierta y por tanto sin coste asociado.

En segundo lugar debemos estudiar la funcionalidad de las distintas opciones

que el mercado nos ofrece.

Es decir, estudiar en concreto cada uno de los LMS. Para ello debemos evaluar
aspectos relacionados con la gestión de los contenidos que hace la plataforma.

La gestión de las actividades, como se da de alta como se lee un trabajo,

etcétera.

La gestión de los progresos en la interacción con el LMS. Además, que tiene que
ver con los progresos Además la gestión de la evaluación, como se califica,
como se notifica, como se guardan las notas, etcétera. La usabilidad de la
 9

interfaz, la gestión de la integración, como se guarda y como se obtienen

informes sobre los distintos grados de integración de los alumnos, etcétera.

Es decir, es una evaluación de la funcionalidad de la plataforma del LMS.

Además de lo anterior que está ligado a la funcionalidad de la plataforma

también tenemos que realizar una serie de estudios. El primero versará sobre la
arquitectura o la infraestructura que vamos a utilizar. En la actualidad existen
dos modelos o propuestas.

La primera es un modelo interno, es decir, que sea la propia institución quien

realiza las tareas de hosting de la plataforma. Podemos decir que es una gestión
interna. Otro modelo o propuesta es el modelo SAAS o software as a service,
que es un modelo arquitectónico y de distribución de software donde el soporte
lógico y los datos que maneja el LMS se alojan en otra institución.

Esta misma idea se puede trasladar a los servicios que nos ofrece actualmente
la nube.

No menos importante es la definición de otro estudio que tiene que ver con la
integración del LMS con otros sistemas que tenga o disponga la organización
donde queremos incorporar el sistema de gestión del aprendizaje.

Debemos conocer qué información se quiere compartir y si el LMS elegido tiene

capacidad de integrarse con otros sistemas.

Este estudio es fundamental y puede decantar la decisión definitiva en la

elección del LMS por uno que permita su integración de una manera más
eficiente.

Por último debemos realizar un estudio pormenorizado de las tareas de

mantenimiento que el LMS elegido o lo que estudiando. Ya que una vez elegido
el LMS y puesto en producción, los esfuerzos se centran en el funcionamiento
del día a día por tanto tener un LMS cuyas tareas de mantenimiento sean más
eficaces frente otro es muy importante sobre todo en el trabajo diario.

Ahora vamos a hablar sobre la colisión o el enfrentamiento entre plataformas

licenciadas y plataformas o LMS de libre uso.
 10

Podemos hablar que existen dos ejemplos paradigmáticos en ambos sentidos.

En el primer caso de las plataformas de uso libre podemos presentar a "Moodle"
como el LMS más importante o más representativo.

Aunque existen otras plataformas Moodle es la que más difusión en este ámbito
del mundo libre tiene. Moodle es un sistema de gestión del aprendizaje que
podemos instalar y configurar sin mayor dificultad que la de disponer de una
infraestructura que soporte php y una base de datos. Con esos dos requisitos
cualquier persona puede configurar e instalar Moodle. Por tanto ha tenido o
tiene en la actualidad una gran difusión porque en muchas instituciones ven en
este tipo de herramienta como Moodle su solución de implantación de un LMS.
En el caso de las plataformas comerciales bajo licencia donde hay que pagar
una licencia para el uso, un ejemplo paradigmático podríamos decir que es
Blackboard. Blackboard es un LMS de pago y es de los más difundidos, y
extendidos como veremos a continuación.

No me atrevo a decir que LMS es mejor ya que habría que hacer un estudio de
las necesidades de una institución para ver cual se alinea mejor, ya que los dos
ofrecen en un porcentaje muy amplio la misma funcionalidad o parecida en sus
herramientas.

La única cuestión es ver si se alinean mejor, o se adapta mejor a las necesidades

de una organización o institución uno frente al otro, ya que como digo la
funcionalidad es similar.

Como podemos ver en esta imagen se representan una serie de LMS en el

ámbito de los estados de los Estados Unidos donde la plataforma con un mayor
número de inscripciones es Blackboard , seguida por otras plataformas de entre
las que destaca Moodle con un menor número de inscripciones pero también
con una cuota importante.
 11

En esta otra imagen complementaria del anterior podemos ver como destaca
también Blackboard frente a Moodle.

En concreto Blackboard tiene asociadas 1.226 instituciones que disponen de

esta plataforma. El contexto estos datos están sacados siempre en el ámbito
de los
 12

Estados Unidos. Y por el contrario Moodle dispone de 712 instituciones.

También me gustaría fijarme en el número de las inscripciones asociadas a
cada una de estas dos plataformas. En concreto Blackboard dispone de casi
ocho millones de inscripciones y Moodle dispone de casi tres millones de
inscripciones.

En modo resumen me gustaría presentar esta tabla donde podemos observar

los cinco LMS más importantes que en la actualidad copan el mercado.

Están por supuesto Moodle y Blackboard, como ya hemos visto antes pero
además existen otros LMS destacables como puede ser Canvas.

Canvas es un competidor que los últimos años ha tenido un crecimiento muy

amplio en el ámbito de los Estados Unidos. Hay que decir que en Europa ese
crecimiento es bastante menor. También tenemos Brightspace, antes llamado
Desire2Learn. Por último me gustaría acabar con el LMS Sakai, la plataforma e
 13

Learning Sakai, como una solución de open source a los LMS cuya fundamental
característica es que es totalmente flexible y personalizable.

Tendencias de los LMS

Normalmente las instituciones y organizaciones que en la actualidad están

utilizando este tipo de sistemas o plataformas, se preocupan de los siguientes
aspectos; primer lugar aspectos relacionados con la tecnología, que es la
aplicación directa de la plataforma, el uso. También se preocupan de aspectos
relacionados con especificaciones o estándares, como tarea fundamental, la
búsqueda de interoperabilidad de recursos entre plataformas. Por último, las
instituciones también se están preocupando de aspectos importantes
relacionados con la calidad pedagógica en distintos puntos de vista, como por
ejemplo la calidad de los recursos docentes que se ponen a disposición de los
alumnos para el aprendizaje. También las herramientas de comunicación entre
los profesores y alumnos y por último en la calidad de la evaluación de las
competencias que los alumnos van a adquirir a través de, por ejemplo, la
creación de rubricas de evaluación.

Antes de hablar de las tendencias del futuro, los LMS, voy a comentar que
emanan de mi experiencia personal y por supuesto, puedo estar equivocado. La
primera cuestión a tener en cuenta es que la plataforma cada vez más, deben
incorporar las nuevas tecnologías móviles, dando posibilidad de acceso a los
LMS desde smartphones, por ejemplo, Blackboard dispone de una app
denominada "Bd Student" que ofrece esto mismo. El elemento central es dar
posibilidad de acceso a dispositivos como los smartphones que permiten que
un alumno esté accediendo a un video o a un recurso docente en cualquier sitio
y en cualquier momento. Eso creo que en algunos LMS ya lo ofrecen, creo que
es una tendencia a que todos en la actualidad, deberían de cumplir. También los
LMS deberían soportar el uso o la implicación de las redes sociales como parte
integrante de la acción formativa en un ambiente online. Por tanto, los alumnos
dispondrán con un recurso más, las redes sociales, es decir, deben estar
perfectamente integradas para así formar parte de la acción informativa.
 14

El gran movimiento de la compartición del conocimiento iniciado en el MIT con

la iniciativa OpenCourseWare se ha cristalizado ahora con la aportación de los
MOOC. Fruto de esto mismo es el Micromasters que estáis todos los alumnos
ahora mismo inscritos, empezando en estos momentos. Personalmente pienso
que los MOOC y las plataformas tecnológicas asociadas como Edx, tienen un
gran futuro, un gran camino por andar. Por último, simplemente destacar la
consolidación de los entornos PLE, Entornos Personales de Aprendizaje, como
un conjunto de herramientas y recursos que se adaptan al estudiante para
mejorar su aprendizaje. Este tipo de entornos, les auguro un futuro muy
prometedor, ya que todos los LMS de una manera u otra, buscan este objetivo,
la de adaptarse a las necesidades reales del alumno y que incluso, cada curso
o un curso en general del LMS va a ser adaptado dependiendo de los
conocimientos previos o de las capacidades de un determinado alumno frente
al otro, es decir, la búsqueda de una adaptación continua de las acciones
formativas a los alumnos.

En esta línea de adaptación y de flexibilidad hacia el alumno, disponemos en la

actualidad del análisis del aprendizaje o Learning Analitycs, que permiten
manejar grandes volúmenes de datos que tienen a su disposición los LMS sobre
los alumnos y poder realizar análisis de dichos datos para entender el
comportamiento de los alumnos, con el objetivo de personalizar las nuevas
acciones formativas.

La Calidad en escenarios de Aprendizaje Virtual

¿Qué es calidad? Esta es una pregunta que puede tener una gran diversidad de
respuestas. Es un término bastante relativo que puede llegar a tener muchas
interpretaciones.

Según la norma ISO9000 “La Calidad es el nivel en el que un conjunto de

características cumple con los requisitos" Por calidad se entiende la diferencia
entre lo que se espera recibir del servicio o producto (expectativas existentes
antes de utilizarlo) y la percepción de lo recibido (después de su utilización).
 15

Si trasladamos todo esto al ámbito de la educación virtual, muchas personas

todavía se cuestionan si la educación virtual es de menor calidad que la
educación presencial, sin tomar en cuenta que la metodología no determina la
calidad de un curso, son otros factores, como la estructura de contenidos, el
diseño de actividades, la accesibilidad y usabilidad en los recursos presentados,
el coaching por parte del docente, etcétera, que pueden llegar a definirla. Otras
personas lo asocian a cantidad, suponiendo que entre más recursos de
aprendizaje, vídeos, actividades se tienen disponibles en el curso es sinónimo
de buena calidad. Sin embargo, entre mejor tengamos definidos los parámetros
o criterios a evaluar, tendremos una mejor medida de la evaluación.

Desde mi punto de vista algunos parámetros a considerar en el tema de calidad

deberían responder las siguientes preguntas: ¿Si el curso presenta una
estructura general, contenido útil y actualizado? ¿Si el curso tiene suficientes
prácticas y ejercicios? ¿Si hay objetivos claros en el curso? ¿Si se indica la
metodología de trabajo y entrega de tareas? ¿Si se incluye diferentes tipos de
evaluación, por ejemplo diagnostica, sumativa, formativa en diferentes
momentos o tiempos del curso? ¿Si la retroalimentación de los tutores es buena,
a tiempo y útil en el momento que pueda brindar información y
retroalimentación en cada uno de los espacios de los foros? ¿Si se mantiene la
motivación del estudiante a lo largo del curso

Debemos tener claro que la formación virtual exige un diseño instructivo y

producción de materiales específicos, adecuados al medio, considerando los
diferentes estilos de aprendizaje y posibles limitaciones técnicas (tanto de
software como de hardware). La calidad de la formación virtual, puede medirse
en función de la tecnología, en donde se valora aspectos relacionados a las
herramientas/aplicaciones que soporta la plataforma, la curva de aprendizaje
que puede llegar a tener el estudiante para realizar las acciones básicas dentro
de la misma, etcétera. También se puede medir desde una perspectiva
metodológica, en donde se revise las estrategias de evaluación, el diseño de las
instrucciones de las actividades, si se cuentan con rúbricas de evaluación, o
elementos que puedan medir el impacto de aprendizaje en cada uno de los
estudiantes.
 16

Sin embargo, la principal tendencia se orienta a dos enfoques de evaluación,

identificados como parcial y global. El enfoque parcial, evalúa principalmente
los aspectos como: la actividad formativa, los materiales de formación, las
plataformas tecnológicas, la relación coste/beneficio.

Mientras que el Enfoque global considera dos aspectos:

Los sistemas de evaluación enfocados en modelos, normas de calidad,

estándares y calidad total, así como los sistemas basados en la práctica del
benchmarking.

La calidad se puede abordar la calidad desde tres dimensiones: desde la

perspectiva del estudiante, como ellos determinan la calidad de un curso en
función de las actividades, recursos y material de apoyo que se les brinda
durante el contenido, desde la perspectiva del docente como ellos evalúan
desde el diseño, la elaboración y definición de las actividades que van a colocar
dentro de los materiales. Y desde la perspectiva del administrador del proyecto
del curso que puede ser enfocada desde la plataforma como es la funcionalidad
de la misma, las herramientas que la misma plataforma puede aportar al
material y simplemente como un producto final.

Dimensiones de la Calidad

¿Qué pasaría hoy, si el Rector de mi Universidad, me preguntará sobre la calidad

de nuestros cursos? Pudiera abordar el tema desde mi perspectiva
(administrador de proyecto e-Learning), y respaldar mi respuesta en función del
número de inscritos que tengo en el curso, del índice de deserción, de los
comentarios o resultados de las respuestas de la encuesta de satisfacción
realizada por los estudiantes, o bien de los puntos relevantes con los que cuenta
nuestra plataforma, el tipo de producción de vídeos y los recursos que estamos
desarrollando.

Seguramente estos criterios de evaluación que estoy considerando pudieran

dar una respuesta certera a la pregunta realizada por nuestro Rector.
 17

Ahora bien, si le preguntamos a un estudiante sobre la calidad del curso,

¿tomaría en cuenta los mismos criterios? ¿Qué aspectos, dimensiones o
criterios de calidad son importantes para los estudiantes virtuales? ¿Cómo
puede diferenciar un estudiante un curso de buena calidad con uno de mala
calidad?

Por ejemplo, ¿qué aspectos evaluaría para saber si valió la pena su inversión?

Si analizamos la calidad desde la perspectiva del estudiante debemos ser más

amplios, no centrarse únicamente en aspectos del diseño de la interfaz
educativa o tecnológica, del diseño gráfico, etcétera.

A continuación les compartiré los aspectos más importantes del trabajo de

investigación realizado por el Doctor Daniel Ehlers, en donde se muestra los
resultados de la encuesta "Calidad desde la perspectiva de los alumnos". Esta
investigación persigue dos objetivos: en primer lugar, conocer cuáles son las
dimensiones que constituyen la calidad en el aprendizaje virtual desde la
perspectiva del estudiante. Y en segundo lugar, tomando en consideración que
no todos los criterios aplican a todos los estudiantes, se buscó identificar las
principales preferencias.

Como pueden observar en la siguiente figura, Ehlers presenta el Modelo de

requisitos de calidad subjetivos, dividido en 3 niveles, en 7 campos y 30
dimensiones, en donde cada una de ellas representa un conjunto de criterios de
preferencias de los estudiantes.
 18

El campo de calidad número uno está relacionado al Apoyo del Tutor, este
considera preferencias del estudiante como el nivel de interacción, el
seguimiento a sus dudas e inquietudes, el tiempo de respuesta, así como
aspectos relacionados al tipo de herramientas de comunicación que utiliza el
profesor.

El Campo de Calidad número dos: Cooperación y Comunicación en el Curso, está

enfocado principalmente en el nivel de comunicación y cooperación que pueden
llegar a experimentar un estudiante con otros estudiantes en grupos de estudio,
con expertos o el mismo tutor. Se valora mucho las discusiones en línea, las
actividades en equipo, la comunicación cara a cara por ejemplo las
videoconferencias o Hangout que se pueden planificar durante el curso.

El tercer Campo de Calidad está relacionado a la Tecnología, se enfoca en

aspectos de adaptabilidad y personalización, las opciones de comunicación
como chat, videoconferencia y de que la plataforma permita tener el contenido
disponible en diferentes formatos. Hoy en día se tiene mucho valor el tener el
contenido disponible para dispositivos móviles.
 19

El cuarto Campo de Calidad evaluado por los estudiantes es en relación a Costos

– Expectativas y Valor. La evaluación del costo-valor de los estudiantes es un
factor que determina el juicio de calidad de un curso virtual. Se puede ver en
estrecha relación con la expectativa que tienen los estudiantes al entrar en un
curso, lo que determina su evaluación de resultados. Este campo está muy
relacionado a la utilidad o aplicación que pueden encontrar en los contenidos
compartidos. Hoy en día los participantes al inscribirse en este tipo de cursos
buscan actualizar sus conocimientos y sus capacidades y además ellos pueden
aplicar los conocimientos aquellos en los cursos, para ellos puede significar de
mucho mejor calidad un curso.

El Campo número cinco de Calidad, el autor lo define como: Transparencia de la

información. Este se refiere a la información que los estudiantes tienen sobre el
contenido del curso, metodología de aprendizaje, cuestiones relativas al
certificado del curso, la cualificación de los tutores y la organización que ofrece
el mismo.

Esta información sobre los objetivos del curso y su contenido son de mucho
valor para los estudiantes en la toma de decisión de inscribirse o no en un curso
virtual.

El Campo de Calidad número seis: Estructura del curso contiene los requisitos
del alumno sobre la estructura del mismo.

Las preferencias de calidad del alumno muestran claramente que las lecciones
de inducción o contenido introductorio al curso son de mucha relevancia para
los estudiantes. Le da valor que cuente con instrucciones claras, contenidos o
recursos de apoyo, que se indique claramente cómo serán evaluados, la forma
de entrega de las actividades, los criterios de evaluación que serán
considerados, de preferencia que se muestra una ruta de aprendizaje, que se
presenten recursos como calendario de actividades o se realicen recordatorios
que permitan una mejor organización por parte del estudiante.

Y por último como ustedes pueden ver en la imagen me refiero al campo de

Campo de Calidad número siete: La Metodología.
 20

La investigación muestra que una gran cantidad de preferencias de calidad que

se analizan caen en esta categorización.

Abarca aspectos de contenido, metas de aprendizaje, métodos y materiales.

Las preferencias de los estudiantes están relacionadas a los materiales

enriquecidos por tecnología, el uso de recursos multimedia, de interacción, de
gamification, el diseño de las actividades de aprendizaje, por ejemplo.

Como pudieron observar desde la perspectiva del estudiante son muchos los
aspectos que se evalúan, y en la mayoría de los casos se interrelacionan con los
aspectos que considera el profesor o diseñador instruccional al momento de
evaluar su curso.

Estándares de Calidad

Debido a la creciente oferta de educación virtual superior y las necesidades de

formación de la sociedad actual, las instituciones educativas deben
preocuparse por asegurar y mejorar la calidad de sus servicios y la satisfacción
de los requerimientos de sus estudiantes.

Esta preocupación lleva a las instituciones, a definir criterios, metodologías y

estándares que permitan garantizar la calidad de los cursos virtuales.

¿Qué es un estándar?

Podemos definir un estándar como una normativa según la cual se establece

unas pautas particulares, destinadas a realizar una función o acción particular.

Cuando decimos que un producto cumple un estándar, estamos diciendo que

cumple todas y cada una de las directrices descritas en el estándar a la hora de
cumplir una función determinada.

Ahora bien, ¿Qué es un sistema de Gestión de Calidad para la educación?

Un sistema de gestión de calidad es la manera en que una institución dirige y

controla las actividades académicas que están asociadas con la calidad. En
términos generales, consiste en la estructura organizativa, la planificación, los
 21

procedimientos, los recursos y la documentación que se utiliza para alcanzar

los objetivos de calidad y proporcionar con esto un mejor servicio educativo y
satisfacer las necesidades y expectativas de todo tipo de estudiante.

Dentro de las principales iniciativas de estándares relacionados a la educación

virtual, se encuentra la Norma ISO 9001 2008 desarrollada por el Comité Técnico
ISO/TC176 de ISO que especifica los requisitos para un buen sistema de gestión
de la calidad.

Aunque éste no es un estándar específico para la educación virtual, cada vez

más es utilizado por las organizaciones educativas con el objetivo de mejorar la
calidad en la gestión. Esta norma está estructurada en ocho capítulos,
refiriéndose los cuatro primeros a declaraciones de principios, estructura y
descripción de la empresa, así como los requisitos generales, es decir, todos
ellos son de carácter introductorio.

Los capítulos cinco a ocho están orientados a procesos y en ellos se agrupan

los requerimientos para la implantación de un sistema de calidad.

En la actualidad se encuentra publicada la versión 2015, en la siguiente imagen

ustedes pueden verificar las diferencias que existen entre ambas propuestas.
 22

El principal estándar sobre calidad de la formación virtual fue UNE 66181:2008

el cual fue elaborado por el comité técnico de normalización 66. Responsable
en AENOR (La Asociación Española de Normalización y Certificación).

La Norma UNE 66181:2008 pretende ser una guía para identificar las
características de las acciones formativas virtuales, de forma que los
compradores de formación virtual puedan seleccionar los productos que mejor
se adapten a sus necesidades y expectativas, y para que los productores de
contenidos de educación virtual puedan mejorar su oferta y con ello la
satisfacción de sus clientes o estudiantes.

En definitiva, esta norma específica las directrices para identificar las

características que definen la calidad de la formación virtual con relación a los
potenciales clientes.

Con el fin de mejorar la satisfacción de los clientes, esta norma establece un

modelo de calidad basado en una serie de indicadores de calidad que
representan factores de satisfacción de los clientes, cada uno de los cuales se
descomponen en atributos clave sobre los que se puede actuar para mejorar el
factor de satisfacción correspondiente.

El nivel de calidad de una acción formativa viene determinado por la

combinación del nivel de satisfacción asociado a cada factor. Los factores de
satisfacción que se consideran para esta norma se pueden observar en la
siguiente imagen.
 23

El primero de ellos es a la relación de la Información, establece un conjunto de

metadatos mínimo que se deben de proporcionar al cliente en la oferta de la
acción formativa.

El factos número dos la Empleabilidad, representa en qué medida la formación

virtual aumenta la capacidad del alumno de integrarse en el mercado laboral

El tercer factor la Facilidad de asimilación, o capacidad de la acción formativa

virtual para estimular al usuario con el fin de entender los contenidos y favorecer
de esta forma el aprendizaje del estudiante.

Y por último, el factor de Accesibilidad, el factor que trata de cuantificar en qué

medida la formación virtual puede ser comprensible, utilizable y practicable con
eficiencia y eficacia por cualquier persona.

Teniendo en cuenta la demanda de los usuarios y los avances tecnológicos tras

cuatro años de experiencia en su aplicación, esta norma recientemente se
actualizo en una norma llamada UNE 66181:2012 Gestión de la calidad de la
formación virtual.

Esta nueva versión ha introducido cuatro importantes modificaciones: La

primera de ellas es la de los requisitos del factor “Accesibilidad”. Estos han sido
revisados en cuanto a su exigencia y han sido adaptados para alinearlos con
WCAG2.0 y con las nuevas versiones de las normas UNE relacionadas tanto a
 24

los requisitos de accesibilidad del software como a los requisitos de

accesibilidad para contenidos en la Web.

El segundo factor que se modifico fue el factor “Metodología de aprendizaje”,

sustituyendo al antiguo factor “Facilidad de asimilación”, en éste se considera
la importancia que tienen en el éxito de la acción formativa el diseño
instruccional, el método y las herramientas de evaluación, las actividades de
aprendizaje, la interacción entre los diferentes actores implicados en el proceso
formativo tales el caso del tutor o el docente virtual y el propio contexto o
entorno de aprendizaje.

La tercera modificación va en la línea de la información sobre la Demanda del

mercado, esta se ha eliminado del factor “Reconocimiento de la formación” ya
que la especificación con la que antes se debía indicar dicha información ha
mostrado ser altamente dependiente del contexto espacio-temporal por lo cual
fue modificada.

Y por último, se ha hecho con el Entendiendo que la calidad de una acción

formativa está relacionada a los procesos que sigue la organización
responsable de la misma, se han introducido una serie de requisitos mínimos
de gestión que debe cumplir dicha organización.

Enfoques y modelos de evaluación

Existe una amplia literatura sobre el concepto de calidad en la educación

superior virtual, con una abundancia de términos y conceptos.

A menudo se identifica una división en los enfoques de aseguramiento de la

calidad, sin embargo de acuerdo a diferentes autores, se pueden destacar dos
enfoques principales, la evaluación de enfoque parcial y la evaluación de
enfoque global que utiliza modelos de gestión de calidad y la práctica del
benchmarking.

El enfoque parcial se enfoca principalmente en evaluar aspectos como lo son:

 25

Número uno : La actividad formativa, que evalúa a su vez ,tres aspectos

fundamentales: el nivel de cumplimiento de los objetivos de aprendizaje, la
acción formativa y el retorno de la inversión efectuada.

El aspecto número dos es la Evaluación de los materiales de aprendizaje, que al

ser el principal insumo para la transmisión básica del conocimiento del que
dispone un estudiante, se ha convertido en una de las evaluaciones más
importantes y practicadas, a la que se le ha dedicado mayores esfuerzos en
cuanto al desarrollo de instrumentos y modelos de evaluación.

El tercer aspecto habla sobre la evaluación de las plataformas tecnológicas, por

ser el medio a través del cual se implementa la educación virtual, la valoración
de la calidad debe poder establecerse, de forma general, en función de
estabilidad y confiabilidad de la plataforma, la tolerancia a fallos, que sea ágil y
flexible, con interface intuitiva y atractiva para el usuario.

Y el cuarto punto habla sobre la evaluación financiera que es la relación entre el

coste y beneficio.

La educación virtual requiere una inversión inicial importante, que desde el

punto de vista financiero muchas veces es difícil justificar, porque muchas
veces no se puede evidenciar con facilidad el retorno de dicha inversión.

Ya que los beneficios más significativos y evidentes de este tipo de formación

son los más intangibles y difíciles de cuantificar, por ejemplo, la satisfacción,
iniciativa y liderazgo, las habilidades y competencias adquiridas, el aumento en
la productividad o el ahorro de tiempo por mencionar algunos beneficios de
carácter operativo.

Ahora bien, el enfoque global contempla dos tendencias. La número uno es la

evaluación y gestión de la calidad, que se caracteriza porque busca integrar a
todos los miembros de la organización con el objetivo fundamental de
desarrollar y mantener un ciclo de mejora continua, que busque la eficacia,
eficiencia y funcionalidad en la organización.

El punto número dos es la evaluación de la educación virtual basada en el

bechmarking, que consiste en llevar a cabo una comparación con otras
 26

instituciones que obtiene excelentes resultados de calidad, es decir, me

comparo con uno de los mejores, con el único objetivo de emular las mejores
prácticas de éste a partir de la observación, comparación y cooperación hacer
mejoras en mis procesos internos.

Cada enfoque mencionado utiliza diferentes modelos para determinar la calidad

de la formación virtual.

Modelos que al aplicarse proporcionan información a través de hallazgos y

resultados que permiten establecer qué nivel de calidad se tiene, a dónde se
quiere llegar y qué acciones tomar para obtener los resultados deseados.

A continuación les presentaré una serie de modelos para evaluar la actividad

formativa desde el enfoque parcial.

El primero de ellos es el modelo sistémico de Vann Slyke que se enfoca

principalmente en cuatro aspectos.

El primero de ellos las características institucionales, es decir la capacidad de

la organización, infraestructura, capacidad económica. El segundo aspecto
habla sobre los destinatarios de la formación, los intereses, habilidades de los
estudiantes, conocimientos previos y dominio de la tecnología. El tercer aspecto
habla sobre las características del curso en relación al tipo de metodología se
debe implementar, colaborativa, autodidacta, con acompañamiento, solución de
casos. Y por último el cuarto aspecto habla sobre las características de la
formación a distancia, que básicamente está relacionada a la necesidad de
inducción de los estudiantes para esta modalidad de estudio.

El segundo modelo es el de cinco niveles de evaluación de Marshall and Shriver.

 27

Este modelo se enfoca principalmente en asegurar el conocimiento y las

competencias en el estudiante virtual relacionando los aspectos de docencia, la
capacidad del profesor para proyectar a través del medio tecnológico,
materiales del curso, evaluado por el estudiante en relación a la dificultad,
pertinencia, interés y efectividad de los mismos.

La estructura del curso en función de los contenidos de los que se presentan y

la definición del ciclo de aprendizaje.

El cuarto punto la Transferencia del aprendizaje, es decir el nivel en el que el

curso le permite a los participantes adquirir los conocimientos necesarios.

Este modelo combina diferentes elementos relacionados a los recursos y

metodologías, pero hace un especial énfasis en el docente, como un agente
dinamizador de la formación en este tipo de entornos virtuales.

El tercer modelo es el Modelo de cuatro niveles de Kirkpatrik.

Este modelo es ampliamente utilizado en las evaluaciones formativas virtuales.

 28

Este modelo evalúan cuatro niveles: el nivel número uno, como ustedes pueden
observar en esta imagen habla sobre la reacción de los participantes frente a
distintos elementos como el tutor, los materiales de aprendizaje presentados en
el curso , el contexto, el mismo aprendizaje en sí, la percepción del impacto de
la formación adquirida. Básicamente mide el nivel de satisfacción del
estudiante.

El nivel número dos, como lo ven en esta imagen, está enfocado en el

conocimiento adquirido, persigue comprobar el nivel de conocimientos y
habilidades adquiridos por el alumnado a través de tests de rendimiento.

El tercer nivel, el de conocimiento aplicado consiste en detectar si las

competencias adquiridas durante el proceso de enseñanza aprendizaje se
aplican en los diferentes entornos de trabajo.

Y finalmente el impacto de los resultados busca evidenciar los beneficios

económicos obtenidos de la formación, sin embargo, recordemos que esto no
es tan sencillo de evidenciar, por lo que también este nivel se utiliza para
determinar hasta qué punto la falta de formación puede tener un impacto
perjudicial en las acciones formativas.
 29

Otra perspectiva de análisis, puede estar dada en función de la evaluación de

los materiales. Cabero, identifica tres tipos de evaluación con respecto a los
medios tecnológicos en general: la evaluación del medio en sí, la evaluación
comparativa con otro medio y la evaluación didáctico-curricular.

Así como tres agentes evaluadores: los productores de contenido, los expertos
en el tema y los usuarios finales.

El otro aspecto importante a considerar, siempre desde el enfoque parcial, sería

la evaluación de las plataformas tecnológicas.

La mayoría de instrumentos existentes para evaluar campus virtuales, que han

sido desarrollados ya sea por las compañías de software o bien por las
instituciones que las usan como universidades, están orientados a determinar
las características de los mismos en función de una serie de categorías de
análisis como: el costo, los requerimientos de hardware y software, la capacidad
de desarrollo, escalabilidad, herramientas para el estudiante, el instructor y el
administrador

Sobre la base de estas categorías existen iniciativas que han elaborado

modelos o estándares de calidad de plataformas virtuales, como: Quality
Standards on the Virtual Campus, desarrollados por la Universidad Virtual de
Pensilvania, un modelo más cualitativo y flexible como lo es el modelo ACTIONS
de Tony Bates.

Ahora bien, como pueden observar en la siguiente tabla, se muestra los

aspectos a considerar desde la perspectiva del Enfoque global.
 30

El primero de ellos es la Evaluación y gestión de la calidad. Una de las

herramientas más utilizadas es la de las normas ISO, este conjunto de normas
principalmente exigen que una organización defina y planifique sus procesos de
creación de contenidos , los documentos de referencia o de apoyo utilizados y
sobre todo garantice el control y la revisión de los mismos de una forma
periódica y sistemática.

Como pueden observar en la parte final de la tabla se muestran las prácticas de

evaluación de la educación virtual basada en el benchmarking.

En este tipo de evaluación al igual que los anteriores hace énfasis en un

conjunto de factores en los cuales la institución con la que se compara debe
sobresalir en funcionamiento técnico impecable; un modelo docente a la
medida del estudiante o usuario final, buenos materiales, buena oferta
curricular; sistemas independientes de soporte para resolver problemas de tipo
técnico, y relacionados con la materia del curso y sobre todo aspectos
pedagógicos relacionados con el modelo de enseñanza aprendizaje y el tipo de
estudiante que tenemos en cada uno de los cursos.

Como reflexión final a este tema, se puede decir que al igual que la definición de
calidad, también hay una variedad de enfoques y modelos que se pueden
 31

utilizar, pero el uso de uno u otro dependerá del qué, el cómo, y para qué lo
usaremos.

Procesos de Aseguramiento de la Calidad

Ocuparse del tema de calidad en la educación virtual no es una cuestión de

moda, esta variable tiene una importancia decisiva para cualquier institución o
entidad que desarrolle educación virtual y busque mantener su competitividad.

¿Cómo se gestiona la calidad en el proceso de enseñanza-aprendizaje virtual?

¿Cuáles son las directrices que se deben establecer en cada etapa del proceso
para garantizar dicha calidad? ¿Quiénes intervienen en esta validación? ¿En qué
momentos clave deben llevarse a cabo acciones tanto de detección de brechas
como de mejoras?

Es mi intención al formular las preguntas anteriores, alcanzar los siguientes

objetivos:

Número uno: Integrar los conceptos que se han visto hasta el momento de tal
manera que se pueda establecer en forma de un procedimiento, con etapas
marcadas y acciones concretas a ejecutar, que permita obtener un producto de
calidad. Y el segundo objetivo va en relación de mostrar como intervienen los
diferentes elementos de evaluación en este procedimiento, personal que se
necesita y análisis de la información, para finalmente pasar a la toma de
decisiones y acciones encaminadas a obtener un producto de calidad.

El sistema de gestión de la calidad en la creación de cursos virtuales esta

intrínsecamente ligado al ciclo de vida de un curso. En cada fase se establecen
diferentes criterios o indicadores que deben cumplirse, para alcanzar los
objetivos de calidad. Estos criterios deben ser tan amplios como sea preciso,
pero no deben sobredimensionarse o minimizarse, es decir, deben ajustarse a
las exigencias de los citados objetivos, disposición de recursos, tiempo y los
requerimientos contractuales entre el proveedor y el cliente.
 32

Recordemos en este momento que un indicador o criterio debe ante todo

proveer información válida y específica sobre el desarrollo de las acciones que
conlleva el diseñar un curso de formación virtual y los resultados obtenidos en
determinada etapa del proceso.

Permitir el análisis y la emisión de juicios sobre parte o todo el sistema de

gestión de calidad. Aportar información para el establecimiento de planes de
mejora. Aportar información para valorar la evolución del curso a lo largo del
tiempo.

¿Cuál es equipo de trabajo que se necesita para llevar a cabo la evaluación en

cada una de estas etapas?

Número uno: el Encargado de control de calidad. Es la persona responsable de

asegurar que todos los factores o parámetros que sean identificados sean
cumplidos.

El Diseñador instruccional que es el asesor metodológico que acompaña el

proceso de creación de contenido junto con el docente.

El Experto en la materia que es el encargado de desarrollar los materiales y los

Beta testers que son cada uno de estos usuarios que se pueden hacer tester o
hacer unas pruebas iniciales antes de implementar dicho curso.

Cada uno de estos roles tiene importantes acciones específicas a llevar a cabo
con el fin de garantizar que el producto que se va obteniendo en cada una de las
etapas cumple con los requisitos mínimos establecidos.
 33

En la Etapa de planificación se establecen indicadores que permitan identificar

las brechas existentes entre el modelo educativo actual y el deseado, sus
posibles causas y soluciones, o simplemente para explorar nuevas alternativas
de educación. En esta etapa intervienen el Diseñador instruccional, experto y la
institución que demanda el servicio representado en muchas ocasiones por un
grupo de personas que tienen claro como un curso o programa virtual encaja en
su planeación estratégica global. Contar con un instrumento de preguntas de
este tipo: ¿Qué se busca con el curso? ¿Qué carencias existen, en los ambientes
y actividades de aprendizaje tradicionales, que este curso debe atender?
¿Cuáles son los objetivos de la institución al desarrollar este curso en esta
modalidad? ¿Qué impacto espera tener? ¿Qué tipo de educación virtual desea
desarrollar? ¿Existe la infraestructura necesaria para impartir este tipo de
cursos? O si ya conocen el análisis del grupo meta.

La información que se obtiene del instrumento de evaluación permite elaborar

un documento con el perfil del curso el cual contiene de manera precisa: qué se
desea hacer y alcanzar, análisis del grupo meta, objetivos de enseñanza e
institucionales a alcanzar, permitiendo así una correcta planificación y diseño
del curso.
 34

En la etapa de producción interviene únicamente el diseñador instruccional, el

cual además diseñar y producir un contenido en conjunto con el experto en el
tema, debe asegurarse que el material de curso cumpla con todos los requisitos
que una modalidad virtual implica. Como por ejemplo: los objetivos de
aprendizaje deben ser claros y alcanzables, los materiales que se presentan en
el contenido del curso deben cumplir con elementos de multimedia, que se siga
una estructura modular, que se desarrollen actividades de aprendizaje formativa
y sumativa y que existan canales de comunicación efectivos como
videoconferencias o Hangout.

Para esta etapa el Diseñador instruccional debe contar con el conocimiento y la

experiencia necesarios para aplicar un modelo de evaluación de material de
aprendizaje, los cuales generalmente consisten en instrumentos de evaluación
desarrollados por instituciones como CALED, que al final de procedimiento se
convierte en un check list con diferentes ítems, que tienen un determinado valor
y en donde se puede determinar si se cumple con un estándar mínimo de
calidad.

Previo a la etapa de Impartición. Aquí intervienen dos figuras importantes, una

de ellas son los grupos de beta tester que conocen del tema y tienen como
objetivo fundamental, encontrar fallos y elementos de mejora, el resultado de su
trabajo que se ve reflejado en diferentes informes que reportan diferentes
acciones a realizar.

Durante la impartición se deben trasladar a los estudiantes instrumentos que

permitan identificar elementos de valor. Por ejemplo una evaluación de
diagnóstico, una encuesta de satisfacción, durante y al final del curso,
encuestas que evalúen tanto el material del curso como la plataforma,
acompañamiento del tutor y el apoyo institucional que se puede dar a dichos
estudiantes.

El responsable de llevar a cabo esta acción es el encargado del control de

calidad. Este debe ser capaz de analizar, interpretar y determinar acciones de
mejora, priorizar, para finalmente presentar este reporte a la institución y
 35

coordinar las acciones pertinentes que se deben tomar para mejorar los
resultados obtenidos con el equipo que participó en el desarrollo del curso.

Podemos concluir entonces, que asegurar la calidad del aprendizaje en línea,

requiere sobre todo, visión institucional, compromiso, liderazgo y una cuidadosa
planificación en la que también se abarque cualquier asociación o unión
estratégica con otras instituciones.

Garantizar la calidad requiere estructuras institucionales eficaces y eficientes.

Sin embargo, no se debe suponer que con la creación de estructuras de control
de calidad mejora automáticamente la misma.

Las instituciones deben distinguir entre los procedimientos de garantía de

calidad, que pueden convertirse fácilmente en focos de cumplimiento por llenar
un requisito, y los esfuerzos reales para mejorar la calidad. Por ejemplo, la
evaluación de un curso, aunque necesario, no es suficiente. La mejora de la
calidad sólo se llevará a cabo cuando los aspectos a corregir en las lecciones,
se reflejen en la próxima oferta del curso. Estructuras de control de calidad y
procesos institucionales son muy importantes, pero hay que tener cuidado de
no convertirlas en un ejercicio de cumplimiento por llenar un simple requisito y
rendir cuentas, en lugar de, un proceso de aprendizaje y superación que
realmente garantice la calidad de nuestros cursos.
36