EVALUACIÓN

INTRODUCCIÓN

 La evaluación es una parte básica en el diseño de un sistema centrado

en el usuario
 Sin hacer ningún tipo de evaluación es imposible conocer si un
sistema cumple las expectativas de los usuarios y se adapta a su
contexto social, físico y organizativo
 En este tema conoceremos diferentes métodos de evaluación, cómo y
dónde se realiza un test de usabilidad y cómo se analizan sus
resultados
 OBJETIVOS

 Introducir la usabilidad como concepto

 Saber qué es la evaluación
 Conocer los diferentes métodos de evaluación
 Aprender a realizar evaluaciones
 Valorar el coste de su aplicación
 Saber cómo obtener conclusiones y cómo mejorar la usabilidad del
sistema evaluado
 CONTENIDO

 Eldiseño centrado en el usuario

 La usabilidad
 La evaluación
 Métodos de evaluación
 Coste de la usabilidad
 Laboratorio de usabilidad
DISEÑO CENTRADO EN EL USUARIO
 LA USABILIDAD

Medida en la que un producto se puede usar por determinados

usuarios para conseguir objetivos específicos con efectividad,
eficiencia y satisfacción en un contexto de uso especificado [ISO]

 Efectividad: precisión y plenitud con que los usuarios

alcanzan los objetivos. Asociado a:
 Facilidad de aprendizaje, tasa de errores, facilidad de recuerdo
 Eficiencia: precisión y plenitud / recursos empleados
 Satisfacción: comodidad y actitud positiva en el uso
del producto
 Es un factor subjetivo
 LA USABILIDAD

 Un sistema es usable si los usuarios pueden hacer rápida y

fácilmente sus tareas
 La usabilidad descansa en cuatro puntos:
 Una aproximación al usuario: usabilidad significa centrarse en el usuario
 Un amplio conocimiento del contexto de uso: las personas utilizan los
productos para incrementar su productividad
 El producto ha de satisfacer las necesidades del usuario: los usuarios son
personas ocupadas que tratan de realizar tareas
 Son los usuarios, y no los diseñadores o desarrolladores, quienes determinan
cuándo un producto es fácil de usar
 LA USABILIDAD
BENEFICIOS

 Tener en cuenta la usabilidad en el diseño permite:

 Reducción de los costes de producción
 Evitando el rediseño y reduciendo los cambios posteriores
 Reducción de los costes de mantenimiento y apoyo
 Los sistemas usables requieren menos entrenamiento y soporte
 Reducción de los costes de uso
 Los sistemas usables mejoran la productividad
 Mejora en la calidad del producto
 Importante en un mercado competitivo que demanda productos de fácil uso
 LA USABILIDAD: BENEFICIOS

 La usabilidad debe ser considerada en todo momento, desde el

comienzo del desarrollo:
 Antes de iniciar el proyecto es esencial tener una idea acerca de las
características de los usuarios y de los aspectos del producto de mayor interés
y necesidad
 Durante todo el desarrollo se han de realizar pruebas para comprobar que se
está considerando la usabilidad del producto
 Incluso una vez que el producto está en el mercado se debería preguntar a los
usuarios acerca de sus necesidades y actitud respecto del mismo
 LA EVALUACIÓN

Conjunto de metodologías y técnicas que analizan la usabilidad de

un sistema interactivo en diferentes etapas del ciclo de vida

 Aplicar los métodos de evaluación de la usabilidad

permite crear mejores productos y ayudar a los
usuarios a realizar sus tareas más productivamente
 LA EVALUACIÓN
ASPECTOS A CONSIDERAR

 Coste
 Personas que lo realizarán
 Etapas del ciclo de vida
 MÉTODOS DE EVALUACIÓN

 Inspección
 Indagación
 Test
 MÉTODOS DE EVALUACIÓN
INSPECCIÓN

 Unos evaluadores inspeccionan o examinan aspectos relacionados

con la usabilidad de la interfaz
 Los inspectores de la usabilidad pueden ser:
 especialistas en usabilidad
 consultores de desarrollo de software con experiencia en guías de estilo de
interfaces
 usuarios finales con conocimientos del dominio
 Métodos de inspección más importantes:
 Evaluación heurística
 Recorridos cognitivos
 Inspección de estándares
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
EVALUACIÓN HEURÍSTICA

 La evaluación heurística consiste en analizar la conformidad de la

interfaz con unos principios reconocidos de usabilidad (la
"heurística") mediante la inspección de varios evaluadores expertos
 Se recomienda utilizar de tres a cinco evaluadores
 Cada uno emite un informe o comunica sus comentarios a un observador
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
EVALUACIÓN HEURÍSTICA

 10 reglas heurísticas de usabilidad

 1. El estado del sistema debe ser siempre visible
 2. Utilizar el lenguaje de los usuarios
 3. Control y libertad para el usuario
 4. Consistencia y estándares
 5. Prevención de errores
 6. Minimizar la carga de la memoria del usuario
 7. Flexibilidad y eficiencia de uso
 8. Diálogos estéticos y de diseño minimalista
 9. Ayudar a los usuarios a reconocer, diagnosticar y recuperarse de los errores
 10. Ayuda y documentación
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
RECORRIDO COGNITIVO

 El recorrido cognitivo implica a un grupo de evaluadores que han de

examinar la interfaz realizando un conjunto de tareas y evaluando su
comprensión y facilidad de aprendizaje
 La interfaz está normalmente en forma de prototipo
 Esta técnica es idónea en la etapa del diseño
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
RECORRIDO COGNITIVO

 Datos iniciales:
 Diseño de la interfaz (prototipo de papel o de software)
 Escenario
 Tareas a realizar (documento de análisis de tareas)
 Población de usuarios y contexto de uso
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
RECORRIDO COGNITIVO

 Ejecución:
 Selección de una tarea
 Ejecución de las acciones de cada tarea
 Para cada acción el usuario tratará de realizar la selección adecuada
 El sistema debe realizar la realimentación correspondiente
 Hemos de percibir el éxito y ver que vamos en el camino de resolver la tarea
 MÉTODOS DE EVALUACIÓN - INSPECCIÓN
INSPECCIÓN DE ESTÁNDARES

 Este método se realiza por medio de un experto en un estándar de la

interfaz que puede ser de facto o de iure
 El experto realiza una inspección minuciosa a la interfaz para
comprobar que cumple en todo momento y globalmente todos los
puntos definidos en el estándar
 MÉTODOS DE EVALUACIÓN

 Inspección
 Indagación
 Test
 MÉTODOS DE EVALUACIÓN
INDAGACIÓN

 La información acerca de los gustos y necesidades del usuario y la

identificación de requisitos es indispensable en una etapa temprana
del desarrollo
 En este tipo de métodos se trabaja hablando con los usuarios,
observándolos, usando el sistema en el trabajo real, obteniendo
respuestas a preguntas verbalmente o por escrito
 MÉTODOS DE EVALUACIÓN
INDAGACIÓN

 Métodos de indagación:
 Observación de campo
 Grupos de discusión dirigidos (focus groups)
 Estudio de campo proactivo
 Entrevistas
 Cuestionarios
 Grabación del uso (logging)
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
OBSERVACIÓN DE CAMPO

 En la observación de campo los ingenieros en factores humanos van

al lugar de trabajo de usuarios representativos y los observan
trabajando para entender cómo están utilizando el sistema para
lograr sus tareas y qué clase de modelo mental tienen sobre él
 Este método se puede utilizar en las etapas iniciales del desarrollo y
en la etapa de prueba del producto
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
OBSERVACIÓN DE CAMPO

 Parte de la observación de campo se hace a través de preguntas, es

decir, entrevistar a los usuarios en su trabajo y observar la manera
en que utilizan el producto
 Parte es observar a las personas utilizar el producto en el día-a-día
 Una manera de asegurar los datos adecuados es identificar tantos
artefactos y afloramientos como sea posible (observación
etnográfica)
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
OBSERVACIÓN DE CAMPO

 Artefactos
 Objetos físicos en uso en el sitio (blocs de notas, formularios, informes,
espacios, paredes...)
 Afloramientos
 Rasgos físicamente identificables que marcan o caracterizan el sitio
(tamaño de los cubículos, tamaño de las pizarras y qué es lo que está
escrito en ellas, tipos de uniformes...)
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
GRUPO DE DISCUSIÓN DIRIGIDO

 El focus group o grupo de discusión dirigido es una técnica de

recolección de datos donde se reúne de 6 a 9 usuarios para discutir
aspectos relacionados con el sistema
 Un ingeniero de factores humanos hace las veces de moderador que
tiene que preparar la lista de aspectos a discutir y recoger la
información que necesita de la discusión
 Esto puede permitir capturar reacciones espontáneas del usuario e
ideas que evolucionan en el proceso dinámico del grupo
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
TÉCNICAS DE INTERROGACIÓN

 La mejor manera de saber si un sistema se adapta a los requisitos es

interrogar al usuario
 Esto permite tener directamente el punto de vista del usuario y por
tanto encontrar opciones no contempladas en el diseño
 Uno de los problemas es que esta información es subjetiva y puede
ser difícil conseguir alternativas en el diseño, porque el usuario no
tiene experiencia
 Los dos tipos mas importantes son:
 Entrevistas
 Cuestionarios
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
ENTREVISTAS

 Entrevistar a los usuarios respecto a su experiencia en un sistema

interactivo resulta una manera directa y estructurada de recoger
información. Además las cuestiones se pueden variar para
adaptarlas al contexto
 Normalmente en una entrevista se sigue una aproximación de arriba
abajo
 Las entrevistas son efectivas para una evaluación de alto nivel,
particularmente para extraer información sobre las preferencias del
usuario, impresiones y actitudes
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
ENTREVISTAS

 Pueden ayudar a encontrar problemas no previstos en el diseño

 Para que la entrevista sea lo más efectiva posible, ha de ser
preparada con antelación, con todo un conjunto de preguntas
básicas. El revisor puede adaptar la entrevista al entrevistado y
obtener el máximo beneficio
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
CUESTIONARIOS

 El cuestionario es menos flexible que la entrevista, pero puede

llegar a un grupo más numeroso y se puede analizar con más
rigor
 Tipos de cuestionarios:
 Pre-test
 Información y perfil de los participantes
 Post-tarea
 Recoger opiniones y valoraciones de cada tarea
 Post-test
 Recoger opiniones y valoraciones después de que los
participantes completen las tareas
 CUESTIONARIOS
TIPOS DE PREGUNTAS

 General
 Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de
la población en estudio. Incluye cuestiones como edad, sexo, ocupación,
lugar de residencia y otras
 Abierta
 Preguntas útiles para recoger información general subjetiva. Pueden dar
sugerencias interesantes y encontrar errores no previstos
 CUESTIONARIOS
TIPOS DE PREGUNTAS

 Escalar
 Permite preguntar al usuario sobre un punto específico en una escala
numérica
 Ejemplo:
El diseño de los iconos es comprensible
poco 1 2 3 4 5 mucho
 Opción múltiple
 Se ofrecen una serie de respuestas y se pide responder a una de las
opciones o a varias
 Ejemplo:
¿Qué tipo de software has utilizado?
- Tratamiento de texto
- Hoja de cálculo
- Bases de datos
- Contabilidad
 CUESTIONARIOS
TIPOS DE PREGUNTAS

 Ordenada
 Se presentan una serie de opciones que hay que ordenar
 Ejemplo:
Ordena la utilidad de cómo ejecutar una acción:
(1 la más útil, 2 la siguiente, etc. 0 si no se utiliza)
Por iconos
Selección de menú
Doble click
 CUESTIONARIOS
EJEMPLO 1

 Cuestionario post-tarea
1. ¿Ha sido fácil completar la tarea?
Muy fácil Fácil Normal Difícil Muy difícil

Comentarios:

2. ¿Has utilizado el manual para completar la tarea?

Sí ____ No _____

3. Si has utilizado el manual, ¿la información ha sido fácil de encontrar?

Muy fácil Fácil Normal Difícil Muy difícil

Comentarios:

4. ¿La información que encontraste en el manual ha sido fácil de utilizar?

Muy fácil Fácil Normal Difícil Muy difícil

Comentarios:
 CUESTIONARIOS
EJEMPLO 2

 Cuestionario post-test
1. Utilizar el
Muyprograma
fácil ha sido:
Fácil Normal Difícil Muy difícil

Comentarios:
2. Encontrar las características que querías en los menús ha sido:
Muy fácil Fácil Normal Difícil Muy difícil

Comentarios:
3. Comprender los mensajes ha sido:
Muy fácil Fácil Normal Difícil Muy difícil

Comentarios:
4. La recuperación de erroresFácil
Muy fácil es: Normal Difícil Muy difícil

Comentarios:
5. El uso del manual ha sido:
Muy fácil Fácil Normal Difícil Muy difícil

6. ¿Te explica el manual todo el ámbito del programa? Sí ____ No _____

Comentarios:
7. ¿Recomiendas que se compre este producto?
8. Comentario general:
 MÉTODOS DE EVALUACIÓN - INDAGACIÓN
GRABACIÓN DEL USO (LOGGING)

 El logging implica tener en el ordenador una ampliación del sistema

que recoja automáticamente estadísticas sobre el uso detallado del
sistema
 Es útil porque muestra cómo los usuarios realizan su trabajo real y
porque es fácil recoger automáticamente datos de una gran cantidad
de usuarios que trabajan bajo diversas circunstancias
 Datos recogidos:
 Frecuencia de uso de cada característica del sistema
 Frecuencia de aparición de mensajes de error
 Frecuencia de uso de la ayuda en línea
 …
 MÉTODOS DE EVALUACIÓN

 Inspección
 Indagación
 Test
 MÉTODOS DE EVALUACIÓN
TEST

 Usuarios representativos realizan sus tareas usando el sistema (o un

prototipo) y los evaluadores observan los resultados
 Tipos de métodos:
 Medida de prestaciones
 Test remoto
 Pensando en voz alta
 Interacción constructiva
 Test retrospectivo
 Método del conductor
 MÉTODOS DE EVALUACIÓN - TEST
MEDIDA DE PRESTACIONES

 Características:
 Los participantes representan usuarios reales
 Los participantes tienen que hacer tareas reales
 Se observa y se registra lo que los participantes hacen y dicen
 Se analizan los datos, se diagnostican problemas reales y se recomiendan
cambios
 Es importante la selección de las tareas a evaluar:
 Tareas que demuestren problemas de usabilidad
 Tareas sugeridas por la propia experiencia
 Tareas que los usuarios harán con el producto
 Tareas que son difíciles de recuperar después de un error
 MEDIDA DE PRESTACIONES
CÓMO MEDIR LA USABILIDAD

 ¿Qué es lo que se puede medir?

 Medidas de rendimiento: contar las acciones y los comportamientos que se
puedan ver
 Medidas subjetivas: percepciones de las personas, opiniones y juicios
 MEDIDAS DE RENDIMIENTO
EJEMPLOS
 tiempo para completar una tarea
tiempo consumido en menús de navegación
tiempo consumido en ayuda en línea
tiempo en buscar información en un manual
tiempo invertido en recuperarse de errores
 número de opciones de menú erróneos
número de opciones incorrectas en cajas de dialogo
número de selección de iconos incorrectos
número de teclas de función mal seleccionadas
 número de llamadas a la ayuda
número de pantallas de ayuda en línea
 número de veces que se consulta el manual
 observaciones de frustración
observaciones de confusión
observaciones de satisfacción
 MEDIDAS SUBJETIVAS
EJEMPLOS

 Relaciones de
 facilidad de uso del producto
 facilidad de aprender el producto
 facilidad de hacer una determinada tarea
 facilidad de instalar el producto
 facilidad de encontrar información en el manual
 facilidad de comprender la información
 utilidad de los ejemplos de ayuda
 Preferencias o razones de la preferencia
 de una versión previa
 sobre un producto de la competencia
 de la manera como estamos haciendo las tareas ahora
 Predicciones de comportamiento
 ¿Comprará el producto?
 Comentarios espontáneos
 Estoy totalmente perdido
 Ha sido fácil
 No comprendo el mensaje
 MEDIDAS DE RENDIMIENTO
MEDIR UNA TAREA

Medir Excelente Aceptable Inaceptable

Tarea1
tiempo por la tarea <3 min 3-5 min > 5 min
recuperación de un error 0 <1 min > 1 min
ayuda en línea 1 2-3 min > 3 min
 MEDIDA DE PRESTACIONES
RESULTADOS DEL TEST

 Un test de prestaciones genera una cantidad

importante de datos:
 Lista de problemas que han surgido durante la realización del test
 Datos cuantitativos de tiempo, errores y medidas de rendimiento
 Datos cuantitativos de valoraciones subjetivas y cuestionarios post-
tarea y post-test
 Comentarios de los participantes de las grabaciones
 Notas escritas y comentarios del equipo de test
 Datos generales de los participantes, de sus perfiles o de
cuestionarios de pre-test
 El objetivo es encontrar problemas reales en el
producto y en el proceso de desarrollo del mismo
 MÉTODOS DE EVALUACIÓN - TEST
PENSANDO EN VOZ ALTA

 Se pide a los usuarios que expresen en voz alta sus

pensamientos, sentimientos y opiniones mientras
interaccionan con el sistema
 Es muy útil en la captura de un amplio rango de
actividades cognitivas
 Modelo mental
 Terminología
 Si intervienen dos usuarios a la vez
se tiene el método de
interacción constructiva
 MÉTODOS DE EVALUACIÓN - TEST
OTROS MÉTODOS

 Test retrospectivo
 Se graba en vídeo la sesión de test y se revisa posteriormente
con el usuario. Permite obtener más comentarios
 Método del conductor
 El evaluador conduce al usuario en la dirección correcta
mientras éste usa el sistema. El usuario puede preguntar
cualquier aspecto relacionado con el sistema
 Este método se utiliza con usuarios inexpertos y permite
descubrir sus necesidades de información
 MÉTODOS DE EVALUACIÓN
RESUMEN

 Inspección  Test
 Evaluación heurística  Medida de prestaciones
 Recorridos cognitivos  Test remoto
 Inspección de estándares  Pensando en voz alta
 Indagación  Interacción constructiva
 Observación de campo  Test retrospectivo
 Grupos de discusión dirigidos  Método del conductor
 Estudio de campo proactivo
 Entrevistas
 Cuestionarios
 Grabación del uso
 MÉTODOS DE EVALUACIÓN
EN EL CICLO DE VIDA

Método Requisitos Desarrollo Despliegue

Evaluación heurística x x

Recorrido cognitivo x x

Inspección de estándares x

Observación de campo x x

Entrevistas, Cuestionario x x

Medida de prestaciones x x

Pensando en voz alta x x x

 COSTE DE LA USABILIDAD

 El coste es un aspecto importante a tener en cuenta

al decidir entre los diferentes métodos de evaluación
de la usabilidad
 Criterios para determinar el coste de un método de
evaluación de la usabilidad:
 Personal necesario, número de usuarios, expertos en
usabilidad y desarrolladores de software
 Tiempo necesario para recogida de datos y análisis
 Necesidad de coordinación, si el método requiere que los
participantes estén presentes simultáneamente
 LABORATORIO DE USABILIDAD

 Es un espacio especialmente adaptado para la

realización de test de usabilidad
 Permite realizar cómodamente la fase de recogida de
datos de los participantes en el test
 Dispone normalmente del siguiente equipamiento:
 Cámaras de control remoto
 Micrófonos inalámbricos
 Mesa de mezcla digital
 Escáner de entrada
 Grabadora VHS
LABORATORIO DE USABILIDAD
FIJO

Laboratorio de usabilidad de Microsoft

LABORATORIO DE USABILIDAD
MÓVIL
 CONCLUSIONES

 La evaluación es una parte muy importante del diseño y ha de

hacerse durante todo el ciclo de vida
 Su objetivo es probar la funcionalidad y usabilidad del diseño,
identificar y rectificar problemas
 Puede hacerse en el laboratorio
o en el puesto de trabajo del
usuario y en general es importante
una participación activa por parte
del usuario