Sistema inmersivo de reconocimiento y control de

gestos empleando realidad virtual para

rehabilitación de las extremidades superiores en
pacientes con daño cerebral adquirido DCA.

Resumen: La presente investigación detalla el proceso de desarrollo de un

sistema basado en realidad virtual que puede ser utilizado en tarapias de
rehabilitación para personas con deficiencia motriz en extremidades
superiores debido a un accidente cerebrovascular o ictus. Se trabajó
conjuntamente con un profesional fisioterapeuta para la selección de ejercicios
motrices adaptados para la rehabilitación de la extremidad superior, el diseño
de la arquitectura del sistema se divide en dos partes fundamentales que son
el modelado 3D y la implementación de la interactividad de los ejercicios
empleando sensores gestuales y controles de tacto representados de forma
virtual en ambientes virtuales. Se describe el proceso de creación del modelo
3D de la extremidad superior, así como el diseño del asistente virtual que guía
al paciente a través de la rehabilitación. Finalmente se realizan pruebas en
pacientes que han sufrido de ictus, en un tiempo de tres meses para
determinar el efecto que el sistema tuvo en los pacientes.

Palabras-clave: Realidad virtual, Modelado 3D, Reconocimiento gestual,

Déficit motriz, Rehabilitación física.

Immersive system of recognition and control of gestures using

virtual reality for rehabilitation of the upper extremities in
patients with acquired brain injury ABI.

Abstract: This research details the process of developing a virtual reality-

based system that can be used in rehabilitation therapies for people with
motor impairment in the upper extremities due to stroke or stroke. We
worked together with a professional physiotherapist for the selection of motor
exercises adapted for the rehabilitation of the upper limb, the design of the
architecture of the system is divided in two fundamental parts that are the 3D
modeling and the implementation of the interactivity of the exercises using
gestural sensors and touch controls represented in a virtual way in virtual
environments. It describes the process of creating the 3D model of the upper
limb, as well as the design of the virtual assistant that guides the patient
through rehabilitation. Finally, tests are performed on patients who have
suffered from stroke, in a time of three months to determine the effect that the
 system had on patients.

Keywords: Virtual Reality; 3D Modeling; Gestural Recognition; Motor

Deficit; Physical Rehabilitation.

1. Introducción
La recuperación de la capacidad motriz de la extremidad superior es uno de los
mayores retos que se enfrentan los pacientes afectados con secuelas sensitivo-
motoras después de sufrir un accidente cerebrovascular (ACV) o llamado también
ictus (Martin-Martin, 2015). Es por eso que en la actualidad la realidad virtual se
está sometiendo a numerosos estudios que demuestran tener buena evidencia
científica en la mejora de la extremidad superior parética (Viñas-Diz, 2016).
Actualmente, según un estudio clínico piloto publicado en acceso abierto en la
revista Journal of NeuroEngineering and Rehabilitation, los investigadores han
puesto de manifiesto que utilizar la realidad virtual aumenta la confianza del
paciente en el uso de su brazo paralizado y que ello puede ser crucial en su
recuperación.La realidad virtual se la cosidera como una alternativa que posibilta
un realismo en el entorno, ademas de conceder gestar una serie de estimulos
gracias a la viabilidad de adatación al entono virtual (Rubio, 2015).
La convergencia de la tecnología de realidad virtual con un sistema de control
gestual conduce a una nueva plataforma de servicios en la que el usuario puede
controlar objetos localizados en un entorno virtual e interactuar con ellos mediante
su extremidad superior. Estas dos tecnologías se encuentran aún en desarrollo
tienen productos comerciales que se enfocan en desarrolladores, pero con la puesta
en la mira de nuevos productos comerciales que apuntan a mercados masivos con
una tecnología emergente en el transcurso de los próximos años.

2. Desarrollo
El sistema utiliza dos dispositivos que se mencionan a continuación.

A. Óculus Rift

Fue inventado por Palmer Luckey para trabajar en conjunto con un dispositivo
móvil o computadora, se trata de una especie de gafas que disponen una imagen al
usuario de realidad virtual en extremo realista (Pacheco, 2016). El pc es el motor
de rift y por este motivo se recomienda un buen nivel de software para garantizar
un buen rendimiento en todas las experiencias de la realidad virtual

B. Leap Motion

Permite el reconocimiento de gestos de las manos mediante el uso de sensores

por infrarrojo. Es compatible con los diversos sistemas operativos de Windows,
Linux y Apple y tiene distintas APIs para poder programar con él en C++, Java, C#
y Python, también tiene compatibilidad con diversos motores gráficos como Unity.
En la figura 1 se observa los equipos utilizados en el sistema.

Figura 1 - Equipos utilizados en el sistema

2.1. Modelado 3D
Se puede definir el proceso de modelado geométrico tridimensional como el
encargado de crear modelos consistentes que puedan ser manejados
algorítmicamente en un computador. Este proceso de construcción se aborda en
diferentes etapas, partiendo típicamente de entidades básicas y aplicando una serie
de operadores sobre ellas. Estas entidades básicas pueden ser primitivas
geométricas (calculadas de forma algorítmica o mediante una ecuación
matemática) u obtenidas mediante un dispositivo de captura escáner 3D (González,
2010).
Para los modelados tanto de la extremidad como las prendas de vestir del avatar de
bienvenida se desarrolla a través de Blender, este software proporciona un amplio
espectro de funciones de modelado, texturizado, iluminación, animación y pos
procesamiento de video en un solo paquete que puede usarse para crear
visualizaciones 3D, fotogramas y videos de calidad de cine y emisión, mientras que
la incorporación de un motor 3D en tiempo real permite la creación de contenido
3D interactivo.
A. Modelado de brazos

Se utiliza el software de modelado Blender siguiendo un procedimiento sistemático,

el cual se basa en imágenes de referencia como bocetos, diseños o fotografías. En la
figura 2 se presenta el modelado de la extremidad superior.

Figura 2 – Proceso de modelado de brazos

B. Modelado de asistente virtual de bienvenida

El modelado del avatar del saludo inicial del sistema se realiza a través del software
Make Human que permite realizar gráficos 3D de tipo humanoides fotorrealistas,
desarrollado en C++, además, proporciona tres clases principales de humanos
caucásicos, asiáticos, y afro. El modelado de las prendas se obtiene a partir de un
boceto el cual se pule detalles hasta obtener lo que se presenta en la Fig. 3.
 a) b)
Figura 3 – Modelado del asistente virtual de bienvenida a) Prendas de vestir b) Avatar de
bienvenida

2.2. Sistema Interactivo

Para el desarrollo de toda la mecánica del sistema interactivo de realidad virtual se

hace uso del motor de videojuegos Unity3D, este software también es utilizado
como motor de creación de contenidos interactivos como diseños arquitectónicos o
animaciones 3D en tiempo real, además tiene el honor de ser una de las principales
herramientas que proporcionó el auge de los estudios independientes (Pruna,
2018). Pese a estar enfocado al desarrollo de videojuegos en 3D, los desarrolladores
lograban crear contenido en 2D a base de manipulaciones como la cámara y de
utilizar herramientas no nativas (Herrera, 2016).

A. Implementación de la interfaz de realidad virtual

Se debe instalar y configurar el software de Oculus Rift paraWindows y descargarse

los módulos de desarrollo paraUnity3D, así como los paquetes de utilidad. Se
prepara la escena para realidad virtual utilizando el paquete de desarrollode Oculus
Rift y finalmente al editor para que el sistema decámara sea compatible.

B. Creación de menú

Sobre un componente Canvas se deben incluir todos los elementos de UI (Interfaz

de Usuario) como botones, paneles e imágenes. Se implementa la detección del
cursor para que cuando esté por encima de un botón comience una cuenta
regresiva de cinco segundos y lo active. Se realiza la animación de reloj en sentido
horario cuando el cursor este por encima del botón de forma que se reconozca de
manera intuitiva como activar el botón de selección con el movimiento de la cabeza.

C. Creación de ambientes virtuales

Los entornos representan el lugar en donde el paciente realiza las actividades

generando la sensación de inmersión y el atractivo para no abandonar la
rehabilitación física. Se desarrollan tres escenarios posibles para la elección del
paciente, entre ellos, un ambiente que brinde la sensación de naturaleza, otro de
una isla y por último un lugar desértico, tomando en cuenta algunos detalles como
dimensiones, texturas y resolución del detalle gráfico como se visualiza en la figura
4.
 a) b)

c)
Figura 4 – Ambientes virtuales a) Escenario Bosque b) Escenario Isla c) Escenario
Desierto

Usando los módulos de desarrollo de Leap Motion para Unity3D, se accede al

conjunto de datos durante el rastreo de la mano. El módulo de desarrollo de la Leap
Motion proporciona un rastreo predictivo de las manos el cual consiste
básicamente en un array en el que guarda un valor [0] para la primera mano
detectada y un [1] para la segunda, sin tomar en cuenta sea esta derecha o
izquierda.

D. Actividades para la rehabilitación

La seleccion de los ejercicios de rehabilitación en la mano se basan en algunos de

los movimientos que tradicionalmente se realizan en una terapia de rehabilitación
estándar como supinación, movilidad de los dedos y deslizamiento tendinoso,
actividades de la vida diaria (AVD) y reeducación propioceptiva.

Flexo extensión de los dedos: Esta actividad plantea realizar movimientos de flexo
extensión del codo en conjunto con un deslizamiento tendinoso, además, se realiza
una integración de un entorno virtual 3D con mecánicas de desarrollo 2D.

Este ejercicio hace el uso de la clase "ExtendedFingerDetector" incluido en los

módulos de desarrollo de Leap Motion el cual permite identificar si la mano
detectada se cierra o abre, cualquiera de estos dos eventos activa un método que
controla el salto de este por efecto de una fuerza aplicada dentro del entorno de
unity3D. Además, se crea el efecto de parallax scroll en el fondo de la actividad
utilizando objetos llamados Quad, esta técnica de diseño plano consiste en dotar de
cierta tridimensionalidad y lograr un mayor realismo la escena 2D, en la Fig. 5 se
observa la escena 2D de la actividad.

Figura 5 – Interfaz 2D de la actividad Flexo extensión de los dedos.

Giro de muñeca: Esta actividad pretende realizar movimientos de flexoextensión

del codo, pronosupinación y supinación de antebrazo con extremidad superior
extendida para lo cual se procede a crear una clase que extraiga los ángulos Roll,
Pitch, y Yaw de las dos manos detectadas por el sensor gestual y utilizar esta
información para crear un control proporcional simple que permite mover un
objeto en función al giro de la mano sobre su eje longitudinal, en la Fig. 6 se
observa el desarrollo de la actividad.

Figura 6 – Interfaz de la actividad Giro de muñeca.

Movimiento integral 1 de brazo: Esta actividad plantea la posibilidad de realizar de

forma conjunta algunos movimientos como abducción, flexión, extensión,
movimiento rotacional y agarre. Se prepara la escena para realidad virtual y se crea
un cubo que será la base de la actividad y dieciséis cubos desorganizados separados
en dos grupos. Se agrega en escena el reconocimiento espacial de los controles
inalámbricos incluidos en los módulos de desarrollo de Oculus Rift para visualizar
las manos en el entorno virtual. Se implementa un script a cada uno de los cubos en
la escena para que identifique y contabilice si los objetos son apilados en orden
según el número o letra, en la Fig. 7 se presenta la actividad finalizada.

Figura 7 – Interfaz de la actividad Movimiento integral 1 de brazo.

Flexo extensión de brazos: Esta actividad tiene como objetivo lograr que el paciente
realice movimientos de flexo-extensión de sus brazos en su máximo rango posible y
lograr medir cual ha sido la distancia entre brazos del paciente al realizar este
ejercicio. Nuevamente se configura la escena para ser visualizada en realidad
virtual, luego se crea una esfera como se observa en la Fig.8, se agrega un script
para convertirla en un objeto interactivo, es decir, se pueda acceder a su
componente Rigidbody y sus propiedades físicas como posición, rotación, escala.
Seguido de esto se crea una clase que detecte cuando las manos ingresan dentro de
la esfera, cuando esto ocurre calcula la posición de una mano relativa de la otra y
extrae la magnitud de este vector para conocer la distancia entre ellas.

Figura 8 – Interfaz de la actividad Flexo extensión de brazos

Movimiento integral 2 de brazos: Esta actividad busca incentivar el uso de toda la

extremidad superior para realizar movimientos de abducción, flexión, extensión,
movimiento rotacional y agarre durante el desarrollo del ejercicio, para ello, se crea
un conjunto de veinte y cuatro paredes alrededor de la cámara, cada una con un
script en el que habilita la colisión de forma ordenada, si la mano detecta la colisión
con la pared habilitada esta última se destruye y se habilita la siguiente. Se prepara
la escena para las gafas de realidad virtual, y se agrega el reconocimiento espacial
de los controles inalámbricos de Oculus Rift. En el extremo del reconcomiendo del
control touch se agrega un objeto vacío con un componente Capsule Collider el cual
detecta si algún otro objeto entra en colisión con él, en la Fig. 9 se observa la
ejecución de la actividad.

Figura 9 – Interfaz de la actividad Movimiento integral 2 de brazos.

E. Implementación total del sistema ostensible

Se integran de forma conjunta todas las fases de desarrollo del sistema las cuales se
han elaborado cada una de forma independiente. En primera instancia es necesario
realizar la integración del modelado 3D de las manos con el reconocimiento gestual
de Leap Motion como se observa en la Fig. 10, además, se realiza la animación para
cerrar y abrir las manos utilizado la interfaz Mecanim de Unity3D y se instancia las
condiciones para efectuar la transición entre animaciones.

En el menú principal se integra a la selección de ambiente la posibilidad de

guardar en un fichero la elección del paciente para cargar los ambientes sin perder
esta información entre escenas del editor, se crean los efectos de sonido para toda
la estructura del sistema, comenzando por el menú, botones, instrucciones de
forma audible en los asistentes, luz, sombras y optimización grafica en cada uno de
escenas de las actividades, por último, se integra el diseño del avatar con una
animación que saluda al paciente al ingresar a la portada de inicio.

Figura 10 – Integración del modelado 3D de las manos.

3. Experimentación
Antes de dar inicio al programa de rehabilitación resulta indispensable seleccionar
un grupo de pacientes dispuestos a colaborar como agentes de prueba en esta
investigación. En la Tabla 1 se detalla los criterios necesarios para que el paciente
pueda ser apto para esta investigación.
Tabla 1 – Validación de criterios de inclusión y exclusión

Criterios de inclusión Criterios de exclusión

Consentimiento para participar en la Problemas cognitivos graves
investigación
Edad mayor a 40 años Trastornos de la comunicación
Afección de ictus isquémico y/o déficit Afección de ictus hemorrágico
de movimiento en extremidad superior
Independiente Discapacidad previa
Tratamiento ambulatorio Padecer de enfermedad catastrófica

Los pacientes que cumplen con los requerimientos son los siguientes:
Paciente1: Sr. Martha Ortiz
La paciente tiene una motricidad menor en el giro de la muñeca y en la flexo-
extensión de los dedos de la mano.
Paciente 2: Sr. Rosa Benavidez
Presenta una disminución considerable de la motricidad en el giro de la muñeca.
Paciente 3: Sr. María Catota
Su motricidad es más fluida que la paciente uno y dos, cabe destacar que la señora
no presenta ictus, pero si una pequeña dificultad en la motricidad en sus brazos por
un accidente laboral.
Seleccionado los pacientes que cumplan los criterios de inclusión se procede es
realizar un análisis de avances durante las sesiones, el seguimiento del progreso de
los pacientes está constituida por tres sesiones y en cada sesión se ejecuta las
actividades cinco veces, tomando un receso de treinta segundos entre cada
repetición de la actividad para esto el análisis se lo realiza con promedios de las
repeticiones de cada sesión.

3.1. Flexo extensión de dedos

Al comparar la primera sesión de la Fig.11 se observa que el promedio más bajo de
tiempo se encuentran la paciente uno y dos, demostrando que se les dificulto la
ejecución del ejercicio debido a que presentan una movilidad más restringida a
comparación de la paciente tres. En la sesión dos la paciente uno no muestra un
cambio en el tiempo, en cambio la paciente dos y tres ha mejorado su tiempo. En la
última sesión la paciente dos y tres se refleja una mejoría ya que el tiempo mejora
considerablemente.

Figura 11 – Análisis de ejercicio de Flexo extensión de los dedos.

3.2. Giro de muñeca

Al realizar el análisis de la ejecución del ejercicio del giro de la muñeca presentado
en la Fig.12, se puede observar que la paciente tres presenta mejores resultados que
la paciente uno y dos. Esto puede ser debido a que dicha paciente muestra mejor
motricidad en su mano, de igual manera tiene una capacidad de entendimiento
más rápido que la paciente uno y dos, lo que ayuda para que pueda ir mejorando el
puntaje en la actividad al igual que ir mejorando cada vez más su motricidad. Si se
realiza un análisis individual de cada paciente se observa que tanto el paciente uno
como el paciente dos han ido mejorando durante las sesiones, no se reflejara los
mejores datos, pero tomando a consideración las dificultades que presenta para
poder ejecutar la actividad de manera correcta son datos alentadores, que si se
sigue con sesiones regulares pueden ir mejorando su capacidad motriz ya que las
pacientes tienen su propio ritmo de recuperación.

Figura 12 – Análisis de ejercicio de Giro de la muñeca

3.3. Movimiento integral 1 de brazo
Al realizar el análisis riguroso de la Fig. 13 se observa que este tipo ejercicio es muy
acepado por parte de los pacientes, por la facilidad de ejecución y entendimiento
del objetivo de la actividad, los tiempos que se reflejan en cada sesión muestran el
mejoramiento de la capacidad motriz de la extremidad, la actividad fue concretada
por las tres pacientes en diferentes tiempos, como se ha mencionado la paciente
tres presenta menos dificultad al momento de realizar los ejercicios ya que presenta
un cuadro menos critico a comparación de la paciente uno y dos. El mayor tiempo
al culminar la actividad es de 330.8 segundos cuyo tiempo pertenece al paciente
uno, el menor tiempo al culminar el ejercicio es de 216.3 segundos ejecutado por
parte de la paciente tres. Cada paciente trabaja a su propio ritmo y se puede
verificar como mejora su motricidad.

Figura 13 – Análisis de ejercicio de Movimiento integral 1 de brazos.

3.4. Flexo extensión de brazos

La paciente uno y la dos no muestran mejoría durante las tres sesiones, lo que se
llega a deducir que se necesita de más sesiones para observar cómo van
evolucionando y durante cuánto tiempo se pude observar cambios en la motricidad
de las pacientes. Por otro lado, la paciente tres demuestra que puede ejecutar la
actividad a la perfección porque que da a notar que su motricidad al momento de la
flexo-extensión del brazo lo puede ejecutar sin ningún problema, estos resultados
se observan en la Fig. 14.

Figura 14 – Análisis de ejercicio de Flexo extensión de los brazos.

3.5. Movimiento integral 2 de brazos
Se verifica en la Fig. 15 que la paciente uno ha obtenido un tiempo óptimo en la
ejecución de la actividad, ya que posee una motricidad fluida a comparación de la
paciente uno y dos, la paciente uno presenta una superación en cada sesión ya que
ha ido disminuyendo los tiempos en la ejecución de la actividad, la paciente dos
mantiene sus tiempo constante, esto puede ser debido al aprendizaje que se toma
en cada sesión, como conclusión las tres pacientes no muestran dificultad al
ejecutar la actividad ya que la culminación de la actividad lo realizan en un tiempo
aceptable tomando en cuenta la dificultad motriz que posee cada una.

Figura 15 – Análisis de ejercicio de Movimiento integral 2 de brazos.

4. Conclusiones
A lo largo de este proyecto se ha recopilado la información necesaria acerca de
técnicas de detección gestual y las formas posibles para poder visualizar las
extremidades superiores en
un entorno virtual.
Se logró modelar la extremidad superior con un alto nivel de realismo, así como
el modelo humanoide del avatar de bienvenida y los escenarios virtuales en que los
pacientes realizaron los ejercicios que contribuyen a su rehabilitación.
Se realizó de forma exitosa la integración entre el modelado de la extremidad
superior y el reconocimiento gestual de la mano, hecho que contribuye de forma
sustancial a que la
sensación de inmersión en los entornos virtuales se perciba de forma realista por
parte del usuario.
En base a la información recopilada a lo largo de esta investigación, se ha
desarrollado actividades y ejercicios a manera de videojuegos que simulen
actividades de la vida diaria que puede ser utilizada en el área de la fisioterapia
como un método de ayuda en la rehabilitación de la capacidad motriz del miembro
superior.
Los resultados experimentales en pacientes con afección en el miembro superior
muestran gran predisposición y entusiasmo al usar este tipo de herramientas para
complementar el proceso de la recuperación motriz, clave de ello es el sentido de
recompensa que puede generar realizar el ejercicio seleccionado.
La implementación del sistema de rehabilitación de miembro superior en VR
contribuye a la demostración de que este tipo de herramientas de desarrollo de
software no sirven únicamente a la creación de video juegos y que pueden ser
aplicadas en múltiples áreas del saber. y control inalámbrico.

5. Referencias bibliográficas.

Gonzalez Carlos. (s.f.). (2010) Introducción al Modelado 3D.

Herrera J. (2016). Programación de videojuegos de puzzles en 2D usando Unity:
tutorial y ejemplo práctico del juego. RIUMA Repositorio Institucional de
la Universidad de Malaga.
Martin-Martin, J., Cuesta-Vargas, A. I., & Labajos-Manzanares, M. T. (2015).
Efectividad clínica de la intervención terapéutica sobre la mano con realidad
virtual en sujetos hemipléjicos: revisión sistemática. Fisioterapia, 37(1), 27–34.
doi:10.1016/j.ft.2014.02.002.
Pacheco. (2016). Cómo funciona el Oculus Rift y todo lo que debes saber sobre este
genial dispositivo.
Pruna, E., Corrales, G., Gálvez, C., Escobar, I., & Mena, L. (2018). Proposal for
Muscle Rehabilitation of Lower Limbs Using an Interactive Virtual System
Controlled Through Gestures. Augmented Reality, Virtual Reality, and
Computer Graphics, 60–77. doi:10.1007/978-3-319-95282-6_5
Rubio, B. (2015). Los pacientes con ictus recuperan el uso del brazo con la realidad
virtual. Universitat Pompeu Fabra Barcelona.
Viñas-Diz, S., & Sobrido-Prieto, M. (2016). Realidad virtual con fines terapéuticos
en pacientes con ictus: revisión sistemática. Neurología, 31(4), 255–277.
doi:10.1016/j.nrl.2015.06.012.