Reconocimiento de gestos con las manos en tiempo real: conversión del lenguaje de signos a voz

El objetivo principal del proyecto es implementar un sistema en tiempo real que convierta los gestos manuales del lenguaje de signos americano (ASL) en señales de voz. Esto podría ser utilizado por personas con discapacidades del habla para comunicarse con otras personas. Para ello, se utilizó un electromiograma de superficie (EMG), que mide la actividad eléctrica del músculo del antebrazo, y un acelerómetro, que mide la aceleración de los movimientos de la mano. Se utilizó un dispositivo portátil de recopilación de datos llamado Shimmer para registrar estas señales del usuario y transmitir los datos recopilados a Matlab mediante Bluetooth. Se implementó un algoritmo de reconocimiento de patrones en Matlab que procesaba las señales y mostraba las decisiones de salida basadas en el gesto que se había realizado. Se realizaron varias pruebas con un sujeto humano para identificar múltiples gestos con una sola mano y con ambas manos para reconocer diversas palabras, así como frases básicas en ASL. Se registraron y discutieron los resultados experimentales.