Desarrollo de un sistema que facilite el entrenamiento personalizado y la interpretación de la lengua de señas mexicana mediante la integración de un guante traductor y una aplicación móvil

Abstract

En México, el 6.7% de la población es sorda, limitando su integración social y acceso a oportunidades. La lengua de señas es fundamental para esta comunidad, sin embargo, pocas personas oyentes la dominan, dificultando la interacción. A pesar de diferentes propuestas de tecnologías para traducir señas mediante inteligencia artificial (IA), persisten limitaciones, por ello, este proyecto propone desarrollar un sistema que facilite el entrenamiento personalizado y la interpretación de la lengua de señas mexicana (LSM) mediante la integración de un guante traductor y una aplicación móvil. La arquitectura multiusuario incluyó una aplicación móvil, comunicación por BLE hacia el guante con una resolución de datos de 60 muestras por segundo estables y significativas, un servidor que consta de un API, una base de datos y un módulo para el entrenamiento de los modelos diseñados. El guante traductor incorpora sensores conectados con hilos conductores, pines Pogo a una PCB flexible y un sensor IMU. Para la evaluación, se realizaron pruebas de consumo de batería, conectividad y rendimiento en dispositivos Android. Además, se comprobó el rendimiento de los once modelos diseñados durante el entrenamiento y en un uso real, obteniendo durante el entrenamiento un ROC-AUC medio de 0.94 y una precisión media en traducción de palabras individuales de 85%, sin embargo, el sistema mostró una precisión menor al traducir oraciones compuestas de diferentes palabras. En conclusión, el sistema permite un entrenamiento personalizado que se adapta a las necesidades del usuario y que además brinda una traducción de señas individuales confiables.