Estudiantes de Ing. de Sistemas crean aplicación móvil que traduce lenguaje de señas

Con el objetivo de aportar a la inclusión de las personas con discapacidad auditiva y del habla en cualquier ámbito, Carla Durán, Mauricio Maldonado y Juan Carlos Arteaga, estudiantes próximos a egresar del programa de Ing. De Sistemas y Computación, desarrollaron Talk to Hands (Hablar con las manos),la primera aplicación móvil que permite la traducción en tiempo real del lenguaje de señas mediante Inteligencia Artificial (IA).  

La idea de crear algún servicio o aplicativo que pudiera aportar a la inclusión y a la sociedad rondaba la mente de este grupo de compañeros desde que estaban en primer semestre, pero fue en el último que decidieron lanzarse a crear. “Siempre dijimos que queríamos dejar nuestro granito de arena en la sociedad, pero las cosas se nos empezaron a dar ya en nuestro último semestre, en la materia de Proyecto de Grado y bueno, para hacer la aplicación decidimos basarnos e inspirarnos en dos situaciones: la primera es buscar una sociedad más inclusiva y abierta, en la que todos tengamos cabida. Y pues la segunda fuente de inspiración fue mi tía, quién presenta esta condición y pues tomando su ejemplo de vida nos aventuramos en esto”, explica Carla.  

                
                 Los estudiantes Juan Carlos Arteaga, Carla Duran y Mauricio Maldonado. 

Para ellos, crear este aplicativo presentó un gran reto, ya que les tocó aprender de cero el lenguaje de señas colombiano, el cual no es universal. “Haciendo la investigación aprendimos que el lenguaje de señas no es el mismo en todos lados, es decir, este se adapta al contexto y lugar en el que se va a utilizar. En ese sentido, nosotros aprendimos parte del lenguaje de señas colombiano y desarrollamos este aplicativo teniendo en cuenta eso”, puntualiza Mauricio.  

Luego de familiarizarse y conocer un poco más el lenguaje de señas, procedieron a crear un Data Set de imágenes (un banco de imágenes digital) con las palabras y señas del lenguaje de señas, y así entrenar la IA para que pudiera reconocerlas y realizar la traducción adecuada.  

“En esta parte del proyecto, utilizamos una librería que tiene el lenguaje de programación Python que se llama TensorFlow, el cual es especializado para detección de objetos. En este caso, lo usamos para que detectara las palabras y señas del Data Set. Así es como dentro de la app, la IA puede traducir las señas”, explica Mauricio.  

Actualmente, el aplicativo se encuentra en la fase prototipo, el cual es 100% funcional. “Ya la aplicación funciona totalmente y contamos ahora mismo con un porcentaje de acierto de alrededor del 70%. La idea es que la aplicación cuente con el apoyo de organizaciones e instituciones especializadas en lenguaje de señas, para que así podamos nutrir el Data Set y aumente el porcentaje de acierto en un 100%”, enfatiza Juan Carlos.  

Vídeo compartido por Mauricio Maldonado en el que muestra el funcionamiento del aplicativo.

Carla Durán agrega que la idea es que “tengamos pronto lista la versión final para que todos los que deseen, puedan acceder desde sus dispositivos móviles a Talk To Hands, y así contribuir a la inclusión de personas con algún tipo de discapacidad del habla o auditiva. Nuestra app será completamente gratuita y, además, hemos compartido nuestro código en GitHub (Plataforma que permite a los ingenieros y programadores compartir códigos fuente, aplicativos y demás recursos informáticos), para que así, quién lo desee, pueda programar su versión de nuestra aplicación y adaptarla a su idioma”.  

El grupo de estudiantes destacó el apoyo constante que recibieron durante el proceso de formulación y desarrollo del proyecto, en especial de los docentes Wilson Nieto y Eduardo Zurek, quienes aportaron en la parte de presentación y planteamiento del proyecto, y en la utilización y manejo de plataformas de sistemas de Inteligencia Artificial, así como también en la conexión entre el BackEnd y el FrontEnd, respectivamente.  

“La verdad es que no pudimos tener unos mejores tutores. El apoyo de los ‘Profes‘ Nieto y Zurek fue imprescindible. Wilson Nieto fue quien nos ayudó en todo lo que tenía que ver con la documentación, la presentación del proyecto, la parte técnica. Eduardo Zurek, que es un experto en lo que tiene que ver con IA, nos ayudó a unir la parte web con la móvil, porque ya se había hecho un primer modelo de traducción de lenguaje de señas en web, pero nunca se había hecho en móviles”, señala Juan Carlos.  

“También destacamos que, en nuestra universidad, nos prepararon demasiado bien para lograr nuestros objetivos. Creemos que la formación que recibimos durante todo el transcurso del pregrado no pudo ser mejor, ya que teníamos conocimientos básicos y hasta avanzados en muchas de las herramientas que utilizamos para la creación de este proyecto. Verdaderamente que estamos agradecidos con cada uno de los profesores que nos dieron clase porque aquí se vieron todos los resultados de esa ardua y valiosa formación”, concluye el grupo.  

Por Saúl Granados Ruiz.