La lengua de signos es una lengua natural de expresi\u00f3n gestual\u200b, gracias a la cual las personas con discapacidades auditivas pueden establecer un canal de comunicaci\u00f3n con su entorno social, sea \u00e9ste conformado por otras personas con problemas auditivos o por cualquier persona que conozca la lengua de signos empleada. Dicha lengua es espec\u00edfica para cada idioma y adem\u00e1s puede ser utilizada a nivel de letra (un signo diferente para cada car\u00e1cter) o a nivel de palabra, caso en el que la persona utiliza un \u00fanico gesto complejo desarrollado a lo largo de un periodo de tiempo para expresar un concepto o idea.<\/p>\n\n\n\n
Aunque ya existen transcriptores autom\u00e1ticos a nivel de letra y algunas aproximaciones para hacerlo a nivel de palabra, es esta segunda forma la que los usuarios de la lengua de signos utilizan para comunicarse normalmente, y resulta muy interesante explorar m\u00e1s la trascripci\u00f3n autom\u00e1tica de este tipo de expresi\u00f3n.<\/p>\n\n\n\n
El Trabajo Fin de Grado consiste en la creaci\u00f3n de un sistema de inteligencia artificial (redes neuronales, Deep Learning, procesado de imagen y v\u00eddeo) que sea capaz de interpretar una secuencia de v\u00eddeo de una persona comunic\u00e1ndose en lengua de signos y transcribir a texto las palabras que est\u00e1 utilizando.<\/p>\n\n\n\n
En el caso de la lengua de signos americana a nivel de palabra (WLASL), existe un dataset muy completo con miles de secuencias cortas de v\u00eddeo disponible para su descarga. En este TFG, se podr\u00e1 procesar dicho dataset (eliminar entradas no disponibles, adaptar los v\u00eddeos, asociar cada palabra a un conjunto de archivos, etc) y utilizarlo para entrenar una red neuronal que sea capaz de aprender qu\u00e9 gestos se asocian a cada palabra en concreto. Para esto ser\u00e1 necesario utilizar t\u00e9cnicas de Deep Learning como transformers, LSTM, procesado 3D (dos dimensiones para la imagen y una para el tiempo), etc. Tambi\u00e9n cabe la posibilidad de utilizar otro dataset (en otro idioma o con otras caracter\u00edsticas) si as\u00ed se desea.<\/p>\n\n\n\n
Opcionalmente, se puede proporcionar una aplicaci\u00f3n (l\u00ednea de comandos, aplicaci\u00f3n web, aplicaci\u00f3n m\u00f3vil, etc.) para procesar v\u00eddeos en tiempo real.<\/p>\n\n\n\n