Desarrollo de visor de realidad aumentada en base a un conversor multilingüe de voz a texto para personas con discapacidad auditiva

Abstract

En el presente proyecto de tesis se desarrolla un visor de realidad aumentada para personas con discapacidad auditiva que es capaz de convertir la voz en texto digital para poder ser leído por el usuario que esté utilizando el dispositivo mencionado. Con el fin que perturbaciones ajenas al rango de frecuencias de la voz humana no interfieran con el proceso, se implementó y utilizó un filtro digital pasa-banda elíptico. Luego, el proceso de conversión de voz a texto se da por medio de los servicios de inteligencia artificial en la nube IBM Watson Speech to text. Así como también, el reconocimiento de voz en los idiomas inglés, portugués y francés para su traducción al español posteriormente mediante el servicio IBM Watson Language Translator. La integración del filtro y servicios de nube se realizaron en la plataforma Node-Red desplegada en el Raspberry Pi 3B. El texto procesado se envió por comunicación serial al Arduino donde se implementó un código para la proyección del texto en una pantalla OLED. De esta manera, se permite a la persona con discapacidad auditiva poder leer el texto gracias al sistema óptico hace posible ver el texto por un reflector, con el fin de no obstaculizar la línea de visión entre el usuario del visor y el emisor del mensaje hablado. Finalmente, en los resultados se hicieron pruebas con las frases más comunes para cada idioma, se definieron fórmulas para el cálculo del porcentaje de detección con el fin de cuantificar el éxito del reconocimiento de palabras en los diferentes idiomas. De los cuatro idiomas configurados, las pruebas realizadas para el idioma francés tuvieron el mejor porcentaje de detección siendo del 100%, mientras en los demás idiomas en promedio superaron el 60%. De la misma manera, se obtuvieron pruebas exitosas respecto a la detección de palabras con perturbación ya que los porcentajes obtenidos para la detección con o sin perturbación llegaron a tener la misma cantidad porcentual.