Desarrollo de visor de realidad aumentada en base a un conversor multilingüe de voz a texto para personas con discapacidad auditiva
Date
2021Author
Paco Malpartida, Luis Alberto
Huamán Peredo, Leoncio Pablo
Metadata
Show full item recordAbstract
En el presente proyecto de tesis se desarrolla un visor de realidad aumentada para
personas con discapacidad auditiva que es capaz de convertir la voz en texto digital para
poder ser leído por el usuario que esté utilizando el dispositivo mencionado. Con el fin
que perturbaciones ajenas al rango de frecuencias de la voz humana no interfieran con el
proceso, se implementó y utilizó un filtro digital pasa-banda elíptico. Luego, el proceso
de conversión de voz a texto se da por medio de los servicios de inteligencia artificial en
la nube IBM Watson Speech to text. Así como también, el reconocimiento de voz en los
idiomas inglés, portugués y francés para su traducción al español posteriormente
mediante el servicio IBM Watson Language Translator. La integración del filtro y
servicios de nube se realizaron en la plataforma Node-Red desplegada en el Raspberry Pi
3B. El texto procesado se envió por comunicación serial al Arduino donde se implementó
un código para la proyección del texto en una pantalla OLED. De esta manera, se permite
a la persona con discapacidad auditiva poder leer el texto gracias al sistema óptico hace
posible ver el texto por un reflector, con el fin de no obstaculizar la línea de visión entre
el usuario del visor y el emisor del mensaje hablado. Finalmente, en los resultados se
hicieron pruebas con las frases más comunes para cada idioma, se definieron fórmulas
para el cálculo del porcentaje de detección con el fin de cuantificar el éxito del
reconocimiento de palabras en los diferentes idiomas. De los cuatro idiomas
configurados, las pruebas realizadas para el idioma francés tuvieron el mejor porcentaje
de detección siendo del 100%, mientras en los demás idiomas en promedio superaron el
60%. De la misma manera, se obtuvieron pruebas exitosas respecto a la detección de
palabras con perturbación ya que los porcentajes obtenidos para la detección con o sin
perturbación llegaron a tener la misma cantidad porcentual.
Collections
- Ingeniería Electrónica [170]