SISTEMA DE RECONOCIMIENTO DE VOCALES DE LA LENGUA DE SEÑAS MEXICANA

Eliúh Cuecuecha Hernández, José Javier Martínez Orozco, Daniel Méndez Lozada, Adán Zambrano Saucedo, Aldrin Barreto Flores, Verónica Edith Bautista López, Salvador Eugenio Ayala Raggi

Resumen


Resumen

 

La lengua de señas es un medio de comunicación tan importante como la lengua hablada para el desarrollo social del ser humano. Tras la aparición de sensores de reconocimiento de gestos, como Kinect, surge especial interés por utilizarlos para interpretar la lengua de señas.

La finalidad del presente trabajo consistió en interpretar las vocales de la lengua de señas mexicana identificadas por gestos estáticos con la mano. Para ello se utilizó el sensor Leap Motion Controller, ideal para esta aplicación al detectar y seguir las manos con tal precisión sin necesidad de entrar en contacto con el usuario. Para lograr el reconocimiento de los gestos correspondientes a las vocales se utilizó el modelo de perceptrón multicapa junto a una interfaz visual en tiempo real. La red fue entrenada y calibrada por un experto en lenguaje de señas, logrando así una razón de reconocimiento de hasta 100%.

Palabras Claves: Leap Motion Controller, Lengua de Señas Mexicana (LSM), perceptrón multicapa, reconocimiento de Imágenes.

 

SYSTEM OF VOCAL RECOGNITION OF THE MEXICAN SIGN LANGUAGE

Abstract

The Sign Language is a communication mean as important as the speaking language, for the social development of the human being. Thus, after gesture recognition sensors emerged such as Kinect, interest arises for utilize them to interpret the Sign language.

The present work aims to interpret the Mexican Sign Language vowels identified by one-hand static gestures. In order to do so, the Leap Motion Controller was used, ideal for this application while detecting and tracking hand position with such accuracy, without the need to physically interact with the user.

To achieve the vowels’ gesture recognition, the multilayer perceptron model was used along with a real time visual interface. The network was trained and calibrated by a sign language expert, achieving a recognition ratio up to 100%.

Keywords: Image Recognition, leap motion controller, Mexican sign language, multilayer perceptron model.


Texto completo:

382-394 PDF

Referencias


Chuan, C. H. y Guardino, C., American Sign Language Recognition Using Leap Motion Sensor, International Conference on Machine Learning and Applications, 2014.

Davis A., Getting Started with the Leap Motion SDK. Leap Motion. http://blog.leapmotion.com/getting-started-leap-motion-sdk/.

Erdogan, K., Durdu, A., y Yilmaz, N., Intention Recognition Using Leap Motion Controller and Artificial Neural Networks, CoDIT, Malta, 2016.

Fok, K. Y., Ganganath, N., Cheng, C. T., y Tse, C. K. A Real-Time Recognition System Using Leap Motion Sensors. Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery, 2015.

Funasaka, M., Ishikawa, Y., Takata, M., y Kazuki, J., Sign Language Recognition using Leap Motion Controller, PDTA, 2015.

Langford Cervantes, J., Alencastre Miranda, M., Muñoz Gómez, L., Navarro Hinojosa, O., Echeverría Furio, G. Manrique Juan, C., y Maqueo, M. Detección y seguimiento de palmas y puntas de los dedos en tiempo real basado en imágenes de profundidad para aplicaciones interactivas, Research in Computing Science, pp. 137-149, 21 Marzo 2016.

Leap Motion. API Overview: https://developer.leapmotion.com/ documentation /csharp/devguide/Leap_Overview.html.

Naglot, D., y Kulkarni, M., Real Time Sign Language Recognition Using the Leap Motion Controller, Vishwakarma Institute of Technology.Pune, India, 2015.

Nájera Romero, L. O., López Sánchez, M., González Serna, J. G., Pineda, T. R., y Arana Llanes, J. Y. Recognition of Mexican Sign Language through the Leap Motion Controller, CSC, 2016.

Priego Pérez, F. P. Reconocimiento de Imágenes del Lenguaje de Señas Mexicano, Centro de Investigación en Computación IPN, México, 2012.

Santos, A., Guimaraes, V., Matos, N., Cevada, J., Ferreira, C., y Sousa, I., Multi-sensor Excercise-based Interactive Games for Fall Prevention and Rehabilitation, 9th International Conference on Pervasive Computing Technologies for Healthcare, 2015.

Serafín de Fleischmann, M. E., González Pérez, R., Manos con Voz, CONAPRED, México, 2011.


Enlaces refback

  • No hay ningún enlace refback.