Clasificación automática de las vocales en el lenguaje de señas colombiano
Resumen
El reconocimiento del lenguaje de señas es un problema de alta complejidad, debido a la cantidad de gestos estáticos y dinámicos necesarios para representar dicho lenguaje, teniendo en cuenta que el mismo variará para cada país en particular. Este artículo se enfoca en el reconocimiento de las vocales del lenguaje colombiano de señas, de forma estática. Se adquirieron 151 imágenes por cada clase, teniendo en cuenta también una clase no vocal adicional con diferentes escenas. A partir de cada imagen capturada se separa el objeto de interés del resto de la escena usando información de color; luego, se extraen características para describir el gesto correspondiente a cada vocal o a la clase que no corresponde a ninguna vocal. Posteriormente, se seleccionan cuatro conjuntos de características. El primero con la totalidad de ellas; a partir de este salen tres nuevos conjuntos: el segundo extrayendo un subconjunto de características mediante el algoritmo de Análisis de Componentes Principales (PCA). El tercer conjunto, aplicando Selección Secuencial hacia Adelante (SFS), mediante la medida de FISHER y el último conjunto con SFS basado en el desempeño del clasificador de los vecinos más cercanos (KNN). Finalmente se prueban múltiples clasificadores para cada conjunto por medio de validación cruzada, obteniendo un desempeño superior al 90% para la mayoría de los clasificadores, concluyendo que la metodología propuesta permite una adecuada separación de las clases.
Referencias bibliográficas
I. Instituto Nacional para Sordos, “Estadística Básica Población Sorda Colombiana,” 2015. [Online]. Available: http://www.insor.gov.co/observatorio/estadist icas-basicas-poblacion-sorda-colombiana/. [Accessed: 01-Sep-2017].
I. Instituto Nacional para Sordos, “Diccionario básico de la lengua de señas colombiana,” 2006. [Online]. Available: http://www.ucn.edu.co/ediscapacidad/Documents/36317784Diccionario-lengua-de-senas.pdf. [Accessed: 27-Nov-2017].
A. V. W. Smith, A. I. Sutherland, A. Lemoine, and S. Mcgrath, “Hand gesture recognition system and method,” 6,128,003, 2000.
Y. Fang, K. Wang, J. Cheng, and H. Lu, “A Real-Time Hand Gesture Recognition Method,” in Multimedia and Expo, 2007 IEEE International Conference on, 2007, pp. 995–998.
P. Premaratne, S. Yang, Z. Zhou, and N. Bandara, “Dynamic Hand Gesture Recognition Framework,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 8589 LNAI, 2014, pp. 834–845.
M. Hrúz, J. Trojanová, and M. Železný, “Local Binary Pattern based features for sign language recognition,” Pattern Recognit. Image Anal., vol. 22, no. 4, pp. 519–526, Dec. 2012.
Jie Huang, Wengang Zhou, Houqiang Li, and Weiping Li, “Sign Language Recognition using 3D convolutional neural networks,” in 2015 IEEE International Conference on Multimedia and Expo (ICME), 2015, pp. 1–6.
L. Pigou, S. Dieleman, P.-J. Kindermans, and B. Schrauwen, “Sign Language Recognition Using Convolutional Neural Networks,” in Workshop at the European Conference on Computer Vision, 2015, pp. 572–578.
G. Anantha Rao, P. V. V Kishore, A. S. C. S. Sastry, D. Anil Kumar, and E. Kiran Kumar, “Selfie Continuous Sign Language Recognition with Neural Network Classifier,” in Lecture Notes in Electrical Engineering, vol. 434, 2018, pp. 31–40.
X. Chai, G. Li, Y. Lin, Z. Xu, Y. Tang, and X. Chen, “Sign Language Recognition and Translation with Kinect,” 10th IEEE Int. Conf. Autom. Face Gesture Recognit., pp. 22– 26, 2013.
K. M. Lim, A. W. C. Tan, and S. C. Tan, “A feature covariance matrix with serial particle filter for isolated sign language recognition,” Expert Syst. Appl., vol. 54, pp. 208–218, Jul. 2016.
H. Cooper, B. Holt, and R. Bowden, “Sign Language Recognition,” in Visual Analysis of Humans, no. 231135, London: Springer London, 2011, pp. 539–562.
Eng-Jon Ong, H. Cooper, N. Pugeault, and R. Bowden, “Sign Language Recognition using Sequential Pattern Trees,” in 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 2200–2207.
A. Agarwal and M. K. Thakur, “Sign language recognition using Microsoft Kinect,” in 2013 Sixth International Conference on Contemporary Computing (IC3), 2013, pp. 181–185.
M. Mohandes, S. Aliyu, and M. Deriche, “Arabic sign language recognition using the leap motion controller,” in 2014 IEEE 23rd International Symposium on Industrial Electronics (ISIE), 2014, pp. 960–965.
J. F. Lichtenauer, E. A. Hendriks, and M. J. T. Reinders, “Sign language recognition by combining statistical DTW and independent classification,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 30, no. 11, pp. 2040–2046, 2008
S. Dudoit, J. Fridlyand, and T. P. Speed, “Comparison of Discrimination Methods for the Classification of Tumors Using Gene Expression Data,” J. Am. Stat. Assoc., vol. 97, no. 457, pp. 77–87, Mar. 2002.
M. Kumari and S. Godara, “Comparative Study of Data Mining Classification Methods in Cardiovascular Disease Prediction,” Int. J. Comput. Sci. Trends Technol., vol. 2, no. 2, pp. 304–308, 2011.
M. Janidarmian, K. Radecka, and Z. Zilic, “Automated diagnosis of knee pathology using sensory data,” in Proceedings of the 2014 4th International Conference on Wireless Mobile Communication and Healthcare - “Transforming Healthcare Through Innovations in Mobile and Wireless Technologies”, MOBIHEALTH 2014, 2015, pp. 95–98.
J. Pradeep, E. Srinivasan, and S. Himavathi, “Diagonal Based Feature Extraction for Handwritten Alphabets Recognition System Using Neural Network,” Int. J. Comput. Sci. Inf. Technol., vol. 3, no. 1, pp. 27–38, Feb. 2011
C. Goodall and I. T. Jolliffe, “Principal Component Analysis,” Technometrics, vol. 30, no. 3, p. 351, Aug. 1988.
B. Al-Mistarehi, “An approach for automated detection and classification of pavement cracks,” 2017.
Clasificación automática de las vocales en el lenguaje de señas colombiano [114] TecnoLógicas, Vol. 21, No. 41, enero-abril de 2018, pp. 103-114
D. Liu and J. Yu, “Otsu Method and Kmeans,” in 2009 Ninth International Conference on Hybrid Intelligent Systems, 2009, vol. 1, pp. 344–349.
A. K. Jain, P. W. Duin, and Jianchang Mao, “Statistical pattern recognition: a review,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, no. 1, pp. 4–37, 2000.
S. Theodoridis, “Machine Learning: A Bayesian and Optimization Perspective,” Mach. Learn. A Bayesian Optim. Perspect., pp. 1–1050, 2015.
R. O. Duda, P. E. Hart, and D. G. Stork, “Pattern Classification,” New York John Wiley, Sect., p. 654, 2000.
D. Mery, “BALU: A Matlab toolbox for computer vision, pattern recognition and image processing”, http://dmery.ing.puc.cl/ index.php/balu, 2011.
Descargas
