DUGi

Desenvolupament d’un prototip de sistema de reconeixement i traducció de gestos de la Llengua de Signes Espanyola

http://dugi.udg.edu/item/http:@@@@hdl.handle.net@@10256@@28488

La comunicació és fonamental per les relacions socials. Les persones sordes o amb dificultats per parlar sovint pateixen dificultats en participar en aquestes interaccions. El llenguatge de signes és un dels mitjans principals de comunicació per a aquests col·lectius. Tanmateix, no tothom en té coneixement, incloent-hi algunes persones d’aquests mateixos col·lectius. Això comporta que es creï una barrera de comunicació entre persones sordes o amb dificultats per parlar i persones oients. En aquest context, la tecnologia pot oferir una solució per reduir aquesta bretxa. Actualment, els avenços tecnològics han permès desenvolupar algoritmes de reconeixement i classificació mitjançant tècniques d’aprenentatge automàtic. Per tant, el propòsit d’aquest projecte és aprofitar el potencial que ofereixen aquestes tècniques per dissenyar i desenvolupar un prototip de sistema capaç de reconèixer signes de la Llengua de Signes Espanyola (LSE) i traduir-ne el significat a text. D’aquesta ma nera es pretén facilitar la comunicació de les persones sordes o amb dificultats per parlar amb la resta de la societat. En concret, aquest treball es centra en l’ús de tècniques l’aprenentatge profund, com les xarxes neuronals convolucionals (CNN), que han demostrat ser eficaces en la tasca de reconeixement i classificació d’imatges, i d’algoritmes d’aprenentatge supervisat, com les Support Vector Machine (SVM), que són àmpliament utilitzats en tasques de classificació. Per dur a terme la tasca de reconèixer els gestos de la LSE es combinaran aquests algoritmes amb visió per computador, permetent als sistemes aprendre les característiques dels gestos i, posteriorment, reconèixer-los i classificar los en temps real

Communication is fundamental to social relationships. People who are deaf or have speech difficulties often have difficulty participating in these interactions. Sign language is one of the main means of communication for these groups. However, not everyone is aware of it, including some people from these same groups. This leads to the creation of a communication barrier between deaf or hard of hearing people and hearing people. In this context, technology can offer a solution to reduce this gap. Currently, technological advances have allowed the development of recognition and classification algorithms using machine learning techniques. Therefore, the purpose of this project is to take advantage of the potential offered by these techniques to design and develop a prototype system capable of recognizing Spanish Sign Language (SSL) signs and translating their meaning into text. In this way, the aim is to facilitate the communication of deaf or hard of hearing people with the rest of society. Specifically, this work focuses on the use of deep learning techniques, such as convolutional neural networks (CNN), which have proven to be effective in the task of image recognition and classification, and supervised learning algorithms, such as Support Vector Machines (SVM), which are widely used in classification tasks. To carry out the task of recognizing LSE gestures, these algorithms will be combined with computer vision, allowing systems to learn the characteristics of gestures and, subsequently, recognize and classify them in real time.

10