Reconhecimento automático de sinais da Libras : desenvolvimento da base de dados MINDS-Libras e modelos de redes convolucionais

Autor: Tamires Martins Rezende
Přispěvatelé: Frederico Gadelha Guimarães, Sílvia Grasiella Moreira Almeida, Cleber Zanchettin, David Menotti Gomes, Silvia Silva da Costa Botelho, Hani Camille Yehia
Jazyk: portugalština
Rok vydání: 2021
Předmět:
Zdroj: Repositório Institucional da UFMG
Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
Popis: CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico O reconhecimento automático da Língua de Sinais tem sido um desafio para a área de Inteligência Computacional, dada a natureza visual-gestual que configura esse complexo sistema de comunicação. Esta tese se insere nesse contexto e foca os esforços na língua brasileira de sinais, Libras. Para isso, uma nova base de dados chamada MINDS-Libras foi proposta. Ela contém (i) vídeos em RGB, (ii) vídeos com informação de profundidade, (iii) informações de 25 pontos/juntas do corpo e de (iv) 1347 pontos da face do sinalizador. Cada um dos 20 sinais que compõem essa base foi gravado 5 vezes por 12 sinalizadores, totalizando 1200 amostras. Utilizando esses dados, duas diferentes arquiteturas de Aprendizado Profundo foram propostas para reconhecimento dos sinais da MINDS-Libras. A primeira delas foi uma Rede Neural Convolucional 3D utilizando vídeos e, a segunda, uma Rede Neural Convolucional Temporal para a trajetória manual. A abordagem que apresentou menor sensibilidade à mudança do sinalizador foi aquela cujo dado de entrada era o movimento das mãos, podendo esse ser considerado o parâmetro mais importante para a formação do sinal. Os resultados também indicam que esse tipo de abordagem é viável para o reconhecimento dos sinais da Libras. Novas perspectivas podem ser abertas com a expansão da base de dados e inclusão de mais sinalizadores no processo de gravação de (novos) sinais. The automatic recognition of Sign Language has been a challenge for the Computational Intelligence area, given the visual-gestural nature that configures this complex communication system. This thesis falls within this context and focuses efforts on the Brazilian Sign Language, Libras. For this purpose, a new database called MINDS-Libras has been proposed. It contains (i) RGB videos, (ii) videos with depth information, (iii) information from 25 points/joints of the body and from (iv) 1347 points of the face of the signaller. Each of the 20 signs that build this base were recorded 5 times by 12 signallers, totaling 1200 samples. Using this data, two different Deep Learning architectures were proposed for recognizing the MINDS-Libras signs. The first one was a 3D Convolutional Neural Network by using videos, and the second a Temporal Convolutional Neural Network for the manual trajectory. The best leave-one-signaller-out was that based in the hand movement, and this can be considered the most important parameter for sign formation. The results also indicate that this approach is feasible for the Libras signs recognition. New perspectives may be opened with the expansion of the database and add more signallers in the process of recording (new) signs.
Databáze: OpenAIRE
Externí odkaz: