IDENTIFICAÇÃO VISUAL EM TEMPO IMEDIATO DA LÍNGUA DE SINAIS BRASILEIRA - LIBRAS

Resumo

O presente trabalho tem por objetivo apresentar o desenvolvimento de um tradutor, em tempo imediato, utilizando
Visão Computacional e “Deep Learning" ("Aprendizado profundo") que converte o alfabeto manual da Libras em
português brasileiro na modalidade escrita. Para isso, optamos pela rede neural PointNet visto a sua eficiência na
classificação de nuvens de pontos 3D, utilizando como entrada um novo dataset de imagens da datilologia. A biblioteca
MediaPipe extraiu pontos de referência da mão em cada imagem, representando articulações e extremidades dos
dedos, que foram normalizados e armazenados em arquivos NumPy para treinamento. Após o processo, a rede foi
treinada durante cinco horas, de modo que o sistema classificasse a letra correspondente à imagem da mão capturada
em tempo instantâneo proporcionando uma tradução rápida e precisa. A fim de aprimorar a usabilidade, um corretor
ortográfico foi incorporado via API corrigindo erros de digitação e tornando a tradução mais fluida e natural. Os
resultados demonstram a eficácia da abordagem, com a rede PointNet, alcançando alta precisão na classificação das
letras em Libras a partir dos pontos chaves em 3D. A criação do dataset e a integração com o corretor ortográfico
contribuíram significativamente para a robustez e usabilidade do sistema