Gesture recognition using SmartGlove

Autor: Bernal Ormaza, Cristian
Přispěvatelé: Martínez García, Herminio, Ahmadi Zeidabadi, Maziar, Universitat Politècnica de Catalunya. Departament d'Enginyeria Electrònica
Jazyk: Spanish; Castilian
Rok vydání: 2022
Předmět:
Zdroj: UPCommons. Portal del coneixement obert de la UPC
Universitat Politècnica de Catalunya (UPC)
Popis: El proyecto general consiste en el desarrollo de una aplicación para dos sistemas diferentes: Android y Windows. Esta aplicación tiene una función general que emplea varios tipos de comunicación y un hardware especifico desarrollado previamente. Dicho hardware consistía en un guante inteligente, que implementa varios tipos de sensores y una placa con comunicación Bluetooth low energy. Originalmente dicho hardware se desarrolló para la creación de aplicaciones medias, pero en este proyecto se ha utilizado para la creación de una aplicación de reconocimiento de gestos y de escritura de texto. Es decir, la aplicación se conecta mediante conexión BLE (Bluetooth low energy) al guante y reconoce los gestos que la persona está haciendo con el dispositivo, para después asignar diferentes caracteres a distintos gestos y poder escribir texto. Al mismo tiempo la aplicación utiliza una base de datos de internet (Firebase) para poder definir los caracteres a reconocer, así como para comunicarse con otros dispositivos que estén ejecutando la aplicación. Para el desarrollo de las aplicaciones se ha utilizado por un lado la herramienta Mit App Inventor (MAI) para la programación Android. Y por otro lado el lenguaje de programación Python y la herramienta “Designer” para la versión de PC (Windows). El projecte general consisteix en desenvolupar una aplicació per a dos sistemes diferents: Android i Windows. Aquesta aplicació té una funció general que utilitza diversos tipus de comunicació i un maquinari específic desenvolupat prèviament. Aquest maquinari consistia en un guant intel·ligent, que implementa diversos tipus de sensors i una placa amb comunicació bluetooth low energy. Originalment aquest dispositiu es va desenvolupar per a la creació d'aplicacions mitjanes, però en aquest projecte s'ha utilitzat per crear una aplicació de reconeixement de gestos i d'escriptura de text. És a dir, l'aplicació es connecta mitjançant connexió BLE (bluetooth low energy) al guant i reconeix els gestos que la persona fa amb el dispositiu, per després assignar diferents caràcters a diferents gestos i poder escriure text. Al mateix temps, l'aplicació utilitza una base de dades d'internet (Firebase) per poder definir els caràcters a reconèixer, així com per comunicar-se amb altres dispositius que estiguin executant l'aplicació. Per al desenvolupament de les aplicacions s'ha fet servir d'una banda l'eina Mit App Inventor (MAI) per a la programació Android. I per altra banda el llenguatge de programació Python i l'eina “Designer” per a la versió de PC (Windows). The overall project consists of the development of an application for two different systems: Android and Windows. This application has a general function that uses several types of communication and a specific hardware previously developed. This hardware consisted of a smart glove, which implements various types of sensors and a board with bluetooth low energy communication. This hardware was originally developed for the creation of average applications, but in this project it has been used for the creation of a gesture recognition and text writing application. In other words, the application connects via a BLE (Bluetooth low energy) connection to the glove and recognises the gestures that the person is making with the device, and then assigns different characters to different gestures in order to be able to write text. At the same time, the application uses an internet database (Firebase) to be able to define the characters to be recognised, as well as to communicate with other devices that are running the application. For the development of the applications, the Mit App Inventor (MAI) tool for Android programming has been used on the one hand. On the other hand, the Python programming language and the "Designer" tool for the PC version (Windows).
Databáze: OpenAIRE
Externí odkaz: