Gestural Human-Machine-Interface (HMI) for an autonomous wheelchair for kids

Autor: Melino Carrero, Alessandro
Přispěvatelé: Marrón Romera, Marta, Universidad de Alcalá
Jazyk: angličtina
Rok vydání: 2022
Předmět:
Zdroj: e_Buah Biblioteca Digital Universidad de Alcalá
Institut de Recerca i Tecnologia Agroalimentàries (IRTA)
Popis: El Trabajo de Fin de Master (TFM) se desarrolla a partir de una plataforma de ayuda a la movilidad destinada a niños. La arquitectura general de la plataforma se describe en anteriores trabajos. La plataforma consta de distintos nodos para suplir todas las funciones, alimentación, electrónica de potencia, control y navegación, interacción con el entorno e interfaz humano-maquina. Este TFM se centra en el nodo PC, el cual se basa en un ordenador con sistema operativo Linux y caracterizado por el uso de Robot Operating System (ROS). Sobre esta base se asienta la interfaz humano máquina gestual que se desarrolla en este trabajo. Este integra en el sistema existente una cámara RGBD Intel Realsense D435, ya que esta aplicación necesita tanto imagen RGB como imagen en profundidad. La información que proporciona la cámara se utiliza por medio de los paquetes que ofrece el fabricante de la cámara en ROS. Posteriormente se realiza la detección de personas. Para ello se utiliza una red neuronal entrenada para la detección de objetos basada en Tensorflow. A partir de los resultados de detección de la red, se obtiene la posición de las personas detectadas, transformando la posición en el plano de la persona su localización en el entorno virtual de la aplicación. Además se aplican técnicas de filtrado y tracking para mejorar esta localización. Por último, se implementa un sistema de reconocimiento de gestos, mediante el cual se pueda seleccionar fácilmente que usuario que desea interactuar con la plataforma y ejecutar una aplicación determinada. En el caso de este trabajo, la aplicacion elegida se basa en una estrategia denominada Follow Me, en la que la plataforma interactúe con el usuario y navegue por el entorno siguiéndole. La aplicación se incluye dentro del entorno de ROS, compatibilizando de esta forma su actuación con el resto de funciones de la plataforma.
The Master's thesis is based on a mobility support platform for children. The general architecture of the platform is described in previous works. The platform consists of different nodes to provide all functions, power supply, power electronics, control and navigation, interaction with the environment and human-machine interface. This Master's thesis focuses on the PC node, which is based on a computer with a Linux operating system and characterised by the use of Robot Operating System (ROS). This is the basis for the gestural human-machine interface developed in this work. An Intel Realsense D435 RGBD camera is integrated into the existing system, as both RGB image and depth image are required for this application. The information provided by the camera is used by means of the packages offered by the camera manufacturer in ROS. Subsequently, the detection of persons is carried out. For this purpose, a neural network trained for object detection based on Tensorflow is used. From the detection results of the network, the position of the detected persons is obtained, transforming the position in the plane of the person to the location in the virtual environment of the application. In addition, f ltering and tracking techniques are applied to improve this localisation. Finally, a gesture recognition system is implemented, by means of which the user can easily select which user wants to interact with the platform and execute a given application. In the case of this work, the chosen application is based on a navigation strategy called Follow Me, in which the platform follows the user and navigates the environment in this way. The application is merged within the ROS environment, thus making it compatible with the rest of the platform's functions.
Máster Universitario en Ingeniería Industrial (M141)
Databáze: OpenAIRE
Externí odkaz: