ThermalEdge: A hardware solution for real-time drunkenness recognition from thermal images using edge computing
| Autor: | SIlva, Públio Elon Correa da |
|---|---|
| Přispěvatelé: | Felipussi, Siovani Cintra, Nogueira, Samuel Lourenço |
| Jazyk: | portugalština |
| Rok vydání: | 2022 |
| Předmět: |
Thermal imaging
Model compression Classificação de imagens em tempo real Visão computacional Deep neural networks Compressão de modelos Redes neurais profundas Imageamento térmico Computer vision Edge computing CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO [CIENCIAS EXATAS E DA TERRA] Real-time image classification |
| Zdroj: | Repositório Institucional da UFSCAR Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
| Popis: | Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) Alcohol consumption has presented problems for road safety, traffic enforcement can benefit from the development of methods for classifying the individual's status. In this way, recent advances in thermography associated with the advent of 5G, resulted in new opportunities for study, such as computing at the performed at the edge of the network and the use of deep neural network algorithms in microcomputers. The objective of this master's project is the development of a framework that allows the classification of thermal images, for the labeling of the individual's state in real-time, captured by a thermal camera coupled to a cellular device that sends the images to a server at the edge of the network that has a convolutional neural network model trained to recognize the individual's state from thermal images. In addition, for detecting drunkenness, hardware accelerators are used in embedded devices. In addition, an application for mobile devices was developed to allow the sending of images in real-time for classification, using the UDP protocol. Because of this, for the proposed framework to recognize the drunken state, a convolutional neural network model was trained using transfer learning to abstract characteristics related to drunkenness. The model trained for the Edge TPU obtained the best accuracy in the classification of inebriation, which was 94.33% in the test set. O consumo do álcool tem apresentado problemas para a segurança viária e, subsequentemente, a fiscalização de trânsito pode se beneficiar do desenvolvimento dos métodos para classificação do estado do indivíduo. Desta forma, os avanços recentes na termografia associados ao advento do 5G, resultam em novas oportunidades para estudo, como a computação na borda da rede e o uso de algoritmos de redes neurais profundas em microcomputadores. O objetivo deste projeto de mestrado é o desenvolvimento de um \textit{framework} que possibilite a classificação de imagens térmicas, para a rotulação do estado do indivíduo em tempo real, capturadas por uma câmera térmica acoplada a um dispositivo celular que realiza o envio das imagens para um servidor na borda da rede que possui um modelo de rede neural convolucional treinado para reconhecer o estado do indivíduo a partir de imagens térmicas. Em adição, para a detecção de embriaguez, são utilizados aceleradores de hardware em dispositivos embarcados. Em adição, um aplicativo para dispositivos móveis foi desenvolvido para possibilitar o envio das imagens em tempo real para classificação, utilizando protocolo UDP. Em vista disso, para que o framework proposto possa reconhecer o estado de embriaguez, um modelo de rede neural convolucional foi treinado utilizando transfer learning para abstrair características relacionadas a embriaguez. O modelo treinado para o Edge TPU obteve a melhor acurácia na classificação de embriaguez, sendo esta de 94,33% no conjunto de teste. Código de Financiamento 001 |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|