Camera Image Processing on ESP32 Microcontroller with Help of Convolutional Neural Network
| Autor: | Victor Sineglazov, Volodymyr Khotsyanovsky |
|---|---|
| Jazyk: | angličtina |
| Rok vydání: | 2022 |
| Předmět: | |
| Zdroj: | Electronics and Control Systems; Vol. 2 No. 72 (2022); 26-31 Электроника и системы управления; Том 2 № 72 (2022); 26-31 Електроніка та системи управління; Том 2 № 72 (2022); 26-31 |
| ISSN: | 1990-5548 |
| Popis: | This paper analyzes a common ESP32 microcontroller with a built-in camera for image classification tasks using a convolutional neural network. ESP32 is commonly used in IoT devices to read data and control sensors, so its computing power is not significant, which has a positive effect on the cost of the device. The prevalence of ultra-low power embedded devices such as ESP32 will allow the widespread use of artificial intelligence built-in IoT devices. The duration of photographing and photo processing is obtained in the paper, as this can be a bottleneck of the microcontroller, especially together with machine learning algorithms. Deployed convolutional neural network, pre-trained on another device, MobileNet architecture on microcontroller and proved that ESP32 capacity is sufficient for simultaneous operation of both the camera and convolutional neural network. В работе проанализирован распространенный микроконтроллер ESP32 со встроенной камерой для задач классификации изображений с использованием сверточной нейронной сети. Обычно ESP32 используется в устройствах IoT для считывания данных и управления сенсорами, поэтому его вычислительная мощность не является значительной, что положительно влияет на стоимость устройства. Распространенность встроенных устройств со сверхнизким энергопотреблением, таких как ESP32, позволит массовое распространение встроенных устройств IoT с искусственным интеллектом. В работе получена продолжительность фотографирования и обработки фотографий, поскольку это может быть узким местом микроконтроллера, особенно вместе с алгоритмами машинного обучения. Развернута сверточная нейронная сеть, предварительно обученная на другом устройстве, архитектура MobileNet на микроконтроллере и доказана, что мощностей ESP32 достаточно для одновременной работы как камеры так и сверточной нейронной сети. У роботі проаналізовано поширений мікроконтролер ESP32 з вбудованою камерою для завдань класифікації зображень з використанням згорткової нейронної мережі. Зазвичай ESP32 використовується в пристроях IoT для зчитування даних та управління сенсорами тому його обчислювальна потужність не є значною, що позитивно впливає на вартість пристрою. Поширеність вбудованих пристроїв з наднизьким енергоспоживанням, таких як ESP32 дозволить масове поширення вбудованих пристроїв IoT із штучним інтелектом. В роботі одержано тривалість фотографування та обробки фотографій, оскільки це може бути вузьким місцем мікроконтролера, особливо разом з алгоритмами машинного навчання. Розгорнуто згорткову нейронну мережу, попередньо навчену на іншому пристрої, архітектури MobileNet на мікроконтролері та доведено, що потужностей ESP32 достатньо для одночасної роботи як камери так і згорткової нейронної мережі. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|