REMOVAL OF RAIN COMPONENTS FROM SINGLE IMAGES USING A RECURRENT NEURAL NETWORK

Jazyk: ukrajinština
Rok vydání: 2023
Předmět:
Zdroj: Radio Electronics, Computer Science, Control; No. 2 (2023): Radio Electronics, Computer Science, Control; 91
Радиоэлектроника, информатика, управление; № 2 (2023): Радіоелектроніка, інформатика, управління; 91
Радіоелектроніка, iнформатика, управління; № 2 (2023): Радіоелектроніка, інформатика, управління; 91
ISSN: 1607-3274
2313-688X
Popis: Context. Removing the undesirable consequences of rain effects from single images is an actual problem in many computer vision tasks, because rain streaks can significantly degrade the visual quality of images and seriously interfere with the operation of various intelligent systems, which are used for their processing and further analysis. Objective. The goal of the work is to develop a method for detecting and removing undesirable effects of the rain from single images, which is based on the using of a convolutional neural network with a recurrent structure. Method. The main component of the proposed method is a convolutional neural network, which has a recurrent multi-stage structure. A feature of this network architecture is the use of repeated blocks (layers), at the output of which you can get an intermediate result of «cleaning» the original image. Moreover at the output of each next layer of the network we get an image with less influence of rain components than on the previous one. Each network layer contains two independent sub-networks (branches) for parallel image processing. The main branch is designed to detect and remove the effect of rain from the image and the attention branch is used to improve and speed up the process of detecting undesirable rain components (for rain attention map formation). Results. An approach has been developed to automatically detect and remove the rain effect from single images. The process of “cleaning” the original image is based on the use of a convolutional neural network with a recurrent structure, which was trained on the Rain100H and Rain100L datasets. The results of computer experiments, which testifies to the effectiveness and expediency of using the proposed method for solving practical tasks of pre-processing “contaminated” images are presented. Conclusions. The advantage of the developed method for removing undesirable components of rain from images is that the recurrent multi-stage network architecture, on which it is based allows it to be potentially applied to solving tasks under conditions of limited computing resources. The proposed method can be successfully used in the development of intelligent systems for area monitoring with surveillance cameras, autonomous vehicles control, processing aerial photography results, etc. In the future, it should be considered the possibility of forming a separate sub-network to eliminate blurring in the image and train the network on datasets that contain image samples with different components of rain, which will make the method more «resistant» to different forms of the rain effect and increase the quality of image “cleaning”.
Актуальність. Видалення небажаних наслідків дощових ефектів з одиночних зображень є актуальною проблемою в багатьох задачах комп’ютерного зору, оскільки смуги дощу можуть суттєво погіршувати візуальну якість зображень та серйозно перешкоджати роботі різноманітних інтелектуальних систем, які використовуються для їх обробки та подальшого аналізу. Мета роботи полягає у розробці методу виявлення і видалення небажаних наслідків впливу ефекту дощу з одиночних зображень, який базується на використанні згорткової нейронної мережі з рекурентною структурою. Метод. Головною складовою запропонованого методу є згорткова нейронна мережа, яка має рекурентну багатоетапну структуру. Особливістю саме такої архітектури мережі є використання повторюваних блоків (шарів), на виході яких можна отримати проміжний результат «очищення» вихідного зображення. Причому на виході кожного наступного шару мережі отримуємо зображення з меншим впливом компонентів дощу ніж на попередньому. Кожен шар мережі містить дві незалежні підмережі (гілки) для паралельної обробки зображення. Головна гілка призначена для виявлення і видалення ефекту дощу з зображення, а гілка уваги використовується для покращення і пришвидшення процесу виявлення небажаних компонентів дощу (для формування карти уваги дощу). Результати. Розроблено підхід до автоматичного виявлення та видалення наслідків впливу ефекту дощу з одиночних зображень. Процес «очищення» вихідного зображення здійснюється на основі використання згорткової нейронної мережі з рекурентною структурою, навчання якої було проведено на наборах даних Rain100H і Rain100L. Наведено результати комп’ютерних експериментів, які свідчать про ефективність та доцільність використання запропонованого методу для вирішення практичних завдань з попередньої обробки «забруднених» зображень. Висновки. Перевагою розробленого методу видалення небажаних компонентів дощу з зображень є те, що рекурентна багатоетапна архітектура мережі, на якій він базується, дозволяє потенційно застосовувати його для вирішення завдань в умовах обмежених обчислювальних ресурсів. Запропонований метод може бути успішно використаний при розробці інтелектуальних систем для моніторингу територій за допомогою камер спостереження, автономного керування транспортними засобами, обробки результатів аерофотозйомки тощо. В перспективі слід розглянути можливість формування окремої підмережі для усунення розмитості на зображенні та провести навчання мережі на наборах даних, які містять зразки зображень з різними компонентами дощу, що зробить метод більш «стійким» до різних форм ефекту дощу і підвищить якість «очищення» зображень.
Databáze: OpenAIRE
Externí odkaz: