Сравнительная характеристика способности сверточных нейронных сетей к концепции трансферного обучения

Jazyk: angličtina
Rok vydání: 2022
Předmět:
Zdroj: Technology audit and production reserves; Vol. 1 No. 2(63) (2022): Information and control systems; 10-13
Technology audit and production reserves; Том 1 № 2(63) (2022): Информационно-управляющие системы; 10-13
Technology audit and production reserves; Том 1 № 2(63) (2022): Інформаційно-керуючі системи; 10-13
ISSN: 2664-9969
2706-5448
Popis: The object of research is the ability to combine a previously trained model of a deep neural network of direct propagation with user data when used in problems of determining the class of one object in the image. That is, the processes of transfer learning in convolutional neural networks in classification problems are considered. The conducted researches are based on application of a method of comparison of theoretical and practical results received at training of convolutional neural networks. The main objective of this research is to conduct two different learning processes. Traditional training during which in each epoch of training there is an adjustment of values of all weights of each layer of a network. After that there is a process of training of a neural network on a sample of the data presented by images. The second process is learning using transfer learning methods, when initializing a pre-trained network, the weights of all its layers are «frozen» except for the last fully connected layer. This layer will be replaced by a new one with the number of outputs, which should be equal to the number of classes in the sample. After that, to initialize its parameters by the random values distributed according to the normal law. Then conduct training of such convolutional neural network on the set sample. When the training was conducted, the results were compared. In conclusion, learning from convolutional neural networks using transfer learning techniques can be applied to a variety of classification tasks, ranging from numbers to space objects (stars and quasars). The amount of computer resources spent on research is also quite important. Because not all model of a convolutional neural network can be fully taught without powerful computer systems and a large number of images in the training sample.
Объектом исследования является способность комбинировать предварительно обученную модель глубинной нейронной сети прямого распространения с пользовательскими данными при их использовании в задачах определения класса одного объекта на изображении. То есть рассмотрены процессы трансферного обучения в сверточных нейронных сетях в задачах классификации. Проведенные исследования базируются на применении метода сравнения теоретических и практических результатов, полученных при обучении сверточных нейронных сетей. Основной задачей данного исследования было провести два разных процесса обучения. Традиционное обучение, во время которого на каждом этапе обучения происходит корректировка значений всех весов каждого слоя сети, после чего происходит процесс обучения нейронной сети на выборке данных, представленных изображениями. Вторым процессом является обучение с использованием методов трансферного обучения, когда при инициализации заранее обученной сети «замораживают» весы всех ее слоев за исключением последнего полносвязного слоя. Этот слой будет заменен новым с числом выходов, что должно равняться количеству классов в исследуемой выборке. После чего инициализировать его параметры случайными значениями, распределенными по нормальному закону. И тогда провести обучение такой сверточной нейронной сети на заданной выборке. Когда обучение было проведено – полученные результаты прошли процесс сравнения. Как вывод, обучение сверточной нейронной сети с применением методов трансферного обучения может быть применено к разным задачам классификации, начиная с цифр и заканчивая космическими объектами (звездами и квазарами). Причем такой вид обучения более эффективен при значительно меньших временных затратах. Достаточно важен также объем компьютерных ресурсов, затрачиваемых на исследования. Так как не всякую модель сверточной нейронной сети можно полностью научить, не имея при этом мощных компьютерных систем и большого количества изображений в обучающей выборке.
Об'єктом дослідження є здатність комбінувати попередньо навчену модель глибинної нейронної мережі прямого поширення з даними користувача при їх використанні в задачах визначення класу одного об'єкта на зображенні. Тобто розглянуто процеси трансферного навчання в згорткових нейронних мережах в задачах класифікації. Проведені дослідження базуються на застосуванні методу порівняння теоретичних та практичних результатів, отриманих при навчанні згорткових нейронних мереж. Основним завданням даного дослідження було провести два різних процеси навчання. Традиційне навчання, під час якого на кожному етапі навчання відбувається коригування значень всіх ваг кожного шару мережі, після чого відбувається процес навчання нейронної мережі на вибірці даних, представлених зображеннями. Другим процесом є навчання з використанням методів трансферного навчання, коли при ініціалізації наперед навченої мережі «заморожують» ваги всіх її шарів за винятком останнього повнозв’язного шару. Цей шар буде замінено на новий з числом виходів, що повинно дорівнювати кількості класів у досліджуваній вибірці. Після чого ініціалізувати його параметри випадковими значеннями, розподіленими за нормальним законом. І тоді провести навчання такої згорткової нейронної мережі на заданій вибірці. Коли навчання було проведено – отримані результати пройшли процес порівняння. Як висновок, навчання згорткової нейронної мережі із застосуванням методів трансферного навчання може бути застосовано до різних завдань класифікації, починаючи з цифр та закінчуючи космічними об’єктами (зорями та квазарами). Причому такий вид навчання є більш ефективним при значно менших часових витратах. Досить важливим є також обсяг комп'ютерних ресурсів, що витрачаються на дослідження. Так як не всяку модель згорткової нейронної мережі можна повністю навчити, не маючи при цьому потужних комп’ютерних систем та великої кількості зображень в навчальній вибірці.
Databáze: OpenAIRE
Externí odkaz: