Гнучкий розв’язок задачі оптимізації двошарового персептрона за його розміром і співвідношенням гладких спотворень у навчальній множині для класифікації об’єктів простої структури
| Autor: | Vadim V. Romanuke |
|---|---|
| Jazyk: | angličtina |
| Rok vydání: | 2017 |
| Předmět: |
Computer science
классификация розмір двошарового персептрона MATLAB training function Информационные технологии системный анализ и управление размер двухслойного персептрона Конфігурація двошарового персептрона обучающее множество Simple (abstract algebra) 2-layer perceptron performance Shifted-skewed-scaled objects класифікація MATLAB-функція для навчання Layer (object-oriented design) производительность двухслойного персептрона Зсунуті масштабовані скошені об’єкти Distortion ratio Training set 2-layer perceptron configuration продуктивність двошарового персептрона General Medicine Perceptron Classification навчальна множина Information technology system analysis and guidance Інформаційні технології системний аналіз та керування Класифікація Розмір двошарового персептрона Навчальна множина Продуктивність двошарового персептрона сдвинутые масштабированные скошенные объекты 2-layer perceptron size 004.93+519.615.7 [004.032.26] конфигурация двухслойного персептрона Классификация Сдвинутые масштабированные скошенные объекты Размер двухслойного персептрона Конфигурация двухслойного персептрона Обучающее множество MATLAB-функция для обучения Производительность двухслойного персептрона Algorithm |
| Zdroj: | Наукові вісті НТУУ «КПІ» : міжнародний науково-технічний журнал, 2017, № 6(116) Наукові вісті КПІ; № 6 (2017): Engineering; 59-73 Научные вести КПИ; № 6 (2017): ; 59-73 Research Bulletin of the National Technical University of Ukraine "Kyiv Politechnic Institute"; № 6 (2017): Engineering; 59-73 |
| ISSN: | 2519-8890 1810-0546 |
| Popis: | Background. Two-layer perceptrons are preferred to complex neural network classifiers when objects to be classified have a simple structure. However, even images consisting of a few geometrically primitive elements on a monotonous background are classified poorly with two-layer perceptron if they are badly distorted (shifted, skewed, and scaled). Performance of two-layer perceptron can be bettered much with modifying its training. This is done by deliberately importing distortions like shifting, skewness, and scaling into a training set, but only controlling volumes of the distortions with a special ratio. Besides, the performance is improved with optimally sizing the hidden layer.Objective. The goal is to optimize the two-layer perceptron by its size and the ratio for classifying simple-structured objects.Methods. The objects are monochrome images of enlarged English alphabet capital letters (the EEACL26 dataset) of a medium size 60-by-80. EEACL26 is an infinite artificial dataset, so mathematical models of distorted images are given. Then two-layer perceptrons having various sizes and training set smooth distortion ratios are trained and tested. The performance is evaluated via ultimate-distortion classification error percentage.Results. Based on statistical evaluations of classification error percentage at ultimate distortions, it is revealed that, while the best ratio should be between 0.01 and 0.02, and an optimal number of neurons in the hidden layer should be between 361 and 390. Sizes closer to 375 are counted as statistically more reliable, whereas the ratios are selected uniformly. Such solution is flexible allowing not only further-training with changing the hidden layer size and ratio, but also a smart initial training for the first passes. Nevertheless, even after the first 100 passes, the two-layer perceptron further-trained for extra 1190 passes by 10 times increasing distortion smoothness performs at 8.91 % of errors at ultimate distortions, which is about 45 % better than a previously known result. At the expected practicable distortions, which are far less, the error rate is 0.8 % that is quite tolerable. But here the main benefit of the optimized two-layer perceptron is its fast operation speed, rather than accuracy.Conclusions. The obtained flexible solution fits other datasets similar to EEACL26. Number of classes can vary between 20 and 30, and number of features can vary between a few hundred and a few thousand. The stated example of achieving high-performance classification with two-layer perceptrons is a part of the common technique of statistical optimization relating to neural network classifiers. For a more sophisticated dataset of objects, this technique is built and executed in a similar way. Проблематика. Двошаровим персептронам надається перевага над складними нейронними мережами, коли об’єкти для класифікації мають просту структуру. Однак навіть зображення, що складаються з декількох геометрично примітивних елементів на монотонному фоні, класифікуються двошаровим персептроном погано, якщо вони сильно спотворені (зсунуті, перекошені та масштабовані). Продуктивність двошарового персептрона може бути значно покращена модифікацією його навчання. Це робиться навмисним внесенням спотворень, подібних зсуву, перекошеності та масштабуванню, у навчальну множину, але тільки за допомогою контролю об’ємів цих спотворень спеціальним співвідношенням. Крім того, продуктивність покращується підбором оптимального розміру прихованого шару.Мета дослідження. Метою роботи є оптимізація двошарового персептрона за його розміром і згаданого співвідношення для класифікації об’єктів простої структури.Методика реалізації. Об’єктами є монохромні зображення збільшених великих літер англійського алфавіту (набір даних EEACL26) середнього розміру 60x80. EEACL26 є нескінченним штучним набором даних, тому даються математичні моделі спотворених зображень. Далі навчаються і тестуються двошарові персептрони, що мають різні розміри та співвідношення гладких спотворень у навчальній множині. Продуктивність оцінюється за відсотком помилок класифікації на граничних спотвореннях.Результати дослідження. Виходячи зі статистичних оцінок відсотка помилок класифікації на граничних спотвореннях, виявлено, що найкраще співвідношення повинно бути між 0,01 та 0,02, а оптимальне число нейронів у прихованому шарі має бути між 361 та 390. Розміри ближче до 375 вважаються статистично більш надійними, тоді як співвідношення вибираються рівномірно. Такий розв’язок є гнучким, дозволяючи не тільки подальше навчання зі зміною розміру прихованого шару та співвідношення, а й витончене першопочаткове навчання на перших проходах. Проте навіть після перших 100 проходів двошаровий персептрон, навчаний далі на 1190 екстрапроходах зі збільшеною в 10 разів гладкістю спотворень, працює на рівні 8,91 % помилок на граничних спотвореннях, що приблизно на 45 % краще, ніж попередній відомий результат. На рівні практично очікуваних спотворень, які значно менші, рівень помилок становить 0,8 %, що цілком прийнятно. Однак тут головною вигодою оптимізованого двошарового персептрона є не точність, а його швидкодія.Висновки. Отриманий гнучкий розв’язок підходить іншим наборам даних, подібних EEACL26. Число класів може варіюватися між 20 і 30, а число ознак – між декількома сотнями і декількома тисячами. Наведений приклад досягнення високопродуктивної класифікації двошаровими персептронами є частиною загальної методики статистичної оптимізації стосовно нейромережевих класифікаторів. Для більш складних наборів даних об’єктів ця методика будується і виконується у подібному стилі. Проблематика. Двухслойные персептроны предпочитаемы сложным нейронным сетям, когда объекты для классификации имеют простую структуру. Однако даже изображения, состоящие из нескольких геометрически примитивных элементов на монотонном фоне, классифицируются двухслойным персептроном плохо, если они сильно искажены (сдвинуты, перекошены и отмасштабированы). Производительность двухслойного персептрона может быть значительно улучшена модификацией его обучения. Это делается преднамеренным внесением искажений, подобных сдвигу, перекошенности и масштабированию, в обучающее множество, но только с помощью контроля объемов этих искажений специальным соотношением. Кроме того, производительность улучшается подбором оптимального размера скрытого слоя.Цель исследования. Целью работы является оптимизация двухслойного персептрона по его размеру и упомянутого соотношения для классификации объектов простой структуры.Методика реализации. Объектами являются монохромные изображения увеличенных заглавных букв английского алфавита (набор данных EEACL26) среднего размера 60х80. EEACL26 является бесконечным искусственным набором данных, поэтому даются математические модели искаженных изображений. Затем обучаются и тестируются двухслойные персептроны, имеющие различные размеры и соотношения гладких искажений в обучающем множестве. Производительность оценивается через процент ошибок классификации на предельных искажениях.Результаты исследования. Исходя из статистических оценок процента ошибок классификации на предельных искажениях, обнаружено, что наилучшее соотношение должно быть между 0,01 и 0,02, а оптимальное число нейронов в скрытом слое должно быть между 361 и 390. Размеры ближе к 375 считаются статистически более надежными, тогда как соотношения выбираются равномерно. Такое решения является гибким, позволяя не только дальнейшее обучение с изменением размера скрытого слоя и соотношения, но также и изящное начальное обучение на первых проходах. Тем не менее даже после первых 100 проходов двухслойный персептрон, обученный далее на 1190 экстрапроходах с увеличенной в 10 раз гладкостью искажений, работает на уровне 8,91 % ошибок при предельных искажениях, что примерно на 45 % лучше, чем предыдущий известный результат. На уровне практически ожидаемых искажений, которые значительно меньше, уровень ошибок составляет 0,8 %, что вполне сносно. Однако здесь главной выгодой оптимизированного двухслойного персептрона является не точность, а его быстродействие.Выводы. Полученное гибкое решение подходит другим наборам данных, подобным EEACL26. Число классов может варьироваться между 20 и 30, а число признаков – между несколькими сотнями и несколькими тысячами. Приведенный пример достижения высокопроизводительной классификации двухслойными персептронами является частью общей методики статистической оптимизации в отношении нейросетевых классификаторов. Для более сложных наборов данных объектов эта методика строится и исполняется в подобном стиле. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|