Prediction of the Integrated Indicator of Quality of a New Object Under the Conditions of Multicollinearity of Reference Data
| Autor: | S.B. Akhlyustin, R.A. Zhilin, A.V. Melnikov |
|---|---|
| Rok vydání: | 2020 |
| Předmět: |
регуляризация
прогнозирование neural network Computer science media_common.quotation_subject гребневая регрессия обучение модели adaptation computer.software_genre нейронная сеть training of model УДК 004.891 examination of objects множественная регрессия ridge regression Quality (business) media_common multiple regression prediction Object (computer science) экспертиза объектов regularization Computational Mathematics Reference data Computational Theory and Mathematics Multicollinearity Modeling and Simulation Data mining адаптация computer Software |
| Zdroj: | Bulletin of the South Ural State University. Series "Mathematical Modelling, Programming and Computer Software". 13:66-80 |
| ISSN: | 2071-0216 |
| DOI: | 10.14529/mmp200406 |
| Popis: | S.B. Akhlyustin1, A.V. Melnikov1, R.A. Zhilin1 1Institute of the Ministry of Internal Affairs, Voronezh, Russian Federation E-mails: cerg7676@yandex.ru, meln78@mail.ru, zhilin@yandex.ru. Сергей Борисович Ахлюстин, старший преподаватель, кафедра ≪Радиотехнические системы и комплексы охранного мониторинга≫, Воронежский институт МВД России (г. Воронеж, Российская Федерация), cerg7676@yandex.ru. Александр Викторович Мельников, профессор, доктор технических наук, доцент, кафедра ≪Математика и моделирование систем≫, Воронежский институт МВД России (г. Воронеж, Российская Федерация), meln78@mail.ru. Роман Андреевич Жилин, адъюнкт, кафедра ≪Математика и моделирование систем≫, Воронежский институт МВД России (г. Воронеж, Российская Федерация), zhilin99.zhilin@yandex.ru. Prediction of a new object state at a lack of the known characteristics and estimates of quality indicators of a number of studied objects (a set of reference data) often leads to the problem of multicollinearity of basic data. We propose the following three ways to overcome this problem relating to the sphere of data mining: use a ridge regression, train with the teacher a two-layer neural network, consecutive adapt a single-layer neural network. Also, we compare characteristics of the proposed ways. In the ridge regression method, the introduction of a regularizing term into the LMS equation gives an approximate solution with a sufficient degree of accuracy. A disadvantage of use of the two-layer neural network “feed-forward backprop” and the procedure of training with the teacher “train” is that adjusted weights of the neural network take chaotic (and even negative) values that contradicts a common practice of examination. The following features are revealed: considerable dispersion of weights and shifts of a neural network, ambiguity of the solution due to the choice of random initial conditions, strong dependence on a training algorithm. In order to overcome this shortcoming, we propose a transition to consecutive adaptation of a single-layer neural network with fixing shifts of neurons at zero level. Предсказание состояния нового объекта при недостатке известных характеристик и оценок показателей качества ряда изученных объектов (множества референтных данных) зачастую приводит к проблеме мультиколлинеарности исходных данных. Предлагаются три способа преодоления этой проблемы, относящиеся к сфере data mining: использование гребневой (ridge) регрессии, обучение с учителем двухслойной нейронной сети, последовательная адаптация однослойной нейронной сети и сравниваются их характеристики. В методе гребневой регрессии введение регуляризирующего слагаемого в уравнение МНК дает приближенное решение с достаточной степенью точности. Недостатком использования двухслойной нейронной сети ≪feed-forward backprop≫ и процедуры обучения с учителем ≪train≫ является то, что настроенные веса нейронной сети принимают хаотичные (и даже отрицательные) значения, что противоречит обычной практике экспертизы. Выявлены следующие особенности: значительный разброс весов и смещений нейронной сети, неоднозначность решения за счет выбора случайных начальных условий, сильная зависимость от алгоритма обучения. Для преодоления этого недостатка предложен переход к последовательной адаптации однослойной нейронной сети с фиксацией смещений нейронов на нулевом уровне. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|