ВЫБОР КРИТЕРИЯ КАЧЕСТВА ДЛЯ ОЦЕНИВАНИЯ ПРОГНОЗОВ НЕЛИНЕЙНЫХ НЕСТАЦИОНАРНЫХ ПРОЦЕССОВ

Jazyk: ukrajinština
Rok vydání: 2021
Předmět:
Zdroj: KPI Science News; No. 2 (2021)
Научные вести КПИ; № 2 (2021)
Наукові вісті КПІ; № 2 (2021)
ISSN: 2617-5509
2663-7472
Popis: Background. The problem of forecasting nonlinear nonstationary processes presented in the form of time series is very relevant, since such series can describe dynamics of the processes in both technical and economic systems. To establish the best model, various metrics are used to assess the quality of forecasts, such as R^2, RMSE, MAE, MAPE. However, in many tasks, when optimizing the model according to the selected criterion, the model becomes worse in relation to another criterion. Therefore it is important to understand which metric must be used to optimize and assess the quality of the forecast in the given task. Objective. The aim of the paper is to develop a criteria base for assessing forecasts of nonlinear nonstationary processes, as well as an approach to choosing a metric in accordance to the specificity of the set forecasting problem. Methods. The paper presents a comparative analysis of the basic metrics for the regression problem, their theoretical and practical meaning, advantages and disadvantages in various cases. New approaches are proposed based on the results of the analysis. Results. Based on the analysis of the selected data, it is shown that by optimizing the model according to the selected criterion, the model becomes worse in relation to another criterion. A criterion basis for assessing forecasts of nonlinear nonstationary processes has been formed, as well as an approach to the selection of a quality criterion in accordance with the specifics of the set forecasting problem. To minimize an absolute error, the RMSE (MSE, R^2) and MAE metrics are analysed and recommended, depending on the need to work with outliers. The RMSLE metric is proposed for solving the problems of minimizing the relative metric, for solving the shown problems of the MAPE metric for this class of problems. Conclusions. The paper shows the importance of choosing a metric that must be used to optimize and assess the quality of the forecasts in the given task. The obtained criterion base and approach can be used in further research to solve practical prob- lems in modelling and forecasting nonlinear nonstationary processes and to develop new methods or general method for solving such problems.
Проблематика. Прогнозирование нелинейных нестационарных процессов (ННП), представленных в форме временных рядов, является актуальным, поскольку такие ряды могут описывать процессы в технических и экономических системах. Для выбора лучшей математической модели используют различные метрики оценивания качества прогнозов, такие как: R^2, RMSE, MAE, MAPE. Однако оптимизация модели по одному критерию ухудшает ее относительно другого. Поэтому важно понимать, какую метрику следует использовать для оптимизации и оценивания качества прогноза в поставленной задаче. Цель исследования. Разработать и проанализировать критериальную базы для оценивания прогнозов ННП, а также подход к выбору критерия качества с учетом поставленной задачи прогнозирования. Методика реализации. Выполнение сравнительного анализа основных метрик для задачи регрессии, а именно их теоретического и практического смысла, преимуществ и недостатков в различных случаях. Результаты исследования. Сформирована критериальная база для оценивания прогнозов ННП, а также подход к выбору критерия качества с учетом особенностей поставленной задачи прогнозирования. Для минимизации абсолютной погрешности проанализированы и рекомендованы к использованию метрики RMSE (MSE, R^2) и MAE в зависимости от необходимости работы с выбросами. Для решения задач минимизации относительной погрешности предложено использовать метрику RMSLE. Выводы. Показана важность выбора метрики для оптимизации и оценивания качества прогноза в поставленной задаче. Полученные критериальную базу и подход можно использовать в дальнейших исследованиях как для решения практических задач моделирования и прогнозирования ННП, так и для разработки новых методов или общей методики решения таких задач.
Проблематика. Прогнозування нелінійних нестаціонарних процесів (ННП), поданих у формі часових рядів, є актуальним, оскільки такі ряди можуть описувати процеси в технічних й економічних системах. Для вибору найкращої математичної моделі використовують різні метрики оцінювання якості прогнозів, як-от: R^2, RMSE, MAE, MAPE. Однак оптимізація моделі за одним критерієм погіршує її відносно іншого. Тому важливо розуміти, яку метрику слід використовувати для оптимізації та оцінки якості прогнозу в поставленій задачі. Мета дослідження. Розробити та проаналізувати критеріальну базу для оцінювання прогнозів ННП, а також підхід до вибору критерію якості з урахуванням особливостей поставленої задачі прогнозування. Методика реалізації. Виконання порівняльного аналізу основних метрик для задачі регресії, а саме їхнього теоретичного та практичного змісту, переваг і недоліків у різних випадках. Результати дослідження. Сформовано критеріальну базу для оцінювання прогнозів ННП, а також підхід до вибору критерію якості з урахуванням особливостей поставленої задачі прогнозування. Для мінімізації абсолютної похибки проаналізовано та рекомендовано використовувати метрики RMSE (MSE, R^2) і MAE залежно від необхідності роботи з викидами. Для розв’язання задач мінімізації відносної помилки запропоновано використовувати метрику RMSLE. Висновки. Показано важливість вибору метрики для оптимізації та оцінювання якості прогнозу в поставленій задачі. Отримані критеріальну базу та підхід можна використовувати в подальших дослідженнях як для розв’язання практичних задач моделювання та прогнозування ННП, так і для розробки нових методів або загальної методики розв’язання цих задач.
Databáze: OpenAIRE
Externí odkaz: