Вдосконалення методу групування енергетичних даних у системі багаторівневого управління енергоефективністю економіки регіону
| Autor: | I. H. Tsmots, V. I. Roman |
|---|---|
| Jazyk: | English<br />Polish<br />Russian<br />Ukrainian |
| Rok vydání: | 2019 |
| Předmět: | |
| Zdroj: | Науковий вісник НЛТУ України, Vol 29, Iss 1, Pp 116-120 (2019) |
| Druh dokumentu: | article |
| ISSN: | 1994-7836 2519-2477 83864768 |
| DOI: | 10.15421/40290125 |
| Popis: | Визначено основні причини повільного виконання операцій складного групування енергетичних даних у багаторівневих розподілених системах збереження даних, основні проблеми продуктивності методу MapReduce та методи його оптимізації. Розглянуто основні вимоги до системи багаторівневого управління енергоефективністю регіону, архітектуру та компоненти такої системи, запропоновано методи її вдосконалення. Розглянуто основні характеристики енергетичних даних, методи їх опрацювання, запропоновано оптимальну структуру збереження таких даних. Наведено основні механізми та методи швидкої вставки нових даних у систему та динамічного репартиціонування для забезпечення рівномірного розподілу даних у системі. Розроблено архітектуру системи збереження та опрацювання енергетичних даних. Розроблено метод партиціонування даних на основі методу MapReduce та структуру розподіленої системи збереження даних, яка забезпечує збереження даних з однаковими значеннями полів у одній партиції даних, тобто на одному комп'ютері. Цей метод партиціонуання збирає в одну партицію записи з однаковими значеннями по полях, за якими будуть здійснюватися операції групування та агрегації. Такий підхід дає змогу зменшити час виконання та об'єми даних, які будуть транспортуватися по мережі під час виконання запитів групування та агрегації даних із використанням методу MapReduce. Також розроблена структура системи допомагає оптимізувати операції фільтрування даних. |
| Databáze: | Directory of Open Access Journals |
| Externí odkaz: |
|