Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop
| Rok vydání: | 2023 |
|---|---|
| Předmět: | |
| DOI: | 10.24412/2782-2141-2023-1-78-88 |
| Popis: | В статье ставится задача рассмотреть вопросы представления и обработки измерительной информации о техническом состоянии устройств распределенных информационно-телекоммуникационных систем и сетей на основе аналитики больших объемов данных (Big Data) с помощью технологии Hadoop. Целью работы является систематизация результатов обработки измерительной информации о состоянии элементов информационно-телекоммуникационных сетей в виде так называемых «витрин данных» в интересах ситуационного управления системой. Используемые методы: в работе используются методы на основе технологий On-line Analyzing Processing – интерактивного анализа данных, посредством OLAP-кубов и средств выборки данных и их визуализации на ситуационном центре ведомства (корпорации). Новизна обсуждаемого решения состоит в применении «витрин данных» о техническом состоянии устройств распределенной сетевой инфраструктуры, формируемых от нескольких серверов мониторинга, работающих под системами сетевого мониторинга. К результатам работы следует отнести: представленную структуру узла мониторинга, осуществляющего производство данных сервером мониторинга и их взаимосвязь; порядок формирования «витрины данных» в виде «таблицы событий» как «таблицы фактов» (в терминологии OLAP – кубов «таблица событий» это та же «таблица фактов» о состоянии объекта мониторинга). Практическая значимость работы заключается в предложенной реализации на ситуационном центре ведомства «витрин данных» средствами Hadoop на примере распределенной информационно-телекоммуникационной сети Министерства транспорта России и его Федеральных агентств. The article aims to consider the issues of presentation and processing of measurement information about the technical condition of devices of distributed information and telecommunication systems and networks based on big data analytics using Hadoop technology. The aim of the work is to systematize the results of processing measuring information about the state of elements of information and telecommunication networks in the form of so-called "data showcases" in the interests of situational management of the system. Methods used: the work uses methods based on On-line Analyzing Processing technologies – interactive data analysis, using OLAP-cubes and data sampling and visualization tools at the situation center of the department (corporation). The novelty of the solution under discussion consists in the use of "data showcases" on the technical condition of distributed network infrastructure devices generated from several monitoring servers operating under network monitoring systems. The results of the work should include: the presented structure of the monitoring node that produces data by the monitoring server and their relationship; the order of formation of the "data showcase" in the form of an "event table" as a "fact table" (in the terminology of OLAP cubes, the "event table" is the same "fact table" about the state of the monitoring object). The practical significance of the work lies in the proposed implementation on the situation center of the department of "data storefronts" by Hadoop using the example of a distributed information and telecommunications network of the Ministry of Transport of Russia and its Federal Agencies. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|