Платформа управління сховищем даних

Přispěvatelé: Галушко, Дмитро Олександрович
Jazyk: ukrajinština
Rok vydání: 2023
Předmět:
Popis: Пояснювальна записка містить 4 розділи, 16 ілюстрацій, 11 таблиць, 4 кресленики, 16 інформаційних посилань. Об’єктом розробки є сховище даних. Предметом розробки є інструмент для управління сховищем даних. Метою роботи є спрощення процесу обробки та аналізу даних з декількох джерел для прогнозування та підтримки прийняття рішень. У дипломному проєкті було розроблено платформу управління сховищем даних, яку можна використовувати з власним налаштуванням кластерів для обробки та збереження даних, які можуть бути локальними або ж розгорнуті за допомогою хмарних сервісів. Платформа управління сховищем даних була реалізована у вигляді прикладного програмного інтерфейсу на мові програмування Python, основними бібліотеками є FastAPI та PySpark. В якості бази даних було вибрано Postgres. Отримані результати можуть бути корисними при розробці розподіленої системи для роботи з великим обсягом даних. The project contains 4 chapters, 16 illustrations, 11 tables, 4 drawings, 16 information links. Keywords: application programming interface for data warehouse management, big data, centralized data source, data storage, distributed system Its objective is data warehouse. The subject of development is a tool designed for data warehouse management. The project aims to simplify the processing and analysis of data from multiple sources, enabling forecasting and decision-making support. As part of the project, a data storage control platform was developed. It can be used with your own configuration of clusters for data processing and storage, whether they are local or deployed using cloud services. The data storage control platform was implemented as an application programming interface using the Python programming language, with FastAPI and PySpark serving as the main libraries. Postgres was selected as the database. The achieved results can be applied to the development of a distributed system for handling large volumes of data.
Databáze: OpenAIRE