Dynamic architecture for replica balancing in distributed file systems
| Autor: | Fazul, Rhauani Weber Aita |
|---|---|
| Přispěvatelé: | Barcelos, Patrícia Pitthan de Araújo, Lima, João Vicente Ferreira, Mendizabal, Odorico Machado |
| Jazyk: | portugalština |
| Rok vydání: | 2022 |
| Předmět: |
Balanceamento de réplicas
Data replication Sistemas de arquivos distribuídos Dynamic architecture Balancing policy CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO [CNPQ] Arquitetura dinâmica Fault tolerance Política de balanceamento Replica balancing Distributed file systems Replicação de dados Tolerância a falhas |
| Zdroj: | Biblioteca Digital de Teses e Dissertações do UFSM Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
| Popis: | Conselho Nacional de Pesquisa e Desenvolvimento Científico e Tecnológico - CNPq Distributed file systems are essential to support applications that handle large volumes of data. One of the most widely used file systems is the HDFS, Apache Hadoop’s Distributed File System. Data replication, which is at the core of the HDFS storage model, is essential for fault tolerance and performance since the placement of the data across the cluster directly affects replica balancing and data locality. As new data is loaded into the system, it is common for the distribution of the replicas among the nodes to become unbalanced. HDFS Balancer is the official solution for data balancing by rearranging the replicas already stored in the cluster. Nevertheless, its current balancing policy does not address the characteristics and specific needs of the applications during data rearrangement. Besides that, it is up to the system administrator to monitor the HDFS status and, when considered necessary, run the balancer daemon, which creates a dependency that is inadequate and inefficient in many situations. To address these limitations, this work presents DARB, a dynamic architecture that promotes reactive and proactive replica balancing. The reactive strategy arises from the PRBP, a customized and prioritized replica balancing policy for the HDFSBalancer. The PRBP is based on an adaptable and configurable system of priorities, from which association rules were defined to allow the use of multiple priorities simultaneously. Along with the rules, a set of usage guidelines has been formalized and evaluated through practical experiments, which validated the behavior and applicability of the PRBP. The proactive strategy of DARB, in contrast, consists of an event-driven strategy to make the replica balancing process in HDFS transparent. To this end, a metrics observation model and a structure were created to automatically determine when corrective actions should be taken and trigger the balancing process in the file system based on standardized trigger events. The evaluation results reinforce that the proposed solution removes the need for manual configuration and utilization of the HDFS Balancer while actively acting to keep the cluster balanced taking into account performance, reliability, and data availability perspectives. In this way, DARB presents itself as a specialized solution, flexibilizing the balancing process and introducing to HDFS the concept of context-aware replica balancing. Sistemas de arquivos distribuídos são essenciais para suportar aplicações que lidam com grandes volumes de dados. Um dos sistemas mais utilizados é o HDFS, o sistema de arquivos distribuído do Apache Hadoop. A replicação de dados, que é o elemento central do modelo de armazenamento do HDFS, é essencial para a tolerância a falhas e o desempenho, sendo que o posicionamento das réplicas no cluster afeta diretamente o balanceamento de réplicas e a localidade dos dados. À medida que novos dados são escritos no sistema de arquivos, é comum que a distribuição das réplicas entre os nodos fique desequilibrada. O HDFS Balancer é a solução oficial para o balanceamento de dados por meio do rearranjo das réplicas já armazenadas no cluster. No entanto, sua política de operação atual não considera as características e necessidades específicas das aplicações. Além disso, cabe ao administrador monitorar o estado do HDFS e, quando julgar necessário, executar o balanceador, o que cria uma dependência manual e ineficiente em muitas situações. Para endereçar tais limitações, este trabalho apresenta a DARB, uma arquitetura dinâmica que promove o balanceamento reativo e proativo. Para a parte reativa, foi desenvolvida a PRBP, uma política personalizada com base em prioridades para o HDFS Balancer. A PRBP é formada por um sistema de prioridades adaptável e configurável, a partir do qual foram definidas regras de associação que permitem o uso de múltiplas prioridades em simultâneo. Em conjunto com as regras, guidelines de uso foram formalizadas e avaliadas experimentalmente, validando o comportamento e a aplicabilidade da PRBP. Já para a parte proativa da DARB, foi desenvolvida uma estratégia orientada a eventos que visa tornar transparente o processo de balanceamento de réplicas no HDFS. Para isso, criou-se um modelo de observação de métricas e uma estrutura que, por meio de eventos de disparo, determina automaticamente quando ações corretivas devem ser tomadas no sistema de arquivos. Os resultados da avaliação reforçam que a solução proposta remove a necessidade de configuração e uso manual do HDFS Balancer, enquanto atua ativamente para manter o cluster em umestadobalanceado emproldeperspectivas de desempenho, confiabilidade e disponibilidade dos dados. Desse modo, a DARB apresenta-se como uma solução especializada, flexibilizando o processo de balanceamento e introduzindo ao HDFS o conceito de balanceamento de réplicas sensível ao contexto. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|