Spark-SGreedy: Um Algoritmo de Escalonamento de Workflows Intensivos em Dados no Framework Apache Spark

Autor: Cristina Boeres, Victor F. de Sousa, Daniel Oliveira
Rok vydání: 2020
Zdroj: Anais da VI Escola Regional de Alto Desempenho do Rio de Janeiro (ERAD-RJ 2020).
DOI: 10.5753/eradrj.2020.14518
Popis: Nos últimos anos, o Apache Spark vem sendo utilizado como framework para execução de experimentos científicos modelados como workflows. Por mais que represente um avanço, o Spark não foi projetado para gerenciar execuções de aplicações científicas, e seu escalonamento não considera estimativas de consumo de recursos pelas atividades do workflow. Esse artigo apresenta o Spark-SGreedy, uma proposta de algoritmo de escalonamento de workflows no Spark que usa dados de proveniência (histórico) para analisar a previsão de consumo de recursos das atividades do workflow e escaloná-las de acordo com tal previsão.
Databáze: OpenAIRE