Management resources in Datacenters based on Deep Reinforcement Learning
| Autor: | Ibáñez Bolado, Mario |
|---|---|
| Přispěvatelé: | Bosque Orero, José Luis, Universidad de Cantabria |
| Rok vydání: | 2020 |
| Předmět: | |
| Zdroj: | UCrea Repositorio Abierto de la Universidad de Cantabria Universidad de Cantabria (UC) |
| Popis: | RESUMEN: Actualmente, los importantes avances en hardware y software ocurridos en las últimas décadas han propiciado el desarrollo de entornos para la computación de alto rendimiento. Estos entornos son desarrollados en los conocidos centros de datos o datacenters. Los datacenters mediante el uso de recursos computacionales heterogéneos ejecutan las tareas enviadas por los usuarios de estos entornos. Las tareas recibidas deben ser asignadas a los recursos disponibles del datacenter. Realizar una asignación entre los recursos disponibles y los trabajos pendientes de ejecutar es una tarea compleja, para la cuál no se conoce un algoritmo determinista que resuelva este problema. Por tanto, se utilizan algoritmos basados en políticas que permitan determinar qué tipo de recursos y trabajos se priorizan en las asignaciones. La selección de estas políticas es realizada por un planificador que se encarga de aplicar estos algoritmos clásicos con la información del entorno. Los avances previamente descritos han permito a su vez el desarrollo de técnicas de inteligencia artificial. Este tipo de técnicas desarrolla métodos que permiten solucionar de manera aproximada, problemas para los cuales no existe un algoritmo eficiente o determinista. Estos métodos han permitido avanzar en el desarrollo de campos tan importantes actualmente como son la minería de datos o el procesamiento del lenguaje natural. Con todo lo expuesto anteriormente, el objetivo de este trabajo es realizar un estudio de cómo ciertas técnicas de inteligencia artificial pueden ser usadas para la selección de políticas de planificación. Para esta tarea se utiliza un simulador de datacenters heterogéneos, llamado HDeepRM que permite la creación de un planificador basado en métodos de inteligencia artificial. Para validar estos métodos inteligentes se realizan una serie de experimentos reproducibles en diferentes entornos y configuraciones. Además, se implementan mejoras en el simulador que permiten aumentar tanto la calidad de las simulaciones como la complejidad de las planificaciones. ABSTRACT: Nowadays, thanks to software and hardware advances that have occurred in recent decades, have provided the development of High Performance Computing (HPC) environments. These environments are developed in the well-known data centers. Data centers through the use of heterogeneous computational resources execute jobs sent by the users of these environments. Jobs should be scheduling to the available resources of the data center. Mapping between available resources and pending jobs is a complex task, for which no deterministic algorithm is known to solve this problem. Therefore, policy-based algorithms are used to determine what kind of resources and jobs are prioritized in scheduling. The selection of these policies is done by a Workload Manager that apply these classic algorithms with the information from the environment. The advances previously described have in turn afforded the development of artificial intelligence techniques. This kind of techniques develops methods that allow approximate solutions to problems for which there is no eficient or deterministic algorithm. These methods have made it possible to advance in the development of fields as important today as data mining or natural language processing. Given the above, the goal of this work is to carry out a study of how certain artificial intelligence techniques can be used for policy selection. For this task, a heterogeneous data center simulator, called HDeepRM, is used to create a scheduler, that is based on artificial intelligence methods. To verify the intelligent methods, a series of reproducible experiments are performed to verify the correct operation of these methods. In addition, new improvements are implemented in the simulator that allow increasing the quality of the simulations and the complexity of the schedules. Grado en Ingeniería Informática |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|