Data Redistribution through High Performance Networks

Autor: Wagner, Frédéric
Přispěvatelé: Algorithms for the Grid (ALGORILLE), INRIA Lorraine, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université Henri Poincaré - Nancy 1 (UHP)-Université Nancy 2-Institut National Polytechnique de Lorraine (INPL)-Centre National de la Recherche Scientifique (CNRS)-Université Henri Poincaré - Nancy 1 (UHP)-Université Nancy 2-Institut National Polytechnique de Lorraine (INPL)-Centre National de la Recherche Scientifique (CNRS), Université Henri Poincaré - Nancy I, Jens Gustedt, Emmanuel Jeannot (co-directeur), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Henri Poincaré - Nancy 1, Jens Gustedt, Emmanuel Jeannot, UL, Thèses, Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Wagner, Frédéric
Jazyk: francouzština
Rok vydání: 2005
Předmět:
Zdroj: Modélisation et simulation. Université Henri Poincaré-Nancy I, 2005. Français
Autre [cs.OH]. Université Henri Poincaré-Nancy 1, 2005. Français. ⟨NNT : 2005NAN10156⟩
Popis: We consider here the case of a code-coupling application consisting of two different programs, located on two different clusters linked by a high speed network, which regularly exchange data through a data redistribution.We study how to achieve this redistribution in an efficient way while minimizing transfer time and network congestion.We use to reach this goal a modeling of the problem using bipartite graphs. The chosen model allows us to take into account communications setup delays, the different available bandwidths and impose a limit of one simultaneous communication on each network interface (1-port model) and k simultaneous communications on the backbone.We execute an experimental validation of this model and use it to develop two messages scheduling algorithms. We show that each of them is an approximation algorithm thus guaranteeing results with execution times no worse than 8/3 times optimal times. We conclude the study of these algorithms by experiments showing good performances in practice.Finally, we extend the initial problem to the case of heterogeneous clusters :we show that this case imposes us to lift the one-port constraint inorder to achieve performance and we show how to adapt our algorithms accordingly.We also study the case of redistributions executed under steady stateon networks with more complex topologies allowing local communications.
Nous considérons ici le problème où deux programmes différents situés sur deux grappes d'ordinateurs distantes, reliées par un réseau à haut débit, forment un couplage de code et échangentrégulièrement des données. Un tel échange s'effectue par une redistribution de données. Nous étudions comment effectuer une telle redistribution le plus efficacement possible en minimisant temps de communication et congestion du réseau.Nous utilisons pour ce faire, une modélisation du problème à l'aide de graphes bipartis. Le modèle choisi permet une prise en compte du délai d'initialisation des communications, des différentes bandes passantes et impose une limite d'une communication simultanée par interface réseau (modèle 1-port) et de k communications simultanées sur la dorsale.Nous effectuons une validation expérimentale du modèle puis l'utilisons pour développer deux algorithmes d'ordonnancementdes communications. Nous montrons que chacun d'entre euxest un algorithme d'approximation garantissant un temps d'exécution dans le pire des cas 8/3 fois plus élevé que le temps optimal.Nous concluons l'étude de ces algorithmes par une série d'expériences démontrant de bonnes performances en pratique.Enfin, nous étendons le problème initial au cas de grappes hétérogènes :ce cas imposant de sortir du modèle 1-port, nous montrons comment modifier nos algorithmes pour en tirer parti.Nous étudions également le cas de redistributions exécutées en régime permanent sur un réseau d'une topologie plus complexe autorisant les communications locales.
Databáze: OpenAIRE
Externí odkaz: