Data Management Strategies for Scientific Applications in Cloud Environments

Autor: Ghoshal, Devarshi, Valerie, Hendrix, Feller, Eugen, Morin, Christine, Beth, Plale, Ramakrishnan, Lavanya
Přispěvatelé: Pervasive Technology Institute [Bloomington], Indiana University [Bloomington], Indiana University System-Indiana University System, Advanced Light Source [LBNL Berkeley] (ALS), Lawrence Berkeley National Laboratory [Berkeley] (LBNL), Design and Implementation of Autonomous Distributed Systems (MYRIADS), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SYSTÈMES LARGE ÉCHELLE (IRISA-D1), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS), Advanced Computing for Science, Advanced Computing for Science Department [LBNL Berkeley] (ACS), Lawrence Berkeley National Laboratory [Berkeley] (LBNL)-Lawrence Berkeley National Laboratory [Berkeley] (LBNL), Lawrence Berkeley National Laboratory, California, USA, Dalhis associate team, CentraleSupélec-Télécom Bretagne-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Université de Bretagne Sud (UBS)-Centre National de la Recherche Scientifique (CNRS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-CentraleSupélec-Télécom Bretagne-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Université de Bretagne Sud (UBS)-Centre National de la Recherche Scientifique (CNRS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)
Jazyk: angličtina
Rok vydání: 2014
Předmět:
Zdroj: [Research Report] LBNL-6860E, Lawrence Berkeley National Laboratory, California, USA. 2014
Popis: Clouds are increasingly being used for running dataintensivescientific applications. However, science applicationsneed to contend with the I/O and network performance characteristicsof cloud environments. Additionally, managing dataeffectively and efficiently over these cloud resources is challengingdue to the myriad storage choices with different performance-costtrade-offs, complex application choices, complexity associatedwith elasticity and failure rates. In this paper, we evaluate variousaspects of data management strategies in cloud environments.Our evaluation is performed in the context of two frameworks- Hadoop and FRIEDA and conducted on four cloud testbeds- FutureGrid, ExoGeni, Grid5000, Amazon. Our experimentshighlight the different performance implications of storage, filesystem, provis
Databáze: OpenAIRE