FLeet: Online Federated Learning via Staleness Awareness and Performance Prediction

Autor: François Taïani, Rhicheek Patra, Rachid Guerraoui, Anne-Marie Kermarrec, Vlad Nitu, Georgios Damaskinos
Přispěvatelé: Ecole Polytechnique Fédérale de Lausanne (EPFL), Institut National des Sciences Appliquées de Lyon (INSA Lyon), Institut National des Sciences Appliquées (INSA)-Université de Lyon, Centre National de la Recherche Scientifique (CNRS), Université de Rennes (UNIV-RENNES), the World Is Distributed Exploring the tension between scale and coordination (WIDE), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SYSTÈMES LARGE ÉCHELLE (IRISA-D1), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Université de Lyon-Institut National des Sciences Appliquées (INSA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), ANR-16-CE23-0016,PAMELA,Apprentissage automatique décentralisé et personnalisé sous contraintes(2016), Facebook UK, Facebook, Laboratoire d'InfoRmatique en Image et Systèmes d'information (LIRIS), Université Lumière - Lyon 2 (UL2)-École Centrale de Lyon (ECL), Université de Lyon-Université de Lyon-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)
Jazyk: angličtina
Rok vydání: 2020
Předmět:
CCS Concepts: Computing methodologies → Machine learning • Security and privacy federated learning
FOS: Computer and information sciences
Computer Science - Machine Learning
Computer science
Distributed computing
media_common.quotation_subject
Mobile Android devices
Control (management)
Machine Learning (stat.ML)
02 engineering and technology
Theoretical Computer Science
Machine Learning (cs.LG)
CCS Concepts
Artificial Intelligence
Statistics - Machine Learning
Computing methodologies → Machine learning
Convergence (routing)
0202 electrical engineering
electronic engineering
information engineering
Performance prediction
Profiling (information science)
Quality (business)
[INFO]Computer Science [cs]
media_common
Profiling
020206 networking & telecommunications
• Security and privacy
Online Learning
Computer Science - Distributed
Parallel
and Cluster Computing
Middleware
020201 artificial intelligence & image processing
Distributed
Parallel
and Cluster Computing (cs.DC)
[INFO.INFO-DC]Computer Science [cs]/Distributed
Parallel
and Cluster Computing [cs.DC]
Mobile device
Federated Learning
Asynchronous Gradient Descent
Energy (signal processing)
energy
Zdroj: Proceedings of the 21st International Middleware Conference
Middleware '20: Proceedings of the 21st International Middleware Conference
21st International Middleware Conference
21st International Middleware Conference, Nov 2020, Delft (virtual), Netherlands. ⟨10.1145/3423211.3425685⟩
Middleware 2020-21st ACM/IFIP International Middleware Conference
Middleware 2020-21st ACM/IFIP International Middleware Conference, Nov 2020, Delft (virtual), Netherlands. pp.1-16, ⟨10.1145/3423211.3425685⟩
ACM Transactions on Intelligent Systems and Technology
ACM Transactions on Intelligent Systems and Technology, 2022, 13 (5), pp.1-30. ⟨10.1145/3527621⟩
Middleware
ISSN: 2157-6904
2157-6912
Popis: Federated learning (FL) is very appealing for its privacy benefits: essentially, a global model is trained with updates computed on mobile devices while keeping the data of users local. Standard FL infrastructures are however designed to have no energy or performance impact on mobile devices, and are therefore not suitable for applications that require frequent (online) model updates, such as news recommenders.
This article presents FLEET, the first Online FL system, acting as a middleware between the Android operating system and the machine learning application. FLEET combines the privacy of Standard FL with the precision of online learning thanks to two core components: (1) I-Prof, a new lightweight profiler that predicts and controls the impact of learning tasks on mobile devices, and (2) ADASGD, a new adaptive learning algorithm that is resilient to delayed updates.
Our extensive evaluation shows that Online FL, as implemented by FLEET, can deliver a 2.3x quality boost compared to Standard FL while only consuming 0.036% of the battery per day. I-Prof can accurately control the impact of learning tasks by improving the prediction accuracy by up to 3.6x in terms of computation time, and by up to 19x in terms of energy. ADASGD outperforms alternative FL approaches by 18.4% in terms of convergence speed on heterogeneous data.
Databáze: OpenAIRE
Externí odkaz: