Optimizing Federated Learning Advancements in Model Aggregation and Client Selection

Abstract

Over the past few years, Federated Learning (FL) has emerged as a promising solution for distributed machine learning across decentralized devices. Its ability to maintain data privacy while enabling collaborative learning has made it especially relevant in fields where data confidentiality is paramount. However, the performance of traditional FL algorithms, like FedAvg, is often hindered in dynamic, heterogeneous environments. To address these challenges, recent advancements have introduced Reinforcement Learning (RL) techniques to optimize the client selection process in FL. In this graduation thesis, we propose the FLCS_DQN framework, which integrates Double Deep Q-learning (DDQL) to improve client selection efficiency and overall model performance in FL. Our architecture spans three layers Edge, Fog, and Cloud with an RL module for intelligent client selection. Through comprehensive experimental evaluations, we compare the performance of FLCS_DQN, demonstrating significant improvements in model convergence and accuracy. Results show that our framework achieves faster convergence, reducing the required FL rounds by up to 80%, and enhances global model accuracy. ***

Au cours des dernières années, l’apprentissage fédéré s’est imposé comme une solution prometteuse pour l’apprentissage automatique distribué sur des dispositifs décentralisés. Sa capacité à préserver la confidentialité des données tout en permettant un apprentissage collaboratif le rend particulièrement pertinent dans les domaines où la protection des données est cruciale. Cependant, les performances des algorithmes FL traditionnels, tels que FedAvg, sont souvent limitées dans des environnements dynamiques et hétérogènes. Pour surmonter ces défis, les avancées récentes ont introduit des techniques de renforcement afin d’optimiser le processus de sélection des clients dans le cadre du FL. Dans ce mémoire, nous proposons FLCS_DQN, qui intègre l’algorithme Double Deep Q-learning pour améliorer l’efficacité de la sélection des clients et les performances globales du modèle dans le FL. Notre architecture s’étend sur trois couches — Edge, Fog et Cloud — et utilise des modèles de deep learning spécifiques au domaine pour l’entraînement local, avec un module RL pour la sélection intelligente des clients au niveau de la couche Cloud. À travers des évaluations expérimentales approfondies, nous comparons les performances de FLCS_DQN avec les approches FL standards, démontrant des améliorations significatives en termes de convergence du modèle. Les résultats montrent que notre contribution permet une convergence plus rapide, réduisant jusqu’à 80% les cycles d’apprentissage fédéré nécessaires, tout en améliorant la précision du modèle global.