Intelligent Energy Routing in the Energy Internet: Reinforcement Learning and Federated Learning

Abstract

The Energy Internet is the next step after the smart grid. It turns the power network into a decentralised mesh of intelligent Energy Routers that exchange both electricity and information. In this kind of network, power is no longer pushed along fixed radial lines. It has to be routed, hop by hop, over a graph whose line ratings, background traffic and node efficiencies change all the time. The routing task that follows from this is called the Energy-Efficient Path problem, and it asks for the multi-hop path that loses the least active power while respecting thermal limits and router capacities. Classical solvers have been applied to this problem for more than a decade. Deterministic shortest-path algorithms need a complete and fresh view of the whole grid. Population-based metaheuristics such as Ant Colony Optimization and Particle Swarm Optimization spend far too much time per decision. Tabular Q-routing is fast at run time but breaks down as soon as the topology changes. None of the three families meets the three requirements of a real Energy Internet at once, namely low decision latency, low communication cost, and the ability to work on a grid that was never seen before. This thesis reviews how Reinforcement Learning and Federated Learning have been used to answer these limits, and asks what the combination of the two could offer to energy routing. Reinforcement Learning provides a single-pass decision mechanism that is trained offline and that runs in milliseconds during operation. Federated Learning provides a way to train that decision mechanism across many grid operators without moving any local measurement out of its own site. We survey the main works in three groups, namely learning-based energy routing, Federated Learning applied to smart grids, and Federated Reinforcement Learning applied to energy systems. We compare them along latency, communication cost, generalisation and privacy, and we discuss the open problems that a federated routing agent would still have to solve. The main one is that grid topologies differ in shape across participants, which makes plain model averaging a weak answer. The contribution of this work is a structured and critical reading of a field that is still fragmented. It maps the existing methods onto the physical requirements of the Energy Internet, it names the gaps that are not yet covered by any published system, and it proposes a set of directions for future research.***

L’Internet de l’énergie constitue l’étape qui suit le réseau intelligent. Il transforme le réseau électrique en un maillage décentralisé de routeurs d’énergie intelligents qui échangent à la fois de l’électricité et de l’information. Dans ce type de réseau, la puissance n’est plus envoyée le long de lignes fixes. Elle doit être acheminée, saut après saut, sur un graphe dont les limites thermiques, le trafic de fond et les rendements des noeuds changent en permanence. Le problème de routage qui en découle est appelé problème du chemin énergétiquement efficace, et il consiste à trouver le chemin multi-sauts qui perd le moins de puissance active tout en respectant les limites thermiques et les capacités des routeurs. Les solveurs classiques sont appliqués à ce problème depuis plus de dix ans. Les algorithmes déterministes de plus court chemin exigent une vision complète et actualisée de tout le réseau. Les métaheuristiques à population, telles que l’optimisation par colonies de fourmis et par essaims particulaires, consomment beaucoup trop de temps par décision. Le Q-routing tabulaire est rapide en exécution mais s’effondre dès que la topologie change. Aucune de ces trois familles ne satisfait en même temps les trois exigences d’un véritable Internet de l’énergie, à savoir une faible latence de décision, un faible coût de communication et la capacité de fonctionner sur un réseau jamais rencontré. Ce mémoire examine la manière dont l’apprentissage par renforcement et l’apprentissage fédéré ont été utilisés pour répondre à ces limites, et s’interroge sur ce que leur combinaison pourrait apporter au routage d’énergie. L’apprentissage par renforcement fournit un mécanisme de décision en une seule passe, entraîné hors ligne et exécuté en quelques millisecondes pendant l’exploitation. L’apprentissage fédéré offre un moyen d’entraîner ce mécanisme auprès de plusieurs opérateurs de réseau sans déplacer la moindre mesure locale hors de son site. Nous passons en revue les principaux travaux selon trois groupes, à savoir le routage d’énergie fondé sur l’apprentissage, l’apprentissage fédéré appliqué aux réseaux intelligents et l’apprentissage par renforcement fédéré appliqué aux systèmes énergétiques. Nous les comparons ensuite en matière de latence, de coût de communication, de généralisation et de confidentialité, puis nous discutons des problèmes ouverts qu’un agent de routage fédéré devrait encore résoudre. Le principal tient au fait que les topologies de réseau diffèrent par leur forme d’un participant à l’autre, ce qui rend la simple moyenne des modèles peu efficace. La contribution de ce travail est une lecture structurée et critique d’un domaine encore fragmenté. Elle relie les méthodes existantes aux exigences physiques de l’Internet de l’énergie, elle nomme les lacunes qu’aucun système publié ne couvre encore, et elle propose un ensemble de directions pour la recherche future.