Integrating Evolutionary Game Theory in Multi-Agent Reinforcement Learning for Non-Stationary Environments

Abstract

One of the main challenges in multi-agent reinforcement learning (MARL) is non-stationarity, which arises from the continuous adaptation of multiple learning agents and the resulting changes in the learning dynamics observed by each agent. This challenge becomes even more significant in environments where the underlying dynamics are themselves non-stationary. Evolutionary game theory (EGT) provides a principled framework for studying the evolution of strategies through evolutionary dynamics, and has been explored as a promising direction for improving stability and adaptation in MARL. However, the integration of evolutionary dynamics with modern deep MARL methods remains relatively underexplored. This thesis introduces DeepED, a novel evolutionary dynamics-inspired MARL algorithm that combines evolutionary game-theoretic principles with deep reinforcement learning. DeepED maintains an evolutionary target policy generated through evolutionary dynamics, where the fitness of strategies is estimated using a centralized critic, and the actor is optimized to track the evolving target policy. A theoretical analysis of DeepED is conducted, establishing a bounded Nash tracking error affected by environmental variations and function approximation errors, as well as a recursive contraction behavior of the policy tracking gap. Furthermore, DeepED is evaluated through a comprehensive three-level experimental framework covering matrix games, GridWorld environments, and VMAS tasks. The results demonstrate that DeepED improves equilibrium tracking and adaptation in non-stationary multi-agent settings, while remaining competitive in more complex MARL environments***

L’un des principaux d´efis de l’apprentissage par renforcement multi-agents (MARL) est la non-stationnarit´e, qui r´esulte de l’adaptation continue de plusieurs agents apprenants et des changements qui en d´ecoulent dans les dynamiques d’apprentissage observ´ees par chaque agent. Ce d´efi devient encore plus important dans les environnements o`u les dynamiques sous-jacentes sont elles-mˆemes non stationnaires. La th´eorie ´evolutionnaire des jeux (EGT) fournit un cadre th´eorique permettant d’´etudier l’´evolution des strat´egies `a travers des dynamiques ´evolutives, et a ´et´e explor´ee comme une approche prometteuse pour am´eliorer la stabilit´e et l’adaptation dans le MARL. Cependant, l’int´egration des dynamiques ´evolutives avec les m´ethodes modernes de MARL profond reste encore relativement peu explor´ee. Cette th`ese introduit DeepED, un nouvel algorithme de MARL inspir´e des dynamiques ´evolutives, qui combine les principes de la th´eorie ´evolutionnaire des jeux avec l’apprentissage profond par renforcement. DeepED maintient une politique cible ´evolutive g´en´er´ee `a travers des dynamiques ´evolutives, o`u la performance des strat´egies est estim´ee `a l’aide d’un critique centralis´e, tandis que l’acteur est optimis´e afin de suivre la politique cible en ´evolution. Une analyse th´eorique de DeepED est r´ealis´ee, ´etablissant une borne sur l’erreur de suivi de l’´equilibre de Nash, influenc´ee par les variations de l’environnement et les erreurs d’approximation des fonctions, ainsi qu’un comportement contractant r´ecursif de l’´ecart de suivi de la politique. En outre, DeepED est ´evalu´e `a travers un cadre exp´erimental complet en trois niveaux couvrant les jeux matriciels, les environnements GridWorld et les tˆaches VMAS. Les r´esultats montrent que DeepED am´eliore le suivi des ´equilibres et l’adaptation dans des environnements multi-agents non stationnaires, tout en restant comp´etitif dans des environnements MARL plus complexes