Integrating Evolutionary Game Theory in Multi-Agent Reinforcement Learning for Non-Stationary Environments

Abstract

Multi-agent reinforcement learning (MARL) has proven to be a powerful tool in multi-agent decision-making problems, and it has been employed in several contexts such as robotics, autonomous transportation, and warehouse management. However, MARL still faces many challenges, with the most significant being non-stationarity. This arises when multiple agents learn simultaneously, continuously altering the environment dynamics, and this problem is exacerbated when the learning environment is already non-stationary. Evolutionary game theory (EGT) on the other hand, is a branch of game theory that studies how successful strategies evolve in populations. This thesis investigates how EGT provides a complementary perspective by modeling the collective evolution of strategies and guiding convergence toward equilibria. In particular, we explore how learning dynamics from EGT could be used in MARL, and how their properties affect non-stationarity.***

L’apprentissage par renforcement multi-agents (MARL) s’est r´ev´el´e ˆetre un outil puissant pour les probl`emes de prise de d´ecision impliquant plusieurs agents, et il a ´et´e utilis´e dans divers contextes tels que la robotique, le transport autonome et la gestion d’entrepˆots. Cependant, le MARL fait encore face `a de nombreux d´efis, dont le plus important est la non-stationnarit´e. Celle-ci apparaˆıt lorsque plusieurs agents apprennent simultan´ement, modifiant en permanence la dynamique de l’environnement, et ce probl`eme est accentu´e lorsque l’environnement d’apprentissage est d´ej`a non stationnaire. La th´eorie des jeux ´evolutionnaire (EGT), quant `a elle, est une branche de la th´eorie des jeux qui ´etudie comment des strat´egies efficaces ´evoluent au sein de populations. Cette th`ese examine comment l’EGT offre une perspective compl´ementaire en mod´elisant l’´evolution collective des strat´egies et en guidant la convergence vers des ´equilibres. En particulier, nous explorons comment les dynamiques d’apprentissage issues de l’EGT peuvent ˆetre utilis´ees en MARL, ainsi que l’impact de leurs propri´et´es sur la non-stationnarit´e.