Deep Reinforcement Learning for Anomaly Detection in Cybersecurity

Abstract

Anomaly detection plays a vital role in cybersecurity, where identifying rare and stealthy threats is essential for protecting critical systems. Traditional detection approaches often struggle with label scarcity, evolving behaviors, and high-dimensional data. This thesis investigates the use of Deep Reinforcement Learning (DRL), with a focus on the Deep Q-Network (DQN), to address these challenges. A custom anomaly detection environment was designed by integrating latent representations and reconstruction errors from an autoencoder, enabling the DQN agent to sequentially identify anomalous samples. The reward function was tailored to promote accurate and early detection, even under sparse supervision. Experiments conducted across diverse datasets, including both static and streaming scenarios, demonstrate that the proposed framework can adaptively learn effective detection policies and achieve competitive results in ranking anomalies. These findings highlight the potential of DRL, and specifically DQN, as a promising direction for advancing anomaly detection in dynamic cybersecurity environments.***

La détection d’anomalies joue un rôle essentiel en cybersécurité, où l’identification des menaces rares et furtives est cruciale pour protéger les systèmes critiques. Les approches traditionnelles rencontrent souvent des limites liées au manque d’étiquettes, à l’évolution des comportements et à la complexité des données. Ce mémoire explore l’utilisation de l’Apprentissage par Renforcement Profond (DRL), en mettant l’accent sur le Deep Q-Network (DQN), pour relever ces défis. Un environnement de détection d’anomalies a été conçu en intégrant des représentations latentes et des erreurs de reconstruction issues d’un autoencodeur, permettant à l’agent DQN d’identifier séquentiellement les échantillons anormaux. La fonction de récompense a été adaptée afin de favoriser une détection précise et précoce, même en présence d’une supervision limitée. Les expériences menées sur divers jeux de données, incluant des scénarios statiques et en flux, montrent que le cadre proposé peut apprendre de manière adaptative des politiques de détection efficaces et obtenir des résultats compétitifs dans le classement des anomalies.