Performance Evaluation of Network Traffic Analysis Platforms and AI-Based Intrusion Detection Models Using Conditional Variational Autoencoder (CVAE) for Data Augmentation and real-time Deployment

Abstract

Intrusion Detection Systems (IDS) play a critical role in protecting modern computer networks from increasingly sophisticated cyberattacks. With the rapid growth of cloudnative infrastructures, traditional rule-based detection methods are no longer sufficient. This thesis proposes a comprehensive data-driven framework for network intrusion detection that integrates network traffic analysis, data preprocessing, data augmentation, and artificial intelligence techniques. The proposed work begins with a comparative study of three network traffic analysis platforms. These tools are evaluated based on their ability to process Kubernetes PCAP data and extract meaningful flow-based features. In addition, two benchmark datasets are used to validate the proposed approach. To address the class imbalance problem commonly found in intrusion detection datasets, a Conditional Variational Autoencoder (CVAE) is employed to generate synthetic samples for underrepresented attack classes. This approach was selected because it can model complex data distributions and generate class-specific synthetic flows conditioned on attack labels. Compared with conventional oversampling methods, such as random oversampling or SMOTE. The balanced datasets are then used to train and evaluate multiple machine learning (ML) models as well as a Transformer-based model. Experimental results demonstrate that CVAE-based data augmentation substantially improves classification performance for models sensitive to class imbalance, particularly DistilBERT, the F1-score increased From 75% to 99% on UNSW-NB15 and from 29% to 99% on NFStream processed dataset, while providing only marginal gains for already robust tree-based models such as XGBoost and Random Forest in terms of accuracy, precision, recall, and F1-score. Finally, the best-performing model is deployed in FlowVertex a real-time network analysis platform, demonstrating the practical applicability of the proposed framework in operational network monitoring environment, where network flows must be analyzed and classified with low latency. Overall, this thesis highlights the importance of combining network traffic analysis tools, generative models, and advanced machine learning techniques to build robust and adaptive intrusion detection systems for modern cybersecurity environments.***

Les systèmes de détection d’intrusion (IDS) jouent un rôle essentiel dans la protection des réseaux informatiques modernes contre des cyberattaques de plus en plus sophistiquées. Avec la croissance rapide des infrastructures cloud-native, les méthodes traditionnelles basées sur des règles ne sont plus suffisantes. Cette mémoire propose une approche globale basée sur les données pour la détection d’intrusion réseau, intégrant l’analyse du trafic réseau, le prétraitement des données, l’augmentation des données et des techniques d’intelligence artificielle. Le travail proposé commence par une étude comparative de trois plateformes d’analyse de trafic réseau. Ces outils sont évalués selon leur capacité à traiter des fichiers PCAP Kubernetes et à extraire des caractéristiques pertinentes basées sur les flux réseau. En outre, deux jeux de données de référence sont utilisés afin de valider l’approche proposée. Pour résoudre le problème de déséquilibre des classes présent dans les jeux de données IDS, un autoencodeur variationnel conditionnel (CVAE) est utilisé pour générer des échantillons synthétiques pour les classes d’attaques minoritaires. Cette approche a été choisie car elle permet de modéliser des distributions de données complexes et de générer des flux synthétiques spécifiques à chaque classe, conditionnés par les étiquettes d’attaque. Elle se distingue des méthodes de suréchantillonnage classiques, telles que le suréchantillonnage aléatoire ou SMOTE. Les ensembles de données équilibrés sont ensuite utilisés pour entraîner et évaluer plusieurs modèles d’apprentissage automatique (ML), ainsi qu’un modèle basé sur les Transformers. Les résultats expérimentaux démontrent que l’augmentation de données basée sur un CVAE améliore sensiblement les performances de classification des modèles sensibles au déséquilibre des classes, notamment DistilBERT, le score F1 a progressé de 75% à 99% sur l’ensemble de données UNSW-NB15 et de 29% à 99% sur l’ensemble de données traité avec NFStream, tandis qu’elle n’apporte que des gains marginaux aux modèles arborescents déjà robustes tels que XGBoost et Random Forest en termes d’exactitude, de précision, de rappel et de score F1. Enfin, le modèle le plus performant est déployé sur FlowVertex, une plateforme d’analyse de réseau en temps réel, démontrant ainsi l’applicabilité pratique du cadre proposé dans un environnement de surveillance opérationnelle des réseaux, où les flux réseau doivent être analysés et classifiés avec une faible latence. Dans l’ensemble, cette mémoire souligne l’importance de combiner les outils d’analyse de trafic réseau, les modèles génératifs et les techniques avancées d’apprentissage automatique pour construire des systèmes IDS robustes et adaptatifs pour les environnements de cybersécurité modernes.