Performance evaluation of Machine Learning-based Intrusion Detection using network data analysis frameworks.

Abstract

Tools for feature extracting and classifying packets/flows present in packet capture files, also known as PCAP, utilized in machine-learning-based (ML) intrusion detection systems, are essential processes for validating intrusion detection models and algorithms. These ML-based techniques rely on such tools, and their effectiveness in detecting cyberattacks is solely tied to them, in addition to the quality of the training datasets. While the latter is of utmost importance, this study focuses on the most recently used tools in the literature that the research community uses from a microscopic view and unveils any shortcomings and technical glitches that can mislead the scientific findings. NTLFlowlyzer and NFStream are two of them. FlowMeter, a tool developed and released by deepfence, one of the fastest-growing cloud-native application protection platforms, is also considered in this investigation. This work contributes a detailed comparative evaluation of these three tools across public and private datasets, and investigates their impact on the performance of various ML models. By uncovering tool-specific limitations and practical issues, our study provides actionable insights to guide researchers and practitioners in selecting the most suitable analysis framework for robust intrusion detection.. ***

Les outils d’extraction des attributs et de classification des paquets ou flux issus de fichiers PCAP sont essentiels dans les systèmes de détection d’intrusion basés sur l’apprentissage automatique. La performance de ces systèmes dépend à la fois de ces outils et de la qualité des jeux de données utilisés pour l’entraînement. Cette étude se focalise sur trois outils récents largement utilisés dans la littérature : NTLFlowlyzer, NFStream, et FlowMeter (développé par Deepfence). Elle apporte une évaluation comparative approfondie de ces trois outils sur des jeux de données publics et privés, et examine leur impact sur les performances de différents modèles d’apprentissage automatique. En révélant les limitations spécifiques à chaque outil ainsi que certains problèmes pratiques, notre étude fournit des recommandations utiles pour orienter les chercheurs et les professionnels vers le choix du cadre d’analyse le plus adapté pour une détection efficace des intrusions.