Development of a Multi-objective Optimization Algorithm for Interpretable Rule Induction in Multi-label Classification

Abstract

Multi-label classification (MLC) has emerged as one of the most compelling and challenging paradigms in machine learning, reflecting the inherently complex nature of real-world data where instances naturally belong to multiple labels simultaneously. While this paradigm offers a richer representation of complex data, it also introduces significant challenges, including correlations between labels, high dimensionality, severe class imbalance, and the exponential growth of possible label combinations. These challenges have led researchers to reconceptualize multi-label classification as a combinatorial optimization problem, motivating the use of multi-objective optimization and metaheuristic approaches, which can efficiently navigate large search spaces and generate diverse sets of high-quality trade-off solutions. However, despite these advances, a persistent limitation lies in the lack of explainability, as most optimizationdriven methods prioritize predictive performance while offering little interpretability. In this work, we introduce MOEA/D-AM, a novel multi-objective evolutionary algorithm that addresses this critical gap by integrating rule-based mechanisms within the decomposition-based MOEA/D framework. The proposed algorithm optimizes multiple conflicting objectives while generating human-readable decision rules that provide clear insights into the classification process for both single-label and multi-label scenarios. Through comprehensive experimental evaluation on benchmark datasets, we demonstrate that our algorithm achieves competitive predictive performance while providing the explainability needed for deployment in domains where understanding the reasoning behind decisions is crucial.***

La classification multi-label (MLC) est devenue l’un des paradigmes les plus captivants et difficiles de l’apprentissage automatique, refl´etant la nature intrins`equement complexe des donn´ees du monde r´eel o`u les instances appartiennent naturellement `a plusieurs labels simultan´ement. Bien que ce paradigme offre une repr´esentation plus riche des donn´ees complexes, il introduit ´egalement des d´efis consid´erables, notamment les corr´elations entre labels, la haute dimensionnalit´e, le d´es´equilibre s´ev`ere des classes, et la croissance exponentielle des combinaisons possibles de labels. Ces d´efis ont amen´e les chercheurs `a reconceptualiser la classification multi-´etiquettes comme un probl`eme d’optimisation combinatoire, motivant l’utilisation d’approches d’optimisation multi-objectifs et m´etaheuristiques, qui peuvent naviguer efficacement dans de vastes espaces de recherche et g´en´erer des ensembles diversifi´es de solutions de compromis de haute qualit´e. Cependant, malgr´e ces avanc´ees, une limitation persistante r´eside dans le manque d’explicabilit´e, car la plupart des m´ethodes bas´ees sur l’optimisation privil´egient les performances pr´edictives tout en offrant peu d’interpr´etabilit´e. Dans ce travail, nous introduisons MOEA/D-AM, un nouvel algorithme ´evolutionnaire multi-objectifs qui aborde cette lacune critique en int´egrant des m´ecanismes bas´es sur les r`egles dans le cadre de la d´ecomposition MOEA/D. L’algorithme propos´e optimise plusieurs objectifs conflictuels tout en g´en´erant des r`egles de d´ecision lisibles par l’homme qui fournissent des perspectives claires sur le processus de classification pour les sc´enarios de classification mono-label et multilabel. Grˆace `a une ´evaluation exp´erimentale approfondie sur des jeux de donn´ees de r´ef´erence, nous d´emontrons que notre algorithme atteint des performances pr´edictives comp´etitives tout en fournissant l’explicabilit´e n´ecessaire pour le d´eploiement dans des domaines o`u la compr´ehension du raisonnement derri`ere les d´ecisions est cruciale.