Multi-label Classification Using Multi-objective Optimization and Metaheuristics: State of the Art

Abstract

Multi-label classification (MLC) is a growing research area in machine learning that allows each instance to be associated with multiple labels simultaneously. While this paradigm offers a richer representation of complex data, it also introduces major challenges, such as correlations between labels, high dimensionality, severe class imbalance, and the exponential growth of possible label combinations. To address these difficulties, researchers have increasingly framed the problem as combinatorial optimization task, motivating the use of multi-objective optimization and metaheuristic techniques, which are capable of efficiently navigating large search spaces and generating diverse sets of solutions. Current research has shown that metaheuristic approaches, particularly evolutionary algorithms and ant colony optimization, are effective in addressing the computational complexity of MLC and in producing solutions that balance multiple objectives. However, despite these advances, a persistent limitation lies in the lack of explainability, as most optimization-driven methods prioritize predictive performance while providing little interpretability. This shortcoming restricts their adoption in sensitive domains such as healthcare, where transparency is essential. These observations highlight the necessity of developing new approaches that are not only robust and accurate but also interpretable, thereby enhancing their applicability in real-world decision-making. In this context, the objective of this thesis is to present a comprehensive review of state-of-the-art multi-objective optimization approaches and metaheuristics for multi-label classification, to analyze and compare recent contributions, and to highlight current challenges and future research directions.***

La classification multi-label (MLC) est un domaine de recherche en plein essor dans l’apprentissage automatique, qui permet d’associer chaque instance `a plusieurs labels simultan´ement. Bien que ce paradigme offre une repr´esentation plus riche des donn´ees complexes, il introduit ´egalement des d´efis majeurs tels que les corr´elations entre labels, la haute dimensionnalit´e, le d´es´equilibre marqu´e des classes et la croissance exponentielle du nombre de combinaisons possibles de labels. Pour relever ces difficult´es, les chercheurs ont de plus en plus formul´e le probl`eme comme une tˆache d’optimisation combinatoire, motivant l’utilisation de l’optimisation multi-objectif et des techniques m´etaheuristiques, capables de parcourir efficacement de grands espaces de recherche et de g´en´erer des ensembles de solutions diversifi´es. Les recherches actuelles ont montr´e que les approchesm´etaheuristiques, en particulier les algorithmes ´evolutionnaires et l’optimisation par colonie de fourmis, sont efficaces pour traiter la complexit´e computationnelle de la MLC et produire des solutions ´equilibrant plusieurs objectifs. Toutefois, malgr´e ces avanc´ees, une limite persistante r´eside dans le manque d’explicabilit´e, la plupart des m´ethodes bas´ees sur l’optimisation privil´egiant la performance pr´edictive tout en offrant peu d’interpr´etabilit´e. Cette lacune restreint leur adoption dans des domaines sensibles tels que la sant´e, o`u la transparence est essentielle. Ces observations soulignent la n´ecessit´e de d´evelopper de nouvelles approches `a la fois robustes, pr´ecises et interpr´etables, afin de renforcer leur applicabilit´e dans la prise de d´ecision en contexte r´eel. Dans ce contexte, l’objectif de ce m´emoire est de pr´esenter une revue compl`ete de l’´etat de l’art des approches d’optimisation multiobjectifs et des m´etaheuristiques appliqu´ees `a la classification multi-label, d’analyser et de comparer les contributions r´ecentes, et de mettre en ´evidence les d´efis actuels ainsi que les perspectives de recherche futures.