A Deep Learning-Based Multimodal Fusion Framework for Brain Cancer Tissue Detection from RGB and Hyperspectral Images

Abstract

Brain tumor resection is a highly delicate surgical procedure that requires a critical balance between maximizing the removal of malignant tissue and preserving healthy neurological structures. While conventional RGB imaging provides excellent spatial context, it inherently lacks the biochemical contrast necessary to distinguish subtle tissue boundaries. Conversely, Hyperspectral Imaging (HSI) offers rich molecular signatures but is often hindered by high dimensionality and spatial resolution constraints. To overcome these limitations, this thesis introduces a novel deep learning-based multimodal fusion framework designed to synergize the complementary strengths of RGB and HSI data for precise brain cancer tissue detection. We propose a dual-branch neural network architecture that independently extracts spatial and spectral features before fusing them into a unified, highly discriminative representation. Extensive experimental evaluations demonstrate that this synergistic fusion strategy significantly outperforms unimodal baselines. By effectively mitigating the inherent weaknesses of each individual modality, the fused model achieves superior classification performance, robust feature representation, and highly balanced sensitivity and specificity across all histological tissue classes. These findings underscore the transformative potential of multimodal deep learning as a reliable, non-invasive intraoperative decision-support system, paving the way for safer, more accurate, and more effective neurosurgical interventions***

La résection des tumeurs cérébrales est une procédure chirurgicale hautement délicate qui nécessite un équilibre critique entre l’ablation maximale des tissus malins et la préservation des structures neurologiques saines. Si l’imagerie RGB traditionnelle offre un excellent contexte spatial, elle manque intrinsèquement du contraste biochimique nécessaire pour distinguer les frontières subtiles des tissus. À l’inverse, l’imagerie hyperspectrale (HSI) fournit des signatures moléculaires riches, mais se heurte souvent à des contraintes de haute dimensionalité et de résolution spatiale. Pour surmonter ces limitations, ce mémoire propose un nouveau cadre de fusion multimodale basé sur l’apprentissage profond, conçu pour synergiser les forces complémentaires des données RGB et HSI afin d’obtenir une détection précise des tissus cancéreux du cerveau. Nous proposons une architecture de réseau de neurones à double branche qui extrait indépendamment les caractéristiques spatiales et spectrales avant de les fusionner en une représentation unifiée et hautement discriminante. Des évaluations expérimentales approfondies démontrent que cette stratégie de fusion synergique surpasse significativement les approches unimodales. En atténuant efficacement les faiblesses inhérentes à chaque modalité, le modèle fusionné atteint des performances de classification supérieures, une représentation robuste des caractéristiques, ainsi qu’une sensibilité et une spécificité hautement équilibrées pour toutes les classes histologiques de tissus. Ces résultats soulignent le potentiel transformateur de l’apprentissage profond multimodal en tant que système d’aide à la décision peropératoire fiable et non invasif, ouvrant la voie à des interventions neurochirurgicales plus sûres, plus précises et plus efficaces.