Weakly Supervised Brain Tumor Segmentation Using MRI and medical reports

Abstract

Brain tumor segmentation is a critical task in medical image analysis, essential for accurate diagnosis, treatment planning and patient follow-up. Although deep learning has significantly advanced segmentation performance, most state-of-the-art methods rely heavily on large scale and densely annotated datasets which are costly and time consuming to acquire in clinical settings. This has driven the development of weakly supervised learning approaches that aim to achieve strong performance with limited annotation effort. This engineering thesis introduces Enhanced MedCLIP-SAMv2, a multimodal framework for weakly supervised brain tumor segmentation. Building upon the original MedCLIP-SAMv2 models, the proposed enhancement integrates magnetic resonance imaging (MRI) scans with corresponding clinical reports to leverage both visual and textual information. While MRI provides rich anatomical and structural details, medical reports offer valuable semantic context regarding tumor type, location, size and characteristics. The framework employs multimodal alignment strategies to transfer knowledge from textual descriptions to the segmentation task enabling effective tumor localization and boundary delineation under weak supervision. Through extensive experiments on publicly available Figshare Brain Tumor Dataset, the Enhanced MedCLIP-SAMv2 demonstrates superior segmentation performance (dice of ∼ 88%) compared to existing weakly supervised and multimodal baselines. The results show notable improvements in Dice score validating the effectiveness of the proposed enhancements in bridging the gap between limited supervision and clinical grade accuracy. This work contributes to the development of more annotation efficient and practical medical image analysis systems, highlighting the potential of multimodal learning in real world clinical scenarios***

La segmentation des tumeurs cérébrales constitue une tâche essentielle en analyse d’images médicales, indispensable pour un diagnostic précis, la planification thérapeutique et le suivi des patients. Bien que l’apprentissage profond ait considérablement amélioré les performances de segmentation, la plupart des méthodes de pointe reposent sur de vastes ensembles de données annotées de manière dense, dont l’acquisition est coûteuse et chronophage en pratique clinique. Cette contrainte a favorisé le développement d’approches d’apprentissage faiblement supervisé visant à obtenir des performances élevées tout en réduisant l’effort d’annotation. Ce mémoire d’ingénieur présente Enhanced MedCLIP-SAMv2, un framework multimodal dédié à la segmentation faiblement supervisée des tumeurs cérébrales. S’appuyant sur les modèles originaux MedCLIP-SAMv2, l’approche proposée intègre des images d’imagerie par résonance magnétique (IRM) et les comptes rendus médicaux correspondants afin d’exploiter simultanément les informations visuelles et textuelles. Alors que les images IRM fournissent des informations anatomiques et structurelles détaillées, les rapports médicaux apportent un contexte sémantique précieux concernant le type, la localisation, la taille et les caractéristiques de la tumeur. Le framework proposé met en uvre des stratégies d’alignement multimodal permettant de transférer les connaissances issues des descriptions textuelles vers la tâche de segmentation, favorisant ainsi une localisation efficace des tumeurs ainsi qu’une délimitation précise de leurs contours dans un contexte de supervision limitée. Des expérimentations approfondies menées sur le jeu de données public Figshare Brain Tumor Dataset montrent que Enhanced MedCLIP-SAMv2 atteint des performances de segmentation supérieures (coefficient de Dice d’environ 88%) par rapport aux approches multimodales et faiblement supervisées existantes. Les résultats mettent en évidence une amélioration significative du coefficient de Dice, confirmant l’efficacité des améliorations proposées pour réduire l’écart entre une supervision limitée et une précision compatible avec les exigences cliniques. Ce travail contribue au développement de systèmes d’analyse d’images médicales plus efficaces en matière d’annotation et mieux adaptés aux contraintes de la pratique clinique, tout en soulignant le potentiel de l’apprentissage multimodal dans des scénarios cliniques réels