An End-to-End Deep Learning Framework for Automatic Cardiomegaly Diagnosis Using Anatomical Biomarkers and Multimodal Data

Abstract

Cardiothoracic ratio (CTR) and cardiopulmonary area ratio (CPAR) remain the standard digital biomarkers for automated cardiomegaly assessment, yet both reduce the heart and lung segmentation mask to scalar measurements, discarding shape information such as curvature, symmetry, and orientation. This work extends the multimodal fusion framework of Duvieusart et al. (2022) by reimplementing its pipeline on the MIMIC-CXR/MIMIC-IV cohort and introducing an extended set of interpretable geometric descriptors, computed from the same segmentation masks as CTR and CPAR, as additional digital biomarkers. Across a gradient-boosted fusion model and a deep multimodal network, adding these descriptors consistently improves classification performance (AUC up to 0.8959, over 15 fold/seed combinations), with two of the three new descriptors ranking among the most informative features overall. An anatomy-guided attention mechanism, supervised against the heart segmentation mask, is further proposed to correct a shortcut-learning issue identified via Grad-CAM, yielding the best-performing multimodal variant (test AUC 0.8706). The resulting pipeline is packaged into a deployable demonstration application***

Le rapport cardiothoracique (RCT) et le rapport de surface cardiopulmonaire (RSCP) restent les biomarqueurs numériques standards pour l’évaluation automatisée de la cardiomégalie, mais tous deux réduisent le masque de segmentation coeur-poumons à des mesures scalaires, en écartant les informations de forme telles que la courbure, la symétrie et l’orientation. Ce travail étend le cadre de fusion multimodale de Duvieusart et al. (2022) en réimplémentant son pipeline sur la cohorte MIMIC-CXR/MIMIC-IV et en introduisant un ensemble étendu de descripteurs géométriques interprétables, calculés à partir des mêmes masques de segmentation que le RCT et le RSCP, comme biomarqueurs numériques supplémentaires. Sur un modèle de fusion par gradient boosting et un réseau multimodal profond, l’ajout de ces descripteurs améliore de façon constante les performances de classification (AUC jusqu’à 0,8959, sur 15 combinaisons de folds/seeds), deux des trois nouveaux descripteurs figurant parmi les caractéristiques les plus informatives. Un mécanisme d’attention guidé par l’anatomie, supervisé par le masque de segmentation du coeur, est en outre proposé pour corriger un problème d’apprentissage de raccourci identifié par Grad-CAM, produisant la meilleure variante multimodale (AUC test 0,8706). Le pipeline résultant est packagé dans une application de démonstration déployable.