TaViT: A Treatment-Aware Temporal Vision Transformer for Longitudinal Glioma Trajectory Modeling and Visualization

Abstract

The automated interpretation of longitudinal brain MRI into measurable tumour-volume trajectories is a central challenge in neuro-oncology for the management of gliomas, where the decision to continue, switch, or stop a treatment depends on how the tumour changes over time. Classical deep-learning architectures segment a single scan with near-expert accuracy, yet they read one image at a time, with no memory of earlier scans, no record of the treatment given between them, and no access to the molecular markers that shape tumour behaviour. The maturing of temporal attention models, treatment-aware conditioning, and clinical explainability methods opens new and theoretically motivated pathways to overcome these limitations, through time-aware modelling of the tumour and its therapy. This thesis is centred on academic research and comparative analysis, with no practical implementation at this stage. It critically examines the most impactful approaches to modelling how a tumour changes over time, set against the benchmark longitudinal datasets and the explainability methods that make such models trustworthy in the clinic. Three critical gaps in the literature are identified, and the TaViT framework, a Treatment-Aware Temporal Vision Transformer, is proposed as a theoretically grounded response: it combines a per-scan imaging embedding, per-scan treatment conditioning, a patient-level molecular vector, a time-aware attention bias for the irregular spacing of clinical scans, and a generative component for visual inspection. The framework is analytically framed against the MU-Glioma-Post cohort (203 patients, 596 post-operative scans) and the multi-site BraTS-PTG cohort. The directions set out in this work could improve the efficiency and clinical usefulness of longitudinal glioma monitoring, particularly where access to neuro-radiology expertise is limited. The proposed framework covers a range of clinical scenarios: treatment-response assessment, tumour-progression monitoring, and the visual communication of predicted tumour evolution to a clinical team.***

L’interprétation automatique de l’IRM cérébrale longitudinale en trajectoires volumiques mesurables de la tumeur est un défi central en neuro-oncologie pour la prise en charge des gliomes, où la décision de poursuivre, de modifier ou d’arrêter un traitement dépend de l’évolution de la tumeur au fil du temps. Les architectures classiques d’apprentissage profond segmentent un examen isolé avec une précision proche de celle d’un expert, mais elles n’analysent qu’une image à la fois, sans mémoire des examens précédents, sans trace des traitements administrés entre eux, ni accès aux marqueurs moléculaires qui conditionnent le comportement de la tumeur. La maturation des modèles d’attention temporelle, du conditionnement tenant compte du traitement et des méthodes d’explicabilité clinique ouvre de nouvelles voies, théoriquement motivées, pour dépasser ces limites, par une modélisation sensible au temps de la tumeur et de sa thérapie. Ce mémoire est centré sur la recherche académique et l’analyse comparative, sans mise en oeuvre pratique à ce stade. Il examine de manière critique les approches les plus marquantes pour modéliser cette évolution, au regard des jeux de données longitudinaux de référence et des méthodes d’explicabilité qui rendent ces modèles dignes de confiance en clinique. Trois lacunes critiques de la littérature sont identifiées, et le cadre TaViT, un Vision Transformer temporel tenant compte du traitement, est proposé comme une réponse théoriquement fondée : il combine un plongement d’imagerie par examen, un conditionnement par le traitement, un vecteur moléculaire, un biais d’attention sensible au temps pour l’espacement irrégulier des examens, et une composante générative. Ce cadre est analysé au regard de la cohorte MU-Glioma-Post (203 patients, 596 examens postopératoires) et de la cohorte multicentrique BraTS-PTG. Les orientations dégagées par ce travail pourraient améliorer l’efficacité et l’utilité clinique du suivi longitudinal des gliomes, en particulier là où l’accès à l’expertise en neuro-radiologie est limité. Le cadre proposé couvre des situations cliniques variées : évaluation de la réponse au traitement, suivi de la progression tumorale, et communication visuelle de l’évolution tumorale prédite à l’équipe clinique.