TaViT: A Treatment-Aware Temporal Vision Transformer for Longitudinal Glioma Trajectory Modeling and Visualization

Abstract

This engineering report implements and validates TaViT, a treatment-aware temporal Vision Transformer that estimates the volume trajectory of glioma sub-regions from a sequence of magnetic resonance imaging studies. The pipeline has three stages. A fine-tuned nnU-Net backbone segments the whole tumour, the tumour core, and the enhancing tumour from four-channel MRI and reaches a mean Dice score of 0.877 across the three sub-regions. The bottleneck of this segmentation network supplies a compact per-scan embedding. The choice of backbone was settled by experiment: an 18-test battery compared a convolutional encoder and a transformer encoder as embedding sources, and the convolutional one was selected on evidence headed by an effective rank of 165.7 against 7.6. A temporal Transformer then reads the embeddings as a sequence, conditioned on a per-scan treatment token and a patient-level molecular vector, with a time-aware attention bias that respects the irregular spacing of clinical scans. A conditional diffusion model completes the pipeline by turning the predicted trajectory into a smooth video of tumour evolution that a clinician can inspect. Trained on the MU-Glioma-Post cohort of 203 patients and 596 post-operative scans under three-fold cross-validation, the model estimates sub-region volumes with a coefficient of determination of 0.918 for the whole tumour, 0.953 for the tumour core, and 0.952 for the enhancing tumour, with a mean absolute error of 15.5, 4.7, and 3.7 millilitres. The fit is stable across folds, and the model recovers the direction of change, growth or shrinkage, in 83.3% of consecutive scan pairs. Applied without adaptation to the independent multi-site BraTS-PTG cohort, the model’s accuracy collapses, but calibration on only ten local patients recovers a whole-tumour coefficient of determination of 0.820, about 89% of the in-distribution value, which points to a practical way to onboard a new site. Monte-Carlo dropout adds a per-prediction uncertainty estimate, and attention maps make the model’s temporal focus inspectable***

Ce rapport de projet de fin d’études met en oeuvre et valide TaViT, un Vision Transformer temporel tenant compte du traitement, qui estime la trajectoire volumique des sous-régions d’un gliome à partir d’une séquence d’examens d’imagerie par résonance magnétique. Le pipeline comporte trois étapes. Un réseau nnU-Net affiné segmente la tumeur entière, le noyau tumoral et la tumeur rehaussée à partir d’une IRM à quatre canaux, et atteint un score de Dice moyen de 0,877 sur les trois sous-régions. Le goulot d’étranglement de ce réseau de segmentation fournit un plongement compact par examen. Le choix du réseau a été tranché par l’expérience : une batterie de dix-huit tests a comparé un encodeur convolutif et un encodeur à transformeur comme sources de plongement, et le convolutif a été retenu sur la base d’un rang effectif de 165,7 contre 7,6. Un Transformer temporel lit ensuite les plongements comme une séquence, conditionné par un jeton de traitement par examen et par un vecteur moléculaire au niveau du patient, avec un biais d’attention sensible au temps qui respecte l’espacement irrégulier des examens cliniques. Un modèle de diffusion conditionnel complète le pipeline en transformant la trajectoire prédite en une vidéo fluide de l’évolution tumorale que le clinicien peut inspecter. Entraîné sur la cohorte MU-Glioma-Post de 203 patients et 596 examens postopératoires en validation croisée à trois plis, le modèle estime les volumes des sous-régions avec un coefficient de détermination de 0,918 pour la tumeur entière, 0,953 pour le noyau tumoral et 0,952 pour la tumeur rehaussée, et une erreur absolue moyenne de 15,5, 4,7 et 3,7 millilitres. L’ajustement reste stable d’un pli à l’autre, et le modèle retrouve le sens de l’évolution, croissance ou régression, dans 83,3% des paires d’examens consécutifs. Appliqué sans adaptation à la cohorte multicentrique indépendante BraTS-PTG, le modèle voit sa précision s’effondrer, mais un calibrage sur seulement dix patients locaux permet de retrouver un coefficient de détermination de 0,820 pour la tumeur entière, soit environ 89% de la valeur en distribution, ce qui ouvre une voie pratique pour intégrer un nouveau site. Le dropout de Monte-Carlo ajoute une estimation d’incertitude par prédiction, et les cartes d’attention rendent inspectable la focalisation temporelle du modèle.