From Satellite Imagery to Actionable Intelligence: A Multi-Hazard Detection and Disambiguation Framework for Post-Event Flood and Landslide Assessment

Abstract

Extreme rainfall events trigger catastrophic floods and landslides, causing loss of life and extensive damage to infrastructure. Rapid post-event impact assessment is critical for emergency response, yet remains fundamentally challenged by cloud cover that systematically obscures optical satellite imagery at the very moment when spatial information is most urgently needed, and by the inherent difficulty of distinguishing between spectrally similar hazard phenomena such as turbid floodwater and wet debris flows. This project proposes MHIA-VLM (Multi-Hazard Impact Assessment Vision-Language Model), a novel system for post-event flood and landslide impact assessment that integrates Vision-Language Models with multi-source Earth Observation data. By fusing Sentinel-1 SAR, Sentinel-2 optical imagery, DEM-derived terrain features, and ESA WorldCover land cover context across a 22-channel input representation, the system produces structured, GIS-ready situation outputs and automated situation reports (SITREPs). A modality-adaptive inference strategy ensures reliable performance under cloud cover by gracefully degrading to SAR-only configurations while explicitly communicating the associated increase in uncertainty—a confidence reduction from 0.984 to 0.670 observed empirically under SAR-only conditions. The system incorporates physics-informed geomorphic constraints derived from shallow water equations and slope stability physics to resolve ambiguities between visually similar phenomena. Evaluation on public benchmarks (Sen1Floods11, Landslide4Sense) achieves flood IoU of 0.787 and landslide IoU of 0.468 (0.542 in the best configuration), with a global calibration error ECE of 0.0091. The system is further validated on three real case studies in the Algiers metropolitan area, demonstrating its operational applicability in the Mediterranean Tell Atlas context.***

Les événements pluvieux extrêmes déclenchent des inondations et des glissements de terrain catastrophiques, causant des pertes humaines et des dégâts considérables aux infrastructures. L’évaluation rapide de l’impact post-événement est essentielle pour la réponse d’urgence, mais elle demeure fondamentalement entravée par la couverture nuageuse, qui obscurcit systématiquement l’imagerie optique satellitaire au moment même où l’information spatiale est la plus urgemment nécessaire, ainsi que par la difficulté intrinsèque à distinguer des phénomènes d’aléas spectralement similaires, tels que les eaux de crue turbides et les coulées de débris humides. Ce projet propose MHIA-VLM (Multi-Hazard Impact Assessment Vision-Language Model), un système novateur d’évaluation post-événement des impacts d’inondation et de glissement de terrain, intégrant des modèles vision-langage (Vision-Language Models) à des données d’observation de la Terre multi-sources. En fusionnant les données SAR de Sentinel-1, l’imagerie optique de Sentinel-2, des caractéristiques de terrain dérivées d’un MNT (DEM), et le contexte d’occupation du sol issu d’ESA World- Cover au sein d’une représentation d’entrée à 22 canaux, le système produit des sorties de situation structurées, prêtes pour les SIG, ainsi que des rapports de situation automatisés (SITREPs). Une stratégie d’inférence adaptative aux modalités garantit une performance fiable sous couverture nuageuse, en se repliant de manière progressive sur une configuration SAR seule tout en communiquant explicitement l’augmentation d’incertitude associée — une réduction de confiance de 0,984 à 0,670 observée empiriquement dans ces conditions. Le système intègre des contraintes géomorphologiques guidées par la physique, dérivées des équations des eaux peu profondes et de la physique de stabilité des pentes, afin de résoudre les ambiguïtés entre phénomènes visuellement similaires. L’évaluation sur des jeux de données publics de référence (Sen1Floods11, Landslide4Sense) atteint un IoU de 0,787 pour les inondations et de 0.4875 pour les glissements de terrain (0,542 dans la meilleure configuration), avec une erreur de calibration globale (ECE) de 0,0091. Le système est en outre validé sur trois études de cas réelles dans la région métropolitaine d’Alger, démontrant son applicabilité opérationnelle dans le contexte méditerranéen de l’Atlas tellien