Multi-Expert Pipelines and Vision-Language Models for Automated Telecom Infrastructure Inspection Verification

Abstract

Automating the verification of telecommunications infrastructure inspections requires the use of computer vision and multimodal reasoning. Currently, in the maintenance process, field inspectors collect photographs, numerical readings, and compliance data from many locations, while a relatively small number of human specialists are responsible for verifying the submitted reports. This approach causes bottlenecks, especially as the number of sites being checked increases and when the verification process requires analysing heterogeneous visual and numerical evidence. The thesis starts with the formalisation of the problem of inspection verification and the definition of the main obstacles to automation. These consist of the variety of checklists used for inspection, the lack of annotated data, the variability of outdoor photography, the necessity to detect tiny objects and analyse low-contrast display readings, and the known problems of general-purpose vision-language systems with counting, spatial reasoning, and OCR tasks. Overall, all discussed aspects show that telecom inspection verification involves more than an image classification task. The study evaluates relevant datasets, task-specific computer vision models, vision-language models, and multi-agent inspection frameworks. The analysis confirms that specialised models can be efficient for specific subtasks like object detection, corrosion segmentation, and meter reading, but they require structured labelling and have limited generalisation capabilities when it comes to the full range of inspection checklist elements. Vision-language models allow increased flexibility via natural language commands but might produce unreliable outputs in domain-specific and spatially complex inspection situations. Thus, the study highlights the necessity of comparing taskdecomposed specialist models with fine-tuned vision-language models for future telecom inspection systems. The study lays down both the theoretical and technical groundwork for creating automated inspection verification systems in telecommunications infrastructure. This thesis argues that a reliable system should combine the efficiency of specialist computer vision models with the flexibility of multimodal reasoning while keeping human verification for cases of uncertainty and high risk.***

L’automatisation de la vérification des inspections de l’infrastructure de télécommunications nécessite l’utilisation de la vision par ordinateur et du raisonnement multimodal. Dans le processus actuel de maintenance, les inspecteurs sur le terrain collectent des photographies, des mesures numériques et des données de conformité provenant de nombreux sites, tandis qu’un nombre relativement limité de spécialistes humains est chargé de vérifier les rapports soumis. Cette situation crée des goulots d’étranglement, surtout lorsque le nombre de sites à contrôler augmente et lorsque la vérification exige l’analyse de preuves visuelles et numériques hétérogènes. Le mémoire commence par la formalisation du problème de vérification des inspections et par la définition des principaux obstacles à son automatisation. Ces obstacles comprennent la variété des listes de contrôle utilisées, le manque de données annotées, la variabilité des images prises en environnement extérieur, la nécessité de détecter de petits objets et d’analyser des affichages à faible contraste, ainsi que les limites connues des modèles vision-langage généralistes dans les tâches de comptage, de raisonnement spatial et d’OCR. Ces aspects montrent que la vérification des inspections télécoms va bien au-delà d’une simple tâche de classification d’images. L’étude examine des ensembles de données pertinents, des modèles de vision par ordinateur spécialisés, des modèles vision-langage et des architectures multi-agents pour l’inspection. L’analyse montre que les modèles spécialisés peuvent être efficaces pour des sous-tâches précises, comme la détection d’objets, la segmentation de la corrosion et la lecture des compteurs, mais qu’ils nécessitent des annotations structurées et généralisent difficilement à l’ensemble des éléments des listes de contrôle. Les modèles vision-langage offrent plus de flexibilité grâce aux instructions en langage naturel, mais peuvent produire des résultats peu fiables dans des situations spécifiques au domaine ou spatialement complexes. En général, cette étude fournit une base théorique et technique pour le développement de systèmes automatisés de vérification des inspections dans l’infrastructure de télécommunications. Elle soutient qu’un système fiable devrait combiner l’efficacité des modèles spécialistes de vision par ordinateur avec la flexibilité du raisonnement multimodal, tout en conservant la vérification humaine pour les cas d’incertitude et de risque élevé.