Visual Anomaly Detection in the Agri-Food Industrial Inspection Using Hyperspectral Imaging

Abstract

Automated visual inspection for quality control is vital in the food industry, yet detecting anomalies such as defects, contamination, or surface irregularities in food products remains challenging, especially with limited labeled data. Conventional manual or rule-based inspection methods using RGB images often struggle with reliability and speed due to their limited spectral information, motivating the use of advanced deep learning techniques with hyperspectral imaging (HSI) for enhanced anomaly detection. This thesis presents a deep learning-based visual anomaly detection system that leverages hyperspectral images as input to address these challenges in food quality assessment. Unlike traditional RGB imaging, hyperspectral images capture detailed spectral information across hundreds of wavelengths, enabling the detection of subtle chemical compositions, moisture content variations, and internal defects that are invisible to conventional imaging systems. The proposed system employs convolutional neural network (CNN) and transformerbased models specifically designed to process the rich spectral-spatial information contained in HSI data, and it leverages transfer learning techniques to learn effectively from a small set of annotated hyperspectral samples of food defects and surface anomalies. The multidimensional nature of hyperspectral data provides superior discriminative power for identifying food quality issues compared to RGB-based approaches. These findings demonstrate the effectiveness of hyperspectral imaging combined with deep learning for automated quality control verification in food processing and manufacturing settings, and highlight the superior potential of HSI-based systems to enhance food inspection processes and ensure food safety standards.****

L’inspection visuelle automatisée pour le contrôle de la qualité est essentielle dans l’industrie agroalimentaire. Toutefois, la détection d’anomalies telles que les défauts, la contamination ou les irrégularités de surface demeure un défi, en particulier lorsque les données annotées sont limitées. Les méthodes traditionnelles d’inspection manuelle ou basées sur des règles, utilisant des images RGB, se révèlent souvent insuffisantes en termes de fiabilité et de rapidité à cause de la faible richesse spectrale. Cela motive l’adoption de techniques avancées d’apprentissage profond associées à l’imagerie hyperspectrale (HSI) pour améliorer la détection d’anomalies. Ce mémoire présente un système de détection d’anomalies visuelles basé sur l’apprentissage profond qui exploite les images hyperspectrales pour relever ces défis dans l’évaluation de la qualité des aliments. Contrairement aux images RGB classiques, les images hyperspectrales capturent des informations spectrales détaillées sur des centaines de longueurs d’onde, permettant ainsi de détecter des variations chimiques, de l’humidité ou encore des défauts internes invisibles aux systèmes classiques. Le système proposé intègre des modèles de réseaux de neurones convolutionnels (CNN) et de transformeurs spécifiquement conçus pour exploiter la richesse spectrale et spatiale des données HSI, et s’appuie sur l’apprentissage par transfert afin d’apprendre efficacement à partir d’un nombre limité d’échantillons annotés d’anomalies alimentaires. La nature multidimensionnelle des données hyperspectrales fournit un pouvoir discriminant supérieur pour identifier les problèmes de qualité par rapport aux approches basées sur RGB. Ces résultats démontrent l’efficacité de l’imagerie hyperspectrale combinée à l’apprentissage profond pour l’automatisation du contrôle qualité dans les chaînes de production alimentaire et mettent en évidence le potentiel de ces systèmes pour renforcer les processus d’inspection et garantir les normes de sécurité alimentaire.