Smart Basket From Detection to Identification, in Real Time

Abstract

Checkout queues remain a persistent operational problem for retailers, causing customer abandonment and consuming a significant share of labor costs, while existing automated checkout solutions such as RFID tagging and overhead camera networks require infrastructure that scales with the size of the store. This thesis presents the design and implementation of Smart Basket, an AI-driven checkout system built around a different deployment model: rather than instrumenting the store, a single tablet mounted on the shopping basket captures the live camera feed and displays results, while all recognition intelligence runs on a remote AI server. The recognition pipeline operates in four stages: YOLOv8-OBB detects products with oriented bounding boxes, DeepSORT maintains consistent identities across frames as items are placed in or removed from the basket, a fine-tuned DINOv2 backbone extracts discriminative visual embeddings, and a FAISS similarity index matches these embeddings against a registered product gallery, with an OCR-based veto layer resolving visually ambiguous cases. This embedding-based approach allows new products to be registered without retraining any model. The tablet client streams encoded frames to the server over a real-time connection and renders the annotated results and a running shopping receipt, while a separate administration interface allows store staff to build and maintain the product gallery. The complete system was developed through an incremental, experiment-driven methodology, with each pipeline stage built and evaluated independently before integration. The resulting prototype demonstrates that a basket-mounted camera, paired with a remote recognition server, can achieve real-time, open-set product identification suitable for autonomous retail checkout.***

Les files d’attente aux caisses restent un problème opérationnel persistant pour les détaillants, provoquant l’abandon des clients et consommant une part importante des coûts de main-d’oeuvre, tandis que les solutions de caisse automatisées existantes telles que l’étiquetage RFID et les réseaux de caméras aériennes nécessitent une infrastructure qui s’adapte à la taille du magasin. Cette thèse présente la conception et la mise en oeuvre de Smart Basket, un système de caisse piloté par l’IA et construit autour d’un modèle de déploiement différent : plutôt que d’équiper le magasin, une seule tablette montée sur le panier d’achat capture le flux de la caméra en direct et affiche les résultats, tandis que toute l’intelligence de reconnaissance s’exécute sur un serveur d’IA distant. Le pipeline de reconnaissance fonctionne en quatre étapes : YOLOv8-OBB détecte les produits avec des boîtes de délimitation orientées, DeepSORT maintient des identités cohérentes à travers les images au fur et à mesure que les articles sont placés ou retirés du panier, un modèle DINOv2 affiné extrait des représentations visuelles distinctives, et un index de similarité FAISS associe ces représentations à une galerie de produits enregistrés, avec une couche de vérification basée sur l’OCR pour résoudre les cas visuellement ambigus. Cette approche basée sur les représentations visuelles permet d’enregistrer de nouveaux produits sans réentraîner aucun modèle. Le client sur tablette diffuse les images encodées vers le serveur via une connexion en temps réel et affiche les résultats annotés ainsi qu’un ticket de caisse mis à jour en continu, tandis qu’une interface d’administration séparée permet au personnel du magasin de créer et de maintenir la galerie de produits. Le système complet a été développé selon une méthodologie incrémentale et expérimentale, chaque étape du pipeline ayant été construite et évaluée indépendamment avant son intégration. Le prototype résultant démontre qu’une caméra montée sur un panier, associée à un serveur de reconnaissance distant, peut parvenir à une identification des produits en temps réel et en univers ouvert, adaptée à une caisse de vente au détail autonome.