Design, Implementation, and AIDriven Optimization of an ECommerce Platform using Microservices Architecture and DevOps Principles

Abstract

The widespread adoption of microservices architecture, driven by the need for scalability and agility, has introduced significant operational complexities in managing dynamic, distributed systems. Traditional load balancing mechanisms, often reliant on static rules, are illequipped to handle the fluctuating workloads and realtime performance variations inherent in these environments, leading to suboptimal resource utilization, increased latency, and a degraded user experience. This thesis addresses these challenges through the design, implementation, and evaluation of an intelligent, selfoptimizing ecommerce platform. The work integrates a fullstack microservices architecture with modern DevOps principles, including Infrastructure as Code (IaC) and Continuous Integration/Continuous Delivery (CI/CD). The system is containerized with Docker, orchestrated on Kubernetes, and leverages an Istio service mesh to manage interservice communication, security, and observability. The primary contribution is the development of an AIdriven optimization controller that utilizes Reinforcement Learning, specifically Qlearning, to intelligently manage traffic. This controller interfaces directly with the service mesh, dynamically adjusting load balancing policies based on realtime performance metrics (P99 latency, RPS, CPU usage, error rates) collected from a Prometheus monitoring stack. Through empirical evaluation comparing the AIcontrolled system against a baseline scenario with traditional load balancing, the proposed approach demonstrates significant improvements across key performance indicators. The findings show a marked reduction in P99 latency, an increase in request throughput, more balanced CPU utilization across service instances, and a substantial decrease in serverside error rates. This work serves as a comprehensive reference architecture and validates the efficacy of integrating artificial intelligence into the service mesh layer for creating resilient, efficient, and autonomous cloudnative applications. ***

L’adoption généralisée de l’architecture microservices, motivée par le besoin de scalabilité et d’agilité, a introduit des complexités opérationnelles significatives dans la gestion des systèmes distribués et dynamiques. Les mécanismes traditionnels d’équilibrage de charge, souvent basés sur des règles statiques, sont mal adaptés pour gérer les charges de travail fluctuantes et les variations de performance en temps réel inhérentes à ces environnements, ce qui entraîne une utilisation sousoptimale des ressources, une latence accrue et une expérience utilisateur dégradée. Cette thèse aborde ces défis à travers la conception, la mise en oeuvre et l’évaluation d’une plateforme de commerce électronique intelligente et autooptimisée. Le travail intègre une architecture microservices fullstack avec les principes DevOps modernes, y compris l’Infrastructure en tant que Code (IaC) et l’Intégration Continue/Livraison Continue (CI/CD). Le système est conteneurisé avec Docker, orchestré sur Kubernetes et s’appuie sur un maillage de services (service mesh) Istio pour gérer la communication interservices, la sécurité et l’observabilité. La contribution principale est le développement d’un contrôleur d’optimisation piloté par l’IA qui utilise l’Apprentissage par Renforcement, spécifiquement le Qlearning, pour gérer intelligemment le trafic. Ce contrôleur s’interface directement avec le maillage de services, ajustant dynamiquement les politiques d’équilibrage de charge en fonction des métriques de performance en temps réel (latence P99, RPS, utilisation du CPU, taux d’erreur) collectées à partir d’une pile de surveillance Prometheus. Grâce à une évaluation empirique comparant le système contrôlé par l’IA à un scénario de base avec un équilibrage de charge traditionnel, l’approche proposée démontre des améliorations significatives sur les indicateurs de performance clés. Les résultats montrent une réduction marquée de la latence P99, une augmentation du débit de requêtes, une utilisation plus équilibrée du CPU entre les instances de service et une diminution substantielle des taux d’erreur côté serveur. Ce travail sert d’architecture de référence complète et valide l’efficacité de l’intégration de l’intelligence artificielle dans la couche du maillage de services pour créer des applications natives du cloud résilientes, efficaces et autonomes.