Multimodal Data Fusion using MLP-based Architectures

Abstract

Multimodal machine learning is an active interdisciplinary field of research that focuses on developing intelligent computer systems capable of understanding, reasoning, and learning by integrating multiple modalities. It also presents unique computational and theoretical challenges due to the heterogeneity of data sources and the often complex interconnections between different modalities. These challenges make the selection of an effective deep learning architecture for multimodal data fusion and learning a non-trivial task. This Thesis primarily focuses on addressing these challenges. And to propose a novel framework that tackles the challenge of selecting an appropriate architecture for a multimodal learning tasks. Our approach leverages the strengths of Multi-Layer Perceptrons (MLP)-based architectures, which are known for their computational efficiency, simple design, and robustness in handling various data types and tasks. In our research, we delve into the basic principles of multimodal machine learning, with a particular emphasis on the role of MLP-based architectures. We provide a detailed exploration of our proposed framework, discussing its design, implementation, and the advantages it offers. This work represents a significant step towards more efficient and effective multimodal learning systems. ***

L’apprentissage automatique multimodal est un domaine de recherche interdisciplinaire actif qui se concentre sur le développement de systèmes informatiques intelligents capables de comprendre, de raisonner et d’apprendre en intégrant plusieurs modalités. Il présente également des défis calculatoires et théoriques uniques en raison de l’hétérogénéité des sources de données et des interconnexions souvent complexes entre les différentes modalités. Ces défis font de la sélection d’une architecture d’apprentissage profond efficace pour la fusion de données multimodales et l’apprentissage une tâche non triviale. Cette thèse se concentre principalement sur la résolution de ces défis. Et de proposer un nouveau framework qui s’attaque au défi de la sélection d’une architecture d’apprentissage profond. qui relève le défi de la sélection d’une architecture appropriée pour une tâche d’apprentissage multimodale. Notre approche s’appuie sur les forces des architectures basées sur les perceptrons multicouches (MLP), qui sont connues pour leur efficacité de calcul, leur simplicité de conception, et leur robustesse dans la gestion de divers types de données et de tâches. Dans notre recherche, nous nous concentrons sur les principes de base de l’apprentissage automatique multimodal, en mettant particulièrement l’accent sur le rôle des architectures basées sur les MLP. Nous explorons en détail le cadre que nous proposons, en discutant de sa conception, de sa mise en oeuvre et des avantages qu’il offre. Ce travail représente un pas important vers des systèmes d’apprentissage multimodaux plus efficaces et plus performants.