Adressing Small and Incomplete Clinical Datasets: Data Imputation and Synthetic Data Generation

Abstract

In the age of data, healthcare has become a vital field where enormous amounts of information are collected, analyzed, and used to improve patient outcomes. Yet, the practical application of big data in healthcare faces significant challenges, especially when it comes to tabular data. Medical datasets often suffer from challenges such as small sample sizes and missing values, which hinder the application of traditional machine learning models that typically require large, complete datasets for accurate predictions. This research addresses these challenges, focusing on the development and application of innovative data imputation and augmentation techniques to enhance the predictive reliability of healthcare models. The study aims to identify and evaluate state-of-the-art approaches for handling missing data specially for small datasets to improve model performance. By applying these techniques to healthcare scenarios, the research seeks to improve predictive accuracy and support better clinical decisionmaking, emphasizing the importance of identifying critical variables influencing patient outcomes. While his thesis is focused on research, with no practical implementation undertaken at this stage, eventually the findings are expected to significantly enhance clinical decision-making, showcasing the potential of advanced data processing techniques to overcome common challenges in healthcare data analytics. ***

À l’ère des données, le secteur de la santé est devenu un domaine crucial où d’énormes quantités d’informations sont collectées, analysées et utilisées pour faciliter les tâches pour les experts et améliorer les résultats pour les patients. Cependant, l’application pratique des sciences des données dans le secteur de la santé rencontre des défis importants, notamment lorsqu’il s’agit de données tabulaires. Les ensembles de données médicales souffrent souvent de défis tels que les petites tailles d’échantillons et les valeurs manquantes, ce qui entrave l’application des modèles d’apprentissage automatique traditionnels qui nécessitent généralement des ensembles de données volumineux et complets pour des prédictions précises. Cette recherche aborde ces défis en se concentrant sur le développement et l’application de techniques innovantes d’imputation et d’augmentation des données pour améliorer la fiabilité prédictive des modèles de santé, en particulier dans des domaines tels que la performance des transfusions sanguines et le diagnostic. L’étude vise à identifier et évaluer les approches de pointe pour gérer les données manquantes, et les petites base de données, afin d’améliorer la performance des modèles. En appliquant ces techniques aux scénarios de santé, la recherche cherche à améliorer la précision des prédictions et à soutenir une meilleure prise de décision clinique, en mettant l’accent sur l’importance d’identifier les variables critiques influençant les résultats des patients. Bien que cette thèse soit axée sur la recherche, sans mise en oeuvre pratique à ce stade, les résultats devraient finalement améliorer de manière significative la prise de décision clinique, démontrant le potentiel des techniques avancées de traitement des données pour surmonter les défis courants dans l’analyse des données de santé.