Au sein de CREST, Zong Shang a introduit une méthode novatrice pour analyser le surapprentissage bénin en statistique.
L'Essentiel : Au sein de CREST, Zong Shang a introduit une méthode novatrice pour analyser le surapprentissage bénin en statistique.
Zong Shang, chercheur·e au sein de CREST (Ecole Nationale de la Statistique et de l'Analyse de l'Information [Bruz]).
Thèse soutenue en 2026 à l'école doctorale École doctorale de mathématiques Hadamard.
Référencée dans le réseau ABES/STAR, cette thèse répond aux critères de rigueur de l'enseignement supérieur français.
Contexte et Problématique
Le phénomène de surapprentissage est un enjeu majeur dans les domaines de la théorie de l'apprentissage statistique et de la statistique mathématique. L'argument de convergence uniforme, traditionnellement utilisé pour analyser les estimateurs statistiques, a montré ses limites face au surapprentissage bénin. Ce phénomène, qui se manifeste lorsque des estimateurs interpolent parfaitement les données d'apprentissage tout en restant performants sur de nouvelles données, n'est pas bien expliqué par les méthodes classiques. Ce constat souligne la nécessité d'un cadre mathématique plus adapté pour étudier les comportements des estimateurs dans des contextes de surapprentissage.
La thèse de Zong Shang aborde cette problématique en proposant une méthode de décomposition d'espace de caractéristiques. Cette approche vise à affiner l'argument de convergence uniforme et à offrir une nouvelle perspective sur le surapprentissage, en particulier dans le cadre de la régression linéaire et de la classification linéaire. Par conséquent, cette recherche se concentre sur l'analyse des estimateurs d'interpolation à norme lq minimale et l'estimateur d'interpolation à norme l2 minimale, afin de mieux comprendre les mécanismes sous-jacents au surapprentissage.
Méthodologie
La méthode de décomposition d'espace de caractéristiques élaborée par Shang repose sur une analyse systématique des estimateurs en régression linéaire et en classification. Cette méthode permet d'explorer les interactions entre les caractéristiques des données et les performances des estimateurs, notamment en ce qui concerne le surapprentissage bénin. Les applications de cette méthodologie incluent la régression ridge et d'autres méthodes spectrales, telles que la descente de gradient et le flux de gradient.
L'approche consiste à caractériser le risque excédentaire en population des estimateurs en utilisant des descriptions non asymptotiques de leur erreur d'estimation. En intégrant des aspects géométriques de l'analyse fonctionnelle, la méthode de décomposition d'espace de caractéristiques permet d'obtenir des résultats précis sur les performances des estimateurs dans divers scénarios de régression. Cette approche systématique contribue à établir un cadre théorique solide pour l'analyse des méthodes statistiques, en se concentrant sur les aspects géométriques et analytiques des problèmes de régression.
Résultats Principaux
Les résultats de cette recherche mettent en évidence plusieurs contributions significatives. Premièrement, la méthode de décomposition d'espace de caractéristiques permet d'analyser le phénomène de surapprentissage bénin des estimateurs d'interpolation. Ce résultat est crucial pour les statisticiens théoriciens, car il offre une nouvelle perspective sur le risque excédentaire en population.
Deuxièmement, la thèse établit un ordre partiel sur l'ensemble des méthodes spectrales pour un problème de régression linéaire donné. Cette avancée permet d'organiser les différentes approches statistiques selon leur efficacité et leur capacité à gérer le surapprentissage.
Troisièmement, Shang réussit à généraliser le théorème de Dvoretzky-Milman pour la norme lq sous une mesure de probabilité générale. Ce développement, qui découle naturellement de la méthode de décomposition d'espace de caractéristiques, enrichit le cadre théorique existant en reliant les aspects géométriques de l'analyse fonctionnelle aux méthodes statistiques.
Enfin, la thèse introduit trois concepts novateurs : un ordre partiel sur les méthodes spectrales, un effet de saturation généralisé, et une définition mathématique de la propriété d'apprentissage des caractéristiques. Ces concepts sont essentiels pour caractériser le risque excessif associé aux estimateurs et offrent des outils analytiques aux chercheurs en statistiques.
Discussion et Perspectives
Les implications de la recherche de Zong Shang s'étendent au-delà des considérations théoriques. La méthode de décomposition d'espace de caractéristiques fournit des outils pratiques pour les statisticiens et les chercheurs en apprentissage statistique, facilitant une compréhension plus nuancée du surapprentissage et des méthodes d'estimation. En intégrant des éléments géométriques à l'analyse statistique, cette thèse ouvre de nouvelles pistes de recherche pour explorer les comportements des estimateurs dans des contextes variés.
La recherche future pourrait s'orienter vers l'application de la méthode de décomposition d'espace de caractéristiques à d'autres domaines d'analyse de données, notamment les modèles de machine learning complexes et les réseaux de neurones. De plus, l'exploration des implications pratiques de la généralisation du théorème de Dvoretzky-Milman pourrait enrichir la compréhension des méthodes statistiques en contexte réel.
En somme, la thèse de Zong Shang représente une avancée significative dans le domaine des statistiques, en proposant un cadre théorique novateur pour aborder le surapprentissage et enrichir les outils disponibles pour les praticiens. Les contributions de cette recherche renforcent notre compréhension des mécanismes sous-jacents au surapprentissage et posent les bases pour des travaux futurs dans le domaine.
Accéder à l'étude complète
Sources et accès
Zong Shang. Feature space decomposition. Statistics [math.ST]. Institut Polytechnique de Paris, 2026. English. ⟨NNT : 2026IPPAG004⟩. ⟨tel-05604065⟩