These-Verger
Cette thèse vise à évaluer et réduire l’iniquité algorithmique des modèles d’apprentissage automatique largement utilisés en éducation. En effet, ces modèles prédictifs, fondés sur des données éducatives et des traces d’apprentissage de plus en plus abondantes, ont pour but d’améliorer l’expérience d’apprentissage humain. Ils permettent, par exemple, de prédire le décrochage scolaire ou de personnaliser l’expérience d’apprentissage en adaptant les contenus éducatifs selon les besoins de chaque apprenant et apprenante.
Cependant, il a été démontré à plusieurs reprises que ces modèles peuvent produire des prédictions biaisées et discriminantes, le plus souvent du fait de prédictions systématiquement moins bonnes observées pour les personnes noires comparées aux personnes blanches, et pour les femmes comparées aux hommes. Il est donc devenu crucial d’évaluer l’équité des résultats des modèles prédictifs, vis-à-vis des différents groupes présents dans les données.
Les travaux de l’état de l’art se sont concentrés sur la comparaison entre groupes des performances prédictives des modèles considérés. Par exemple, pour un classifieur binaire et pour les groupes hommes/femmes, le taux de bonnes prédictions est calculé pour chaque groupe, et la différence entre ces taux indiquerait une iniquité. Bien que cette approche soit prédominante dans la littérature, elle ne capture l’iniquité qu’en termes de performance prédictive, alors que celle-ci peut se manifester sous d’autres formes et de manière plus nuancée qu’une différence de taux, ce qui doit être approfondi.
L'objectif principal de cette thèse est donc d’approfondir la compréhension et l’évaluation de l’iniquité algorithmique, pour ensuite identifier son éventuelle présence dans des contextes sous-étudiés. Ces contextes incluent à la fois des attributs sensibles et des populations d’apprenants et apprenantes peu voire pas considérés.
Pour ce faire, nous avons conçu une nouvelle mesure d’équité algorithmique, abrégée MADD, qui s’appuie sur les distributions des résultats des modèles d’apprentissage supervisé. Cette approche via les distributions permet en plus d’exploiter des analyses graphiques pour comprendre l’iniquité quantifiée par la MADD. Nous avons démontré théoriquement et expérimentalement la validité de cette mesure, et avons ainsi découvert que les potentielles iniquités observées dans les données ne sont pas toujours reflétées dans les résultats des modèles, comme par exemple cela a été le cas pour le biais de genre de nos expériences.
De plus, nous avons développé une technique de réduction de l’iniquité utilisant la MADD, ainsi que de nouvelles méthodes d’évaluation pour plusieurs attributs sensibles simultanément. En effet, la littérature considère chaque attribut séparément, alors que la théorie de l’intersectionnalité de Crenshaw (1989, 1991) défend l’idée que leurs influences combinées produisent des discriminations uniques et différentes pour certains groupes. Nos résultats expérimentaux montrent que certaines combinaisons augmentent, réduisent, ou maintiennent le niveau d’iniquité observé initialement.
Enfin, nous avons mené des analyses d’équité pour de nouveaux attributs sensibles, démographiques ou liés au contexte d’apprentissage, et avec de nouvelles populations d’apprenants et apprenantes, de pays d’Afrique, de Philippines, d’Haïti et de France, grâce à la collecte de données issues d’un MOOC (ou massive open online course) et d’une plateforme en ligne (Canvas LMS). Ces expériences ont révélé des iniquités qui n’ont pas été découvertes auparavant, apportant ainsi un éclairage sur les potentielles iniquités réelles présentes dans ces contextes d’étude.
Afin de faciliter les réplications de nos travaux ainsi que l’application de nos méthodes dans d’autres contextes, nous avons créé une librairie Python open source, nommée maddlib. Les données (sauf celles des Philippines) et nos codes documentés sont également disponibles en ligne.
Algorithmic fairness analyses of supervised machine learning in education
This thesis aims to evaluate and reduce algorithmic unfairness of machine learning models widely used in education. Such predictive models, based on increasing amounts of educational data and learning traces, are intended to improve the human learning experience. They can be used, for example, to predict dropout or to personalize the learning experience by adapting educational content to meet the needs of each learner.
However, it has been shown repeatedly that these models can produce biased and discriminatory predictions, most often by producing consistently worse predictions for Black people compared to White people, and for women compared to men. It has therefore become crucial to evaluate the fairness of predictive models' results, according to the different groups present in the data.
State-of-the-art research has focused on comparing the predictive performances of models between groups. For example, for a binary classifier and for male/female groups, the rate of correct predictions is calculated for each group, and the difference between these rates would indicate unfairness. Although this approach is predominant in the literature, it only captures unfairness in terms of predictive performance, while unfairness can manifest in other ways and in more nuanced forms than simple score differences, which needs further exploration.
The main objective of this thesis is thus to deepen the understanding and evaluation of algorithmic unfairness, and to then identify its potential presence in under-studied contexts. These contexts include both sensitive attributes and learner populations that have been little or not considered at all.
To this end, we designed a new algorithmic fairness metric, in short MADD, which is based on the distributions of the results of supervised learning models. This distribution-based approach additionally allows for graphical analyses to better understand the unfairness quantified by MADD. We have demonstrated, both theoretically and experimentally, the validity of this metric and discovered that potential unfairness observed in the data are not always reflected in the model outcomes, as was the case with gender bias in our experiments.
Moreover, we developed a technique to mitigate unfairness using MADD, along with new methods to evaluate fairness with multiple sensitive attributes simultaneously. Indeed, the literature typically considers each attribute separately, while Crenshaw’s (1989, 1991) theory of intersectionality argues that combined influences produce unique and different forms of discrimination for certain groups. Our experimental results show that some combinations of attributes increase, reduce, or maintain the level of unfairness initially observed.
Finally, we conducted fairness analyses for new sensitive attributes, whether demographic or related to the learning context, and with new learner populations from African countries, the Philippines, Haiti, and France, thanks to data collected from a MOOC (massive open online
course) and the Canvas LMS platform. These experiments revealed unfairness that had not been previously discovered, thus shedding light on potential real unfairness in these contexts.
To facilitate replication of our work and the application of our methods in other contexts, we created an open-source Python library, named maddlib. The data (except for those from the Philippines) and our documented source code are also available online.
Vanda LUENGO
François BOUCHET
Sébastien LALLE
Heure : 13h30 ouverture au public, 14h le début de la soutenance
Lieu : en présentiel + en ligne
Sorbonne Université
Campus Pierre et Marie Curie
4 place Jussieu, 75005 Paris
Tour 26, salle 26-25-105
Un lien Zoom sera envoyé quelques jours avant la soutenance en remplissant ce formulaire :
https://framaforms.org/soutenance-de-these-de-melina-1733237653
* Nicolas Roussel, Directeur de recherche, INRIA Bordeaux (rapporteur)
* Agather Merceron, Professeur, BHT Berlin (rapportrice)
* Sébastien Destercke, Directeur de recherche, UTC Compiègne
(examinateur)
* Mykola Pechenizkiy, Professeur, TU Eindhoven (examinateur)
* Mar Pérez-Sanagustín, Maitre de conférences, Université Paul Sabatier Toulouse III, PUC Chile (examinatrice)
Dernière mise à jour : 4 décembre, 2024 - 19:02
