L’objectif de notre travail est de concevoir un système de diagnostic automatique fiable utilisé à grande échelle sur une plateforme d’enseignement en ligne dans le domaine de l’apprentissage de l’algèbre élémentaire. Ma thèse s’est déroulée dans le cadre du projet Lingot, projet de recherche pluridisciplinaire regroupant, des informaticiens, des didacticiens des mathématiques, des psychologues ergonomes, des enseignants et des formateurs d’enseignants. Ce projet a deux objectifs fondamentaux. Le premier consiste à concevoir des EIAH (Environnements Informatiques pour l’Apprentissage Humain) pour aider les enseignants à gérer la diversité cognitive des élèves pour l’apprentissage de l’algèbre au collège. Le deuxième objectif est de fournir aux chercheurs des dispositifs d’observation pour étudier, sur le long terme, les résultats d’apprentissage des enseignements dispensés.
Notre apport est double : d’une part il porte sur l’évaluation du diagnostic et l’amélioration de sa qualité et, d’autre part, il propose un diagnostic adaptatif. Enfin notre système a été mis en œuvre sur la plateforme de l’association Sésamath utilisée par des milliers d’enseignants et d’élèves.
Le problème principal qui nous concerne, en tant qu’informaticien, est celui du mode d’inférence des descripteurs de la compétence d’un apprenant à partir des données recueillies lors d’un test diagnostic. Le processus de diagnostic se décompose en deux étapes : un diagnostic local qui consiste à analyser chaque réponse d’un élève, et un diagnostic que nous qualifions de global qui consiste à détecter des cohérences dans les réponses des élèves afin de dresser un bilan des compétences qui ont été détectées. Nous avons, à partir de premiers prototypes, mis au point un modèle conceptuel et un logiciel, PépiMep, qui le met en œuvre. Dans un premier temps, PépiMep recueille des réponses ou des raisonnements algébriques sur une plateforme d’enseignement en ligne, puis, dans un deuxième temps, PépiMep analyse ces réponses en prenant en compte non seulement leur degré de validité mais aussi leur caractérisation sur plusieurs dimensions. Cette analyse s’appuie sur un logiciel de calcul formel développé par l’équipe. Enfin PépiMep construit un bilan cognitif qui caractérise la compétence de l’élève, en établissant des leviers pour l’apprentissage et des fragilités à faire évoluer, et qui le situe sur une échelle de compétence. Nous avons mis en place les modèles de données et le système qui les interprète.
Nous nous sommes enfin penchés sur le problème de mettre au point un diagnostic adaptatif pour minimiser le temps de passage du test diagnostic. Ce diagnostic s’appuie sur le modèle markovien de décision séquentielle.
Pour mener à bien notre travail de recherche, nous avons adopté une démarche fondée sur le prototypage et sur l’analyse de corpus de réponses d’élèves obtenus à partir de prototypes. Nous avons mis en place des outils pour faciliter l’analyse de ces données par des experts humains (enseignants et didacticiens des mathématiques dans notre cas) et la comparaison entre le diagnostic automatique et celui d’experts ou de professionnels humains. Les résultats de cette comparaison montrent que notre système permet de faire instantanément un travail qui prend plusieurs heures à un expert humain, selon un taux de concordance avec l’expertise humaine qui est supérieur aux taux d’accords entre experts humains avant discussion pour établir un consensus sur un corpus de référence.