Cette thèse s’inscrit dans le cadre de l’utilisation des Teaching Analytics pour analyser les comportements des enseignants et les assister dans l’utilisation des systèmes de gestion de l’apprentissage (Learning Management System - (LMS)). Les Teaching Analytics (TA) se réfèrent aux méthodes et aux outils pour aider les enseignants à analyser et à améliorer leurs conceptions péda- gogiques, et plus récemment, à l’analyse de la manière dont ceux-ci dispensent leurs enseignements. Notre objectif est d’exploiter ce domaine afin d’aider les enseignants à évaluer leurs comportements sur leur LMS institutionnel. In fine, nous souhaitons doter les enseignants d’outils leur permettant de s’engager eux-mêmes dans des situations d’apprentissage visant à améliorer leurs utilisations du LMS, et de soutenir ces situations par le biais de feedbacks et d’un support à l’apprentissage par les pairs.
Afin d’atteindre cet objectif, et puisque nous considérons l’enseignant dans une situation d’apprentissage potentielle, nous cherchons d’abord à concevoir un modèle d’enseignant, comme nous le ferions pour un apprenant. Nous avons investigué dans ces travaux trois questions de recherche : (i) Comment aider les enseignants à prendre conscience de leur propre situation et à s’auto-évaluer sur l’utilisation de leurs LMS?, (ii) Comment aider les enseignants à enrichir leur utilisation du LMS institutionnel ? et enfin (iii) Comment fournir aux enseignants et aux ingénieurs pédagogiques un outil de soutien mieux adapté à leurs besoins ?
Pour répondre à nos questions de recherche, nous avons conçu un modèle d’évaluation sur la base (i) d’une analyse qualitative à partir d’entretiens que nous avons eus avec plusieurs ingénieurs pédagogiques et (ii) d’une analyse quantitative que nous avons réalisée sur trois années d’activités d’enseignants sur le LMS de l’Université.
L’objectif de l’étude qualitative était de collecter des données qui pourraient être utiles pour comprendre le comportement actuel des enseignants sur les LMS du point de vue des ingénieurs pédagogiques, car ils ont une expérience vis-à-vis des enseignants. Pour réaliser cette étude, nous avons choisi de mener des entretiens semi-structurés. D’autre part, une étude quantitative a été menée pour déduire des conclusions statistiquement mesurables sur le comportement des enseignants, complémentaire aux résultats de l’étude qualitative. Une analyse en composantes principales (ACP) nous a permi dans un premier temps de réduire la dimensionnalité de nos données afin de pouvoir identifier des groupes distincts de profil d’enseignants. Ces deux études ont été exploitées conjointement pour concevoir un modèle explicable qui catégorise l’utilisation de la plateforme par les enseignants et ainsi permettre à ces derniers d’évaluer leurs pratiques selon plusieurs aspects (i.e., axes du modèle). Par la suite, nous avons défini différents indicateurs de TA : La tendance d’utilisation du LMS et des scores d’utilisation. La dernière phase de notre méthodologie consiste à instrumentaliser les résultats obtenus dans un outil d’accompagnement principalement dédié aux enseignants qui comprend des tableaux de bord permettant de visualiser des informations sur le comportement des enseignants et des recommandations. Le modèle comportemental que nous
avons conçu décrit les pratiques des enseignants sur les LMS à travers six axes majeurs : l’évaluation (outils utilisés par l’enseignant pour évaluer ses étudiants), la réflexion (outils permettant aux enseignants de collecter les feedback des étudiants), la communication (moyens de communication utilisés par l’enseignant), les ressources (diversité des ressources que l’enseignant met à la disposition des étudiants), la collaboration (outils favorisant la promotion de la collaboration entre les étudiants) ainsi que l’interactivité et la gamification (activités interactives ou ludiques utilisées par les enseignants). À partir de ce modèle, nous avons conçu un premier indicateur de TA, la tendance d’utilisation du LMS. Fondé sur une analyse en clustering afin d’identifier des groupes d’enseignants ayant une utilisation particulière selon chaque axe, celui-ci offre un moyen de fournir un support à l’awareness sociale (i.e., la comparaison aux pairs). Dans une perspective d’un support à l’awareness individuelle, deux autres indicateurs viennent fournir un moyen simple d’évaluer sa pratique. Toujours dans le contexte des axes du modèle, nous avons donc proposé des scores pour exprimer (i) la curiosité de l’enseignant (la variété de l’utilisation de la plateforme indépendamment du temps) et (ii) l’homogénéité d’utilisation des différentes facette du LMS (la régularité de l’utilisation des différentes fonctionnalités relatives à un axe).
Nous avons par la suite proposé 3 systèmes de recommandation s’appuyant sur ce modèle et ces indicateurs visant à aider les enseignants à améliorer leurs pratiques dans le LMS de l’université. Un premier système de recommandation s’attache à proposer les fonctionnalités inexploitées par l’enseignant selon chaque axe afin de les motiver dans leur découverte et de les aider à améliorer la conception de leurs cours. Un second système de recommandation d’ingénieurs pédagogique simple a été mis en place pour faciliter la mise en place d’un dialogue entre l’enseignant et ces derniers. Enfin, un système de recommandation hybride (basé sur le contenu et les connaissances) a été élaboré pour permettre aux enseignants de recevoir des recommandations de pairs. Celui-ci sélectionne les collègues qui présentent de meilleures valeurs métriques selon l’axe du modèle choisi, qui ne sont pas déjà sur-recommandés (i.e., qui n’ont pas déjà été recommandés plus de fois qu’ils ne le souhaitent), et qui sont les plus proches physiquement et thématiquement (c’est-à-dire, respectivement, dont les départements d’enseignement sont géographiquement proches ou identiques, et dont le domaine d’enseignement est proche). Ce dernier système encourage les enseignants à interagir entre eux, en partant du principe que plus ils partagent d’attributs communs, plus la recommandation aura des chances d’effective.
Nous avons ensuite adopté une approche centrée utilisateur afin de valider le modèle comportemental que nous avons conçu préalablement et de pouvoir l’instrumenter de la façon la plus appropriée à l’enseignant. Pour ce faire, nous avons élaboré un questionnaire destiné aux enseignants, et nous avons également programmé trois entretiens avec les ingénieurs pédagogiques de l’université. Par conséquent, la première version fonctionnelle de notre application de soutien iTeachApp a été développée en tenant compte des préférences des enseignants et des remarques des ingénieurs pédagogiques.
iTeachApp est une application web dédiée aux enseignants et aux ingénieurs pédagogiques pour (i) fournir aux premiers des fonctionnalités d’auto-évaluation et de recommandations, et (ii) permettre aux seconds de détecter les enseignants ayant des besoins spécifiques et les enseignants ayant un profil d’expert.
Nous avons mené une première expérimentation de cette plateforme à l’échelle de l’université. Son objectif était d’évaluer l’utilité, l’utilisabilité et l’appropriation d’iTeachApp par les enseignants. L’expérimentation consistait à donner aux enseignants qui le souhaitaient un accès à iTeachApp afin de la tester pendant une periode définie, puis d’effectuer une étude quantitative sur la base des traces d’activité de la plateforme, et de réaliser une étude qualitative à travers un questionnaire envoyé aux enseignants afin de recueillir leurs retours et suggestions. Ceux-ci ont révélé un intérêt considérable pour notre modèle comportemental, les indicateurs de TA et les systèmes de recommandation. Certains axes ont été d’avantage privilégiés par les enseignants qui ont indiqué que leur choix était fondé sur la nature de leurs cours. En ce qui concerne nos indicateurs, la tendance d’utilisation du LMS semble être l’indicateur le plus pertinent pour eux car il leur permet de voir leur utilisation globale des différentes fonctionnalités de l’axe du modèle choisi. Cependant, cette expérimentation a fait apparaître un manque de compréhension par les enseignants des différents termes que nous avons utilisés, notamment ceux utilisés pour qualifier les deux autres indicateurs. De plus, nous avons identifié une limitation liée aux recommandations de fonctionnalités non utilisées. En effet, le système peut suggérer des fonctionnalités que l’enseignant connaît déjà mais qu’il ne souhaite pas utiliser. Ces fonctionnalités peuvent ne pas être adaptées aux cours de l’enseignant et/ou à son style d’enseignement, etc. Par ailleurs, cette expérimentation a également permis de dégager des pistes pour améliorer notre application et nos propositions (modèle, indicateurs et recommandations).
Les recherches que nous avons menées tout au long de cette thèse présentent plusieurs limites. Par exemple, de nombreux enseignants utilisent d’autres outils que le LMS pour gérer leur enseignement auxquels nous n’avons pas accès. De plus, notre étude ne prend pas en compte les activités d’enseignement en présentiel et nous considérons l’ensemble des enseignants de la même manière. En effet, nous ne tenons pas compte du contexte (par exemple : les domaines enseignés et niveaux universitaires, etc.) et la prise en compte de ces derniers pourrait offrir des profils plus fins. Enfin, une partie de notre ensemble de données concerne la période du confinement causé par le COVID ce qui peut provoquer un changement de contexte.
En revanche, les réflexions menées au cours de ce travail de thèse ouvrent de nombreuses perspectives. Tout d’abord, nous avons l’intention d’affiner notre modèle avec l’inclusion et l’analyse de nouvelles caractéristiques qui permettraient de consolider nos axes et pourraient également fournir de nouveaux axes. En ce qui concerne iTeachApp, nous projetons évidemment d’étudier l’impact que cette application pourrait avoir sur la pratique des enseignants. Nous avons également l’intention d’expérimenter notre application dans d’autres universités en France. En outre, la maîtrise d’un LMS ne se limite pas à la maîtrise de ses fonctionnalités, une bonne adaptation pédagogique est également nécessaire. Les enseignants doivent concevoir avec précision leurs scénarios pédagogiques afin de les adapter à l’outil numérique. Ce travail peut donc initier de nombreuses réflexions liées à la maîtrise de la technologie au service de la pédagogie. Par exemple, assister les enseignants dans leur conception pédagogique au sein des LMS est une voie intéressante à explorer.