Évaluation de l’utilité et de l’utilisabilité du service COMPER pour soutenir l’autorégulation dans le travail en autonomie

Laëtitia PIERROT, Christine MICHEL, Julien BROISIN, Nathalie GUIN, Marie LEFEVRE, Rémi VENANT

RÉSUMÉ : Dans cet article, nous présentons l’évaluation et l’analyse de l’utilisation du service COMPER, qui associe un profil de compétences (COM) à des ressources personnalisées (PER), réalisées auprès de 181 étudiants de 1ère année de Diplôme Universitaire de Technologie (DUT1) Informatique entre 2020 et 2021. Les résultats montrent qu’en dépit d’une utilisation restreinte, le service est globalement jugé utile, en particulier pour les profils d’étudiants travaillant individuellement.

MOTS CLÉS : Autorégulation, utilisabilité, utilité, autonomie, approche par compétences.

ABSTRACT : In this article, we present the evaluation and analysis of the use of the COMPER service, which includes a competency profile (COM) and personalized resources (PER), carried out with 181 students of a First-Year Diploma of Computer Science between 2020 and 2021. The results show that despite a limited use, the service is globally considered useful, especially for the profiles of students working individually.

KEYWORDS : Self-regulation, usability, utility, autonomous, competency-based approach.

1. Introduction

Étudier à l’université demande entre autres, de la part des étudiants, de disposer de certaines compétences en termes d’organisation et de réalisation du travail. Or, la plupart des étudiants entrant à l’université ne sont pas formés à la mise en œuvre des méthodes qui permettent de développer ces compétences ou de mettre en œuvre des stratégies pour remédier au manque de compétences. En effet, une étude sur les habitudes de futurs étudiants (Panadero et al., 2020) montre que la stratégie d’apprentissage la plus courante (70,7% de l'échantillon de lycéens interrogés) est l'organisation et la transformation de contenu pédagogique par la création de résumés ou de cartes conceptuelles. Les stratégies de recherche d'information (6,7%), de définition d'objectifs et planification (4%), ou de demande d'aide aux enseignants (4%) sont marginales. Seul un participant a déclaré demander l'aide de ses pairs. D’autres stratégies (autoévaluation, suivi, structuration de l'environnement) sont inexistantes. Il est donc nécessaire de fournir aux apprenants des formes de soutien à l’autonomie dans leurs apprentissages. Ce problème est encore plus critique si l’on considère qu’avec la crise sanitaire liée à la pandémie de Covid-19 en 2020, les étudiants ont dû réaliser la majorité de leurs activités d’apprentissage à distance.

Différents moyens ont été utilisés pour remédier à ce problème, dont ceux visant à aider les étudiants à s’autoréguler (Zimmerman, 1989) et les approches par compétences (APC). L’autorégulation consiste, pour l’apprenant, à activer et maintenir des techniques et ressources (cognitives, matérielles et humaines) en fonction de ses propres objectifs (Schunk, 1994). L’approche par compétences suppose, quant à elle, de disposer, pour un domaine d’apprentissage particulier, d’une description de compétences sous la forme d’un référentiel susceptible de renforcer l’autorégulation en donnant à voir à l’apprenant la représentation de ce référentiel décrivant les compétences visées (Guin et Lefevre, 2017).

Notre objectif consiste à évaluer l’utilisabilité et la pertinence de combiner deux outils, utilisables en présence ou à distance, et conçus pour soutenir les stratégies d’autorégulation des étudiants en s’appuyant sur l’APC : l’accès à des exercices pour le renforcement des compétences et une visualisation du profil des compétences développées. Nous situons ces outils par rapport aux autres formes d’accompagnement du travail en autonomie dans les sections 2 et 3. Pour répondre à notre objectif, nous avons observé l’utilisation et les avis de 181 étudiants de DUT 1ère année engagés dans une activité d’apprentissage de la programmation « Shell » et disposant de ces outils. Les caractéristiques de notre étude sont présentées dans la section 4. Nous avons ensuite croisé l’utilisation et les avis des étudiants sur les outils avec des profils d’apprentissage autorégulé, ces résultats sont présentés en section 5 et discutés en section 6.

2. Accompagner le travail en autonomie à l’université

La modalité de travail « en autonomie » désigne les périodes de travail durant lequel l’apprenant prend en charge lui-même ses activités d’apprentissage Alors que se développe le recours aux environnements en ligne dans les parcours de formation hybrides (Charlier et al., 2006), la part de travail en autonomie augmente pour l’apprenant. Dans ce cadre, les capacités de l’apprenant sont mobilisées pour identifier, organiser, planifier des buts d’apprentissage et évaluer les gains d’apprentissage (Cappellini et al., 2017). Ces capacités d'autorégulation ont de ce fait été identifiées comme un facteur de performance de l’apprenant (Wong et al., 2019). La méta-analyse de Richardson et al. (Richardson et al., 2012) révèle ainsi que la mise en œuvre de stratégies de régulation de l’effort, de gestion de temps et de recherche de concentration contribuent de façon significative à la réussite de l’apprenant. L’autoévaluation, la prise en compte des ressources de formation, la recherche d’aide ou encore la définition d’objectifs figurent parmi les autres stratégies jugées efficaces (Panadero, 2017). De cette manière, lorsque ces stratégies sont maîtrisées, l’apprenant se place dans un état autorégulé en contrôlant et modifiant de manière efficace ses conduites pour atteindre des buts fixés (Pintrich, 2000). Ce faisant, l’apprenant ne se borne plus à répondre aux stimuli de l’environnement mis à sa disposition, mais l'organise.

Pour autant, seuls les apprenants les plus âgés ou les plus acculturés au format universitaire disposent des compétences métacognitives permettant de mettre en œuvre ces processus d’autorégulation de l’apprentissage (Kizilcec et al., 2017). En outre, en comparant les stratégies autorégulatrices d’apprenants en fonction de leur contexte de formation, Broadbent (Broadbent, 2017) suggère que ceux qui ont accès à un environnement d’apprentissage en ligne mobilisent plus de stratégies autorégulatrices que ceux n’en disposant pas. Le soutien au développement de telles stratégies représente dès lors, un enjeu dont plusieurs chercheurs et praticiens se sont emparés. Pour promouvoir le développement de l’apprentissage autorégulé, différents moyens peuvent être mobilisés.

2.1. Soutien des stratégies autorégulatrices

Les outils proposés pour mesurer et promouvoir l’apprentissage autorégulé ont évolué en trois vagues (Panadero, 2017). Les premiers sont fondés sur des données autorapportées fournies par les étudiants à partir de questionnaires, les deuxièmes sur les traces d’interaction des étudiants avec les plateformes d’apprentissage. Dans ces deux cas, l’exploitation des données contribuait à fournir à l’apprenant ou aux enseignants des vues globales utiles pour faire des diagnostics et adapter leurs comportements. La troisième vague d’outils exploite aussi les traces d’interaction et ajoute des fonctionnalités stimulant la construction des compétences d’autorégulation chez les apprenants (par exemple à travers le recours aux feedbacks pour les inciter à modifier leurs comportements). La troisième vague inclut des outils combinant des données observées (les traces) et autorapportées (issues de questionnaires), suivant la recommandation de Karabenick et Zusho (Karabenick et Zusho, 2015) selon laquelle les apprenants sont susceptibles d’employer des stratégies autorégulatrices sans en être conscients d’où l’intérêt de multiplier les moyens de les appréhender. Les fonctionnalités les plus répandues dans les outils actuels (2008-2018) correspondent à des outils des vagues 2 et 3 et comprennent des tableaux de bord alimentés à partir des Learning Analytics (LA), des agents intelligents et des feedbacks personnalisés proposés aux apprenants. Cependant, des études (Araka et al., 2020), (Panadero, 2017) ont pointé la nécessité d’aller plus loin dans l’exploitation des LA et le manque de modèles permettant la mise en œuvre des outils de type 3^e vague. Les mêmes études distinguent deux types de dispositifs visant à outiller les apprenants en termes d’autorégulation. Le premier type consiste à travailler spécifiquement le développement de l’autorégulation, en aidant les apprenants à les identifier et à les mobiliser. Le second s’inscrit dans une perspective constructiviste et considère que les stratégies autorégulatrices sont mobilisées dans le cadre d’une activité d’apprentissage autre.

Schumacher et Ifenthaler (Schumacher et Ifenthaler, 2018) ont analysé l’intérêt pour l’apprentissage autorégulé de fonctionnalités qui exploitent les traces d’interaction (outils des vagues 2 ou 3). Ils ont en parallèle évalué leur utilité et acceptabilité par les étudiants. La fonctionnalité jugée la plus utile correspond aux invitations à l’autoévaluation avec retour immédiat, qui peuvent soutenir les phases de réflexion et de performance. Cette fonction est en effet jugée nécessaire pour évaluer l’état de connaissance et planifier les étapes suivantes. Les deux fonctionnalités jugées ensuite les plus utiles sont les recommandations de thématiques ou de cours à étudier en fonction, par exemple, du contenu sur lequel l'apprenant a déjà travaillé. Quant aux fonctionnalités (toujours proposées à partir des traces) plutôt orientées vers la planification ou le suivi de l’activité, elles ne sont pas jugées utiles ou acceptables par les étudiants, qui sont en mesure de couvrir ces besoins par ailleurs. Ainsi, la méta-analyse de Theobald (Theobald, 2021) met en évidence l’écart entre les bonnes capacités à planifier et à se fixer des objectifs avant l’activité dont font globalement preuve les étudiants utilisant des outils qui promeuvent l’autorégulation (à partir de traces d’activité ou non) en regard de leurs capacités, moins développées, à mobiliser des stratégies ou ressources d’apprentissage pendant l’activité. Dans la même étude, Theobald recommande l’emploi d’approches personnalisées pour couvrir les besoins en termes d’autorégulation des étudiants et le recours aux retours immédiats (feedbacks) pour les aider à optimiser leurs tâches. Le fait de s’autoévaluer avec retour immédiat nécessite de disposer d’activités ou de fonctionnalités permettant à l’étudiant de se situer par rapport aux objectifs de la formation. Les exerciseurs sont un moyen de faire rapidement le diagnostic des compétences acquises, et l’affichage du profil de compétences est un moyen de se situer par rapport au référentiel de la formation.

2.2. Exerciseurs, visualisation de l’activité et autorégulation

Les générateurs d’exercices de type exerciseur visent deux fonctions principales : la mémorisation de performances (au sens behavioriste pour désigner des savoir-faire ou savoir-être) et le développement de compétences, à travers un apprentissage par essais et erreurs fondé sur la répétition (Lemercier et al., 2001). L’exerciseur conservant des traces de l’activité d’apprentissage et fournissant un feedback immédiat, il facilite la régulation chez l’apprenant et permet une réflexion explicite sur les compétences travaillées (Steffens, 2006). Depover et al. (Depover et al., 2007) considèrent l’exerciseur utile pour pratiquer et consolider des savoirs ou savoir-faire, ou tester un degré de maîtrise des savoirs (évaluation formative), ce qui en fait un outil complémentaire à une situation pédagogique existante. Cela suppose que l’enseignant identifie au préalable les notions de référence à travailler sur l’exerciseur. Sans cette condition, les auteurs signalent le risque pour les apprenants de ne pas faire le lien entre les notions de référence et les exercices proposés dans un contexte de travail en autonomie. Le recours à un outil de visualisation des traces d’activité peut alors faciliter la mise en activité en autonomie de l’apprenant.

La visualisation de l’activité de l’apprenant a notamment été étudiée à travers le concept d’Open Learning Model (OLM), qui désigne un modèle qui permet à l’apprenant de visualiser des informations le concernant (Bull et Kay, 2010). Cet outil d’awareness, qui prend la forme d’une représentation structurée de l’état de ses connaissances justes et erronées et de ses difficultés (Bull et Kay, 2010), est considéré comme venant en soutien à l’apprentissage (Bodily et al., 2018). Ainsi, la littérature sur la conception des OLM (Bull et Kay, 2009) identifie-t-elle plusieurs bénéfices pour l’apprenant avec un tel outil : l’OLM soutient les activités métacognitives, facilite la consultation et l’accès aux ressources qui lui sont liées et rend l’apprenant plus indépendant car plus responsable de son apprentissage. Pour Bull et Kay (Bull et Kay, 2010), l’un des principaux défis liés à la conception des OLM porte sur les choix d’interfaces contribuant à un environnement efficient et avec lequel les interactions sont facilitées.

D’un autre côté, les travaux sur le recours aux tableaux de bord démontrent leur efficacité, en particulier dans un contexte d’enseignement en ligne ou hybride (Kizilcec et al., 2017). La visualisation des objectifs permise dans les tableaux de bord fournit en effet aux apprenants des normes par rapport auxquelles se positionner (Sedrakyan et al., 2019). Cependant cette stratégie présente des limites en termes d’efficacité. En effet, le recours à une telle stratégie doit se faire conjointement à l’utilisation d’évaluations pour que les apprenants puissent vérifier l’atteinte des objectifs. De plus, Gasevic et al. (Gasevic et al., 2015) soulignent l’effet potentiellement négatif sur la motivation des apprenants de leur fournir des moyens de comparer leur propre réussite à celles de leurs camarades. De leur côté, Sedrakyan et al. (Sedrakyan et al., 2020) suggèrent qu’il faut compléter les approches statistiques, actuellement largement appliquées, par des approches qui intègrent le niveau de préparation et les dépendances entre les objectifs et sous-objectifs d'apprentissage. Ce type de formalisation est en particulier décrit dans les démarches d’APC et, dans un contexte de soutien à l’autorégulation, trois grandes catégories de visualisation, appelées profils (Sedrakyan et al., 2019), peuvent être proposées aux apprenants en exploitant cette déclinaison : les profils de planification, de suivi et d’adaptation. Pour Sedrakyan et al. (Sedrakyan et al, 2019), les profils de planification restituent les prérequis nécessaires pour chaque objectif d’apprentissage (sélection d’un plan d’action, du temps alloué, des ressources nécessaires). Les profils de suivi et d’adaptation doivent proposer des vues d’ensemble, respectivement sur les progrès des apprenants en fonction de leurs objectifs d’apprentissage ou sur les efforts déployés pour atteindre ces objectifs (temps passé, ressources consultées, etc.). Alors que les profils de planification incluent, pour les auteurs, des représentations séquentielles multidimensionnelles, les deux autres types de profils s’appuient principalement sur des histogrammes et des courbes, pour faciliter la mise en œuvre et l’interprétation des visualisations. Vieira et al. (Vieira et al., 2018) considèrent en effet que ces graphiques sont plus simples d’accès que des représentations multidimensionnelles qui contribuent à favoriser le développement de compétences métacognitives.

Pour résumer, le travail en autonomie peut s’appuyer sur un environnement en ligne, susceptible de permettre le développement de stratégies autorégulatrices, à condition d’outiller les apprenants sur cet aspect. Pour cela, la littérature existante recommande de s’appuyer sur des données de nature double (issues de l’observation et de l’auto-déclaration), compte-tenu des difficultés rencontrées par les apprenants à s’emparer de ces stratégies. Les moyens pour soutenir l’autorégulation peuvent être dédiés spécifiquement au développement des compétences qui lui sont associées ou se faire à la faveur d’une activité d’apprentissage préexistante. Ces différents moyens d’outiller les trois phases du cycle de l’apprentissage autorégulé, planification, action et autoréflexion, (Zimmerman, 1989) ont auparavant pu être jugés de façon plus ou moins favorable par les apprenants, qui ne les investissent pas tous de la même manière. C’est le cas notamment des fonctionnalités outillant les phases d’action et d’autoréflexion. Les principales raisons expliquant ce faible investissement sont liées, pour les auteurs, aux difficultés plus larges des apprenants à mobiliser des stratégies sur ces phases. Pour autant, les travaux sur l’utilisation d’exerciseurs et la visualisation à travers les modèles ouverts d’apprentissage et les tableaux de bord encouragent à explorer ces pistes, à condition d’apporter une vigilance particulière sur la manière dont ils sont mobilisés pour répondre aux besoins de tous les apprenants.

3. Soutenir l’autorégulation dans un cours d’initiation à la programmation Shell

Dans l’objectif de soutenir l’autorégulation dans un cours proposé à des étudiants de 1ère année de DUT, plusieurs outils ont été mobilisés dans ce projet : un référentiel de compétences, un outil de génération d’exercices (ASKER) (Lefevre et al., 2015) et un outil de visualisation des profils de compétences des étudiants (module OLM) . Ils permettent de couvrir les trois étapes du cycle d’autorégulation, correspondent aux préférences des apprenants (Schumacher et Ifenthaler, 2018) et respectent les recommandations de conception identifiées précédemment (Sedrakyan et al., 2020).

3.1. Les outils observés

Un référentiel de compétences « Programmer en langage Shell », représentant des savoirs et savoir-faire à mobiliser en fonction de compétences cibles, a été conçu à partir d’un métamodèle produit dans le cadre du projet COMPER. Ce référentiel permet, de plus, de décrire les ressources pédagogiques qui peuvent être exploitées pour travailler les compétences (comme des cours mis à disposition en ligne ou des exercices de la plateforme ASKER). Il permet enfin de fournir une structuration des données du profil de compétences qui sera affiché par le module OLM.

La plateforme ASKER (Lefevre et al., 2015) a été mise en œuvre pour proposer des exercices complémentaires au cours, afin d’apprendre en autonomie. Cette plateforme permet en effet à un enseignant de créer et diffuser des exercices d’autoévaluation pour ses apprenants. La réponse de l’apprenant est automatiquement et instantanément évaluée par le système. L’apprenant reçoit ainsi un retour d’information immédiat lui permettant de s’autoévaluer. Au préalable, l’enseignant définit sur ASKER un modèle d’exercices pour en préciser les caractéristiques. Lorsque l’apprenant se connecte à la plateforme, il a la possibilité de générer un ou plusieurs exercices en fonction du modèle défini par l’enseignant et travaille donc sur des données variées autour d’une même tâche. Dans le cadre du projet COMPER, les exercices proposés par ASKER ont été reliés aux savoirs et savoir-faire décrits dans le référentiel. Ils permettent ainsi à l’étudiant de s’entraîner plusieurs fois sur la même compétence.

Le module OLM permet quant à lui de présenter aux apprenants des profils de compétence sous la forme d’indicateurs décrivant à la fois les objectifs de la formation et les niveaux de maîtrise des savoirs, savoir-faire et compétences associés. Les indicateurs présentés dans le module correspondent donc, pour partie, à des profils de planification (par l’indication des objectifs) et de suivi et d’adaptation (par l’indication des compétences acquises). Les indicateurs du module OLM présentent 4 types d’information :

- Les taux de maîtrise sont calculés à partir des résultats aux exercices demandés par l’enseignant ou réalisés de manière autonome via l’exerciseur. Dans le premier cas l’enseignant fait l’évaluation directement, dans le second l’exerciseur la fait en fonction des traces d’activité de l’apprenant. Chaque exercice étant rattaché à un ou des éléments du référentiel, ce résultat permet de calculer un taux de maîtrise pour les éléments concernés du référentiel. Des taux de maîtrise sont également calculés pour les éléments de haut niveau dans le référentiel, comme les compétences, à partir des taux de maîtrise des éléments les composant.

- Les taux de confiance permettent d’estimer la fiabilité des taux de maîtrise calculés, en fonction du nombre d’évaluations et de l’ancienneté de ces évaluations.

- Les taux de couverture représentent la complétude des compétences à construire pour atteindre l’objectif.

Sur la base des études sur les différentes manières de présenter aux apprenants le modèle que le système s’est construit de leurs connaissances (Bull et al., 2018), (Vieira et al., 2018), quatre profils ont été imaginés (figure 1). Ils se distinguent par la forme du visuel et par les modalités d’interaction.

Figure 1 • Visualisations des profils de compétences dans le module OLM du projet COMPER

Dans les quatre cas, le même code couleur représente le niveau de maîtrise approximatif. Les vues arborescentes présentent l’ensemble des informations sous forme de liste. Des flèches permettent de réduire ou de développer la liste pour favoriser les vues globales ou spécifiques. Les trois autres profils présentent globalement l’ensemble des objectifs et taux de maîtrise selon des visualisations graphiques différentes : les diagrammes de répartition ou de rayon de soleil favorisent plutôt une vue globale, les cercles empilés une exploration spécifique de chaque compétence. Dans les trois cas, il est possible de prendre connaissance des informations complémentaires sur le taux de maîtrise, confiance et couverture associés à une compétence en passant la souris dessus.

Ces outils permettent, par différents moyens, de soutenir les processus d’autorégulation. ASKER est utilisé depuis plusieurs années en formation universitaire, mais le module OLM et les 4 profils conçus n’ont jamais été testés en conditions écologiques. De manière à tester leur utilité et utilisabilité, ils ont été mis en œuvre dans le cadre d’une initiation à la programmation Shell de DUT 1^ère année, réalisée à distance à partir de novembre 2020.

3.2. Mise en œuvre des outils dans une formation à distance à la programmation

À l’IUT de Toulouse, l’initiation à la programmation Shell en première année est traditionnellement réalisée en présentiel en utilisant Lab4CE (Broisin et al., 2017), une plateforme web de télé-TPs qui dote les apprenants d’une infrastructure de machines et de réseaux virtuels adaptée aux besoins du TP. Du fait de la crise sanitaire, la formation de novembre 2020 a été réalisée à distance et les outils du projet COMPER ont été mobilisés pour accompagner les étudiants dans leur travail en autonomie, lors des 5 séances hebdomadaires de travaux pratiques (TP), suivies de 3 semaines de révision et d’un examen en présentiel. Avant le cours, l’enseignant a défini le référentiel de compétences, les travaux pratiques à réaliser dans Lab4CE et les exercices à réaliser dans ASKER.

Pendant les séances de TP, l’enseignant accompagnait à distance les étudiants sur la réalisation du TP, corrigé et évalué en fin de semaine. Cette évaluation permettait de mettre à jour les profils de compétences. Entre les séances, une liste de ressources triées en fonction des compétences à travailler et donnant accès aux supports de cours et à des exercices ASKER était proposée aux étudiants. Cette liste s’actualisait au cours du temps pour toujours afficher les ressources non travaillées par l’étudiant, qui pouvait ensuite filtrer les compétences qu’il jugeait prioritaires à travailler. L’accès à l’ensemble des outils était libre durant la phase d’entraînement (durant les TP) et la phase de révision.

3.3. Problématique

Outre le fait de vérifier la faisabilité de l’intégration des outils dans une formation existante, cette mise en œuvre dans le cadre du cours de programmation visait à répondre à différentes questions de recherche liées à l’évaluation de leur utilisabilité, autrement dit leur adéquation en termes de facilité d’utilisation, et de leur utilité, soit leur adéquation en termes de fonctionnalités offertes aux utilisateurs (Senach, 1990).

Question de recherche 1 (QR1) : est-ce que les outils sont utilisables par des étudiants de 1ère année de cursus universitaire guidés ponctuellement, mais travaillant globalement en autonomie ? Plus spécifiquement, est ce que les visualisations proposées dans le profil de compétences sont faciles à comprendre et à exploiter par les étudiants ?

Question de recherche 2 (QR2) : quelle est l’utilité de cet accompagnement en termes d’autorégulation ? Plus spécifiquement, (QR2.1) est-il utile tout au long du cours ou juste pendant une phase donnée ? (QR2.2) Est-il utile à tous les étudiants ou bien uniquement à certains profils d’apprenants autorégulés spécifiques ? (QR2.3) Est-il utile pour construire des compétences d’autorégulation ?

4. Étude

4.1. Participants et tâche

Cent-quatre-vingt-un participants ont été sollicités pour réaliser cette expérimentation. Tous sont des étudiants inscrits en première année d’une formation universitaire technologique (DUT), âgés de 17 à 19 ans, majoritairement de sexe masculin (87% hommes pour 13% femmes). Les étudiants ont suivi la formation telle qu’elle a été décrite précédemment en travaillant seuls et à distance, de manière synchrone et asynchrone selon les étapes de la formation. Lors des deux premières semaines du cours, et pour qu’ils se familiarisent avec le profil de compétence, les étudiants n’ont eu accès qu’à une forme de visualisation. Ils ont pour cela été répartis en quatre groupes de 45 à 46 étudiants dont la diversité des performances académiques (calculées sur la base d’une épreuve préalable) est équivalente. Les sept semaines suivantes, les étudiants ont eu accès aux quatre visualisations disponibles.

4.2. Données collectées et méthodes employées

Pour identifier les principales stratégies autorégulatrices mobilisées et les éventuels changements de comportements chez les étudiants, le test EAREL (Échelle d’Apprentissage Autorégulé En Ligne) (Cosnefroy et al., 2020) a été mobilisé. Un premier questionnaire, administré en ligne, a donc été proposé sous la forme d’une échelle d’accord à 7 niveaux comprenant 24 items répartis en 4 sous-échelles : le contrôle du contexte d’apprentissage (CTXT), la recherche du soutien des pairs (PAIRS), la procrastination (PROC) et les stratégies cognitives et métacognitives mobilisées pour l’apprentissage (COGN). Ce test EAREL a également été proposé en fin d’expérimentation. Il était complété par un questionnaire sur l’environnement qui incluait des questions sur l’utilité et l’utilisabilité perçue des services, sous la forme de questions fermées et ouvertes. Le test du System Usability Scale (SUS) (Brooke, 1996) a été mobilisé pour mesurer spécifiquement l’utilisabilité du module OLM et procéder aux ajustements de reconception nécessaires. D’autres tests auraient pu être utilisés pour mesurer l’expérience utilisateur, dont l’utilisabilité est une composante. Nous avons fait le choix d’utiliser le SUS car l’objectif était de tester différents aspects actionnables et interprétables de l’OLM et d’estimer les efforts de reconception éventuels plus que l’expérience globale qu’il procure. Le SUS permet d’évaluer l’utilisabilité d’un dispositif selon un score normalisé entre 0 et 100 en utilisant 10 items et une échelle d’accord à 5 niveaux. L’utilisabilité d’un système est considérée comme défaillante si le score est inférieur à 50. De 50 à 70, elle est correcte, mais nécessite d’améliorer des défauts d’utilisabilité, entre 71 et 85 elle est bonne et au-delà de 85, elle est excellente.

Pour compléter les données autorapportées collectées à travers les questionnaires en début et fin d’expérimentation, les traces numériques des activités sur ASKER et le profil de compétences ont été traitées pour décrire le travail en autonomie, conformément à la recommandation de Karabenick et Zusho (Karabenick et Zusho, 2015). Les traces issues d’ASKER renseignent sur la nature des exercices réalisés et sur la nature des actions faites par les usagers. Chaque ligne correspond à une action de l’étudiant liée à la génération d’un exercice (nouvelle tentative) ou à la complétion d’un exercice (une réponse). Les traces correspondant à l’utilisation du profil de compétences renseignent sur l’accès aux visualisations des compétences par les usagers. Chaque ligne correspond à une action de l’étudiant liée à la visualisation par l’un des profils d’une compétence.

Nous avons traité les données collectées par voie de questionnaire selon des techniques de statistiques descriptives et multivariées (une analyse en composantes principales et une partition par K-Means) à l’aide des logiciels Excel et XLStat. Nous avons également comptabilisé les traces des étudiants en fonction de deux mesures principales (tableau 1) : l’intensité dans l’utilisation des services COMPER et la finalité de cette utilisation. L’intensité (faible, modérée, intense) a été déterminée pour chaque étudiant en fonction du nombre d’utilisations enregistrées d’ASKER et du module OLM par rapport à l’utilisation moyenne observée (faible pour une utilisation inférieure à la moyenne, modérée pour une utilisation comparable à la moyenne, intense pour une utilisation supérieure à la moyenne). La finalité (entraînement, révision ou indifférenciée) a été fixée selon que l’étudiant utilise plutôt les services pendant la première période de l’expérimentation (entraînement), la seconde (révision) ou de façon non distincte (indifférenciée).

Tableau 1 • Indicateurs retenus pour l’analyse des traces d’activité des services COMPER (ASKER et module OLM)

Indicateurs	Description
ASKER_utilisation	Nombre total d’enregistrements pour l’utilisation d’ASKER
ASKER_intensité_utilisation	Nombre d’enregistrements pour l’utilisation d’ASKER par étudiant
ASKER_période_utilisation	Nombre total d’enregistrements pour l’utilisation d’ASKER par jour
ASKER_finalité_utilisation	Nombre total d’enregistrements pour l’utilisation d’ASKER par jour et par étudiant
OLM_utilisation	Nombre total d’enregistrements pour l’utilisation du module OLM
OLM_intensité_utilisation	Nombre d’enregistrements pour l’utilisation du module OLM par étudiant
OLM_période_utilisation	Nombre total d’enregistrements pour l’utilisation du module OLM par jour
OLM_finalité_utilisation	Nombre total d’enregistrements pour l’utilisation du module OLM par jour et par étudiant

Des entretiens semi-directifs d’approfondissement ont ensuite été réalisés sur un échantillon de 5 participants pour illustrer et expliquer les stratégies observées selon les habitudes de travail des participants et recueillir leur avis sur de nouvelles propositions de maquettes. Les entretiens se sont déroulés entre fin mars et début avril 2021 à distance (via Google Meet). Dans la première partie de l’entretien, les questions portaient sur le parcours académique du participant et ses habitudes de travail en autonomie. La seconde partie consistait à approfondir les réponses des étudiants sur l’utilité, l’utilisabilité, la clarté, l’intention d’usage et à recueillir leurs avis sur les nouvelles propositions de maquettes ou d’autres évolutions souhaitées. Les transcriptions verbatim des entretiens sont utilisées à titre illustratif dans la suite de l’article. Les retours sur les maquettes ne peuvent être considérés comme des expérimentations, ils ne seront donc pas présentés dans les résultats. Néanmoins, ils apportent des éclairages intéressants pour la poursuite du projet. Ils seront présentés en perspective.

5. Résultats

5.1. Capacité des étudiants à mettre en œuvre des stratégies autorégulatrices

Les profils d’autorégulation des étudiants ayant participé à l’expérimentation (tableau 2) sont caractérisés, au début de l’expérimentation, par de bonnes capacités à organiser leur contexte de travail (m_CTXT = 4,84). Ils communiquent avec leurs pairs (m_PAIRS = 4,13), mais ont une propension à la procrastination (m_PROC = 4,07) et indiquent utiliser peu de stratégies de travail (m_STRAT = 3,24). Les écarts-types et les coefficients de variation sont élevés, il y a donc une forte disparité dans la population. Par ailleurs, on n’observe que peu d’écarts entre les valeurs recueillies avant et après l’expérimentation : au test EAREL2, la maîtrise du contexte reste la dimension la plus élevée (m_CTXT = 4,72) et les étudiants indiquent rechercher le soutien de leurs pairs (m_PAIRS = 3,84) et utiliser peu de stratégies de travail (m_STRAT = 3,20). Le score moyen relatif à la dimension de la procrastination est plus élevé entre le début et la fin de l’expérimentation, mais la différence entre le nombre de répondants aux tests EAREL1 (n = 94) et EAREL2 (n = 59) et le faible effectif de répondants aux deux échelles (n = 48) ne permet pas de procéder à des tests statistiques signifiants.

Tableau 2 • Score moyen (m), écart-type (σ) et coefficient de variation (CV) aux dimensions EAREL en début (EAREL1) et fin d’expérimentation (EAREL2)

	EAREL 1 (n=94)			EAREL2 (n=59)
Stratégies autorégulatrices	m	σ	CV	M	σ	CV
Contrôle du Contexte (CTXT)	4,84	1,00	21%	4,72	0,97	21%
Soutien des pairs (PAIRS)	4,13	1,56	38%	3,84	1,34	35%
Procrastination (PROC)	4,07	1,40	34%	4,40	1,45	33%
Stratégies (méta-) cognitives (STRAT)	3,24	1,33	41%	3,20	1,37	43%

De manière à mieux comprendre la variété des profils SRL, nous avons procédé à une analyse par composante principale (ACP) et à une partition par K-means sur le logiciel XLSTAT. L’ACP réalisée montre que les variables caractérisant les profils sont : le fait de procrastiner et de mettre en œuvre des stratégies de travail (inversement proportionnels sur l’axe 1 de la figure 2), et de communiquer avec ses pairs (axe 2). Les comportements de contrôle du contexte ne sont pas discriminants. En complément, la méthode des K-means a permis d’identifier 4 groupes d’apprenants, structurés selon leur niveau de mise en œuvre des stratégies autorégulatrices.

- Les « décrocheurs » (classe 1 en bleu, n = 29) n'utilisent pas de stratégie, procrastinent et communiquent peu avec leurs pairs.

- Les « suiveurs » (classe 2 en jaune, n = 28) utilisent quelques stratégies, mais ont tendance à procrastiner et à se resituer en communiquant avec leurs pairs.

- Les « appliqués solitaires » (classe 3 en vert, n = 26) utilisent des stratégies, ne procrastinent pas et ne communiquent pas avec leurs pairs.

- Les « efficaces » (classe 4 en orange, n = 22) utilisent des stratégies, ne procrastinent pas, et communiquent avec leurs pairs.

La figure 2 montre la répartition des étudiants selon les groupes K-means et dans le plan vectoriel composé des axes 1 et 2 de l’ACP.

Figure 2 • Distribution des apprenants par classe selon le niveau de procrastination, d’utilisation de stratégies et de demande de soutien des pairs

Sur la base des informations collectées au cours des entretiens semi-directifs, Gaspard et Alexis ont en commun d’avoir commencé leur parcours universitaire avant les autres, ils ont tous les deux commencé une autre formation (un autre DUT pour Gaspard, une licence pour Alexis) et ont choisi de se réorienter ensuite vers le DUT préparé actuellement. Lenaïc, Dorian et Maël ont découvert l’IUT à la rentrée 2020. Alexis, Lenaïc et Gaspard suivent la formation en vue d’un métier précis (développeur web ou testeur pare-feu) alors que les deux autres étudiants interrogés envisagent une poursuite d’études. D’après leurs résultats au test EAREL, Alexis et Lenaïc mobilisent le même type de stratégies autorégulatrices. Ils font partie, selon la classification obtenue par ACP de la classe 1, des « décrocheurs ». Gaspard mobilise plutôt les stratégies propres à la classe 2 (« suiveurs »), Dorian celles à la classe 3 (« appliqués solitaires ») et Maël, celles à la classe 4 (« efficaces »).

Au niveau de leurs habitudes de travail, Alexis et Lenaïc (classe 1 – « décrocheurs ») mentionnent dans leur discours peu de stratégies autorégulatrices. Alexis explique se mettre dans sa « bulle » et se mettre au travail, sans vraiment prioriser de tâches, excepté si elles sont liées à une évaluation. De son côté, Lenaïc mentionne sa tendance à procrastiner et explique comment il trie le travail à faire selon ses objectifs professionnels futurs.

« Ce que j’essaie de faire c’est que je tente de refaire des exercices, c’est clairement du séquentiel, je prends les exercices et je fais le 1, le 2, le 3, si j’ai su tout faire du premier coup je garde tout en archive, je vois là où j’ai buté là où j’ai pas buté, là où j’ai su faire ou pas faire et je peux reprendre où je me suis arrêté » - Alexis

« Je suis un peu fainéant et j’aime bien procrastiner, donc je fais les devoirs en fonction de si j’en ai vraiment besoin ou pas pour le futur » - Lenaïc

Alexis et Lenaïc travaillent parfois avec d’autres camarades. Pour Alexis, cette modalité est jugée motivante, pour Lenaïc elle est rassurante.

« Généralement, je travaille pas tout seul pour qu’on s’entraide et pouvoir expliquer aux autres, débattre les résultats » – Alexis

« Si vraiment je suis à la ramasse, il se peut que je demande à un [étudiant de] 2ème année ou voir avec les personnes de ma classe, en fonction de si j’ai déjà travaillé avec eux » – Lenaïc

Gaspard (classe 2 – « suiveurs ») semble mobiliser plus de stratégies que ses camarades Alexis et Lenaïc (classe 1 – « décrocheurs »). Ainsi, il a mis en place un rythme de travail régulier la semaine.

« J’essaie de revoir les cours que j’ai le lendemain la veille au soir pour me rafraîchir la mémoire et comme ça si j’ai des questions en cours je peux les poser et je sais de quoi on parle » – Gaspard

« Je travaille beaucoup avec mon groupe d’amis, on s’entraide vachement, pour réviser ou en classe vu qu’on a un prof pour deux salles en cours donc quand le prof est pas là on n’hésite pas à s’entraider, c’est utile et ça fait gagner du temps » – Gaspard

Dorian (classe 3 – « appliqués solitaires ») est l’étudiant interrogé qui paraît le plus maîtriser l’organisation de son travail en autonomie. Il s’aménage dans sa semaine des phases de travail et d’autres destinées à ses loisirs.

« J’essaie de faire le plus de travail possible pendant la semaine ou en journée quand j’ai le temps pour bien discerner le travail du loisir » – Dorian

À la différence des autres, Dorian (classe 3 – « appliqués solitaires ») travaille prioritairement seul lorsqu’il comprend le contenu. C’est uniquement lorsqu’il a des difficultés qu’il va chercher le soutien des pairs, en identifiant, à l’instar de Lenaïc (classe 1 – « décrocheurs »), quelles sont les personnes ressources à solliciter.

« Si je comprends bien la matière je travaille seul, si j’ai pas bien compris je vais travailler en groupe, généralement avec ceux avec qui je m’entends bien [...] » – Dorian

Maël (classe 4 – « efficaces ») se présente comme ayant une tendance à la dispersion, qu’il tente de maîtriser en restant le plus concentré possible pendant les cours.

Comme Dorian (classe 3 – « appliqués solitaires »), Maël optimise ses phases de travail en autonomie et se centre sur les contenus non maîtrisés.

« Quand je travaille chez moi je ne reprends pas ce que j’ai compris, c’est vraiment la nécessité de comprendre, si j’ai le déclic ça va aller » – Maël

Comme Alexis, Lenaïc et Gaspard, Maël a pour habitude de chercher le soutien de ses pairs lorsqu’il travaille, pour l’aider et aussi pour le lien social.

« Généralement on est tous sur Discord à côté du Teams du cours... pas que pour travailler, mais aussi pour travailler » – Maël

Aucun des étudiants interrogés n’a indiqué faire de la planification temporelle, généralement, lorsqu’ils planifient, ils procèdent plutôt à une priorisation du travail.

Ces stratégies décrites par les étudiants interrogés au cours des entretiens contribuent à préciser les caractéristiques des 4 classes identifiées. Ainsi, la classe1 – « décrocheurs » met en œuvre des stratégies en fonction de facteurs de motivation externe (typiquement, l’approche d’un examen). Le travail en autonomie est plus régulier et s’appuie sur plus de stratégies pour la classe 2 – « suiveurs » pour qui l’entraide entre pairs est primordiale. Les classes 3 – « appliqués solitaires » et classe 4 « efficaces » mobilisent plus de stratégies et les priorisent en fonction de leurs objectifs. De cette manière, si le travail entre pairs est moins présent chez les étudiants de la classe 3, il est dû à l’efficacité jugée plus haute du travail individuel.

5.2. Utilisation des outils proposés

5.2.1. Analyse de l’utilisation d’ASKER

L’analyse des traces d’activité (figure 3a) montre que 54% (98/181) des étudiants ont utilisé ASKER au moins une fois au cours de l’expérimentation, 83 ne s’y sont pas du tout connectés. Les étudiants qui l’ont utilisé et ont répondu au second questionnaire (73/181) ont jugé l’exerciseur utile (61/73) et facile à utiliser (49/73) (figure 4a). La principale raison évoquée par les étudiants pour cette non-utilisation est un manque de temps. Les principaux utilisateurs d’ASKER sont ceux qui communiquent le moins avec leurs pairs (utilisation modérée à intense pour 21 des 29 « décrocheurs » et 20 des 26 « appliqués »). Les étudiants ont utilisé ASKER à la fois dans les phases d’entraînement (pendant les TP) et en phase de révision (entre la fin des TP et l’examen) (figure 5a). Des pics d’utilisation sont observés les jours correspondants aux séances de TP et une nouvelle dynamique se met en place à la fin des TP, pendant la période de révision avant l’examen final. Cette utilisation est motivée par la volonté, pour les étudiants, à la fois de se positionner dans leur parcours d’apprentissage (vérifier s’ils ont compris, savoir où ils en sont) et de cibler et travailler des compétences spécifiques.

5.2.2. Analyse de l’utilisation du module OLM

L’analyse des traces d’activité montre qu’une plus faible part d’étudiants (44%, 73/181) a utilisé le module OLM (figure 3b). En fonction des réponses au second questionnaire, l’outil de visualisation est en effet jugé non utile (33/72) et difficile à utiliser (32/64) (figure 4b). De plus, les étudiants ont indiqué préférer se fier à d’autres ressources, comme les retours directs de l’enseignant, pour évaluer leur progression. Quand il a été utilisé, c’était faiblement, pour 31% des étudiants (figure 3b). Certains ne s’y sont connectés qu’une à cinq fois, les jours du TP, et seuls 10 d’entre eux l’ont utilisé lors des TP et une fois les séances de TP terminées (figure 5b). Sachant que l’évaluation du TP de la semaine précédente effectuée par les enseignants était intégrée au profil de compétences, les étudiants ont utilisé l’outil pour voir leur progression globale sur le cours. Pour mieux comprendre ce qui a freiné l’utilisation de ce service, nous en avons fait une analyse approfondie.

Figure 5 • (a) Période d’utilisation d’ASKER et (b) du profil de compétences

5.3. Analyse des difficultés rencontrées avec le profil de compétences

5.3.1. Analyse de l’utilisabilité

Le score SUS obtenu pour le profil de compétences est de 59,5/100. Le profil de compétences peut donc être considéré comme ayant une utilisabilité correcte, mais limitée. Ces limites (figure 6) sont (i) la nécessité de recourir au support technique (note moyenne de 3,2/5) et (ii) des difficultés à utiliser le module (items « j’ai trouvé qu’il y a trop d’incohérences dans ce service », note moyenne de 3/5, et « je trouve ce service très lourd à utiliser », note moyenne de 3/5).

Figure 6 • Score moyen pour chaque item du SUS (1 = pas du tout d’accord, 5 = tout à fait d’accord)

Parmi les étudiants qui ont peu utilisé le module OLM, Dorian (classe 3 – « appliqués solitaires ») mentionne avoir apprécié l’affichage des compétences maîtrisées. Il indique l’avoir consulté par curiosité lors d’un cours et a estimé qu’il n’en avait pas besoin et n’a donc pas poursuivi son utilisation. Inversement, si la consultation du profil de compétences par Gaspard (classe 2 – « suiveurs ») reste limitée (3 connexions pendant l’expérimentation), il l’a jugé utile pour se situer et se rassurer dans son travail, sachant que s’il se fixe des créneaux de travail réguliers, qu’il ne se donne pas d’objectifs et qu’il peut avoir tendance à s’éparpiller.

« Le profil de compétences c’est bien pour savoir où on en est parce que moi je sais que je vais avoir tendance à refaire plusieurs fois les exercices juste histoire d’être sûr que je les comprends bien et le fait d’avoir un système qui te dit c’est bon tu maîtrises, arrête de passer du temps là-dessus ça me rassure » – Gaspard.

Alexis et Lenaïc (classe 1 – « décrocheurs ») ont eux aussi faiblement utilisé le module OLM pendant l’expérimentation. Pour Alexis, la principale raison est qu’il a du mal avec le principe même de rendre visibles les compétences. Pour Lenaïc, l’utilisation a été freinée par la découverte du dispositif ; il aurait souhaité être plus accompagné dans la prise en main des services pour les utiliser davantage.

« [Le profil de compétences est] bizarre, parce qu’il faut presque justifier ce qu’on maîtrise » – Alexis.

« On perdait du temps à lancer la plateforme [Asker], retrouver ses identifiants et se rappeler comment elle fonctionne [...] je pense que ces outils sont pratiques dès lors que les étudiants ont compris comment l’utiliser il faudrait une explication pendant le premier cours » – Lenaïc.

Les freins exprimés par les étudiants au cours des entretiens illustrent et complètent le score d’utilisabilité qu’ils ont attribué au module. Pour aller plus loin dans la compréhension des difficultés rencontrées, nous avons également pris en compte leurs traces d’activité sur le module OLM. Elles montrent toutefois que seule une minorité des traces concerne des erreurs techniques rencontrées par les étudiants, soit à l’affichage d’une compétence, soit au changement de visualisation. Le type de difficultés rencontrées concerne donc plutôt le type de visualisation (la forme) que des problèmes techniques.

5.3.2. Type de visualisation

D’après les traces d’activité, la présentation arborescente est la plus consultée par les étudiants : 46% des actions sur le profil sont avec cette vue. Quand les étudiants ont eu le choix entre les 4 vues (figure 1), la vue « rayon de soleil » a systématiquement été remplacée par une autre, principalement le diagramme de répartition (à 52%). Les avis exprimés dans le questionnaire le confirment et montrent que la vue préférée est l’arborescence (pour 37 des étudiants, voir figure 7). Pour eux, cette visualisation est facile à lire et à comprendre, elle permet de saisir rapidement les compétences présentées. Ils sont minoritaires (5 sur 47) à préférer la présentation du diagramme de répartition. Quand ils disent préférer les autres visualisations, c’est parce qu’il s’agit des premières auxquelles ils ont eu accès, lors de la première phase de l’expérimentation.

Figure 7 • Nombre de consultations du module OLM selon le type de visualisation (histogramme, en bleu) et préférences de consultation exprimées selon le rang attribué (courbe en orange)

6. Discussion

6.1. Utilisabilité et mise en œuvre des outils

Le premier objectif de l’étude était d’identifier l’utilisabilité des services proposés pour des étudiants de 1ère année (QR1). Dans l’ensemble, les outils du service COMPER sont jugés faciles à utiliser. Dans le détail, l’exerciseur ASKER a été jugé plus utilisable et a été plus utilisé que le module OLM. Le profil de compétences a obtenu un score d’utilisabilité moyen (59,49/100) qui témoigne des difficultés de compréhension rencontrées. Pourtant, son utilisation, qui n’a pas été totalement abandonnée, et la prédominance de la visualisation sous la forme d’une arborescence, jugée facile à lire et à comprendre, invitent à poursuivre son développement. Ce résultat rejoint la recommandation de Vieira et al. (Vieira et al., 2018) selon laquelle les graphiques les plus simples sont à privilégier dans la conception de tableaux de bord pour en faciliter l’accès et l’interprétation. Cependant les présentations globales et graphiques du profil (cercles, diagramme de répartition, rayon de soleil), sont plus en adéquation avec les caractéristiques de conception des tableaux de bord et sont des visualisations auxquelles les étudiants disent être habitués. Des études complémentaires doivent être menées pour répondre à la QR1.1 et comprendre si cette préférence est liée à la conception intrinsèque des visualisations, à une mauvaise connaissance des objectifs du cours ou à des différences entre étudiants.

Par ailleurs, les résultats confirment le lien entre utilisabilité perçue et utilité réelle des services : les étudiants qui ont évalué le plus favorablement les outils sont aussi ceux qui en ont eu l’utilisation la plus importante et la plus longue dans la durée. Un accompagnement plus explicite à la prise en main du dispositif dans sa globalité (c’est-à-dire intégrant les objectifs de la formation, Lab4CE, le module OLM et ASKER) est une piste intéressante à suivre pour limiter la perception de charge de travail supplémentaire exprimée par certains des étudiants.

6.2. Utilité des outils

Le second objectif de l’étude consistait à comprendre l’utilité de l’accompagnement proposé par COMPER en termes d’autorégulation (QR2). Trois dynamiques ont pu être observées dans l’utilisation du dispositif COMPER, en fonction de périodes d’utilisation distinctes (QR2.1) : la moitié des étudiants a utilisé les services pendant les TP, pour s’entraîner, un quart les a utilisés surtout en vue de l’examen final, pour réviser, et le dernier quart les a utilisés de façon indifférenciée. L’utilisation à des fins de révision va dans le sens d’une régulation de la charge de travail de l’étudiant, et du choix de faire les exercices de renforcement une fois les TP finis. Par ailleurs, si la principale raison motivant l’utilisation des services est d’y trouver une aide pour se repérer dans le parcours d’apprentissage, les résultats du questionnaire et de l’analyse des traces montrent que ce repérage ne s’est pas toujours fait de façon personnalisée. La plupart des étudiants a travaillé toutes les compétences abordées pendant les TP plutôt que de cibler celles proposées par les recommandations. De cette manière, malgré l’affichage de tâches recommandées défendu par Theobald (Theobald, 2021), les étudiants ont éprouvé des difficultés à optimiser leurs activités d’apprentissage. Les prochaines expérimentations prévues dans le cadre du projet COMPER ont donc pour objectif de répondre à ce besoin, en retravaillant les modes d’affichage et les temporalités des ressources personnalisées (par des feedbacks notamment, selon les préconisations de Karabenick et Zusho (Karabenick et Zusho, 2015) et Panadero (Panadero, 2017).

Le profil d’autorégulation des étudiants a joué un rôle important dans l’utilisation des services (QR2.2). Compte tenu des différences observées (tableau 3), on peut supposer que la mise à disposition d’exercices de renforcement vient principalement pallier le manque de stratégies qui caractérise les étudiants « décrocheurs ». La visualisation des compétences n’est pour l’instant pas exploitable par eux, ce qui confirme le constat de Matcha et al. (Matcha et al., 2019) ou de Kizilcec et al. (Kizilcec et al., 2017). Les étudiants « suiveurs » et « efficaces » se sont moins emparés des services COMPER. Les « efficaces », ayant déjà des stratégies autorégulatrices, jugent ces services comme peu utiles pour une aide complémentaire. L’utilisation des profils de compétences par les « suiveurs » en période d’entraînement laisse entendre qu’elle n’est liée qu’à l’intégration du service pendant les séances de TP. On observe pour ces deux classes une utilisation d’ASKER surtout en période de révision, l’approche de l’examen ayant pu représenter un facteur motivationnel externe. Enfin, la classe des « appliqués solitaires » se distingue par une utilisation majoritaire des services pendant la période d’entraînement et pas en phase de révision. Comme pour les « efficaces », ils ont mobilisé leurs propres stratégies autorégulatrices. La QR2.2 a donc partiellement été traitée au cours de cette étude, le dispositif COMPER semblant répondre aux besoins des étudiants isolés et qui ne mettent pas ou peu de stratégies autorégulatrices en œuvre. Ce résultat invite à poursuivre l’analyse pour éventuellement conduire à la production d’un modèle d’accompagnement à l’autorégulation se basant sur les LA, à l’instar des recommandations de Araka et al. (Araka et al., 2020) ou de Panadero (Panadero, 2017).

Tableau 3 • Principales caractéristiques de l’utilisation des services COMPER par les profils autorégulés

Le dernier élément traité concerne la manière dont les compétences d’autorégulation ont pu être construites par les étudiants en expérimentant le scénario pédagogique présenté (QR2.3). L’analyse des écarts entre les échelles EAREL1 et EAREL2 montre que 3 des 4 construits de l’échelle, le contrôle du contexte, du soutien des pairs et de la mobilisation de stratégies autorégulatrices, ont diminué, en moyenne, de -0,5. Les effets de la période de crise sanitaire n'ayant pas été mesurés dans cette étude, il est aussi possible que cette baisse observée aille de pair avec l’état général des étudiants. À l’inverse, la perception de leur procrastination a augmenté (+0,3), ce qui laisse surtout penser que les étudiants ont pris conscience de la manière dont ils travaillent et apprennent.

En outre, la période d’utilisation des outils étant courte (3 mois), elle représente une limite du travail présenté dans cet article et ne permet pas de juger de son utilité. D’ailleurs, d’autres limites ont pu être identifiées : cette expérimentation a été réalisée dans une situation écologique, avec des outils en cours de développement. Du point de vue de la conception, ce choix nous a permis d’identifier les pistes de reconception présentées plus haut (structuration des fonctionnalités, variation des niveaux d’accompagnement) dans une logique itérative. Cependant, le score d’utilisabilité relativement moyen du module OLM et son utilisation limitée partiellement expliquée par des erreurs techniques nous invitent à lire avec précaution les écarts entre les échelles EAREL1 et EAREL2.

6.3. Perspectives

Cette première version de l’OLM était centrée sur le suivi de la performance. La visualisation des objectifs rendait possible des actions de planification, mais sans fonctionnalité support (calendrier, to-do list, etc.) pour l’opérationnaliser. En revanche, aucune fonctionnalité ne permettait de faire le suivi de l’activité. Les maquettes présentées aux étudiants lors des entretiens semi-directifs visaient à tester l’intérêt d’offrir des fonctionnalités complémentaires, en particulier sur ces deux aspects, et d’identifier si, et comment, une forme d’adaptation de l’OLM par l’utilisateur pouvait être réalisée. Sur la base des propositions de Sedrakyan et al. (Sedrakyan et al., 2019) qui décomposent les profils selon les étapes du SRL et promeuvent l’intérêt des tableaux de bord, nous avons proposé des interfaces regroupant les fonctionnalités selon les objectifs SRL visés (fonctionnalité de suivi de la performance/activité/planification) en laissant à l’utilisateur la possibilité de choisir d’utiliser un ou plusieurs groupes de fonctionnalités à utiliser. Dans une seconde maquette, elles ont été combinées pour servir les trois objectifs, mais avec des formes d’interaction de plus en plus précises dans le suivi et donc de plus en plus complexes, toujours en laissant à l’utilisateur la possibilité de choisir le niveau de complexité adapté à ses besoins. L’objectif était ici d’accompagner la progression de l’apprenant dans la maîtrise des processus d’autorégulation par l’instrumentation. Les retours des cinq étudiants confirment l’intérêt de présenter les fonctionnalités de façon adaptable sans vraiment statuer sur la forme d’adaptation la plus pertinente. Un test plus complet de chaque fonctionnalité devra être fait pour potentiellement ne choisir qu’un niveau de complexité et une forme par fonctionnalité. Ensuite, nous devrons évaluer si la stratégie de présentation des fonctionnalités selon des vues structurées de type tableau de bord (comme nous l’avons fait dans les maquettes) est adaptée ou si une stratégie plus flexible sur la base de l’activation de widgets est meilleure.

La recommandation de ressource d’apprentissage était l’une des fonctionnalités présentées dans les maquettes. Avoir des recommandations de travail a en effet été identifié comme un des besoins majeurs des étudiants par Schumacher et Ifenthaler (Schumacher et Ifenthaler, 2018). Les retours des étudiants confirment cette observation. Cette fonctionnalité était en cours de développement au moment de l’expérimentation (Sablayrolles et al., 2022). Elle est maintenant opérationnelle et va pouvoir être testée dans la poursuite du projet.

7. Conclusion

Cet article décrit l’expérimentation, par des étudiants de DUT1 en Informatique, de services articulant approche par compétences et autorégulation et conçus pour accompagner le travail en autonomie : l’accès à des exercices de renforcement et à un profil de visualisation de compétences. L’expérimentation a montré que ces services étaient globalement utiles et utilisables, mais de manière différente en fonction des profils autorégulés des étudiants. Les services viennent principalement répondre aux besoins des étudiants qui ont peu développé de stratégies autorégulatrices. En fournissant à ces étudiants des outils pour planifier, contrôler et évaluer leurs apprentissages, ils ont su les mobiliser en phases d’entraînement et de révision. L’étude montre aussi que l’ensemble des services a moins été utilisé par les autres profils identifiés. L’exploitation des données issues des questionnaires et des traces d’activité des outils a permis de confirmer la pertinence de la démarche globale auprès d’étudiants en situation de travail en autonomie. En revanche, notre expérimentation ne nous a pas permis de confirmer que l’environnement testé contribue efficacement à la construction de compétences d’autorégulation.

À propos des auteurs

Laëtitia PIERROT est chercheure postdoctorante sur le projet ANR COMPER pour lequel elle conduit des études d’usages en s’appuyant sur des données mixtes. Elle a fait son doctorat dans l’unité de recherche Techné de l’université de Poitiers et s’intéresse à l’appropriation du numérique en contexte éducatif. Sa recherche doctorale en sciences de l’information et de la communication a porté particulièrement sur la circulation sociale des pratiques numériques juvéniles et ses contributions plus récentes traitent de l’intégration du numérique dans les pratiques enseignantes.

Adresse : Unité de recherche Techné – UFR Lettres et Langues, Bâtiment A3 – 1 rue Raymond Cantel TSA 11102 86073 Poitiers Cedex 9

Christine MICHEL est professeure en sciences de l'information et de la communication à l'Université de Poitiers et au laboratoire Techné. Ses recherches portent sur l’analyse des usages de technologies pour l’éducation et la formation et sur la conception de nouvelles formes d’activité ou de dispositifs basés sur l’autonomisation et l’autorégulation des acteurs (enseignants, apprenants) pour favoriser l’apprentissage.

Adresse : Unité de recherche Techné – UFR Lettres et Langues, Bâtiment A3 – 1 rue Raymond Cantel TSA 11102 86073 Poitiers Cedex 9

Julien BROISIN est enseignant-chercheur à l'Institut de Recherche en Informatique de Toulouse (IRIT) et responsable de l'équipe TALENT (Teaching and Learning Enhanced by Technologies). Ses recherches concernent l'utilisation des technologies pour améliorer les pratiques d'apprentissage et d'enseignement. Il s'intéresse en particulier à la conception et à l'évaluation de systèmes interactifs qui promeuvent l'apprentissage actif, c'est-à-dire qui tentent d'engager les apprenants dans la tâche d'apprentissage. L'analyse et l'exploitation de données d'apprentissage pour la personnalisation et l'adaptation des systèmes sont au cœur de ses préoccupations. L'apprentissage de l'informatique constitue son principal domaine d’application.

Adresse : Institut de Recherche en Informatique de Toulouse - Université Toulouse 3 Paul Sabatier, F-31062 Toulouse, France

Nathalie GUIN est maître de conférences en informatique à l'Université de Lyon. Elle est rattachée au LIRIS (Laboratoire d'InfoRmatique en Images et Systèmes d'information, UMR 5205) au sein de l'équipe TWEAK (Traces, Web, Education, Adaptation, Knowledge). Ses recherches portent sur l'élicitation des connaissances pour les EIAH. Ses thèmes d'intérêt actuels sont liés à la personnalisation des EIAH (analyse des traces d'activités, profils d'apprenants, génération d'activités adaptées), à l’approche par compétences et à l’auto-régulation des apprenants.

Adresse : Université de Lyon, CNRS - Université Lyon 1, LIRIS, UMR5205, F-69622, France

Marie LEFEVRE est enseignant-chercheur au LIRIS au sein de l'équipe TWEAK (Traces, Web, Education, Adaptation, Knowledge). Ses recherches se situent dans le domaine des Environnements Informatiques pour l’Apprentissage Humain (EIAH), avec une approche issue du domaine de l’Intelligence Artificielle, et plus particulièrement de l’Ingénierie des Connaissances. Ses recherches portent sur la personnalisation de l’apprentissage, sur l’acquisition et la modélisation des connaissances permettant d’assister les enseignants dans cette tâche de personnalisation et sur l’assistance aux utilisateurs (apprenants et enseignants) aÌ partir de l’expérience tracée aÌ travers une découverte dynamique des connaissances.

Adresse : Université de Lyon, CNRS - Université Lyon 1, LIRIS, UMR5205, F-69622, France

Rémi VENANT est enseignant-chercheur au LIUM au sein de l’équipe IEIAH (Ingénierie des Environnements Informatiques pour l’Apprentissage Humain). Ses travaux de recherche portent sur l’analyse des apprentissages (learning analytics), la fouille de données et la création de modèles prédictifs pour l'éducation, ainsi que sur la conception et l'évaluation d'environnements informatiques pour l'apprentissage pratique.

Adresse : LIUM, 52 rue des Docteurs Calmette et Guérin - BP2045 - 53020 LAVAL Cedex 09

REMERCIEMENTS

Cette expérimentation et la conception des outils ont été réalisées dans le cadre du projet ANR-18-CE38-0012.

RÉFÉRENCES

Araka, E., Maina, E., Gitonga, R. et Oboko, R. (2020). Research trends in measurement and intervention tools for self-regulated learning for e-learning environments—Systematic review (2008–2018). Research and Practice in Technology Enhanced Learning, 15(1), 6.

Bodily, R., Kay, J., Aleven, V., Jivet, I., Davis, D., Xhakaj, F. et Verbert, K. (2018). Open learner models and learning analytics dashboard : A systematic review. Dans Proceedings of the 8^th International Conference on Learning Analytics and Knowledge (LAK'18) (p. 41-50). ACM. Disponible sur internet.

Broadbent, J. (2017). Comparing online and blended learner’s self-regulated learning strategies and academic performance. The Internet and Higher Education, 33, 24-32. Disponible sur internet.

Broisin, J., Venant, R. et Vidal, P. (2017). Awareness and reflection in virtual and remote laboratories: The case of computer education. International Journal of Technology Enhanced Learning, 9(2-3).

Brooke, J. (1996). SUS: A quick and dirty usability scale. Dans P. W. Jordan, B. Thomas, B. A. Weerdmeester et I. L. McClelland (dir.), Usability Evaluation in Industry (p. 189-194). Taylor & Francis.

Bull, S., Brusilovsky, P. et Guerra, J. (2018). Which learning visualisations to offer students? Dans Lifelong Technology-Enhanced Learning (EC-TEL 2018) (p. 524-530). Springer. Disponible sur internet.

Bull, S. et Kay, J. (2009, avril). Categorisation and educational benefits of open learner models [communication]. AIED 2009, Brighton, UK.

Bull, S. et Kay, J. (2010). Open Learner Models. Dans R. Nkambou, J. Bourdeau, et R. Mizoguchi (dir.), Advances in Intelligent Tutoring Systems (p. 301-322). Springer. Disponible sur internet.

Cappellini, M., Lewis, T. et Mompean, A. R. (dir.) (2017). Learner autonomy and Web 2.0. Equinox. Disponible sur internet.

Charlier, B., Deschryver, N. et Peraya, D. (2006). Apprendre en présence et à distance. Une définition des dispositifs hybrides. Distances et savoirs, 4(4), 469-496.

Cosnefroy, L., Fenouillet, F. et Heutte, J. (2020). Construction et validation de l’Échelle d’autorégulation des apprentissages en ligne (EAREL). Canadian Journal of Behavioural Science / Revue canadienne des sciences du comportement, 52(3), 255-260.

Depover, C., Karsenti, T. et Komis, V. (2007). Les environnements et les logiciels conçus pour l’enseignement et l'apprentissage. Dans C. Depover, T. Karsenti et V. Komis (dir.), Enseigner avec les technologies : favoriser les apprentissages, développer des compétences (chap. 3, p. 85-130). Presses de l'Université du Québec

Gasevic, D., Dawson, S. et Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. TechTrends, 59, 64-71. Disponible sur internet.

Guin, N. et Lefevre, M. (2017, janvier). Une approche par compétences pour la formation toute au long de la vie [communication]. ORPHEE-RDV, Font-Romeu, France.

Karabenick, S. et Zusho, A. (2015). Examining approaches to research on self-regulated learning: Conceptual and methodological considerations. Metacognition and Learning, 10, 151–163. Disponible sur internet.

Kizilcec, R. F., Pérez-Sanagustín, M. et Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & Education, 104, 18-33.

Lefevre, M., Guin, N., Cablé, B. et Buffa, B. (2015, juin). ASKER : Un outil auteur pour la création d’exercices d’auto-évaluation [communication]. Atelier EAEI (Évaluation des Apprentissages et Environnements Informatiques) - Conférence EIAH'2015, Agadir, Maroc. Disponible sur internet.

Lemercier, C., Tricot, A., Chênerie, I., Marty Dessus, D., Morancho, F. et Sokoloff, J. (2001). Quels apprentissages sont-ils possibles avec des exerciseurs multimédia en classe ? Réflexions théoriques et compte rendu d’une expérience [Contribution au rapport du Programme de Numérisation de l’enseignement et de la Recherche. Usages éducatifs des exerciseurs].

Matcha, W., Ahmad Uzir, N., Gasevic, D. et Pardo, A. (2019). A systematic review of empirical studies on learning analytics dashboards: A self-regulated learning perspective. IEEE Transactions on Learning Technologies, 13(2), 226-245. Disponible sur internet.

Panadero, E. (2017). A review of self-regulated learning: Six models and four directions for research. Frontiers in Psychology, 8, 422.

Panadero, E., García-Pérez, D., Fernández-Ruiz, J. et Sánchez-Centeno, H. (2020). A transitional year level to higher education: Challenges, experiences and self-regulatory strategies during the final year of the university preparatory level. Estudios Sobre Educación, 39, 109-133. Disponible sur internet.

Pintrich, P. R. (2000). The role of goal orientation in self-regulated learning. Dans K.-D. Vohs et R.-F. Baumeister (dir.), Handbook of self regulation (p. 451-502). Academie Press.

Richardson, M., Abraham, C. et Bond, R. (2012). Psychological correlates of university students’ academic performance: A systematic review and meta-analysis. Psychological bulletin, 138(2), 353-387. Disponible sur internet.

Sablayrolles, L., Lefevre, M., Guin, N. et Broisin, J. (2022, juillet). Design and evaluation of a competency-based recommendation process [communication]. Intelligent Tutoring Systems, Bucarest, Roumanie. Disponible sur internet.

Schumacher, C. et Ifenthaler, D. (2018). Features students really expect from learning analytics. Computers in Human Behavior, 78, 397-407.

Schunk, D. (1994). Self-regulation of self-efficacy and attributions in academic settings. Dans D. Schunk et B. Zimmerman (dir.), Self-regulation of learning and performance: Issues and educational applications (p. 75-99). Lawrence Erlbaum.

Sedrakyan, G., Malmberg, J., Verbert, K., Järvelä, S. et Kirschner, P. A. (2020). Linking learning behavior analytics and learning science concepts: Designing a learning analytics dashboard for feedback to support learning regulation. Computers in Human Behavior, 107.

Sedrakyan, G., Mannens, E. et Verbert, K. (2019). Guiding the choice of learning dashboard visualizations: Linking dashboard design and data visualization concepts. Journal of Computer Languages, 50, 19-38.

Senach, B. (1990). Evaluation ergonomique des interfaces homme-machine : une revue de la littérature (Rapport de recherche RR-1180). INRIA. Disponible sur internet.

Steffens, K. (2006). Self-regulated learning in technology-enhanced learning environments: Lessons of a european peer review. European Journal of Education, 41(3-4), 353-379.

Theobald, M. (2021). Self-regulated learning training programs enhance university students’ academic performance, self-regulated learning strategies, and motivation: A meta-analysis. Contemporary Educational Psychology, 66. Disponible sur internet.

Vieira, C., Parsons, P. et Byrd, V. (2018). Visual learning analytics of educational data: A systematic literature review and research agenda. Computers & Education, 122, 119-135. Disponible sur internet.

Wong, J., Baars, M., Davis, D., Van Der Zee, T., Houben, G.-J. et Paas, F. (2019). Supporting self-regulated learning in online learning environments and MOOCs: A systematic review. International Journal of Human–Computer Interaction, 35(4-5), 356-373. Disponible sur internet.

Zimmerman, B. J. (1989). A social-cognitive view of self-regulated academic learning. Journal of Educational Psychology, 81(3), 329-339.