Volume 19, 2012
Article de recherche

Entre personnalisation et contraintes collectives : Une démarche centrée utilisateur pour la mise en place d’un livret numérique de Suivi Pédagogique

Giulia ORTOLEVA, Mireille BETRANCOURT, Stéphane MORAND (Université de Genève)

RÉSUMÉ : Ce papier présente la démarche de conception d’un dispositif d’évaluation et d’auto-évaluation des apprentis dans un contexte de formation professionnelle initiale en alternance dans le domaine des soins en Suisse. L’approche mise en œuvre avait pour objectif d’aboutir à un environnement utilisable et utile, tout en contribuant à répondre à des problématiques de recherche. Cette démarche a permis le développement d’un outil qui permet de concilier la personnalisation des parcours d’apprentissage et un cadre de formation collectif commun.

MOTS CLÉS : Formation Professionnelle Initiale, Conception centrée utilisateurs, auto-évaluation, personnalisation.

ABSTRACT : This paper reports the development of a web-based assessment and self-assessment tool in the context of initial vocational education, in the domain of health and social care in Switzerland. A user-centred design methodology, coupled with a design-based research approach, has been used in order to develop a usable and useful environment, as well as to contribute to the research in the domain. This original design and research approach lead to the development of a tool accommodating the need to personalize apprentices’ specific learning paths along with the curricular requirements.

KEYWORDS : Initial vocational education, user-centred design, self-evaluation, personalisation.

• 1. Introduction
• 2. Etude de cas : conception d’un Livret de Suivi Pédagogique pour l’école d’Assistants en Soin et Santé Communautaire (ASSC)
• 3. Conclusion : atouts et limites d’une approche centrée conception
• BIBLIOGRAPHIE

1. Introduction

En Suisse, les filières de formation professionnelle initiale réunissent près de 70% des jeunes après la formation scolaire obligatoire (jusqu’à 16 ans). En raison de leur nature alliant théorie et pratique, ces filières misent sur l’alternance entre enseignement à l’école et apprentissage en situation de travail. Le modèle le plus extrême d’alternance est le mode dual, qui alterne dans la même semaine les lieux de formation, à raison de 1 à 2 jours d’école pour 3 à 4 jours dans l’entreprise. Un des enjeux majeurs de ce type de formation, en Suisse comme ailleurs, est l’articulation entre ces deux environnements d’apprentissage aux logiques différentes (Tynjälä, 2008) ; (Filliettaz, 2010).

Dans cet article, nous présentons une recherche-intervention¹ répondant au besoin concret des écoles professionnelles de disposer d’un outil permettant de concilier l’individualisation et la personnalisation du parcours d’apprentissage des apprentis tout en répondant aux exigences communes et collectives de compétences fixées dans les programmes fédéraux. Le projet devait donc aboutir au développement d’un outil qui réponde à cet objectif pédagogique et soit capable de s’adapter aux besoins des différents acteurs (enseignants, apprentis) et des différents contextes. Pour ce faire, nous avons appliqué une méthodologie alliant les principes de conception centrée utilisateurs (Baek et al., 2007) ; (Gould et Levis, 1985) et les exigences de la Recherche par la conception² (Sandoval et Bell, 2004). L’adaptabilité et la personnalisation offertes par l’outil seront présentées en détail ainsi que les problématiques de recherche que l’outil adresse. Pour conclure, nous discuterons les atouts et limites de cette méthodologie de conception pour le développement d’environnements d’apprentissage personnalisés et adaptables à différents acteurs et contextes.

1.1. La formation professionnelle duale : concilier les dimensions collective et individuelle

La formation professionnelle repose sur la complémentarité d’une formation théorique de bon niveau à l’école couplée avec une pratique intensive et contextualisée en situation de travail. Toutefois, les études montrent que les apprentis ont de grandes difficultés à « connecter » les apprentissages issus de ces deux milieux si des dispositifs formels d’articulation ne sont pas fournis (Gurtner et al., 2011). L’une des sources de difficulté concerne la distinction des dimensions collective et individuelle de la formation. D’une part, l’apprentissage à l’école se déroule dans un groupe-classe, et les élèves font partie d’une collectivité. Les activités proposées par les enseignants correspondent à un curriculum officiel, commun à tous les élèves de la formation. D’autre part, l’apprentissage en situation de travail est une formation plutôt pratique, en cours d’action, basé sur l’accumulation de différentes expériences (Billet, 2004) ; (Le Clus et Volet, 2008). Chaque apprenti connaît donc un parcours d’apprentissage individuel et différent des parcours de ses collègues de formation. La variété des lieux de stage, à la fois liée au type de stage effectué et au type des responsabilités données aux apprentis, explique qu’il soit très difficile de pouvoir permettre à tous les élèves d’obtenir une formation équivalente et complète eu égard aux exigences requises pour pouvoir pratiquer la profession.

Si l’on se place du point de vue de la situation de formation et non plus de l’expérience de l’apprenant, c’est la vision opposée qui apparaît. Reprenant le constat de Resnick (Resnick, 1987), Tynjälä (Tynjälä, 2008) remarque que l’apprentissage à l’école est du type individuel, puisque les élèves sont généralement évalués sur la base d’activités et de travaux personnels. L’apprentissage en situation de travail, par contre, est caractérisé par la collaboration avec d’autres professionnels, où la réussite des activités de l’un dépend du fonctionnement et des performances du groupe. En dépit des apparences, ces deux visions ne sont pas contradictoires : même si les apprentis sur leur lieu de travail sont entourés par d’autres professionnels, ils sont seuls dans le processus d’apprentissage. Les personnes avec qui ils collaborent sont, dans la plupart des cas, des professionnels qui ont terminé leur formation et qui ont la fonction de mentor ou de collègues avec des tâches différentes. Dans ce sens, les apprentis sont donc les seuls à se retrouver dans une certaine étape de leur parcours d’apprentissage. A l’école, par contre, ils sont dans un groupe-classe qui est dans la même étape d’apprentissage et qui suit un parcours curriculaire commun. Donc même si les activités proposées à l’école sont plutôt individuelles, l’apprentissage a lieu dans le cadre d’un groupe qui exécute des activités similaires et de façon simultanée. En outre, il est important d’ajouter que les enseignants proposent de plus en plus d’activités de groupe à l’école, même si elles font plus rarement l’objet d’évaluation.

Le défi que les écoles professionnelles rencontrent est donc de pouvoir articuler l’individualité des différentes expériences que chaque élève rencontre au travail et la nécessité d’une formation complète et équivalente, dans une situation de formation collective à l’école (Figure 1). C’est particulièrement vrai dans les formations aux soins, où les lieux de travail sont très variés, allant de l’hôpital au domicile des patients, en passant par les foyers et maisons de retraite, ainsi que les publics concernés (du premier au grand âge, avec ou sans handicap).

Figure 1 • Concilier développement professionnel individuel et programme de formation commun.

Pour faire face à ce défi, les écoles professionnelles suisses se sont récemment orientées vers une approche centrée sur les compétences plutôt que sur les contenus, sur l’apprentissage plutôt que sur l’enseignement (Melton, 1994) ; (Perrenoud, 2000). Paquette (Paquette, 2002) propose une définition de la compétence qui se base sur la relations entre trois composantes principales : 1) les connaissances, représentant les procédures, principes et faits spécifiques qui permettent de définir une tâche ; 2) les habiletés, correspondant à tous les processus qui peuvent être appliqués aux connaissances. Ces processus sont génériques, indépendants du domaine d’applications ; 3) les acteurs/publics cibles, qui concernent les fonctions, propriétés, tâches et compétences des acteurs. Dans l’approche adoptée dans les écoles professionnelles suisses, le suivi se base à la fois sur l’évaluation des compétences dans des tâches décontextualisées menées par les enseignants à l’école, et sur l’évaluation globale de la performance actualisée en situation de travail.

Les deux dimensions de l’apprentissage (collective et individuelle) doivent être mises en relation pour permettre aux élèves de réfléchir sur les connaissances et habiletés développées dans le lieu de stage, et aux enseignants d’encadrer ces expériences en fonction du curriculum de formation prévu pour la profession. L’approche par compétence illustrée en Figure 1 devrait fournir aux élèves la possibilité de discuter de façon collective de leur expérience individuelle, et permettre à tous les apprentis d’avoir un cadre complet des situations qu’ils pourront rencontrer en situation de travail, au-delà des possibilités qui leur sont directement offertes au cours des stages.

1.2. Des technologies pour articuler des lieux et des logiques de formation différentes

Grâce à leur capacité de relier les personnes indépendamment de leur localisation, de permettre la capture, le stockage et la révision des informations au cours du temps, les technologies numériques peuvent faciliter l’articulation de différents lieux de formation (école, stage) et la communication entre les différents acteurs (apprentis, maîtres d’apprentissage, enseignants). En outre, la progression de l’équipement informatique des foyers rend possible l’utilisation de ces technologies pour la formation initiale. En effet, une enquête récente menée en Suisse (Willemse et al., 2010) révèle que 99% des foyers des jeunes de 12 à 18 ans sont équipés d’ordinateurs et 95% d’internet.

Actuellement, deux approches technologiques sont proposées pour faciliter l’articulation entre expérience individuelle et collective, notamment les environnements personnalisés d’apprentissage et le portfolio numérique.

1.2.1. Les Environnements Personnalisés d’apprentissage

Le concept d’environnements personnalisés d’apprentissage (Personal Learning Environment – PLE), fait généralement référence à des systèmes ouverts qui, plutôt que d’intégrer différents services en une plateforme unique, permettent aux utilisateurs d’avoir accès à plusieurs outils et de choisir ceux qu’ils préfèrent et qu’ils considèrent plus adaptés à leur apprentissage (Attwell, 2007). Ces outils permettent aussi de créer et participer à des communautés créées par d’autres élèves et de créer, modifier et partager le matériel d’apprentissage qu’ils souhaitent utiliser.

Dans leur conceptualisation des PLE, Jafari et al. (Jafari et al., 2006) considèrent qu’une autre importante caractéristique est liée à leur durée. Ces environnements sont censés accompagner l’utilisateur pour toute la durée de sa vie (lifelong learning). Cette intention est toutefois encore très théorique dans les PLE existants, puisqu’ils sont généralement conçus selon une approche descendante, où ce sont les institutions (académiques ou non) qui fournissent ce service à leur apprenants, ce qui pose la question du contrôle par l’apprenant à sa sortie de l’institution. En outre, l’évolution des technologies ne rend pas optimiste sur la capacité de ces environnements à dépasser la durée de vie d’une décennie.

1.2.2. Les portfolios numériques ou e-portfolios

Une catégorie particulière de PLE particulièrement adaptée à une approche par compétence est la famille des e-portfolios. Ces outils s’inspirent de l’outil papier portfolio, né dans le premier tiers du XXème, qui se définit comme une collection de réalisations concrètes reflétant la qualité des compétences acquises. Parmi les différentes approches, le portfolio d’apprentissage est constitué d’une série de travaux et production d’un apprenti pour montrer ses progrès au cours du temps et le résultat de l’apprentissage (Wade, 2005). L’un des objectifs majeur du portfolio est promouvoir la réflexion des apprenants sur leur parcours, les compétences acquises et leur manière d’apprendre (Tosh et Werdmuller, 2004). Alter-ego numérique du portfolio, l’e-portfolio s’appuie sur les propriétés numériques des systèmes de gestion de contenu sur le web pour faciliter la gestion des travaux par les apprenants, le suivi par les enseignants et sur la communication entre pairs et avec les enseignants, en particulier dans les formations à distance (Moulet, 2006). L’approche portfolio a connu un regain d’intérêt dans la dernière décennie et de nombreux systèmes commerciaux et open-source sont proposés, comme en témoigne la liste maintenue par Helen Barrett³. Le portfolio numérique met les étudiants au centre de processus de formation, grâce à la mise en place de systèmes d’évaluation et d’auto-évaluation continues, sommatives et formatives (Cambridge et al., 2009).

L’approche e-porfolio semble particulièrement adaptée pour aider les apprentis à articuler leur expérience pratique individuelle avec l’enseignement plus théorique de l’école. L’articulation entre ces deux aspects de la formation est en ligne avec le modèle du praticien réflexif (Schön, 1983), où l’expérience vécue ou simulée devient le point de départ d’une réflexion plus abstraite sur sa pratique, source de développement professionnel.

C’est sur la base de ces approches que nous avons implémenté un Livret de Suivi Pédagogique numérique, selon une démarche de recherche mettant au centre des ses préoccupations l’utilisateur et le processus de conception.

1.3. Une démarche de conception centrée utilisateur et orientée recherche

Un défi que rencontre la recherche en EIAH est de réaliser un dispositif utile et utilisable, c’est-à-dire intégré dans le programme et viable dans les situations de formation ordinaire, tout en étant suffisamment innovant pour contribuer à la recherche fondamentale. On entend ici le terme dispositif au sens de Charlier et Peraya (Charlier et Peraya, 2003), incluant les ressources, outils créés ou mis à disposition pour la situation d’apprentissage mais également le scénario qui définit les activités, leur séquence et les rôles des différents acteurs. Pour répondre à ce défi, nous avons développé une démarche de conception conciliant préoccupation ergonomique et objectifs de recherche, basée sur l’alliance de deux approches méthodologiques: la méthodologie de conception centrée utilisateur et la recherche basée sur la conception (Design-Based Research).

1.3.1. La méthodologie de conception centrée utilisateur

Un EIAH⁴ est un environnement numérique qui doit non seulement être un support aux activités et processus d’apprentissage, mais qui va également modifier les usages pédagogiques, administratifs, ainsi que les relations entre les acteurs impliqués. Historiquement ancrée sur des situations de travail, l’ergonomie est restée longtemps en retrait sur le sujet des EIAH, à l’exception de l’évaluation de caractéristiques de surface dans une approche a posteriori. Il faut attendre les années 2000 pour qu’apparaisse une prise de conscience de l’apport de l’ergonomie de conception et de l’ergonomie cognitive dans la conception des EIAH. A la suite de Tricot et al. (Tricot et al., 2003), Bétrancourt (Bétrancourt, 2007) reprend pour les EIAH les trois dimensions de l’ergonomie d’un système initialement défini dans le cadre du Technology Acceptance Model (TAM), (Davis, 1989) ; (McFarland et Hamilton, 2006) : l’utilisabilité, l’utilité et l’acceptabilité. L’utilisabilité, néologisme construit sur l’anglais usability, peut se définir simplement comme la facilité d’utilisation du système. Pour un EIAH, il s’agit surtout d’adapter la présentation des informations, les dispositifs d’interaction et de navigation aux capacités perceptives et cognitives sur la base de recommandations existantes (par exemple les critères de Bastien et Scapin, 1993). L’utilité, qui se définit comme la capacité de l’outil à permettre à l’utilisateur d’atteindre les objectifs d’apprentissage, sachant qu’une plus-value est attendue par rapport aux éventuels outils précédents. Selon le modèle TAM, l’acceptabilité d’un système est cruciale puisqu’elle va définir son usage effectif par les utilisateurs. La perception de l’utilité et de l’utilisabilité d’un système, dès les premières utilisations et même avant, contribue fortement à l’adoption ultérieure. De nombreux exemples dans l’histoire des EIAH montrent combien cette approche est pertinente. Dans cette étude nous faisons l’hypothèse que l’approche de conception centrée utilisateurs initialement proposée par Gould & Lewis (Gould et Lewis, 1985) et appliquée aux EIAH (Baek et al., 2007) permet non seulement d’améliorer l’utilisabilité du système, mais également d’améliorer les chances d’acceptabilité et d’usage ultérieur. Cette méthodologie de développement repose sur trois principes (Gould et Lewis, 1985) : 1) impliquer les utilisateurs dès le début de la conception, 2) évaluer l’utilisation grâce à des mesures empiriques, et 3) progresser de manière itérative, en cycle de développement – évaluation et re-conception. Les utilisateurs doivent donc être engagés dès le début du développement, avec l’utilisation de maquette et simulations, pour observer et noter leur interaction avec les systèmes. Les problèmes d’utilisation émergeant de cette phase doivent être corrigés par les développeurs et la nouvelle version testée à nouveau pas les utilisateurs (Corry et al., 1997). Plus précisément, c’est la démarche de conception centrée utilisateurs et participative qui a été adoptée ici, telle qu’elle est décrite par Baek, Cagiltay, Boling et Frick (Baek et al., 2007) dans le cadre de la conception d’environnements informatisés d’apprentissage.

1.3.1. La recherche basée sur la conception (Design-Based Research)

S’inspirant des méthodes d’ingénierie logicielle et de recherche hypothético-déductive, l’approche de recherche basée sur la conception (Design-Based Research – DBR), (DBR collective, 2003) ; (Sandoval et al., 2004) prévoit des cycles de développement successifs, pour arriver au dispositif le plus adapté à la situation d’apprentissage en écartant les hypothèses non confortées au fur et à mesure des itérations. Cette approche n’est pas nouvelle dans le domaine des EIAH, mais la formalisation proposée par le courant DBR est intéressante et mérite d’être exposée ici.

L’approche DBR commence par une phase d’analyse de la situation de terrain, suivie par l’identification dans la littérature des théories permettant de poser des hypothèses implémentables puis vérifiables au moyen de mesures de processus et de produits de l’activité (outcomes). Suit une phase de conception itérative et de validation des hypothèses de recherche et développement. Au final, la démarche DBR est supposée aboutir à un système répondant aux objectifs de formation tout en fournissant des résultats concernant l’effet d’un élément de conception sur les processus d’apprentissage.

2. Etude de cas : conception d’un Livret de Suivi Pédagogique pour l’école d’Assistants en Soin et Santé Communautaire (ASSC)

2.1. La démarche

Nous avons mis en place une démarche de conception centrée utilisateurs participative, assurant l’implication des différents acteurs dès le début de la conception et la validation itérative de prototypes de plus en plus développés. Concrètement, nous avons, dans une première phase, analysé le contexte et le matériel existant, au moyen d’entretiens avec les différents acteurs de la formation, puis analysé la littérature sur les thématiques de recherche en jeu (voir 2.5). Une maquette générique du système a été conçue de façon itérative en partenariat avec un groupe de trois enseignants mobilisés dans la mise en place de l’approche par compétences. Les premiers prototypes ont été testés avec ces enseignants, avant de tester le dispositif avec un ensemble plus large d’enseignants et un échantillon d’apprentis. Finalement, le dispositif revisité en fonction des résultats des premiers tests, sera testé sur l’ensemble de l’école.

2.2. L’approche par compétence dans les filières professionnelles dans le secteur de la Santé et du Social

Comme mentionné dans la première partie, le secteur de la santé et du social est particulièrement confronté à la l’articulation individuel / collectif dans la formation professionnelle, compte tenu de la variété des cadres institutionnels dans lesquels les apprentis peuvent intervenir. Pour faciliter cette articulation, l’école d’Assistants en Soin et Santé Communautaire (ASSC) de Genève avec laquelle nous avons travaillé a choisi de mettre en place une approche par compétence pour faciliter le suivi individuel des apprentis. La formation d’ASSC fait suite à la formation secondaire inférieure et dure trois ans pour aboutir à un Certificat Fédéral de Capacité, attestant d’un certain niveau de formation théorique et pratique et donnant accès aux professions médicales associées. Un groupe d’enseignants avait déjà été mandaté pour créer un outil capable d’enregistrer l’évaluation d’une série des compétences des élèves tout au long des trois ans de formation. La sélection des compétences a été réalisée par une commission d’enseignants de différentes matières, qui vont des gestes professionnels aux matières de culture générale. Les compétences choisies représentent les aspects les plus importants de la profession d’assistant en soins et santé communautaire et sont considérées comme fondamentales pour exercer dans le domaine des soins. Les compétences sont transversales à de nombreux domaines, raison pour laquelle chaque compétence doit être mesurée en principe six fois, en différents contextes, par différents enseignants. Chaque compétence est organisée autour de différentes capacités, qui représentent les éléments de base de la compétence et permettent d’en mesurer la maîtrise réelle pour chacun des apprentis (Tableau 1).

Tableau 1 • Exemple de compétences évaluées dans le Livret

Le groupe des enseignants en charge de ce projet a d’abord réalisé une première version de l’outil en format papier. Toutefois, ce format présentait de fortes contraintes liées à la fois à l’organisation du contenu et à l’accessibilité de l’outil. Du point de vue du contenu, l’outil doit permettre une gestion efficace des différents contextes d’évaluation d’une compétence, qui doit être réalisée par différents enseignants. La version papier ne permettait pas la flexibilité nécessaire ni pour la gestion pratique, ni pour la gestion pédagogique (par exemple, la possibilité d’ajouter des commentaires de longueurs variées en fonction des besoins). Du point de vue de l’accessibilité, le livret de chaque élève était disponible en une seule copie. Par conséquent, il était impossible pour un élève et un enseignant de procéder à l’évaluation en même temps (juste après le cours, par exemple). En outre, le risque de perdre le livret était assez élevé, au point d’imposer le choix de le faire garder aux professeurs plutôt qu’aux apprentis. Cet arrangement allait à l’encontre de l’intention initiale qui voyait le livret comme un outil dont les propriétaires seraient les élèves mêmes.

Pour les raisons susmentionnées, la décision de collaborer autour de la conception d’un outil numérique, personnalisable et adaptable, a été prise. L’outil devait donc répondre aux intentions préalables d’approche par compétences dans cette école, en premier lieu garantir une accessibilité continue aux apprentis ainsi qu’aux enseignants. Du point de vue de l’enseignant, il doit avoir le degré de flexibilité nécessaire pour mieux gérer les différents contextes d’évaluation et offrir une flexibilité au niveau du mode et du contenu de l’évaluation. L’apprenti quant à lui, doit pouvoir accéder à son parcours personnel d’évaluation à tout moment. Compte tenu de l’impossibilité d’accéder aux lieux de stage pour des raisons de protection de l’espace privé notamment, l’outil concernera des compétences professionnelles évaluées dans le contexte d’activités à l’école. Un outil complémentaire d’évaluation des compétences en contexte de travail est utilisé par les responsables de stage sur le terrain, mais son intégration dans le Livret de suivi pédagogique devrait faire l’objet d’une étude à part entière avec les professionnels concernés.

2.3. Les fonctionnalités souhaitées

Dans la conception et le développement du livret de suivi pédagogique, l’enjeu était d’analyser et d’implémenter les niveaux d’adaptation et de personnalisation nécessaires et suffisants pour l’atteinte des objectifs pédagogiques et institutionnels. L’individualisation et personnalisation dans ce contexte sont liées à la possibilité de chaque apprenti de recevoir et garder ses considérations et les évaluations des enseignants à propos de son propre développement des compétences. L’outil doit donc donner la possibilité de créer un historique d’évolution des compétences de chacun et de mettre en évidence les points forts et moins forts de chaque apprenti. Ce type d’information est dirigée vers les étudiants comme guide pour mettre en évidence les aspects sur lesquels se focaliser davantage, et aux enseignants comme historique de la progression pour l’évaluation finale des apprentis et la prise de décision pour un éventuel cours d’appui ou répétition d’années scolaires. Grâce à ce livret une forme de personnalisation de parcours d’apprentissage serait donc possible.

Nous avons retenu pour la conception du Livret de suivi pédagogique des aspects fondamentaux du e-portfolio (Tosh et Werdmuller, 2004) ; (Wade, 2005) : l’outil doit promouvoir la réflexion de l’apprenant sur son processus d’apprentissage et sur le résultat (les compétences acquises), favoriser la planification de parcours individualisés, et permettre l’évaluation croisée des apprenants et des enseignants. L’évaluation de l’acquisition des compétences se fait sur la base de travaux concrets, réalisés dans des contextes spécifiques qui sont édités par chaque enseignant au moment où a lieu l’évaluation. L’auto-évaluation représente une manière d’encourager un processus de réflexion des apprentis sur l’état de leurs connaissances et leur progrès au cours de la formation. Ces deux composants doivent permettre au couple enseignant-apprenti de réfléchir sur la planification future de l’apprentissage, en considérant la nécessité de remédiation et en créant de cette façon des parcours individualisés d’apprentissage.

Le Livret de suivi pédagogique propose aux apprentis une étape d’auto-évaluation de leur propre acquisition des compétences. A coté de l’évaluation des enseignants, les élèves ont la possibilité d’exprimer leur opinion en indiquant dans quelle mesure ils pensent avoir acquis toutes les capacités nécessaires pour chaque compétence. Ce type d’évaluation a été associé à des effets très positifs sur l’apprentissage (Allal, 2002) ; (Black et Williams, 1998) ; (Ross et Rolheiser, 2001).

Rolheiser (Rolheiser, 1996) a élaboré un modèle qui représente le fonctionnement de l’auto-évaluation. Selon ce modèle, quand les élèves s’évaluent positivement, ils sont encouragés à formuler des objectifs d’apprentissage plus élevés et s’engagent davantage dans cet apprentissage. La combinaison du choix des objectifs et d’un plus grand effort entraîne de meilleurs résultats, qui amènent à une amélioration de l’auto-évaluation. L’auto-évaluation est composée par le jugement de soi-même et la réaction à ce jugement. L’auto-évaluation amène à une augmentation de la confiance en soi, qui comporte un retour au principe du cycle, en créant des modifications dans l’objectif de l’apprentissage et l’effort investi. Ce modèle représente le fonctionnement de l’auto-évaluation positive des apprenants. Si, par contre, l’apprenant s’évalue de manière négative ou s’il perçoit une grosse différence entre son propre résultat et ceux des autres élèves, le cycle risque d’avoir des effets contraires et négatifs. Toutefois, selon Ross et Rolheiser (Ross et Rolheiser, 2001), les élèves s’auto-évaluent toujours, indépendamment de la tâche explicite donnée par les enseignants. C’est pour cette raison qu’il est crucial de donner aux apprenants le moyen d’apprendre à s’auto-évaluer efficacement.

L’auto-évaluation s’est donc avérée un élément clé du Livret de suivi pédagogique à concevoir. Pour chaque évaluation, les apprentis doivent donner leur sentiment sur leur réussite de l’exercice, mais au-delà sur leur propre compétence, puis confronter leur évaluation avec celle des enseignants. Les enseignants, par ailleurs, peuvent avoir une vision complète du processus d’auto-évaluation des élèves et identifier les situations où une intervention de leur part serait nécessaire. La régulation du processus d’auto-évaluation de la part des enseignants pourrait augmenter l’engagement des apprenants dans leur apprentissage et des meilleurs résultats (Allal, 2002) ; (Ross, 2006).

2.4. Le modèle de LSP développé.

L’adaptation de l’environnement doit bénéficier aux deux acteurs principaux, enseignants et élèves. Du point de vue de l’enseignant, il s’agit de permettre à chacun d’organiser librement ses évaluations (moment, type et nombre) dans le cadre du référentiel de compétences défini. L’objectif est clairement d’augmenter l’acceptabilité de l’outil. Du point de vue de l’élève, la personnalisation se réfère à l’évaluation reçue (nombre, détail qualitatif, etc.), la flexibilité de l’auto-évaluation et le bilan de compétence. L’objectif est ici clairement pédagogique, améliorer le sentiment de contrôle de l’élève sur ses acquisitions de compétence. Enfin, du point de vue institutionnel, l’outil doit permettre de répondre aux exigences de suivi personnalisé dans un système de formation collectif exigeant la maîtrise de compétences communes.

La démarche précédente a abouti au développement d’un Livret de suivi pédagogique (ci-après LSP) dont l’architecture de base est présentée à la figure 2.

Figure 2 • Architecture du LSP

La figure 2 illustre les choix de conception présentés précédemment :

- Approche par compétence : chaque compétence, définie par le corps enseignant et les professionnels, doit être évaluée en principe 6 fois durant les trois ans de formation, dans 6 contextes différents. Une compétence est définie par une série de capacités (voir exemple tableau 1). Les contextes (ou situations d’évaluation) sont créés par les enseignants de façon flexible avant ou après leur réalisation.

- Flexibilité d’accès : Développé en utilisant Ruby on Rail, framework de développement web, le LSP s’utilise avec un simple navigateur internet et répond ainsi à l’exigence d’accessibilité personnalisé dans le temps et l’espace pour apprentis et enseignants.

- Accès personnalisé : comme il est traditionnellement le cas dans les LMS (Learning Management Systems), apprentis et enseignants ont une vision différente des outils, en fonction de leur activité. Alors que les élèves entrent par leur fiche de compétence personnelle, les enseignants peuvent accéder soit par compétence, soit par élève, soit par classe entière. Ainsi, une fonctionnalité d’évaluation par classe entière a été implémentée pour faciliter le processus d’évaluation, l’enseignant ayant la possibilité de mettre des remarques personnalisées seulement pour certains élèves. Ce principe illustre l’adaptation d’une fonctionnalité selon les critères d’actions minimales (Bastien et Scapin, 1993) et permet une flexibilité de comportement pour les enseignants qui seraient moins engagés dans cette démarche d’évaluation par compétence.  

- Evaluation croisée : le cœur du dispositif au niveau pédagogique est le croisement entre l’auto-évaluation par l’apprenant et l’évaluation par l’enseignant. Un dispositif de visualisation par couleur a été développé pour faciliter la comparaison. L’utilité pédagogique et l’utilisabilité de ce dispositif seront évaluées par des études spécifiques dans la phase de test élargi.

Après les phases de test sur les prototypes partiels, les problèmes techniques et d’utilisation seront réglés et re-testés, pour arriver finalement à la production d’un outil avec toutes les fonctionnalités nécessaires et facilement utilisable pour un test à plus grande échelle sur l’ensemble des apprentis et des enseignants d’une classe. Des questionnaires et des entretiens seront réalisés pour vérifier le dégrée d’acceptation et d’utilisation de l’outil, après son implémentation et apporter les éventuels changements, à la fois d’un point de vue technique et pédagogique.

2.5. Auto-évaluation et confrontation aux pairs comme moteurs d’apprentissage

Selon l’approche DBR, le dispositif ne doit pas seulement être utilisable, utile et utilisé, il doit également contribuer à enrichir les connaissances scientifiques du domaine. Dans le contexte de cette étude, nous avons choisi de nous intéresser à deux problématiques déterminantes en termes d’efficacité pédagogique du dispositif.

Comme l’a montré l’analyse précédente, un point majeur concerne l’effet du croisement entre auto-évaluation et évaluation par l’enseignant, pour laquelle nous émettons l’hypothèse qu’elle va favoriser une prise de distance avec l’objet de l’évaluation et faciliter l’auto-régulation par l’apprenant (Allal, 2002). Il a été montré que les apprenants ayant des compétences faibles avaient tendance à se surévaluer alors que les apprenants ayant des compétences élevées avaient tendance à se sous-évaluer (Entwistle et al., 2006). Dans la phase de test élargi, une analyse sera menée pour évaluer l’impact de l’outil sur l’évolution de la divergence entre auto et allo-évaluation au cours du temps en fonction du niveau de compétence initial des apprentis.

En outre, la structure de l’outil proche d’un e-portfolio nous permet d’envisager l’intégration d’activités collaboratives entre apprenants visant le partage d’expériences de terrain dans un but d’enrichissement mutuel et de confrontation de points de vue (Darnon et al., 2008) ; (Doise et Mugny, 1981), avec à terme la constitution d’une base de connaissances et d’expériences partagées (Scardamalia et Bereiter, 1994). Des études quasi-expérimentales ont été menées dans un contexte de formation similaire pour évaluer l’impact d’écriture collaborative, où les apprenants sont amenés à commenter ou à compléter les productions de leurs pairs à partir de leur expérience propre (Gavota et al., 2010a) ; (Gavota et al., 2010b). Les résultats montrent que le feedback des pairs améliore l’engagement des apprenants dans l’activité, mais que le bénéfice pédagogique n’apparaît que si cette activité est structurée du point de vue épistémique, sur le contenu attendu, et pas uniquement du point de vue de vue de la collaboration, ce qui est consistant avec les études précédentes (Weinberger et al., 2005). Des études sont actuellement en cours pour contribuer à la fois aux questions de design de l’activité techno-pédagogique et à la compréhension des processus socio-cognitifs sous-jacents, dans la dialectique chère à l’approche DBR.

3. Conclusion : atouts et limites d’une approche centrée conception

Cet article a présenté la conception d’un EIAH en contexte réel selon une approche inspirée à la fois de l’approche basée sur la conception (Design-Based Research - DBR) et de la méthodologie de conception centrée utilisateurs. Cette approche a pour objectif de contribuer à la fois à la recherche fondamentale, en explicitant des hypothèses qui sont testées dans le développement, mais aussi au niveau de l’ingénierie des EIAH, puisqu’elle permet de fournir des recommandations transférables, voire des systèmes réutilisables. En ce sens, elle réalise dans le domaine des EIAH une intention courante en ergonomie, discipline qui s’est d’emblée positionnée à l’intersection de la recherche et de l’intervention. Elle se rapproche plus particulièrement de l’ingénierie cognitive (Rasmussen et al., 1994), qui définit également la conception d’un dispositif comme objectif et moyen de la recherche.

Au niveau de l’efficacité de la démarche de conception, la phase de test élargie permettra d’évaluer si le LSP ainsi réalisé s’avère réellement utilisable, utile et utilisé. En ce qui concerne l’utilité, l’approche centrée utilisateur rend possible une évaluation précoce du système sur la base des tests sur prototypes partiels, ce qui permet d’adapter en cours de conception, ce qui augmente les chances d’améliorer l’utilité finale du système (Anastassova et al., 2007). Toutefois, l’approche centrée sur la conception ne permet pas à elle seule de valider de façon scientifique l’utilité du système en comparaison à d’autres outils ou approches. En effet, une approche de conception participative a toutes les chances de favoriser un « effet Hawthorne », qui prédit que les participants d’un groupe expérimental, observé et stimulé par l’intervention d’une équipe de recherche, ont des chances d’obtenir de meilleures performances qu’un groupe contrôle qui ne bénéficierait d’aucune intervention. C’est pourquoi l’approche centrée conception est souvent complétée par une approche quasi-expérimentale impliquant une intervention dans toutes les conditions d’enseignement observées. Finalement, ce type d’approche est coûteux en temps, ce qui rend difficile la réelle consultation de tous les acteurs. Notamment, dans le cadre de la démarche présentée ici, l’acteur apprenti n’a pas pu être pris en considération dans les phases initiales du développement.

Malgré quelques limites dues à sa jeunesse en tant que démarche de recherche, une approche alliant la méthodologie de conception centrée utilisateur et la recherche basée sur la conception est un excellent moyen de faire progresser la recherche en EIAH tout en assurant des développements qui ont du sens pour les lieux de formation pour lesquels ils sont développés, et ainsi faciliter leur implantation concrète.

BIBLIOGRAPHIE

ALLAL, L. (2002). Acquisition et évaluation des compétences en situation scolaire. In: Dolz J, Éducation ENSDEL, eds. L’énigme de la compétence en éducation.; p. 77-94, DeBoeck.

ANASTASSOVA, M., BURKHARDT, J.-M., MEGARD, C., & EHANNO, P. (2007). L’ergonomie de la réalité augmentée pour l’apprentissage : une revue. Le Travail Humain 70 (2), 97-126.

ATTWELL G. (2007). Personal Learning Environments - the future of eLearning?. eLearning Papers, 2007, vol. 2, n°1.

BAECK, E.-O., CAGILTAY, K., BOLING, E., & FRICK, T. (2007). User-centered design for development. In D. Jonassen (Ed.), Handbook of Research for Educational Communications and Technology, Vol. 14, p. 659 - 670. Routledge/Taylor & Francis Group.

BASTIEN, J.M.C., & SCAPIN, D. (1993). Ergonomic Criteria for the Evaluation of Human-Computer interfaces. Institut National de recherche en informatique et en automatique, France.

BéTRANCOURT, M. (2007). L'ergonomie des TICE : quelles recherches pour quels usages sur le terrain ? in B. Charlier, B. et D. Peraya (Eds). Regards croisés sur la recherche en technologie de l’éducation, De Boeck: Bruxelles.

BILLET S. (2004). Learning through work: Workplace participatory practice. In: H. Rainbird, A. Fuller, & A. Munro (Eds.) Workplace learning in context, p. 109 – 125. London, UK. Routledge.

BLACK P., WILLIAMS D. (1998). Inside the black box : Raising standards through classroom assessment. Phi Delta Kappan, 1998, vol. 80, n° 2, p. 139-148.

CAMBRIDGE, D., CAMBRIDGE, B., & YANCEY, K. (2009). Electronoc Portfolios 2.0: Emergent Research on Implementation and Impact. Sterling, VA: Stylus.

CHARLIER, B. & PERAYA, D. (2003). Technologie et innovation en pédagogie. Dispositifs innovants de formation pour l’enseignement supérieur. Bruxelles : De Boeck.

CORRY, M.D., FRICK, T.W., & HANSEN, L. (1997). User-centered design and usability testing of a web site: An illustrative case study. Educational Technology Research and Development, 45, 4

DARNON, C., BUTERA, F., & MUGNY, G. (2008). Des conflits pour apprendre. Grenoble, France. Presses Universitaires de Grenoble.

DAVIS, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, vol. 13, n° 3, p.319–340.

DESIGN-BASED RESEARCH COLLECTIVE (2003). Design-Based Research: An Emerging Paradigm for Educational Inquiry. Educational Researcher, vol. 32, n° 1, p. 5-8.

DOISE, W., & MUGNY, G. (1981). Le développement social de l'intelligence. Paris, France. Interéditions.

ENTWISTLE, N. J., MCCUNE, V. AND SCHEJA, M., (2006). Student learning in context: understanding the phenomenon and the person in Ed. Vershaffel, L., Dochy, F., Boekaerts, M. & Vosniadou, S., Instructional psychology: Past, present and future trends. Sixteen essays in honour of Erik De Corte (Advances in Learning and Instruction Series), p. 131-148, Oxford: Elsevier.

FILLIETTAZ, L. (2010). Dropping out of apprenticeship programs: evidence from the Swiss vocational education system and methodological perspectives for research. International Journal of Training Research, vol. 8, n° 2, p. 141-153.

GAVOTA, M. BÉTRANCOURT, M. & SCHNEIDER, D. (2010). Writing and commenting on professional procedures. In K. Gomez, L. Lyons, & J. Radinsky (Eds.) Learning in the Disciplines: Proceedings of the 9th International Conference of the Learning Sciences (ICLS 2010) - Volume 1, Full Papers, pp 683-689. International Society of the Learning Sciences: Chicago IL.

GAVOTA, M., CATTANEO, A. ARN, C., BOLDRINI, E. MOTTA, E. SCHNEIDER, D. ET BÉTRANCOURT, M. (2010). Computer-supported peer-commenting: A promising instructional method to promote skill development in vocational education, Journal of Vocational Education & Training, 62, n°4, p. 495-511.

GOULD, J. D., & LEWIS, C. (1985). Designing for Usability : Key Principles and What Designers Think. Communications of the ACM, vol. 28 n° 3, p. 300-311.

GURTNER, J.-L., GULFI, A., GENOUD, P., DE ROCHA TRINIDADE, B., SCHUMACHER, J. (2011). Learning in multiple contexts: are there intra-,cross- and transcontextual effects on the learner’s motivation and help seeking? To appear in: Europen Journal of Psychology of Education.

JAFARI A., MCGEE P., CARMEAN C. (2006). Managing Courses, Defining Learning: What Faculty, Students, and Administrators Want. Educause Review, 2006, vol. 41, n°4, p.50-71.

LE CLUS, M. & VOLET, S. (2008). Affordances and constraints on informal learning in the workplace. Proceedings of the 11th International Consortium for Experiential Learning (ICEL) Conference , Sydney Australia.

MCFARLAND, D., & HAMILTON, D. (2006). Adding contextual specificity to the technology acceptance model. Computers in Human Behavior, vol. 22, n° 3, p. 427-447.

MELTON, R. F. (1994). Competencies in perspective. Educational Research, vol. 36, n° 3, p. 285-294.

MOULET, L. (2006). Revue de Littérature du EPortfolio: Définitions, Contenus et Usages: Visant à L'intégration D'un EPortfolio Dans le Modèle de L'apprenant D'un Système D'apprentissage en Ligne. Québec: Université du Quebec Tele-universite.

PAQUETTE,G. (2002). L'ingénierie pédagogique: Pour construire l'apprentissage en réseau. Presses de l’Université de Québec, Québec, Canada.

PERRENOUD, P. (2000). L’école saisie par les compétences, in Bosman, C., Gerard, F.-M. et Roegiers, X. (dir.) Quel avenir pour les compétences ? p. 21-41, Bruxelles. De Boeck.

RASMUSSEN, J., PEJTERSEN, A.M., GOODSTEIN, L.P. (1994). Cognitive Systems Engineering. Wiley, New York, N.Y.

RESNICK, L.B. (1987). Learning in school and out. Educational Researcher, vol. 16, n°9, pp. 13–20.

ROLHEISER C. (1996). Self-Evaluation: Helping kids get better at it. Ajax, ON. VisuTronx.

ROSS J., ROLHEISER C. (2001). Student Self-Evaluation: What Research Says and What Practice Shows. In R.D. Small and A. Thomas (Eds.), Plain Talk about Kids. Convington, LA. Center for Development and Learning.

ROSS J. (2006). The reliability, validity, and utility of self-assessment. Practical Assessment Research and Evaluation, 2006, vol. 11, n°10.

SANDOVAL, W., & BELL, P. (2004). Design-based research methods for studying learning in context [Special Issue]. Educational Psychologist. Educational Psychologist, Vol. 39, n°4, p.199-201.

SCARDAMALIA, M. & BEREITER, C. (1994). Computer support for knowledge-building communities. Journal of the Learning Sciences, vol. 3, n°3, p.265–283.

SCHÖN, D. (1983). The reflective practitioner. Basic Books, New York, N.Y.

TOSH, D. & WERDUMULLER, B. (2004). Creation of a learning landscape: weblogging and social networking in the context of e-portfolios.

TRICOT, A., PLéGAT-SOUTJIS, F., CAMPS, J.-F., AMIEL, A., LUTZ, G., & MORCILLO, A. (2003). Utilité, utilisabilité, acceptabilité : interpréter les relations entre trois dimensions de l’évaluation des EIAH. In C. Desmoulins, P. Marquet & D. Bouhineau (Eds). Environnements informatiques pour l’apprentissage humain, p. 391-402. ATIEF / INRP, Paris.

TYNJÄLÄ P. (2008). Perspectives into learning at the workplace. Educational Research review, 2008, vol. 3, n°2, p. 130-154.

WADE, A., ABRAMI, P.C., SCLATER, J. (2005). An Electronic Portfolio to Support Learning, Canadian Journal of Learning and Technology, vol. 31, n°3.

WEINBERGER, A., ERTL, B., FISCHER, F., & MANDL, H. (2005). Epistemic and social scripts in computer-supported collaborative learning. Instructional Science, vol. 33, n°1, p. 1-30.

WILLEMSE, I., WALLER, G., & SÜSS, D. (2010). JAMES – Jeunes, activités, médias – enquête Suisse Zürcher Hochschule für Angewandte Wissenschaften, Zürich.

A propos des auteurs

Giulia ORTOLEVA est  doctorante et assistante de recherche à l’Université de Genève dans l’unité Technologies de formation et d’apprentissage (TECFA) à la faculté de Psychologie et sciences de l'éducation. Sa recherche porte sur la conception et l'évaluation d’activités d’apprentissage médiatisées dans la filière de la formation professionnelle. Plus particulièrement, elle étudie la scénarisation et la mise en place d’activités d’écriture individuelle et collaborative et de partage d’expérience pour le développement professionnel des apprentis en formation duale ou en alternance.

Adresse : TECFA – FPSE, Université de Genève - 40 Bd Pont d'Arve, CH-1211, Genève, Suisse

Courriel : giulia.ortoleva@unige.ch

Toile : http://tecfa.unige.ch/perso/ortolev0/Home.html

Stéphane MORAND est ingénieur de recherche à l’Université de Genève dans l’unité Technologies de formation et d’apprentissage (TECFA) à la faculté de Psychologie et sciences de l'éducation. Il a un DESS en informatique de l'Université Joseph Fourier de Grenoble et a rejoint l'équipe en 2002.

Adresse : TECFA – FPSE, Université de Genève - 40 Bd Pont d'Arve, CH-1211, Genève, Suisse

Courriel : stephane.morand@unige.ch

Toile : http://tecfa.unige.ch/perso/morands

Mireille BÉTRANCOURT est Professeur à la faculté de Psychologie et de Sciences de l'éducation de l'université de Genève, où elle dirige depuis 2003 l’unité Technologies de formation et d’apprentissage  (TECFA). Ses thèmes de recherche portent sur l'impact des EIAH sur les processus d'apprentissage avec un accent particulier sur les documents multimédias ou hypermédias et les environnements collaboratifs. L'objectif de ces recherches est non seulement de contribuer à la connaissance des processus d'apprentissage en situation médiatisée mais également de proposer des recommandations pour la conception des systèmes, ressources ou des activités.

Adresse : TECFA – FPSE, Université de Genève - 40 Bd Pont d'Arve, CH-1211, Genève, Suisse

Courriel : mireille.betrancourt@unige.ch

Toile : http://tecfa.unige.ch/perso/mireille/

¹ La recherche présentée ici s’inscrit dans le cadre du programme Technologies for Vocational Training - Dual-T (http://dualt.epfl.ch), mandaté par l’Office Fédéral de la Formation et de la Technologie (OFFT).

² Traduction des auteurs pour l’expression Design-based Research

³ Helen Barrett’s favorite links on Alternative Assessment & Electronic portfolios, http://electronicportfolios.org/portfolios/bookmarks.html, page consultée le 18.11.2011

⁴ Environnements Informatisés d’Apprentissage Humain