Sommaire

Rechercher

• auteur
• année
• titre
• résumé
• abstract
• rubrique

Contact : infos@sticef.org

Utilisation de plateformes génériques de mesure analytique pour l’évaluation de Serious Games : une expérimentation

Damien Djaouti (LIRDEF, Montpellier)

	RÉSUMÉ : Le suivi du parcours des utilisateurs est un élément important de l’évaluation des Serious Games. Deux principales approches semblent co-exister dans ce domaine : l’intégration du Serious Game à un LMS via des normes comme SCORM ou IMS-LD, et la construction d’un outil d’analyse sur mesure pour chaque Serious Game. Dans cet article, nous proposons une troisième approche pour le suivi des utilisateurs dans un Serious Game : le recours à des « plateformes génériques de mesure analytique ». Cet article présente une expérimentation dans laquelle le suivi des utilisateurs de deux Serious Games a été effectué grâce à deux de ces plateformes : Google Analytics et Playtomic. Nous présenterons tout d’abord le contexte du projet, avant d’étudier les données qui ont été récoltées. A partir de ces résultats, nous amorcerons ensuite une discussion sur les intérêts et limites de ces plateformes génériques de mesure analytique pour le suivi des utilisateurs de Serious Games, en comparaison avec les deux autres approches existantes. MOTS CLÉS : Serious Games, Evaluation, Suivi utilisateurs, Google Analytics, Playtomic, Ecologie.
Using analytics platforms for Serious Games evaluation: an experiment
	ABSTRACT : User tracking is one of the keys to evaluate the effectiveness of Serious Games. Two main approaches are available to perform such user tracking: the first one is to insert the Serious Game inside a LMS through SCORM or IMS-LD, while the second one is to build a custom analysis tool for each Serious Game. In this article, we introduce a third approach to track Serious Games users: the use of generic metrics & analytics platforms. This article presents an experiment where two Serious Games have been assessed using two of these platforms: Google Analytics and Playtomic. We will first detail the context of this project, before analysing the data that has been collected. Thanks to the results of this experiment, we will then start a discussion about the advantages and the limits of these generic metrics & analytics platforms for Serious Games assessment, compared to the two others available approaches. KEYWORDS : Serious Games, Assessment, User tracking, Google Analytics, Playtomic, Ecology

• 1. Introduction
• 2. Contexte d’expérimentation
• 3. Résultats
• 4. Discussion
• 5. Conclusion
• 6. Références

1. Introduction

Le suivi du parcours des utilisateurs dans un Serious Game est un élément important de l’évaluation de ces « jeux dont la finalité première est autre que le simple divertissement »¹ (Michael & Chen, 2005). A cette fin, le champ du Serious Game peut notamment s’appuyer sur les outils, méthodologies et standards provenant du champ de l’e-learning, tels que la norme SCORM. Cependant, une étude conduite par Thomas (Thomas, 2010) montre les limites de SCORM, norme au départ établie pour des « quiz » pédagogiques, pour assurer le suivi d’utilisateurs de Serious Games. Plus précisément, Thomas met en évidence trois limitations : l’impossibilité d’enregistrer des indicateurs sur les types d’erreurs commises par l’apprenant ; l’enregistrement limité à la dernière tentative de l’apprenant, ce qui interdit les analyses différentielles entre plusieurs « stratégies de jeu » ; et l’impossibilité de partager les résultats entre différents apprenants, ce qui empêche la création de « tableaux de meilleurs score » pour motiver les utilisateurs. La chercheuse propose alors deux types de solutions pour palier à ces limites. La première consiste à s’appuyer sur des LMS² reposant sur des normes plus ouvertes ou plus adaptées que SCORM, à l’image d’une expérimentation faite sur IMS-LD (Burgos et al., 2008). L’autre solution proposée par Thomas est de recourir à une base de donnée externe au LMS pour enregistrer toute donnée renvoyée par le Serious Game sans contrainte particulière. Nous pouvons par exemple penser à l’outil Playtracer, élaboré pour évaluer le Serious Game Refraction (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010). Cependant, bien que cette approche « sur mesure » produise d’excellents résultats, elle requiert un important travail de la part des créateurs du Serious Game. En effet, un système relativement unique d’enregistrement et de visualisation des traces produites par les joueurs doit alors être construit pour chaque jeu. En résumé, nous identifions donc d’un côté une approche « LMS », qui offre une simplicité d’utilisation au prix d’importantes limitations sur la richesse des données enregistrées, et de l’autre une approche « sur mesure », sans limitation particulière si ce n’est un « coût » d’implémentation élevé.

Dans cet article, nous souhaitons explorer l’éventuel potentiel d’une troisième approche possible pour le suivi des utilisateurs dans un Serious Game. Nous proposons d’utiliser des « plateformes génériques de mesure analytique »³, des plateformes logicielles originellement conçues pour mesurer et analyser l’audience de sites ou jeux sur Internet. Grâce à cette approche différente, nous espérons arriver à conserver la précision et la flexibilité de l’approche « sur mesure » tout en essayant de réduire le temps d’implémentation du système d’enregistrement et de visualisation des traces produites par les joueurs. Cet article présente une expérimentation dans laquelle le suivi des utilisateurs de deux Serious Games a été effectué grâce à deux de ces plateformes : Google Analytics et Playtomic. Nous présenterons tout d’abord le contexte d’expérimentation et notre méthodologie de suivi des utilisateurs, avant d’étudier les données que cette approche a permis de récolter. A partir de ces résultats, nous amorcerons ensuite une discussion sur les intérêts et limites de ces plateformes génériques de mesure analytique pour le suivi des utilisateurs de Serious Games, par rapport aux deux autres approches identifiées.

2. Contexte d’expérimentation

Dans le cadre d’un projet de recherche portant sur l’utilisation du jeu comme vecteur de communication locale, nous avons été amené à créer deux Serious Games traitant de la thématique des écoquartiers⁴. Ce projet s’inscrit dans un partenariat recherche-industrie impliquant un laboratoire de recherche en informatique, une commune qui accueille un écoquartier du nom d’Andromède (alors en cours de construction), l’aménageur de cet écoquartier, ainsi que la société privée qui l’a modélisé virtuellement avant le lancement du programme de construction. Le projet de recherche couvre donc la conception, la réalisation, la diffusion et l’analyse de ces deux Serious Games, afin de pouvoir explorer la question de l’utilisation du jeu vidéo comme support de communication. L’auteur de cet article a participé activement aux phases de conception, de développement et d’analyse de ces deux Serious Games (Djaouti, 2011). L’expérimentation décrite dans cet article s’inscrit dans la partie « analyse » du projet, dont l’objectif premier était d’évaluer la pertinence des deux Serious Games dans la diffusion de leurs messages respectifs.

Parce qu’il nous offrait la possibilité de prendre part à la fois à la création et à l’analyse de deux jeux, ce projet nous est apparu comme un contexte idéal pour explorer les différentes approches permettant d’évaluer un Serious Game par le suivi de ses utilisateurs.

2.1. Présentation des Serious Games

Ces deux Serious Games ont été conçus pour sensibiliser le grand public à l’écologie urbaine, ainsi que pour mettre en avant un écoquartier en particulier : l’écoquartier Andromède, situé dans la région Toulousaine, sur les communes de Blagnac et de Beauzelle (France). Afin d’atteindre la finalité sérieuse visé, ces deux jeux reposent sur une conception de type « intrinsèque » (Djaouti, 2011) : les aspects « sérieux » et « ludiques » sont volontairement associés de manière profonde, afin qu’une victoire dans le jeu traduise théoriquement une compréhension, ou tout du moins une identification, des messages « sérieux » véhiculés par le Serious Game.

2.1.1. Eco-Reporter, à la découverte d’Andromède

Le premier Serious Game, intitulé « Eco-Reporter, à la découverte d’Andomède »⁵ propose au joueur d’incarner un journaliste dont la mission est d’écrire un article sur l’écologie urbaine. Pour cela, le joueur peut explorer librement l’écoquartier Andromède, prendre des photos, et surtout discuter avec une vingtaine d’habitants du quartier. Il obtiendra ainsi des informations qu’il pourra utiliser pour rédiger son article. Au-delà de la mise en avant de l’écoquartier Andromède, ce Serious Game vise également à transmettre des messages éducatifs ou informatifs quant aux principes de bases de l’écologie urbaine : techniques de construction écologique, principes d’aménagement d’un écoquartier, récupération et gestion des eaux de pluies, mise en avant des modes de transports doux, principes de mixités sociale et générationnelle, etc. Si le joueur veut « gagner » au jeu, il doit tout d’abord partir à la recherche de ces différents messages qui composent le contenu sérieux. Le joueur doit ensuite manipuler ces messages pour créer son propre article. Afin de rester accessible à un public n’ayant jamais joué à un jeu vidéo, la partie « rédaction de l’article » ne nécessite pas d’écrire mot à mot le corps de l’article. Lors des phases de dialogue avec les personnages, le joueur gagne automatiquement des informations, sous formes de notes pré-écrites, s’il pose les bonnes questions. Ces notes peuvent alors être assemblées comme des pièces de puzzle pour créer la trame d’un article : il s’agit tout simplement d’organiser les notes et photos de manière linéaire. La partie se termine lorsque le joueur soumet au jeu un brouillon possédant suffisamment d’éléments pour être « publié ». Le jeu se charge alors d’adapter cette trame pour la mettre en page comme un véritable article de journal. Des niveaux de publications plus ou moins prestigieux (« Internet », « presse locale » et « presse nationale ») récompensent le joueur selon la taille de son article.

Figue 1 • Eco-Reporter : dialogue avec un personnage (gauche) et interface de composition de l’article (droite)

Une des attentes évoquées par les commanditaires du jeu est d’être en mesure d’évaluer l’impact des différents messages liés aux écoquartiers et à Andromède auprès du public. Les commanditaires cherchent ici à identifier les thèmes qui intéressent le plus le public qui sera exposé au jeu : écologie dans la construction de bâtiment, sécurité dans le quartier, présence de commodités... Avec le concept proposé pour Eco-Reporter, ce type d’évaluation est au cœur même du principe de jeu. En rédigeant un article, les joueurs sont amenés à choisir les informations qu’ils trouvent les plus intéressantes, et les photos des lieux qu’ils préfèrent. Il suffit alors d’analyser les articles créés par les différents joueurs afin d’obtenir des statistiques sur les informations auxquelles ils ont été les plus sensibles (cf. 3.1). À travers ce concept de jeu, le joueur est amené à dévoiler son rapport au contenu sérieux qui lui a été présenté. Le fait que cette « interrogation » soit incarnée par l’objectif même du jeu (rédiger un article) ne permet pas à un joueur de la considérer comme « distincte » du jeu, et donc de la négliger, s’il souhaite gagner la partie. Nous sommes donc bien ici face à un Serious Game reposant sur une conception de type « intrinsèque ».

2.1.2. Le Jardinier Ecolo

Le second Serious Game, « Le Jardinier Ecolo »⁶, traite quant à lui de la dimension écologique des espaces verts d’un écoquartier. Plus précisément, ce jeu vise à faire comprendre au joueur quels sont les moyens utilisés pour économiser l’eau dans les espaces verts de l’écoquartier Andromède. Ce jeu invite le joueur à aménager et entretenir un espace vert. Le joueur se verra proposer plusieurs espèces de plantes (exotique, locale...) qu’il pourra disposer dans un espace vert vierge. Une fois plantées, ces plantes ont besoin d’eau pour rester vigoureuses. Régulièrement, des visiteurs traverseront le parc. Si les plantes sont bien arrosées, elles auront un effet positif sur le moral des visiteurs. Si elles sont en manque d’eau, elles auront un effet négatif sur le moral des visiteurs. Plus les visiteurs sortiront contents du parc, plus le joueur gagnera des points. Les espèces exotiques de plantes ont un effet plus important sur le moral des visiteurs, mais sont nettement plus gourmandes en eau. Une partie de la stratégie gagnante du jeu consiste donc à comprendre qu’il vaut mieux, sur le long terme, planter des espèces locales que des plantes exotiques. Le joueur peut également « améliorer » ses plantes, ce qui a pour effet de les faire grandir. Or, un arbre est moins gourmand en eau une fois qu’il a grandi, de même que certaines plantes. Un autre aspect de la stratégie gagnante consiste ainsi à planter et faire grandir seulement quelques plantes, plutôt qu’acheter de très nombreuses jeunes pousses qui seront plus gourmandes en eau sur le long terme.

Figure 2 • Le Jardinier Ecolo : écran de jeu (gauche) et rapport d’activité présenté au joueur (droite)

En ce qui concerne l’évaluation de la diffusion du « contenu sérieux » du jeu, elle est ici très simple : étant donné qu’il faut théoriquement comprendre le message du jeu pour développer une stratégie permettant de gagner beaucoup de points, le « score » des joueurs permet d’évaluer, ou tout du moins d’appréhender, leur niveau de compréhension du message diffusé par ce Serious Game. Afin de pouvoir évaluer les joueurs, nous avons donc enregistré à intervalles réguliers quelques variables permettant d’analyser leur stratégie de jeu : score total, argent restant, nombre de plantes achetées, somme totale investie dans l’arrosage... Concrètement, le jeu se compose de 26 niveaux, entrecoupés de trois « rapports d’activité » qui présentent ces variables au joueur, afin de l’aider à améliorer sa stratégie. Lorsqu’un rapport est présenté au joueur, les données qu’il contient sont enregistrées par les plateformes génériques de mesure analytique. A partir de l’analyse de ces données, nous pouvons alors tenter d’évaluer la transmission du contenu sérieux véhiculé par ce Serious Game (cf. 3.2).

2.1.3. Diffusion des deux Serious Games

La diffusion de ces deux Serious Games auprès du grand public a été assurée par ses commanditaires, à savoir la SEM Constellation (aménageur de l’écoquartier Andromède) et la Mairie de Blagnac (principale commune sur laquelle se trouve l’écoquartier Andromède). La cible première de ces deux jeux est le public local : l’objectif est de faire découvrir l’écoquartier Andromède et les apports de l’écologie urbaine aux habitants de la région Toulousaine. Si Eco-Reporter vise un public plutôt adulte, Le Jardinier Ecolo vise une cible plus large incluant adolescents et enfants à partir de 10 ans. Deux modes de diffusion ont été employés :

- Par cédérom : 150 cédéroms contenant les deux Serious Games ont été distribués gratuitement pour diffuser le jeu de manière locale, en particulier lors d’une animation ayant eue lieu du 28 au 30 mai 2010 dans le centre culturel municipal de la commune de Blagnac.

- Par Internet : les deux jeux sont également accessibles sur le site Internet de la SEM Constellation. Cela permet tout d’abord de diffuser plus facilement le jeu à l’échelle locale (écoles de la ville de Blagnac...), puis de montrer le jeu à l’échelle nationale. Environ 2000 personnes ont accédé à chaque jeu par ce biais (cf. 3).

2.2. Méthodologie et outils de suivi des utilisateurs

Comme expliqué précédemment (cf. 2.1), Eco-Reporter et Le Jardinier Ecolo reposent sur une méthode de conception de type « intrinsèque », qui prône un mélange fort des messages sérieux à transmettre au sein du principe de jeu. Pour évaluer ces Serious Games de manière quantitative, il est donc envisageable d’enregistrer certaines variables propres à chaque jeu, qui feront office de traces permettant d’étudier le parcours des joueurs. Comme évoqué en introduction, même si le suivi du parcours du joueur dans un Serious Game est un champ de recherche relativement récent, plusieurs travaux ont élaboré des méthodologies et outils à cette fin.

2.2.1. Approches et outils pour le suivi des utilisateurs d’un Serious Game

Parmi les approches existantes pour évaluer un Serious Game par le biais du suivi du parcours du joueur, nous recensons tout d’abord des outils implémentant des normes issues de l’e-learning, telles que SCORM et IMS-LD. Certains logiciels auteurs comme Thinking Worlds⁷, <e-adventure>⁸ et SGTools⁹ permettent au créateur du jeu de renvoyer les informations de son choix vers le LMS qui l’encapsule. Le Serious Game est ici considéré comme un « objet d’apprentissage » standard, au même titre que le serait un quiz, une vidéo interactive ou toute autre activité intégrable à un LMS. Dans le cas de <e-adventure>, le créateur peut même utiliser des informations provenant du LMS afin de modifier le contenu du jeu (Burgos et al., 2008). Cela permet de recourir à un test de connaissance préalable à l’utilisation du Serious Game pour adapter son contenu à l’apprenant. Ainsi que l’a montré Thomas (Thomas, 2010), la principale limitation de cette approche est directement liée à l’obligation de respecter une norme pour récolter des traces d’utilisation. Afin de réduire cette limitation, certains projets optent donc pour une norme le plus compatible possible avec les besoins de suivi de leur Serious Game, comme IMS-LD (Burgos et al., 2008), quant ils ne retravaillent pas tout simplement ces normes pour les adapter à leurs besoins, à l’image de IMS-LD-SG (Tran, George, & Marfisi-Schottman, 2010).

L’approche inverse existe également : au lieu d’adapter une norme préexistante à des Serious Games, il est possible de tenter de définir un modèle à partir de Serious Games. C’est par exemple le cas du modèle MoPPLiq (Marne, Carron, & Labat, 2013), qui offre une modélisation générique de parcours dans les Serious Games, pour ensuite permettre leur modification de haut niveau par une personne non experte en la matière. Dans tous les cas, cette approche implique le respect d’un modèle normatif qui doit être partagé par tous les Serious Games, ce qui peut parfois être un obstacle pour les concepteurs de tels jeux. En effet, les Serious Games offrent une palette potentielle d’interaction avec l’utilisateur bien plus riche et nettement moins standardisée¹⁰ que peuvent l’être d’autres objets pédagogiques tels que les quiz ou les scénarios interactifs. Ainsi, le modèle MoPPLiq n’est pour l’instant applicable qu’aux Serious Games explicitement découpés en « niveaux » et basés sur une structure (linéaire ou non) peu complexe.

Une autre approche, radicalement différente, consiste à faire abstraction de toute norme pour créer un système de suivi du joueur spécifique à chaque Serious Game. C’est par exemple le cas du Serious Game Ludiville pour lequel a été réalisé un outil à base de Réseaux de Pétri (Thomas, Yessad, & Labat, 2011), ou encore de l’outil Playtracer, construit pour évaluer le Serious Game Refraction (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010). Refraction est un jeu de puzzle qui aborde le concept mathématique de fractions. Le joueur doit, pour réussir chaque niveau, placer de manière adéquate des miroirs permettant de diviser un faisceau laser. Chaque niveau du jeu possède donc un nombre fini « d’états », correspondant aux différentes positions des miroirs que le joueur peut déplacer. Playtracer enregistre tout simplement, pour chaque session de jeu, le nombre de passages du joueur dans chaque « état » du niveau. Il les représente ensuite sous forme graphique afin de faciliter la lecture des traces ainsi récoltées.

Cependant, bien que cette approche « sur mesure » produise d’excellents résultats, elle requiert un important travail de la part des créateurs de Serious Games. En effet, un système relativement unique d’enregistrement et de visualisation des traces produites par les joueurs doit alors être construit pour chaque jeu. Certains logiciels auteurs proposent certes, en standard, la possibilité de récolter et visualiser des traces sans imposer de norme particulière. Par exemple, Virtuoso / Adventure Lab¹¹peut enregistrer toute donnée souhaitée directement dans une base MySQL. Mais cette solution reste bien évidemment circonscrite aux jeux qu’il est possible de réaliser avec un logiciel auteur donné. De plus, elle se contente finalement déplacer le « coût » de création du système de suivi vers les créateurs de logiciels auteurs au lieu des créateurs de jeux, sans tenter de réduire ce « coût » à proprement parler.

2.2.2. Approches et outils pour le suivi des utilisateurs d’un EIAH

L’existence de systèmes « sur-mesure » et la question de la réduction du « coût » qu’ils représentent est une question de recherche récente pour les Serious Games, mais qui est explorée depuis plusieurs années dans le champ des EIAH. Si l’on peut considérer que des normes comme SCORM et IMS-LD constituent déjà une forme de réponse à cette problématique, en standardisant le format des traces produites par les applications d’e-learning, d’autres travaux visent à proposer des outils et formats de traces tout aussi génériques mais nettement plus versatiles.

Par exemple, le User Tracking Language (UTL) de Choquet & Iksal (Choquet & Iksal, 2007) (Iksal, 2011) est un langage générique permettant d’effectuer des transformations sur tout type de traces extraite d’un EIAH, pour peu que le modèle de cette trace ait été préalablement décrit avec ce langage. Pour l’élaborer, les chercheurs ont posé des bases de réflexion théoriques sur le concept de traces : leur modèle DGU (Defining, Getting, Using) défini trois facettes génériques permettant de modéliser toute activité d’observation d’une trace logicielle. Dans un registre similaire, les travaux de Settouti (Settouti, 2011) introduisent le concept de « Trace Modélisée (M-Trace) », ainsi qu’un cadre conceptuel pour l’élaboration d’un Système à Base de Trace Modélisée, notamment à travers un langage formel permettant la transformation et l’interrogation de telles traces. Ces travaux semblent culminer avec la définition d’une « trace » comme objet informatique standard, afin d’effectuer le suivi d’utilisateurs indifféremment dans toute application informatique (Champin, Mille, & Prié, 2013).

Tous ces travaux sont potentiellement applicables au Serious Game, ainsi que le montre Learning Adventure, un jeu multi-joueurs collaboratif utilisé pour la formation professionnelle (Pernelle, Marty, & Carron, 2013). Le suivi des utilisateurs dans ce jeu repose sur un Système à Base de Traces construit en utilisant le modèle de Settouti (Settouti, 2011), dans lequel le jeu enregistre des traces « basiques » (utilisation du chat, avancement dans le scénario...) qui peuvent ensuite être combinées à loisir par l’analyste pour créer des « indicateurs ». Mais comme l’indiquent les chercheurs à l’origine du projet, l’implémentation de ces indicateurs est particulièrement chronophage, et doit être effectuée spécifiquement pour chaque scénario de jeu afin d’être pertinente. Les recherches actuelles des créateurs de Learning Adventure portent donc sur l’élaboration d’indicateurs génériques, réutilisables pour différents Serious Games.

Ainsi, si l’influence des outils et théories utilisées pour suivre les utilisateurs d’EIAH est réelle sur le champ du Serious Game, (Marne, Carron, & Labat, 2013) (Pernelle, Marty, & Carron, 2013) (Thomas, Yessad, & Labat, 2011), cette influence reste pour l’instant limitée. A nos yeux, la principale limite à ce transfert réside dans les différences, en terme d’objet, entre les applications d’e-learning et les Serious Games, même lorsque les finalités d’utilisation sont convergentes. Par exemple, une des problématiques en EIAH est l’élaboration de méthodes simples et unifiées permettant à un enseignant d’adapter le parcours de ses élèves, pour laquelle de nombreuses solutions existent (Lefevre et al., 2012). Cette même problématique est travaillée pour le Serious Game par Marne & al. (Marne, Carron, & Labat, 2013) à travers le modèle MoPPLiq, outil sur lequel l’influence des travaux issus du champ de l’EIAH est notable. Mais de tels travaux se heurtent à la complexité intrinsèque d’un jeu vidéo, qui, en tant que machine à état variable (Dormans, 2009) (Grünvogel, 2005) (Juul, 2003), met œuvre un grand nombre de règles afin d’offrir une large variété d’interactions à l’utilisateur. Comme évoqué précédemment (cf. 2.2.1), Marne & al. ont par exemple été contraints de limiter la portée de leur modèle à un seul genre de jeu, le jeu d’aventure, dont les mécanismes sont généralement moins complexes que d’autres genres vidéoludiques. Or le jeu d’aventure n’est qu’un des nombreux genres vidéoludiques utilisés d12s le champ des Serious Games¹².

Ainsi, pour faire face à la diversité des mécanismes de jeux existants dans le champ du Serious Game, il nous semble finalement que le concepteur doit pouvoir conserver la liberté de définir lui-même la nature des traces pour chaque jeu. De plus, dans un Serious Game, les données d’interactions brutes ne peuvent faire sens à elles seules, car le sens d’un Serious Game naît de la rencontre entre les règles de jeu (scénario ludique) et le contenu sérieux (scénario pédagogique) (Alvarez, 2007). Un modèle de trace générique adapté au Serious Game devrait alors pouvoir rendre compte de l’interaction de l’utilisateur, mais également du contexte (état actuel du monde du jeu, avancement du scénario, etc.). En attendant que des travaux aboutissent à l’élaboration d’un tel modèle, la possibilité de pouvoir définir librement une trace pour chaque jeu nous semble donc être primordiale pour effectuer le suivi du parcours du joueur dans tout genre de Serious Game.

Ce postulat tend à écarter, pour l’instant, la solution d’une norme de type SCORM ou IMS-LD comme moyen permettant de réduire le « coût » des systèmes sur mesure pour l’évaluation de Serious Games, sans pour autant sacrifier la liberté pour l’analyste de pouvoir définir librement les données qu’il veut utiliser pour suivre le parcours des joueurs. Il nous semble alors opportun d’explorer de nouvelles voies pour tenter d’apporter une réponse à cette problématique.

2.2.3. Les plateformes génériques de mesure analytique

L’enregistrement et l’analyse de traces générées par des logiciels informatiques afin de suivre le comportement de l’utilisateur est une problématique de recherche active dans de nombreux domaines, allant des EIAH à l’automobile en passant par les sites Internet (Champin, Mille, & Prié, 2013). Si des transferts sont bien évidemment possibles et réels entre ces différents domaines, chaque contexte soulève des questions spécifiques, au point de nécessiter des cadres théoriques et outils techniques qui lui sont propres (Tarrit & Caron, 2013).

Un outil particulièrement intéressant est apparu dans le milieux des années 1990 dans le domaine d’Internet : la plateforme de mesure d’audience. Il s’agit d’un outil visant à mesurer la fréquentation d’un site Internet. Si des solutions « sur mesure » existent, dans lequel un webmaster enregistre directement dans une base de données le nombre de visites sur son site, des outils génériques, adaptables à tout site Internet, ont également fait leur apparition. Les premiers exemples de ces outils, à l’image de Webalizer (1997-) et AwStats (2000-), analysent une trace pré-existante, à savoir les logs de connexion produits par le serveur web, pour établir des données de fréquentation. Aussi pratique soient-ils, ces outils sont lentement rendus caducs par l’évolution technologique des sites Internet, qui sont progressivement découpés en « interactions » plutôt qu’en « pages » (Clifton, 2008). D’autres outils de mesure, à l’image de WebtraffIQ / Site Stats (1995-) et Google Analytics / Urchin (2001-), reposent donc sur une approche différente : le webmaster définit lui-même le moment exact, dans le code source du site, qui doit générer une trace. Cette trace est ensuite collectée et analysée par une plateforme qui permet sa visualisation. Chaque plateforme propose une API générique simple à implémenter, permettant à ces outils de fonctionner avec tout type de site Internet.

Ce genre d’outil semble avoir influencé un autre domaine, celui des jeux vidéo, et plus précisément celui des jeux vidéo sur Internet (browser games, social games...). Plus qu’une simple mesure d’audience, les concepteurs de tels jeux vidéo ont besoin de connaître avec précision le comportement, à l’échelle quantitative, des joueurs. Cela leur permet par exemple d’améliorer l’expérience de jeu, en modifiant un passage trop difficile, en explicitant une règle mal comprise ou en ajustant les règles du jeu pour éviter que les joueurs s’ennuient (El-Nasr, Drachen, & Canossa, 2013). Dans un premier temps, ce travail est effectué via des outils « sur mesure ». Les studios de création de jeux vidéo emploient alors en interne des spécialistes en data mining pour les implémenter et interpréter les données (SNJV, 2012). Mais, à l’image des plateformes génériques de mesure d’audience de site Internet, d’autres outils plus génériques pour le suivi des joueurs ont également vu le jour depuis quelques années¹³. Ces outils, que nous baptisons « plateformes génériques de mesure analytique », proposent une API simple permettant au créateur du jeu d’enregistrer tout type de donnée quand il le souhaite. Cette trace est ensuite collectée et analysée par une plateforme qui permet également sa visualisation. Si ces outils sont avant tout destinés aux créateurs de jeux de divertissement pour les aider à améliorer l’expérience ludique délivrée par leurs titres, ils semblent également intéressants par rapport à notre problématique d’évaluation de Serious Games.

Au-delà du fait que les Serious Games sont par nature des jeux vidéo, le principal intérêt de ces outils est qu’ils permettent au créateur du jeu ou à l’analyste de définir librement les données qu’il veut utiliser pour suivre le parcours du joueur. Et, tout en conservant cette liberté primordiale pour l’évaluation de Serious Game, ces outils offrent en apparence un « coût » d’implémentation bien moindre que celui d’une solution « sur mesure ». De plus, ils semblent également s’adapter à tout type de Serious Game, sans limitation de genre, de complexité ou de structure interne. Ces plateformes génériques de mesure analytique représentent donc une réponse potentielle à notre problématique de réduction du « coût » des outils sur mesure tout en conservant leur liberté de définition de traces. Les deux plateformes que nous avons sélectionnées pour cette expérimentation sont Playtomic (2009-2013), car il s’agit d’une des premières plateformes publique destinée au jeu vidéo, et Google Analytics (2005-), qui est très prisée sur le secteur des sites Internet, tout en restant adaptable au jeu vidéo.

2.2.4. Playtomic

Playtomic¹⁴ (anciennement SWFStats) est un service de « suivi de joueurs » destiné aux jeux vidéo de divertissement. Il permet d’enregistrer toute valeur numérique souhaitée par le concepteur du jeu, et propose ensuite de l’analyser à travers différents tableaux et autres outils de visualisation graphique.

Figure 3 • Playtomic : écran de visualisation du score moyen lors du premier tiers de jeu pour le Jardinier Ecolo

Lors de la période de diffusion des deux Serious Games, cette plateforme, pionnière dans le secteur des jeux vidéo de divertissement, était en phase de « bêta-test », ce qui ne fut pas sans conséquences. Lors de l’analyse des données, nous avons en effet pu nous apercevoir que les mises à jour régulières de ce service ont entraîné plusieurs pertes de données. De nombreuses parties n’ont tout simplement pas été enregistrées par la plateforme. Néanmoins, suffisamment de données ont pu être récoltées pour permettre l’analyse de nos joueurs. S’agissant du seul service de ce type disponible lors du démarrage de notre expérimentation, nous avons donc quand même décidé de l’utiliser pour effectuer le suivi des joueurs.

D’un point de vue technique, l’intégration des services de mesure offerts par cette plateforme est réservée aux applications développées avec les technologies Flash, HTML5, Unity, Android, iOS, Java et C++. Une API existe pour chaque langage, qui permet au concepteur du jeu de renvoyer vers les serveurs de Playtomic la valeur d’une variable quand il le souhaite dans son programme, et ce à travers une seule ligne de code (appel d’une méthode statique d’une classe statique matérialisant l’API).

Enfin, précisons que le service Playtomic a malheureusement fermé ses portes au mois de mai 2013. Le code source de l’application a alors été libéré par son auteur, ce qui permet dorénavant à d’autres services similaires d’émerger facilement¹⁵. Les fondateurs de Playtomic ont ensuite créé une autre plateforme, lvlboost¹⁶, qui offre des prestations similaires mais qui est toujours en phase de bêta-test à la date d’écriture de cet article. Notons également que d’autres plateformes concurrentes à Playtomic ont vu le jour depuis le début de notre expérimentation. Mentionnons par exemple GameAnalytics, qui offre des API pour HTML5, Flash, Unity et Python, ainsi que la possibilité d’envoyer des données à la plateforme depuis tout autre langage, le service reposant sur une architecture de type REST. Mentionnons également MochiBot, réservé aux applications Flash, Lumos, réservé aux applications Unity, et HoneyTracks, une plateforme payante qui supporte potentiellement tout langage de programmation via une architecture REST.

2.2.5. Google Analytics

Afin de ne pas nous appuyer uniquement sur un outil en cours d’élaboration, nous avons également utilisé le service Google Analytics¹⁷. Cet outil de mesure d’audience est normalement destiné à l’analyse de sites Internet. Nous avons donc du recourir à quelques artifices afin de l’utiliser pour mesurer les données extraites de nos deux Serious Games. Concrètement, Google Analytics permet d’enregistrer deux types de données. La première consiste à mesurer simplement le nombre de visites effectuées sur une « page » donnée. Nous avons alors découpé la structure de nos Serious Games en « pages » afin d’effectuer quelques mesures avec cette plateforme. Par exemple, chacun des lieux de Eco-Reporter a été considéré comme une « page », permettant ainsi de mesurer le nombre de fois que les joueurs se rendent dans chaque lieu. Il en a été fait de même pour les différents « niveaux » du Jardinier Ecolo. Ensuite, Google Analytics permet d’enregistrer des « événements », qui associent un nom d’évènement à une valeur numérique, ouvrant la voie à des mesures similaires à celles proposées par Playtomic. Cependant, Google Analytics n’est pas destiné à suivre une application générant de très nombreux évènements, mais des sites Internet engendrant seulement une poignée d’événements par visiteur. Cet outil est limité à l’envoi de 10 évènements à la seconde, ce qui complique l’envoi simultané de plusieurs variables. De plus, le nombre total d’évènements pouvant être envoyés durant une « session de navigation » est limité, signifiant que si la partie dure un peu trop longtemps, les événements ne seront plus envoyés. Nous avons pu constater les inconvénients d’une telle limite sur Le Jardinier Ecolo, les données enregistrées par Google Analytics s’arrêtant en général au deux tiers de la première partie. De plus, Google Analytics n’est pas non plus capable d’estimer de manière fiable le temps de jeu des utilisateurs, limite liée au fait de détourner ainsi la plateforme de sa vocation initiale. Notons enfin que cet outil effectue une analyse géographique de la ville d’origine des visiteurs particulièrement poussée. Ces données furent appréciées par les commanditaires du projet pour estimer la portée de la « communication locale » du projet.

D’un point de vue technique, la plateforme propose elle aussi une API fonctionnant pour les langages HTML5/Javascript et Flash. A l’image de l’API de Playtomic, le concepteur du jeu peut donc, via l’appel d’une simple ligne de code, renvoyer toute variable vers les serveurs de Google Analytics, ou compter une « visite », quand il le souhaite dans son programme.

2.2.6. Données enregistrées pour chacun des Serious Games

Chacune de ces deux plateformes génériques de mesure analytique présente ses propres avantages et ses propres limites. Ces dernières étant différentes, les deux plateformes s’avèrent finalement complémentaires quant aux données qu’elles peuvent enregistrer et à la manière dont elles permettent de les visualiser. Pour cette expérimentation, nous avons donc utilisé simultanément Google Analytics et Playtomic pour enregistrer les valeurs numériques, et Google Analytics pour compter les visites dans les différents « lieux » définis pour ces deux Serious Games. La version Internet du jeu, ainsi que la version cédérom si une connexion Internet est disponible sur la machine, enregistrent de manière transparente les informations suivantes :

- Le contenu des articles rédigés sur Eco-Reporter, qui est enregistré lorsqu’un joueur soumet un article répondant aux critères lui permettant d’être publié. Afin de pouvoir également analyser le comportement des joueurs qui ne rédigent pas d’article, le nombre de visites dans chaque lieu et de conversations avec chaque personnage sont enregistrés de manière continue durant la partie.

- Le score des joueurs, le pourcentage moyen de satisfaction des visiteurs, l’argent restant, l’argent dépensé pour acheter de nouveaux éléments, l’argent dépensé pour améliorer des éléments existants, l’argent dépensé en arrosage, le nombre de plantes et d’objets (bancs...) possédés par les joueurs du Jardinier Ecolo. Le jeu se compose de 26 niveaux, entrecoupés de trois « rapports d’activité » qui présentent ces données statistiques aux joueurs, assortis de conseils pour les aider à améliorer leurs stratégies. Lorsqu’un rapport est présenté aux joueurs, les données qu’il contient sont également enregistrées par le système d’analyse.

3. Résultats

En utilisant conjointement les deux plateformes, nous avons enregistré des données sur une période allant du 20 mai 2010 au 20 mai 2011. Les données présentées dans cet article résultent donc d’une observation quantitative correspondant à un an de diffusion publique des deux Serious Games.

3.1. Données récoltés pour le jeu « Eco-Reporter »

D’après Google Analytics, 1723 parties de Eco-Reporter ont été jouées sur la période d’observation, alors que Playtomic n’en a enregistré que 1082. A partir de ces données partielles (qui résultent des « pannes » liés au statut bêta de Playtomic, cf. 2.2.4), cette plateforme estime la durée moyenne d’une partie à 18 min 57.

3.1.1. Analyse du parcours des joueurs dans le jeu

Grâce à Google Analytics et son système de suivi des « pages », nous obtenons un aperçu des lieux visités par les joueurs durant ces 1723 parties, et des personnages avec lesquels ils ont discuté. Comme nous pouvons l’observer dans le tableau ci-dessous, tous les personnages à l’exception du guide d’accueil ont été « visités » plus souvent que le lieu qui les abrite. Cela signifie tout simplement que les joueurs ont lancé plusieurs séances de discussion successives avec un même personnage. En effet, il arrive parfois qu’un dialogue se termine par manque de questions à poser. Les joueurs ont donc parfois relancé immédiatement un dialogue afin de poser des questions différentes, et ainsi récolter des informations supplémentaires. De prime abord, le fait que « L’Espace Andromède » soit une exception à cette règle semblerait pouvoir s’expliquer par le fait qu’il s’agit du lieu de départ des joueurs, et que le personnage qui y est présent ne sert qu’à donner des indications sur la manière de jouer. Pour autant, en l’état, ces données ne nous permettent pas d’expliquer véritablement pourquoi ce lieu a été parfois visité sans que le joueur lance un dialogue avec le personnage présent (cf. 4.1.1).

Tableau 1 • Données quantitatives relatives aux visites des lieux de Eco-Reporter

Notons également que Google Analytics propose un outil de visualisation permettant, pour chaque « page », de savoir quelles sont les pages d’origines des visiteurs et leurs pages de destination. Nous pouvons donc savoir, pour chacun des « lieux » et « personnages » d’Eco-Reporter, quel est le parcours suivi par le joueur pour y arriver. Dans l’exemple ci-dessous, nous voyons que 16% des joueurs sont allés visiter le lieu « Cap Constellation » directement après avoir discuté avec le personnage du « Facteur ». Une fois arrivés sur ce lieu, 94% des joueurs ont discuté avec le personnage qu’il abrite, 4% des joueurs ont ouvert l’interface de rédaction d’article, tandis que 1% des joueurs semblent avoir quittés le jeu à ce moment là. Ce type de visualisation s’avère particulièrement pertinent pour une analyse détaillée du parcours des joueurs. Nous n’avons pas eu besoin de rentrer à ce point dans le détail pour notre expérimentation, mais il est intéressant de noter que ces données sont disponibles et visualisables facilement sans nécessiter de développement supplémentaire.

Figure 4 • Exemple de visualisation détaillée du parcours des joueurs grâce à Google Analytics

3.1.2. Analyse du contenu des articles composés par les joueurs

Toujours d’après Google Analytics, nous constatons que 339 parties d’Eco-Reporter ont abouti à la rédaction d’un article publié. Cela signifie qu’environ 20% des joueurs d’Eco-Reporter ont été suffisamment captivés par le jeu pour aller jusqu’à la publication d’un article. Cela semble correspondre aux données enregistrées par Playtomic sur la durée d’une partie, avec d’un côté de nombreuses parties qui ne durent que quelques minutes, et de l’autre des parties à la durée comprise entre 30 minutes et 1h30, temps moyen généralement requis pour arriver à l’étape de composition d’un article dans le jeu.

Au total, 1631 articles ont été rédigés et proposés par les joueurs pour publication. Si seuls 339 de ces articles ont réussi à passer les critères de publication, nous observons logiquement que les articles simples (niveau « Internet ») sont plus nombreux que ceux du niveau « national », dont la création correspond à une durée de partie d’environ 1h30. A noter également que 42% des joueurs ayant réussi à faire publier leur article ont décidé de l’imprimer sur papier pour garder un souvenir du jeu.

Tableau 2 • Données quantitatives relatives à la rédaction d’un article dans Eco-Reporter

Comme il l’avait été souhaité par les commanditaires du projet (cf. 2.1.1), les données enregistrées nous permettent également de visualiser les « thèmes » du contenu sérieux les plus utilisés par les joueurs. Tout d’abord, nous obtenons la répartition globale des différentes thématiques du contenu sérieux dans les articles composés par les joueurs :

Tableau 3 • Répartition des thématiques pour les articles rédigés dans Eco-Reporter

Ensuite, pour chacun de ces « thèmes », il est possible d’obtenir des statistiques plus détaillées. Tout d’abord, sur le nombre de messages d’un thème donné qui sont présents dans chacun des articles finalisés par les joueurs. Ci-dessous uniquement le détail de la catégorie « Aspects Environnementaux » :

Tableau 4 • Détail du nombre d’utilisations des messages de la thématique « Aspects Environnementaux »

Et enfin, il est tout simplement possible d’obtenir, pour chacun des 61 « messages » définissant le contenu sérieux d’Eco-Reporter, le nombre de fois qu’il a été employé dans les articles des joueurs. Ci-dessous uniquement le détail de la catégorie « Aspects Environnementaux » :

Tableau 5 • Détail de l’utilisation de chaque message de la thématique « Aspects Environnementaux »

En prenant en compte le nombre de messages dans chaque « thème » et leur nombre de citations, nous observons que, sur la durée d’observation du jeu, les joueurs d’Eco-Reporter ont favorisés dans leurs articles les messages traitant des commodités, des généralités, des transports, de la qualité de vie et des espaces verts. A l’inverse, ils ont été nettement moins enclins à utiliser les informations sur les aspects techniques de l’écologie urbaine (fonctionnement de la géothermie profonde, des toitures végétalisées, gestion des eaux de pluie) et sur les notions de mixité sociale et générationnelles. Loin de constituer un sondage ou une enquête d’opinion à proprement parler, à cause des nombreux biais introduits (non constitution d’un panel représentatif, enquête « transparente » et non signalée au joueur, etc.), ces données sont néanmoins très intéressantes pour appréhender de manière globale le niveau de diffusion respectif de chaque message « sérieux » du jeu.

3.2. Données récoltés pour le jeu « Le Jardinier Ecolo »

D’après Google Analytics, 1985 parties du Jardinier Ecolo ont été jouées sur la période d’observation, alors que Playtomic n’en a enregistré que 1400. A partir de ces données partielles, la plateforme estime la durée moyenne d’une partie à 18 min 10.

3.2.1. Analyse du parcours des joueurs dans le jeu

En nous appuyant sur les données récoltées par Google Analytics, nous pouvons avoir une idée du nombre de joueurs ayant terminé chacun des niveaux du jeu :

Figure 5 • Nombre de joueurs ayant terminé chacun des niveaux du Jardinier Ecolo

Au total, si 1985 joueurs ont démarré le premier niveau du jeu, seulement 499 d’entre eux sont arrivés jusqu’à la fin. Cela signifie qu’environ 25% des joueurs qui commencent une partie la poursuivent jusqu’à son terme. Le fait que 3/4 des joueurs quittent le jeu avant la fin de la partie apparaît considérable, et, en l’état, les données récoltés ne nous permettent pas d’expliquer outre mesure cette situation. De plus, les données enregistrées par Playtomic permettent d’obtenir une courbe similaire, malgré un nombre moindre de parties analysées. S’il est normal que le nombre de joueurs diminue légèrement de niveau en niveau (Cook, 2009), la diminution notable du nombre de joueurs sur les premiers niveaux semble ici nécessiter de plus amples analyses pour être explicitée (cf. 4.1.2).

3.2.2. Analyse des stratégies mises en place par les joueurs

Dues aux limitations propres à Google Analytics et son système « d’événements » (cf. 2.2.5), seules les données enregistrées par Playtomic ont pu être utilisées pour étudier les stratégies développées par les joueurs à partir des différentes variables du jeu (argent dépensé, taux de satisfaction des visiteurs...). Cependant, les données moyennes calculées automatiquement par Playtomic sont faussées, car elles prennent en compte dans le calcul les jours où aucune partie n’a été jouée, rajoutant ainsi de nombreux « 0 » diminuant artificiellement les valeurs moyennes. Nous avons alors du extraire manuellement les données brutes enregistrées de manière quotidienne par Playtomic, et recalculer nous-même les valeurs moyennes pour chacune des variables enregistrées dans le tableau ci-dessous :

Tableau 6 • Données enregistrées par Playtomic sur Le Jardinier Ecolo

Comme exposé précédemment, ces données sont enregistrées lors de « rapports d’activité » qui sont présentés aux joueurs à chaque tiers de sa partie (cf. 2.2.6). Elles nous permettent de voir que plus la partie avance, plus les joueurs ont tendance à investir dans l’arrosage des plantes au détriment de leur achat. De même, la somme investie par les joueurs dans l’amélioration des plantes existantes est quasiment équivalente au montant représenté par l’achat de nouvelles plantes. Ces deux données illustrent le fait que les joueurs semblent avoir plutôt bien assimilé le fait qu’avoir peu de plantes que l’on fait grandir et que l’on entretient régulièrement est une meilleure stratégie que celle qui consiste à multiplier l’achat de plantes. De même, les équipements n’ont pas été négligés par les joueurs, qui ont cherché à « rentabiliser » leurs quelques plantes par l’ajout de bancs permettant aux visiteurs de s’asseoir pour les admirer plus longtemps. Nous constatons aujourd’hui que ces données auraient été encore plus pertinentes si nous avions opéré une différenciation entre les espèces « exotiques » et « locales » en comptant le nombre de plantes achetées par les joueurs. Cette donnée n’étant pas pertinente pour les rapports d’activité (un joueur pouvant visuellement voir à tout moment les différentes espèces de plantes sur son terrain), nous n’avions pas pensé à l’inclure avant la diffusion du jeu à grande échelle. Si elles ne permettent donc pas de rentrer autant dans le détail des stratégies des joueurs que nous l’aurions souhaité, ces quelques données quantitatives nous renseignent tout de même sur les tendances générales de leurs choix stratégiques.

4. Discussion

Durant cette expérimentation, l’utilisation de plateformes génériques de mesure analytique nous a permis d’enregistrer et visualiser différents types de traces pour évaluer ces deux Serious Games, synthétisées dans le tableau ci-dessous :

Tableau 7 • Synthèse des traces récoltées durant l’expérimentation

Malgré la richesse de ces données, leur analyse soulève plusieurs questions restées en suspens quant aux comportements des joueurs dans ces deux jeux. Afin d’approfondir l’évaluation de ces Serious Games, une étude qualitative complémentaire a donc été menée.

4.1. Etude qualitative complémentaire

L’étude qualitative de la réception de ces deux Serious Games a eu lieu selon des modalités simples. Nous avons observé une personne en train de jouer, en nous abstenant de tout commentaire. Nous avons alors demandé au joueur de penser à voix haute, afin de pouvoir noter ses différentes réflexions lors de l’utilisation du jeu. Une fois la partie terminée, nous lui avons posé la question « Pensez-vous que ce jeu diffuse un message ? Si oui, quel est-il ? » et noté sa réponse pour compléter le compte-rendu d’observation.

Au total, nous avons observé 28 utilisateurs différents, dont 23 ont testé Eco-Reporter, et seulement 20 Le Jardinier Ecolo. Notre panel comprenait par exemple un homme de 74 ans n’ayant jamais joué à un jeu vidéo ou encore une joueuse occasionnelle âgée de 28 ans. En constituant un tel panel, nous avons essayé de rassembler un échantillon représentatif du public ciblé par ce projet. La part de femmes est plus élevée que celles des hommes parmi nos testeurs (17 personnes sur 28). Si leurs âges et professions sont diverses, la plupart des personnes que nous avons observées en train d’utiliser ces deux Serious Games ne sont pas des joueurs passionnés de jeu vidéo. Certains d’entre eux n’ont même jamais joué à un jeu vidéo de leur vie, alors que pour d’autres cette pratique se limite à des parties de jeux sur Wii entre amis ou en famille. Nos Serious Games étant destinés aux personnes peu familières avec le jeu vidéo aussi bien qu’à ceux qui le pratiquent de manière occasionnelle, notre échantillon de testeurs « qualitatifs » représente finalement assez bien le public visé.

4.1.1. Retours qualitatifs sur Eco-Reporter

Pour Eco-Reporter, trois types de comportements ont été observés chez nos testeurs. Tout d’abord, certains joueurs n’ont pas du tout accroché au concept du jeu. 2 de nos 23 testeurs ont essayé le titre quelques minutes, ont trouvé sa manipulation aisée et son principe sympathique, mais « ça ne leur plaisait pas de lire toutes ces informations ». Ils ont trouvé le jeu trop simple, pas assez « ludique » à leur goût. Un de ces testeurs était un joueur passionné de jeu vidéo qui n’aimait pas trop les jeux d’aventure car il les trouvait « ennuyeux ». L’autre testeur connaissait déjà bien l’écoquartier Andromède, et ne voyait donc pas d’intérêt particulier à relire des informations sur le sujet quand il pouvait aussi tester Le Jardinier Ecolo. Pour ces deux joueurs, la partie n’aura donc duré que quelques minutes.

Ensuite, des joueurs ont apprécié le côté « exploration de l’écoquartier » mais n’ont trouvé aucun intérêt à rédiger l’article. Ce comportement a été observé pour 5 de nos 23 testeurs. Ne rentrant pas dans l’optique de « gagner le jeu », ces joueurs, tous des habitants de la ville de Blagnac, ont été plutôt intéressés par « la découverte de cet écoquartier en construction pas loin de chez eux ». Ils ont apprécié la richesse des informations et ont pris de nombreuses photos et notes. Mais au moment de rédiger l’article, ils nous ont dit qu’ils trouvaient cette étape de composition « prise de tête » et s’estimaient déjà totalement satisfaits par les informations qu’ils avaient pu lire lors de la visite virtuelle du quartier. A noter que ces testeurs ont donc exploré les 23 lieux du jeu et ont discuté au moins une fois avec tous les personnages. Pour ces joueurs, la partie aura durée entre 20 et 30 minutes.

Enfin, 16 de nos 23 testeurs ont littéralement été « accrochés » par le jeu. Ils ont tout d’abord commencé par explorer le quartier, afin de récolter photos et informations. Cependant, nous avions incorporé un mécanisme qui rappelle aux joueurs, au bout de 12 minutes de jeu, qu’ils doivent composer un article et non pas seulement explorer le quartier. Concrètement, le jeu affiche une fenêtre avec un message du rédacteur en chef du journal pour lequel travaille le joueur, qui lui demande d’envoyer un brouillon du travail déjà accompli. La plupart des joueurs ont cliqué sur le bouton « Je le ferai plus tard », en nous expliquant qu’ils souhaitaient tout d’abord finir de récolter des informations avant de rédiger. Mais ce message a clairement rappelé à nos testeurs quel était l’objectif du jeu. La plupart d’entre eux s’étaient laissé « happer » par la dimension exploration au point d’oublier qu’il faudrait ensuite rédiger un article, tel que nous l’avons constaté en les écoutant réfléchir à voix haute. Une fois l’exploration terminée, ces joueurs ont ouvert l’interface de rédaction d’article, et, à notre surprise, s’y sont presque plus amusés que durant la phase d’exploration. Peut-être est-ce du à la dominante féminine de notre corpus de testeurs, toujours est-il que ces derniers ont clairement exprimé qu’ils s’amusaient beaucoup à organiser les informations récoltées pour composer un article. Tous ces joueurs, captivés par la rédaction de l’article, ont parfois passé autant de temps à le composer qu’à explorer le quartier. Ils ont donc été largement exposés aux nombreux messages du jeu. En tout, les joueurs ayant réussi à faire publier un article ont passé entre 30 minutes et 1h30 à jouer à EcoReporter. Ce temps de jeu est plus que surprenant de la part d’un public qui n’est pas forcément attiré par le jeu vidéo.

Cette étude qualitative nous permet également de répondre aux deux questions restées en suspens lors de l’analyse des données quantitatives sur Eco-Reporter. Tout d’abord en ce qui concerne le temps de jeu, très fragmenté, avec d’un coté des parties très courtes de l’ordre de quelques minutes, et de l’autre des parties durant entre 30 et 90 minutes (cf. 3.1.2). Ces données quantitatives semblent correspondre aux différents profils de joueurs observés, Eco-Reporter ayant manifestement divisé les joueurs en trois groupes selon leur niveau d’implication dans le jeu.

L’autre question restée en suspens concerne le fait que le lieu de départ des joueurs, « l’Espace Andromède », est le seul lieu qui est parfois visité sans que les joueurs entament une conversation avec le personnage (cf. 3.1.1). La réponse à cette question nous a été donnée lors de l’observation des joueurs relevant du groupe allant jusqu’à la rédaction d’un article. Certains joueurs ne prennent tout simplement pas en photo ce lieu, car il s’agit du lieu de départ où le jeu leur explique comment jouer et qu’ils « oublient » de prendre une photo car ils se focalisent d’abord sur le fait de changer de lieu. Lors de la rédaction de l’article, ces joueurs se rendent ensuite compte qu’ils n’ont pas la photo de ce lieu, et y reviennent donc uniquement afin d’en prendre une photo, sans discuter à nouveau avec le personnage.

4.1.2. Retours qualitatifs sur le Jardinier Ecolo

En ce qui concerne Le Jardinier Ecolo, les retours d’utilisateurs étaient sensiblement différents. Sur les 20 personnes qui ont testées ce jeu, une seule personne n’a pas du tout accroché, ne « voyant pas l’intérêt du jeu ». Une autre testeuse, joueuse passionnée de jeu vidéo, a quant à elle arrêté de jouer au bout de quelques niveaux, trouvant le jeu « beaucoup trop simple avec pas assez de choses à gérer ». Pourtant, ces deux personnes ont consacré plus de 1h30 à Eco-Reporter.

Les autres testeurs du Jardinier Ecolo ont tous été suffisamment captivés par le jeu pour le terminer, ce qui représente environ 30 minutes de jeu. Environ deux tiers de ces testeurs ont manifesté le souhait de recommencer une partie pour améliorer leur score. Lors de leur première partie, tous ces joueurs ont acheté des plantes exotiques, poussés par les conseils sciemment donnés en ce sens par le jeu. Comme ils possédaient également des plantes locales, qui sont moins efficaces pour remonter le moral des visiteurs mais nettement moins gourmandes en eau, ils ont alors pu constater à quel point les plantes exotiques coûtaient cher à entretenir. Des phrases du type « je voudrais bien acheter un banc, mais je viens d’arroser et il ne me reste plus d’argent » ou « mais c’est pas possible, je viens d’arroser ma plante exotique et il faut déjà que je lui redonne de l’eau » revenaient régulièrement lors de l’observation de ces testeurs. Cette observation renvoie à la part importante d’argent consacrée à l’arrosage des plantes que nous avons observé dans nos donnés quantitatives (cf. 3.2.2). Lors de leur seconde partie, ces joueurs se sont généralement tournés vers les espèces de plantes « locales », et ont constaté qu’ils obtenaient un meilleur score à l’échelle d’une partie. A la fin de chaque partie, le jeu demande son nom au joueur afin de l’enregistrer dans un « tableau des meilleurs scores ». Ce système, grand classique des jeux d’arcade, fut également efficace pour ce Serious Game. Certains de nos testeurs se battaient littéralement pour arriver tout en haut de ce tableau de score. Ils ont pour cela continué à jouer une fois rentrés chez eux, en dehors des évaluations que nous avons mis en place, pouvant parfois jouer une quinzaine de parties afin d’atteindre la première place du classement.

Au final, la plupart de nos testeurs ont réussi à percevoir le message du jeu. Comme nous l’a formulé une de nos testeuses, très inspirée : « Les arbres ça prend une place dans la vie des gens, des beaux espaces verts ça donne envie d'y aller, d'y rester et de renouer avec la nature quand c'est bien entretenu. Mais ça ne se fait pas tout seul, un parc c'est de l'entretien et c'est pas fait au hasard. Bref, la nature c'est joli mais c'est du boulot, et ce jeu ça fait prendre conscience que les espaces verts ne sont pas faits au hasard ». Une autre joueuse fut beaucoup plus synthétique : « Les espaces verts sont bon pour le moral et les plantes exotiques sont une ruine ». Bien qu’incorporé au sein des mécanismes de jeu, le message sur la valeur et le coût de l’eau pour l’entretien des plantes semble avoir été identifié par la plupart de nos testeurs ayant terminé le jeu : « Le jeu dit qu’on peut pas faire ce qu’on veut avec la nature, il y a des contraintes de budget, l’eau ça coûte cher, il y a différentes plantes et tout ça », ou encore : « On passe beaucoup de temps à arroser, j’ai eu l’impression de ne faire qu’arroser car ça revient souvent et c’est [rébarbatif], mais c’est vrai que du coup on voit bien le côté écolo ». Le fait que ce message soit ici associé à une « stratégie gagnante » implique que les joueurs commencent par « perdre ». Ils entament ensuite un processus de réflexion qui les amène à découvrir une meilleure stratégie, et donc à prendre conscience du message en déconstruisant mentalement le fonctionnement du jeu. Bien qu’elle ne soit effectuée que par les joueurs qui sont suffisamment captivés par le jeu pour le terminer et avoir envie d’y rejouer pour améliorer leur score, cette approche semble ici plutôt pertinente pour diffuser des messages simples de manière « intrinsèque ». Baptisée « rhétorique de l’échec », cette approche est d’ailleurs assez répandue au sein des Serious Games (Lee, 2003) (Maurin, 2010).

Cependant, bien qu’ils aient tous identifié le message du jeu, plusieurs utilisateurs nous ont questionnés sur la nature « sérieuse » du jeu. Autant ils voyaient bien la qualité de « Serious Game » pour Eco-Reporter, autant Le Jardinier Ecolo leur est apparu comme un « jeu normal ». Aussi surprenant que cela puisse paraître, nous voyons ici une des limites de la méthode de conception intrinsèque : quand les dimensions « ludique » et « sérieuse » sont mélangées, le jeu ne sera pas forcément perçu comme « sérieux ». Ce qui peut nuire à la bonne réception du message. Ce point nous renvoie à la question primordiale de la « réception » d’un message diffusé à travers un « média » tel que le jeu vidéo, thème d’étude particulièrement riche dans le champ disciplinaire des Sciences de l’Information et de la Communication (Amato, 2008)  (Genvo, 2006). Par rapport à notre expérimentation, nous retiendrons que, malgré tous les efforts du concepteur d’un Serious Game, de nombreux paramètres liés à la posture, la culture, le contexte social... du joueur influent grandement sur la réception du « contenu sérieux » que le jeu cherche à véhiculer.

Enfin, cette étude qualitative permet également d’apporter des éléments de réponse à la question restée en suspens suite à l’analyse des données quantitatives : celle de la forte diminution du nombre de joueurs au fur et à mesure de l’avancement des niveaux, en particulier lors des premiers niveaux du jeu (cf. 3.2.1). Au-delà de des joueurs abandonnant en cours de partie pour diverses raisons classiques (s’ennuie dans le jeu, plus de temps disponible pour jouer, etc.), l’observation de nos testeurs nous permet d’identifier une stratégie de jeu, déployée par certains joueurs, qui accentue ce phénomène. Les joueurs qui ont joué plusieurs parties d’affilée devant nos yeux ont parfois adopté, dès leur seconde partie, une démarche inattendue d’optimisation de leur score. Si, arrivés au premier rapport de performance proposé par le jeu (au niveau 10 sur 26, cf. 2.1.2), ils constataient que leur score était inférieur à celui de leur partie précédente, ils en déduisaient qu’ils avaient peu de chances de faire un meilleur score une fois arrivés à la fin du jeu. Ils quittaient alors tout simplement le jeu pour recommencer une nouvelle partie, et essayaient d’opérer des choix stratégiques différents jusqu’à obtenir un meilleur score lors de ce premier rapport, auquel cas ils continuaient leur partie jusqu’à la fin.

4.2. Avantages et limites des outils de mesures génériques identifiés suite à notre expérimentation

Suite à l’utilisation de deux plateformes génériques de mesure analytique, Playtomic et Google Analytics, pour le suivi des utilisateurs dans deux jeux, nous identifions certains avantages et limites de cette approche pour l’évaluation de Serious Games. Plus précisément, nous pouvons comparer l’utilisation de ces plateformes à deux autres approches : l’intégration à un LMS via des normes telles que SCORM ou IMS-LD, et la construction d’un outil d’analyse « sur mesure ».

4.2.1. Avantages identifiés

- Implémentation extrêmement rapide et légère de l’enregistrement de données, même lors de l’utilisation conjointe de plusieurs plateformes (avantage comparable à l’approche « LMS »).

- Liberté totale du choix des données à enregistrer (avantage comparable à l’approche « sur mesure »).

- Permet de visualiser directement les données récoltées sans avoir à développer un logiciel spécifique (avantage comparable à l’approche « LMS »).

- Coût financier modeste pour l’hébergement du système de suivi : les deux plateformes évaluées sont gratuites.

- Possibilité d’enregistrer de très grands volumes de données (les deux outils testés sont utilisables pour suivre les utilisateurs d’applications possédant une audience de plusieurs centaines de milliers, voire plusieurs millions, de joueurs).

4.2.2. Limites observées

- Qualité du suivi des utilisateurs tributaire des performances techniques d’un système tiers. Si cela n’est pas un réel problème avec Google Analytics qui possède une infrastructure serveur stable et solide, cela a été particulièrement gênant avec le service Playtomic, alors en bêta lors de notre expérimentation. D’autres tests menés pas nos soins après la fin de la bêta de cet outil ont néanmoins montré qu’il était bien plus stable par la suite. De plus, l’offre en matière de plateformes s’est étoffée entre le début de notre expérimentation et la publication de cet article. Cette limite semble donc désormais moins importante.

- Visualisation des données contrainte au cadre défini par la plateforme, qui offre finalement peu de possibilités de personnalisation (limite comparable à l’approche « LMS »).

- Limites imposées sur la récolte de données par certains outils (limitation du nombre d’événements enregistrables par Google Analytics) qui sont difficilement acceptables selon le contexte d’utilisation. Tous les outils ne présentent pas cette limite, le choix d’une plateforme générique de mesure analytique adaptée aux besoins de suivi du joueur dans un Serious Game donné s’avère donc primordial.

- Obligation éventuelle de recourir à une transformation des traces récoltées si elles ne conviennent pas à l’usage souhaité par l’analyste (calcul par Playtomic de moyennes sans pouvoir exclure les journées avec aucun joueur). Là encore, cette limite met en avant l’importance du choix d’une plateforme adaptée aux besoins de l’analyste.

- Ne permet pas facilement (Playtomic), voire pas du tout (Google Analytics), d’accéder directement aux données brutes. Cela complique l’éventuel développement d’une solution de visualisation propre à partir des données collectées par la plateforme, ce qui permettrait de palier si besoin aux limites précédentes (limite spécifique à cette approche, variable selon la logique économique de chaque plateforme. Par exemple, GameAnalytics offrait un accès direct aux données brutes moyennant un abonnement payant, et a rendu cette fonctionnalité gratuite en août 2013).

- Recourt à une évaluation qualitative pour interpréter les données récoltées. Plutôt qu’une limite spécifique à cette approche, il nous semble qu’il s’agit là d’une considération d’ordre méthodologique applicable à toute analyse quantitative. Cependant, les plateformes génériques de mesure analytique que nous avons évaluées ne permettent pas d’opérer des transformations sur les traces récoltées. Cette limite est donc potentiellement plus présente avec cette approche qu’avec les deux autres, en tout cas d’après l’expérimentation, non exhaustive, présentée dans cet article.

5. Conclusion

Grâce à l’interfaçage de deux plateformes génériques de mesure analytique, Playtomic et Google Analytics, avec deux Serious Games, nous avons pu obtenir de nombreuses données quantitatives pertinentes pour l’évaluation de ces jeux. En effet, ces plateformes nous permettent d’observer, avec un niveau de détail défini par nos soins, les parcours suivis par les joueurs dans ces deux Serious Games. Cela nous permet tout d’abord d’appréhender de manière globale les différentes stratégies déployées par les joueurs. Cette première étape d’analyse nous aide ensuite à évaluer de manière quantitative ces jeux, car leur dimension sérieuse est profondément liée à leur dimension ludique, comme le définit la méthode « intrinsèque » utilisée pour les concevoir. Au final, les mesures effectuées grâce à cette approche nous permettent de fournir au commanditaire du projet un retour quantitatif sur l’exposition des joueurs aux divers messages qu’il a souhaité diffuser à travers ces deux Serious Games. Cependant, l’analyse des données enregistrées lors de cette expérimentation laisse apparaître plusieurs questions importantes, auxquelles cette seule étude quantitative ne permet pas de répondre. Afin d’approfondir l’évaluation de ces Serious Games, nous avons alors du recourir à une étude qualitative complémentaire, qui a permis d’élucider ces quelques interrogations restées en suspens.

En conclusion, cette expérimentation nous permet d’identifier certains avantages et limites de l’utilisation de plateformes génériques de mesure analytique pour le suivi des joueurs dans un Serious Game. Plus précisément, nous pouvons évaluer cette approche par rapport à deux autres : l’intégration à un LMS via des normes telles que SCORM ou IMS-LD (Burgos et al., 2008) (Tran, George, & Marfisi-Schottman, 2010) et la construction d’un outil d’analyse sur mesure (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010) (Thomas, Yessad, & Labat, 2011). Bien que loin d’être exhaustive, l’expérimentation présentée dans cet article nous semble indiquer l’intérêt que peut représenter l’utilisation de telles plateformes. Sans pour autant supplanter ou remplacer les deux autres voies existantes, cette troisième approche permet de les compléter. Elle semble même être adaptée à un contexte précis de projet : le besoin d’une grande flexibilité dans la collecte de traces sans pour autant être en mesure de construire un outil d’analyse spécifique à un Serious Game donné. Cette approche apparaît donc finalement comme un compromis entre les deux autres, alliant certains de leurs avantages et certaines de leurs limites.

Bien que cette première expérimentation visait uniquement à explorer l’éventuel potentiel des plateformes génériques de mesure analytique pour l’évaluation de Serious Games, elle nous semble également faire émerger des considérations d’ordre méthodologique. Tout d’abord, nous constatons que les différentes plateformes existantes sont très différentes en termes de fonctionnalités techniques, une plateforme pouvant présenter des limitations que d’autres n’ont pas. Par exemple, nous avons été confronté à des quotas sur la quantité de données enregistrées par Google Analytics, ainsi qu’à la manière atypique dont Playtomic calcule certaines valeurs moyennes. Un premier point méthodologique pour l’utilisation de cette approche est donc l’importance cruciale du choix de l’outil utilisé. Cette tâche est d’ailleurs compliquée par la perpétuelle évolution de l’offre dans le domaine, avec ses nombreuses disparitions (Playtomic, Mochibot) et apparitions (GameAnalytics, DeltaDNA). Cependant, si aucun outil idéal n’est disponible, rien n’empêche d’en utiliser plusieurs simultanément, leur « coût » cumulé d’implémentation restant inférieur à l’élaboration d’un système « sur mesure ». Un autre point méthodologique important est le rôle qu’a joué l’évaluation qualitative dans notre expérimentation. En effet, sans cette évaluation qualitative, il nous aurait été impossible d’interpréter complètement les données quantitatives récoltées. Cela voudrait-il dire que le recours à une évaluation qualitative complémentaire est obligatoire pour exploiter pleinement le potentiel de ces plateformes pour le Serious Game ? Nous pourrions pourtant considérer que ce point s’applique potentiellement à toute analyse quantitative. Mais, comme nous l’avons évoqué (cf. 2.2.2), le Serious Game est un objet complexe de par la richesse d’interaction qu’il offre à l’utilisateur, au point que nous pourrions supposer que son analyse qualitative soit justifiée systématiquement. Pourrions-nous par exemple envisager de construire une méthodologie reposant sur une analyse quantitative en amont afin de pouvoir « cibler » l’étude qualitative sur des points à expliciter ? Il s’agit là d’hypothèses qui méritent d’être vérifiées.

Ainsi, après avoir interrogé le potentiel des plateformes génériques de mesure analytique pour le Serious Game, il nous semble à présent pertinent de continuer à expérimenter cette approche afin d’approfondir leur méthodologie d’utilisation. Dans la suite de nos travaux, nous projetons d’utiliser les plateformes GameAnalytics et lvlboost, tout en continuant à travailler avec Google Analytics, afin d’essayer de formaliser, ou du moins de rationaliser, leur application au Serious Game.

6. Références

ALVAREZ J. (2007, December 17). Du jeu vidéo au serious game, approches culturelle, pragmatique et formelle (PhD Thesis). Toulouse, France: Université de Toulouse.

AMATO E. A. (2008, November 25). Le jeu vidéo comme dispositif d’instanciation : du phénomène ludique aux avatars en réseau. Paris, France: Université Paris 8.

ANDERSEN E., LIU Y., APTER E., BOUCHER-GENESSE F., POPOVIC Z. (2010). Gameplay analysis through state projection. In Proceedings of the Fifth International Conference on the Foundations of Digital Games (pp. 1-8). Monterey, California: ACM.

BURGOS D., MORENO-GER P., SIERRA J. L., FERNANDEZ-MANJON B., SPECHT M., KOPER R. (2008). Building adaptive game-based learning resources: The integration of IMS Learning Design and. Simulation Gaming, 39(3), 414-431.

CHAMPIN P., MILLE A., PRIE Y. (2013). Vers des traces numériques comme objets informatiques de premier niveau : une approche par les traces modélisées. Intellectica, (59), 171–204.

CHOQUET C., IKSAL S. (2007). Modélisation et construction de traces d'utilisation d'une activité d'apprentissage : une approche langage pour la réingénierie d'un EIAH. STICEF, 14(2007). Retrieved from http://sticef.univ-lemans.fr/num/vol2007/14-choquet/sticef_2007_choquet_14.htm

CLIFTON B. (2008). Web Analytics - Web Traffic Data Sources & Vendors Comparison (p. 12). Omega Digital Media.

COOK D. (2009, July 15). Lost Garden: Flash Love Letter. Lost Garden. Retrieved May 20, 2011, from http://www.lostgarden.com/2009/07/flash-love-letter-2009-part-1.html

DJAOUTI D. (2011, November 28). Serious Game Design - Considérations théoriques et techniques sur la création de jeux vidéo à vocation utilitaire (PhD Thesis). Toulouse, France: Université de Toulouse.

DORMANS J. (2009). Machinations: Elemental Feedback Structures for Game Design. In GAME-ON-NA 2009: 5th International North American Conference on Intelligent Games and Simulation. Presented at the GAME-ON-NA 2009: 5th International North American Conference on Intelligent Games and Simulation, Atlanta, USA. Retrieved from http://www.jorisdormans.nl/article.php?ref=machinations

EL-NASR M. S., DRACHEN A., CANOSSA A. (Eds.). (2013). Game Analytics, Maximizing the Value of Player Data. Springer.

GENVO S. (2006, October 27). Le game design de jeux vidéo : approche communicationnelle et interculturelle. Metz, France: Université de Metz.

GRÜNVOGEL S. M. (2005). Formal Models and Game Design. Game Studies, 5(1).

IKSAL S. (2011). Tracks Analysis in Learning Systems: A Prescriptive Approach. nternational Journal for e-Learning Security (IJeLS), 1(1).

JUUL J. (2003). The game, the player, the world: looking for a heart of gameness. In C. Marinka & R. Joost (Eds.), Level Up Conference Proceedings: Proceedings of the 2003 Digital Games Research Association Conference (pp. 30-45). Utrecht: University of Utrecht. Retrieved from http://www.digra.org/dl/display_html?chid=05163.50560.pdf

Lee S. (2003). I Lose, Therefore I Think: A Search for Contemplation amid Wars of Push-Button Glare. Game Studies, 3(2). Retrieved from http://www.gamestudies.org/0302/lee/

LEFEVRE M., BROISIN J., BUTOIANU V., DAUBIAS P., DAUBIGNEY L., GREFFIER F., GUIN N., et al. (2012). Personnalisation de l’apprentissage : comparaison des besoins et approches à travers l’étude de quelques dispositifs. STICEF, 19, 353–387.

LETOURNEUX M. (2006). La question du genre dans les jeux vidéo. In S. Genvo (Ed.), Le game design de jeux vidéo : Approches de l'expression vidéoludique. Editions L'Harmattan.

MARNE B., CARRON T., LABAT J. (2013). Modélisation des parcours pédago-ludiques pour l'adaptation des jeux sérieux. Presented at the EIAH 2013, Toulouse, France.

MAURIN F. (2010, July 15). Jeu vidéo : "Je perds donc je pense". LeMonde.fr. Retrieved May 18, 2011, from http://www.lemonde.fr/actualite-medias/article/2010/07/15/jeu-video-je-perds-donc-je-pense-serious-games-2-5_1385386_3236.html

MICHAEL D., CHEN S. (2005). Serious Games: Games That Educate, Train, and Inform (1er ed.). Course Technology PTR.

PERNELLE P., MARTY J., CARRON T. (2013). From Traces to Indicators for Serious Games: Case study concerning a new way to introduce Product Lifecycle Management. International Journal of Learning Technology, 8(2), 127–146.

SETTOUTI L. S. (2011, January). Systèmes à Base de traces modélisées - Modèles et langages pour l'exploitation des traces d'Interactions (Thèse de Doctorat en Informatique). Université Claude Bernard Lyon 1. Retrieved from http://liris.cnrs.fr/publis/?id=4984

SNJV. (2012). Référentiel des métiers du jeu vidéo. Paris, France: SNJV.

TARRIT C. R., CARON P. (2013). Outils épistémiques et méthodologiques pour l'étude des modes d'existence et d'émergence d'un EIAH.Atténuation des effets de discontinuités dans les analyses des traces d'une plate-forme de formation. Presented at the EIAH 2013, Toulouse, France.

THOMAS P. (2010). Le suivi de l’apprenant dans un serious game intégré au sein d’une plateforme d’apprentissage. Presented at the Troisièmes Rencontres Jeunes Chercheurs en EIAH, Université Lyon I, Lyon.

THOMAS P., YESSAD A., LABAT J. (2011). Réseaux de Petri et ontologies : des outils pour le suivi de l'apprenant dans les jeux sérieux. In Actes de la conférence EIAH 2011 (pp. 435-447). Mons, Belgique: Editions de l'UMONS, Mons 2011. Retrieved from http://hal.archives-ouvertes.fr/hal-00605779

TRAN C. D., GEORGE S., MARFISI-SCHOTTMAN I. (2010). EDoS: An authoring environment for serious games design based on three models (pp. 393-402). Presented at the 4th Europeen Conference on Games Based Learning (ECGBL2010), Copenhagen, Denmark.

A propos de l'auteur

Damien Djaouti est maître de conférences en Informatique à l’université Montpellier II (laboratoire LIRDEF – http://www.lirdef.fr). Ses travaux de recherche portent sur la conception et l’utilisation de jeux vidéo pour des finalités autres que le divertissement (Serious Games) : éducation, communication, santé, politique, art... Il étudie et développe des outils théoriques et logiciels permettant de faciliter la création de tels jeux vidéo. Il est également cofondateur du laboratoire associatif Ludoscience (http://www.ludoscience.com/), dédié à l’étude du jeu vidéo sous toutes ses formes.

Adresse : IUFM de Montpellier, 2 place Marcel Godechot, 34092 Montpellier

Courriel : damien.djaouti@univ-montp2.fr

¹ Traduction personnelle : « games that do not have entertainment, enjoyment or fun as their primary purpose »

² Acronyme de Learning Management System. Désigne un système logiciel destiné à accompagner et suivre des apprenants dans un cursus de formation. Un LMS rassemble plusieurs outils (cours, exercices, chat, forum...) et enregistre leur utilisation (notes obtenues aux exercices...) pour chaque apprenant, facilitant ainsi leur suivi dans le cadre de formations à distance.

³ Expression dérivée des termes anglais « metrics » et « analytics »

⁴ Un écoquartier est un projet d’aménagement urbain qui respecte des principes d’aménagement durable et incite ses habitants à adopter une attitude écocitoyenne. Un tel quartier est par exemple aménagé de manière à permettre la récupération des eaux de pluie, la limitation des transports par la mise à disposition de commerces de proximité, à n’accueillir que des constructions respectant des normes environnementales...

⁵ http://serious.gameclassification.com/14971

⁶ http://serious.gameclassification.com/15028

⁷ http://www.thinkingworlds.com/

⁸ http://e-ucm.es/

⁹ http://creatools.gameclassification.com/410

¹⁰ Même si les jeux vidéo sont généralement répartis en « genres » (Letourneux, 2006), la diversité, l’évolution perpétuelle, et surtout l’absence d’universalité de cette notion de genre fait que le jeu vidéo, et donc le Serious Game, reste un objet plus « variable » que « standardisé ».

¹¹ http://virtualheroes.com/projects/adventure-lab

¹² A titre d’illustration, le mot-clé « aventure » ne correspond qu’à 284 jeux sur les 2985 Serious Games de la base de données http://serious.gameclassification.com/, soit moins de 10% du corpus [relevé le 10-03-2014]

¹³ Les références historiques sont très laconiques dans le domaine, mais Mochibot, lancée en janvier 2008 et fermée en mars 2014, semble être la première « plateforme générique de mesure analytique » dédiée au jeu vidéo à avoir été accessible au public.

¹⁴ http://www.playtomic.com/

¹⁵ La version open-source de Playtomic est disponible sur http://playtomic.org/

¹⁶ http://lvlboost.com/

¹⁷ http://www.google.com/analytics/

Référence de l'article :

Damien Djaouti, Utilisation de plateformes génériques de mesure analytique pour l’évaluation de Serious Games : une expérimentation, Revue STICEF, Volume 21, 2014, ISSN : 1764-7223, mis en ligne le 01/10/2014, http://sticef.org