Contact :
infos@sticef.org
|
Utilisation de plateformes génériques de mesure
analytique pour l’évaluation de Serious Games : une
expérimentation
Damien Djaouti (LIRDEF, Montpellier)
|
RÉSUMÉ : Le
suivi du parcours des utilisateurs est un élément important de
l’évaluation des Serious Games. Deux principales approches semblent
co-exister dans ce domaine : l’intégration du Serious Game à
un LMS via des normes comme SCORM ou IMS-LD, et la construction d’un outil
d’analyse sur mesure pour chaque Serious Game. Dans cet article, nous
proposons une troisième approche pour le suivi des utilisateurs dans un
Serious Game : le recours à des « plateformes
génériques de mesure analytique ». Cet article
présente une expérimentation dans laquelle le suivi des
utilisateurs de deux Serious Games a été effectué
grâce à deux de ces plateformes : Google Analytics et
Playtomic. Nous présenterons tout d’abord le contexte du projet,
avant d’étudier les données qui ont été
récoltées. A partir de ces résultats, nous amorcerons
ensuite une discussion sur les intérêts et limites de ces
plateformes génériques de mesure analytique pour le suivi des
utilisateurs de Serious Games, en comparaison avec les deux autres approches
existantes.
MOTS CLÉS : Serious
Games, Evaluation, Suivi utilisateurs, Google Analytics, Playtomic,
Ecologie.
|
Using analytics platforms for Serious Games evaluation: an experiment |
|
ABSTRACT : User
tracking is one of the keys to evaluate the effectiveness of Serious Games. Two
main approaches are available to perform such user tracking: the first one is to
insert the Serious Game inside a LMS through SCORM or IMS-LD, while the second
one is to build a custom analysis tool for each Serious Game. In this article,
we introduce a third approach to track Serious Games users: the use of generic
metrics & analytics platforms. This article presents an experiment where two
Serious Games have been assessed using two of these platforms: Google Analytics
and Playtomic. We will first detail the context of this project, before
analysing the data that has been collected. Thanks to the results of this
experiment, we will then start a discussion about the advantages and the limits
of these generic metrics & analytics platforms for Serious Games assessment,
compared to the two others available approaches.
KEYWORDS : Serious
Games, Assessment, User tracking, Google Analytics, Playtomic, Ecology
|
1. Introduction
Le suivi du parcours des
utilisateurs dans un Serious Game est un élément important de
l’évaluation de ces « jeux dont la finalité
première est autre que le simple
divertissement »1 (Michael & Chen, 2005).
A cette fin, le champ du Serious Game peut notamment s’appuyer sur les
outils, méthodologies et standards provenant du champ de
l’e-learning, tels que la norme SCORM. Cependant, une étude
conduite par Thomas (Thomas, 2010) montre les limites de SCORM, norme au départ établie pour des
« quiz » pédagogiques, pour assurer le suivi
d’utilisateurs de Serious Games. Plus précisément, Thomas
met en évidence trois limitations : l’impossibilité
d’enregistrer des indicateurs sur les types d’erreurs commises par
l’apprenant ; l’enregistrement limité à la
dernière tentative de l’apprenant, ce qui interdit les analyses
différentielles entre plusieurs « stratégies de
jeu » ; et l’impossibilité de partager les
résultats entre différents apprenants, ce qui empêche la
création de « tableaux de meilleurs score » pour
motiver les utilisateurs. La chercheuse propose alors deux types de solutions
pour palier à ces limites. La première consiste à
s’appuyer sur des LMS2 reposant sur des normes plus ouvertes ou plus adaptées que SCORM,
à l’image d’une expérimentation faite sur IMS-LD (Burgos et al., 2008).
L’autre solution proposée par Thomas est de recourir à une
base de donnée externe au LMS pour enregistrer toute donnée
renvoyée par le Serious Game sans contrainte particulière. Nous
pouvons par exemple penser à l’outil Playtracer,
élaboré pour évaluer le Serious Game Refraction (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010).
Cependant, bien que cette approche « sur mesure » produise
d’excellents résultats, elle requiert un important travail de la
part des créateurs du Serious Game. En effet, un système
relativement unique d’enregistrement et de visualisation des traces
produites par les joueurs doit alors être construit pour chaque jeu. En
résumé, nous identifions donc d’un côté une
approche « LMS », qui offre une simplicité
d’utilisation au prix d’importantes limitations sur la richesse des
données enregistrées, et de l’autre une approche
« sur mesure », sans limitation particulière si ce
n’est un « coût » d’implémentation
élevé.
Dans cet article, nous souhaitons explorer l’éventuel potentiel
d’une troisième approche possible pour le suivi des utilisateurs
dans un Serious Game. Nous proposons d’utiliser des
« plateformes génériques de mesure
analytique »3, des
plateformes logicielles originellement conçues pour mesurer et analyser
l’audience de sites ou jeux sur Internet. Grâce à cette
approche différente, nous espérons arriver à conserver la
précision et la flexibilité de l’approche « sur
mesure » tout en essayant de réduire le temps
d’implémentation du système d’enregistrement et de
visualisation des traces produites par les joueurs. Cet article présente
une expérimentation dans laquelle le suivi des utilisateurs de deux
Serious Games a été effectué grâce à deux de
ces plateformes : Google Analytics et Playtomic. Nous
présenterons tout d’abord le contexte
d’expérimentation et notre méthodologie de suivi des
utilisateurs, avant d’étudier les données que cette approche
a permis de récolter. A partir de ces résultats, nous amorcerons
ensuite une discussion sur les intérêts et limites de ces
plateformes génériques de mesure analytique pour le suivi des
utilisateurs de Serious Games, par rapport aux deux autres approches
identifiées.
2. Contexte d’expérimentation
Dans le cadre d’un
projet de recherche portant sur l’utilisation du jeu comme vecteur de
communication locale, nous avons été amené à
créer deux Serious Games traitant de la thématique des
écoquartiers4. Ce projet
s’inscrit dans un partenariat recherche-industrie impliquant un
laboratoire de recherche en informatique, une commune qui accueille un
écoquartier du nom d’Andromède (alors en cours de
construction), l’aménageur de cet écoquartier, ainsi que la
société privée qui l’a modélisé
virtuellement avant le lancement du programme de construction. Le projet de
recherche couvre donc la conception, la réalisation, la diffusion et
l’analyse de ces deux Serious Games, afin de pouvoir explorer la question
de l’utilisation du jeu vidéo comme support de communication.
L’auteur de cet article a participé activement aux phases de
conception, de développement et d’analyse de ces deux Serious Games (Djaouti, 2011).
L’expérimentation décrite dans cet article s’inscrit
dans la partie « analyse » du projet, dont l’objectif
premier était d’évaluer la pertinence des deux Serious Games
dans la diffusion de leurs messages respectifs.
Parce qu’il nous offrait la possibilité de prendre part à
la fois à la création et à l’analyse de deux jeux, ce
projet nous est apparu comme un contexte idéal pour explorer les
différentes approches permettant d’évaluer un Serious Game
par le suivi de ses utilisateurs.
2.1. Présentation des Serious Games
Ces deux Serious Games ont été
conçus pour sensibiliser le grand public à l’écologie
urbaine, ainsi que pour mettre en avant un écoquartier en
particulier : l’écoquartier Andromède, situé
dans la région Toulousaine, sur les communes de Blagnac et de Beauzelle
(France). Afin d’atteindre la finalité sérieuse visé,
ces deux jeux reposent sur une conception de type
« intrinsèque » (Djaouti, 2011) : les aspects « sérieux » et
« ludiques » sont volontairement associés de
manière profonde, afin qu’une victoire dans le jeu traduise
théoriquement une compréhension, ou tout du moins une
identification, des messages « sérieux »
véhiculés par le Serious Game.
2.1.1. Eco-Reporter, à la découverte
d’Andromède
Le premier Serious Game, intitulé « Eco-Reporter, à la découverte
d’Andomède »5 propose au joueur d’incarner un journaliste dont la mission est
d’écrire un article sur l’écologie urbaine. Pour cela,
le joueur peut explorer librement l’écoquartier Andromède,
prendre des photos, et surtout discuter avec une vingtaine d’habitants du
quartier. Il obtiendra ainsi des informations qu’il pourra utiliser pour
rédiger son article. Au-delà de la mise en avant de
l’écoquartier Andromède, ce Serious Game vise
également à transmettre des messages éducatifs ou
informatifs quant aux principes de bases de l’écologie
urbaine : techniques de construction écologique, principes
d’aménagement d’un écoquartier,
récupération et gestion des eaux de pluies, mise en avant des
modes de transports doux, principes de mixités sociale et
générationnelle, etc. Si le joueur veut
« gagner » au jeu, il doit tout d’abord partir
à la recherche de ces différents messages qui composent le contenu
sérieux. Le joueur doit ensuite manipuler ces messages pour créer
son propre article. Afin de rester accessible à un public n’ayant
jamais joué à un jeu vidéo, la partie «
rédaction de l’article » ne nécessite pas
d’écrire mot à mot le corps de l’article. Lors des
phases de dialogue avec les personnages, le joueur gagne automatiquement des
informations, sous formes de notes pré-écrites, s’il pose
les bonnes questions. Ces notes peuvent alors être assemblées comme
des pièces de puzzle pour créer la trame d’un article : il
s’agit tout simplement d’organiser les notes et photos de
manière linéaire. La partie se termine lorsque le joueur soumet au
jeu un brouillon possédant suffisamment d’éléments
pour être « publié ». Le jeu se charge alors
d’adapter cette trame pour la mettre en page comme un véritable
article de journal. Des niveaux de publications plus ou moins prestigieux (« Internet », « presse locale » et
« presse nationale ») récompensent le joueur
selon la taille de son article.
![](images/Figure01.png)
Figue 1 •
Eco-Reporter : dialogue avec un personnage (gauche) et interface de
composition de l’article (droite)
Une des attentes évoquées par les commanditaires du jeu est
d’être en mesure d’évaluer l’impact des
différents messages liés aux écoquartiers et à
Andromède auprès du public. Les commanditaires cherchent ici
à identifier les thèmes qui intéressent le plus le public
qui sera exposé au jeu : écologie dans la construction de
bâtiment, sécurité dans le quartier, présence de
commodités... Avec le concept proposé pour Eco-Reporter, ce
type d’évaluation est au cœur même du principe de
jeu. En rédigeant un article, les joueurs sont amenés
à choisir les informations qu’ils trouvent les plus
intéressantes, et les photos des lieux qu’ils
préfèrent. Il suffit alors d’analyser les articles
créés par les différents joueurs afin d’obtenir des
statistiques sur les informations auxquelles ils ont été les plus
sensibles (cf. 3.1). À
travers ce concept de jeu, le joueur est amené à dévoiler
son rapport au contenu sérieux qui lui a été
présenté. Le fait que cette « interrogation »
soit incarnée par l’objectif même du jeu (rédiger
un article) ne permet pas à un joueur de la considérer comme
« distincte » du jeu, et donc de la négliger,
s’il souhaite gagner la partie. Nous sommes donc bien ici face à un
Serious Game reposant sur une conception de type
« intrinsèque ».
2.1.2. Le Jardinier Ecolo
Le second Serious Game, « Le
Jardinier Ecolo »6,
traite quant à lui de la dimension écologique des espaces verts
d’un écoquartier. Plus précisément, ce jeu vise
à faire comprendre au joueur quels sont les moyens utilisés pour
économiser l’eau dans les espaces verts de
l’écoquartier Andromède. Ce jeu invite le joueur à
aménager et entretenir un espace vert. Le joueur se verra proposer
plusieurs espèces de plantes (exotique, locale...) qu’il
pourra disposer dans un espace vert vierge. Une fois plantées, ces
plantes ont besoin d’eau pour rester vigoureuses.
Régulièrement, des visiteurs traverseront le parc. Si les plantes
sont bien arrosées, elles auront un effet positif sur le moral des
visiteurs. Si elles sont en manque d’eau, elles auront un effet
négatif sur le moral des visiteurs. Plus les visiteurs sortiront contents
du parc, plus le joueur gagnera des points. Les espèces exotiques de
plantes ont un effet plus important sur le moral des visiteurs, mais sont
nettement plus gourmandes en eau. Une partie de la stratégie gagnante du
jeu consiste donc à comprendre qu’il vaut mieux, sur le long terme,
planter des espèces locales que des plantes exotiques. Le joueur peut
également « améliorer » ses plantes, ce qui a
pour effet de les faire grandir. Or, un arbre est moins gourmand en eau une fois
qu’il a grandi, de même que certaines plantes. Un autre aspect de la
stratégie gagnante consiste ainsi à planter et faire grandir
seulement quelques plantes, plutôt qu’acheter de très
nombreuses jeunes pousses qui seront plus gourmandes en eau sur le long
terme.
![](images/Figure02.png)
Figure 2 • Le
Jardinier Ecolo : écran de jeu (gauche) et rapport
d’activité présenté au joueur (droite)
En ce qui concerne l’évaluation de la diffusion du
« contenu sérieux » du jeu, elle est ici très
simple : étant donné qu’il faut théoriquement
comprendre le message du jeu pour développer une stratégie
permettant de gagner beaucoup de points, le « score » des
joueurs permet d’évaluer, ou tout du moins
d’appréhender, leur niveau de compréhension du message
diffusé par ce Serious Game. Afin de pouvoir évaluer les joueurs,
nous avons donc enregistré à intervalles réguliers quelques
variables permettant d’analyser leur stratégie de jeu : score total, argent restant, nombre de plantes achetées, somme totale
investie dans l’arrosage... Concrètement, le jeu se compose de
26 niveaux, entrecoupés de trois « rapports
d’activité » qui présentent ces variables au
joueur, afin de l’aider à améliorer sa stratégie.
Lorsqu’un rapport est présenté au joueur, les données
qu’il contient sont enregistrées par les plateformes
génériques de mesure analytique. A partir de l’analyse de
ces données, nous pouvons alors tenter d’évaluer la
transmission du contenu sérieux véhiculé par ce Serious
Game (cf. 3.2).
2.1.3. Diffusion des deux Serious Games
La diffusion de ces deux Serious Games auprès du grand public a
été assurée par ses commanditaires, à savoir la SEM
Constellation (aménageur de l’écoquartier
Andromède) et la Mairie de Blagnac (principale commune sur
laquelle se trouve l’écoquartier Andromède). La cible
première de ces deux jeux est le public local : l’objectif est
de faire découvrir l’écoquartier Andromède et les
apports de l’écologie urbaine aux habitants de la région
Toulousaine. Si Eco-Reporter vise un public plutôt adulte, Le Jardinier
Ecolo vise une cible plus large incluant adolescents et enfants à partir
de 10 ans. Deux modes de diffusion ont été
employés :
- Par cédérom : 150 cédéroms
contenant les deux Serious Games ont été distribués
gratuitement pour diffuser le jeu de manière locale, en particulier lors
d’une animation ayant eue lieu du 28 au 30 mai 2010 dans le centre
culturel municipal de la commune de Blagnac.
- Par Internet : les deux jeux sont également
accessibles sur le site Internet de la SEM Constellation. Cela permet tout
d’abord de diffuser plus facilement le jeu à l’échelle
locale (écoles de la ville de Blagnac...), puis de montrer le jeu
à l’échelle nationale. Environ 2000 personnes ont
accédé à chaque jeu par ce biais (cf. 3).
2.2. Méthodologie et outils de suivi des utilisateurs
Comme
expliqué précédemment (cf. 2.1),
Eco-Reporter et Le Jardinier Ecolo reposent sur une méthode de conception
de type « intrinsèque », qui prône un
mélange fort des messages sérieux à transmettre au sein du
principe de jeu. Pour évaluer ces Serious Games de manière
quantitative, il est donc envisageable d’enregistrer certaines variables
propres à chaque jeu, qui feront office de traces permettant
d’étudier le parcours des joueurs. Comme évoqué en
introduction, même si le suivi du parcours du joueur dans un Serious Game
est un champ de recherche relativement récent, plusieurs travaux ont
élaboré des méthodologies et outils à cette fin.
2.2.1. Approches et outils pour le suivi des utilisateurs d’un Serious
Game
Parmi les approches existantes pour
évaluer un Serious Game par le biais du suivi du parcours du joueur, nous
recensons tout d’abord des outils implémentant des normes issues de
l’e-learning, telles que SCORM et IMS-LD. Certains logiciels auteurs comme Thinking Worlds7, <e-adventure>8 et SGTools9 permettent au
créateur du jeu de renvoyer les informations de son choix vers le LMS qui l’encapsule. Le Serious Game est ici considéré comme
un « objet d’apprentissage » standard, au même
titre que le serait un quiz, une vidéo interactive ou toute autre
activité intégrable à un LMS. Dans le cas de <e-adventure>, le créateur peut même utiliser des
informations provenant du LMS afin de modifier le contenu du jeu (Burgos et al., 2008).
Cela permet de recourir à un test de connaissance préalable
à l’utilisation du Serious Game pour adapter son contenu à
l’apprenant. Ainsi que l’a montré Thomas (Thomas, 2010),
la principale limitation de cette approche est directement liée à
l’obligation de respecter une norme pour récolter des traces
d’utilisation. Afin de réduire cette limitation, certains projets
optent donc pour une norme le plus compatible possible avec les besoins de suivi
de leur Serious Game, comme IMS-LD (Burgos et al., 2008),
quant ils ne retravaillent pas tout simplement ces normes pour les adapter
à leurs besoins, à l’image de IMS-LD-SG (Tran, George, & Marfisi-Schottman, 2010).
L’approche inverse existe également : au lieu
d’adapter une norme préexistante à des Serious Games, il est
possible de tenter de définir un modèle à partir de Serious
Games. C’est par exemple le cas du modèle MoPPLiq (Marne, Carron, & Labat, 2013),
qui offre une modélisation générique de parcours dans les
Serious Games, pour ensuite permettre leur modification de haut niveau par une
personne non experte en la matière. Dans tous les cas, cette approche
implique le respect d’un modèle normatif qui doit être
partagé par tous les Serious Games, ce qui peut parfois être un
obstacle pour les concepteurs de tels jeux. En effet, les Serious Games offrent
une palette potentielle d’interaction avec l’utilisateur bien plus
riche et nettement moins
standardisée10 que peuvent
l’être d’autres objets pédagogiques tels que les quiz
ou les scénarios interactifs. Ainsi, le modèle MoPPLiq n’est pour l’instant applicable qu’aux Serious Games
explicitement découpés en « niveaux » et
basés sur une structure (linéaire ou non) peu complexe.
Une autre approche, radicalement différente, consiste à faire
abstraction de toute norme pour créer un système de suivi du
joueur spécifique à chaque Serious Game. C’est par exemple
le cas du Serious Game Ludiville pour lequel a été
réalisé un outil à base de Réseaux de Pétri (Thomas, Yessad, & Labat, 2011),
ou encore de l’outil Playtracer, construit pour évaluer le
Serious Game Refraction (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010). Refraction est un jeu de puzzle qui aborde le concept mathématique
de fractions. Le joueur doit, pour réussir chaque niveau, placer de
manière adéquate des miroirs permettant de diviser un faisceau
laser. Chaque niveau du jeu possède donc un nombre fini
« d’états », correspondant aux
différentes positions des miroirs que le joueur peut déplacer. Playtracer enregistre tout simplement, pour chaque session de jeu, le
nombre de passages du joueur dans chaque « état » du
niveau. Il les représente ensuite sous forme graphique afin de faciliter
la lecture des traces ainsi récoltées.
Cependant, bien que cette approche « sur mesure »
produise d’excellents résultats, elle requiert un important travail
de la part des créateurs de Serious Games. En effet, un système
relativement unique d’enregistrement et de visualisation des traces
produites par les joueurs doit alors être construit pour chaque jeu.
Certains logiciels auteurs proposent certes, en standard, la possibilité
de récolter et visualiser des traces sans imposer de norme
particulière. Par exemple, Virtuoso / Adventure
Lab11peut enregistrer toute
donnée souhaitée directement dans une base MySQL. Mais
cette solution reste bien évidemment circonscrite aux jeux qu’il
est possible de réaliser avec un logiciel auteur donné. De plus,
elle se contente finalement déplacer le
« coût » de création du système de suivi
vers les créateurs de logiciels auteurs au lieu des créateurs de
jeux, sans tenter de réduire ce « coût »
à proprement parler.
2.2.2. Approches et outils pour le suivi des utilisateurs d’un
EIAH
L’existence de systèmes
« sur-mesure » et la question de la réduction du
« coût » qu’ils représentent est une
question de recherche récente pour les Serious Games, mais qui est
explorée depuis plusieurs années dans le champ des EIAH. Si
l’on peut considérer que des normes comme SCORM et IMS-LD
constituent déjà une forme de réponse à cette
problématique, en standardisant le format des traces produites par les
applications d’e-learning, d’autres travaux visent à proposer
des outils et formats de traces tout aussi génériques mais
nettement plus versatiles.
Par exemple, le User Tracking Language (UTL) de Choquet & Iksal (Choquet & Iksal, 2007) (Iksal, 2011) est
un langage générique permettant d’effectuer des
transformations sur tout type de traces extraite d’un EIAH, pour peu que
le modèle de cette trace ait été préalablement
décrit avec ce langage. Pour l’élaborer, les chercheurs ont
posé des bases de réflexion théoriques sur le concept de
traces : leur modèle DGU (Defining, Getting, Using) défini trois facettes génériques permettant de
modéliser toute activité d’observation d’une trace
logicielle. Dans un registre similaire, les travaux de Settouti (Settouti, 2011) introduisent le concept de « Trace Modélisée (M-Trace)
», ainsi qu’un cadre conceptuel pour l’élaboration
d’un Système à Base de Trace Modélisée,
notamment à travers un langage formel permettant la transformation et
l’interrogation de telles traces. Ces travaux semblent culminer avec la
définition d’une « trace » comme objet
informatique standard, afin d’effectuer le suivi d’utilisateurs
indifféremment dans toute application informatique (Champin, Mille, & Prié, 2013).
Tous ces travaux sont potentiellement applicables au Serious Game, ainsi que
le montre Learning Adventure, un jeu multi-joueurs collaboratif
utilisé pour la formation professionnelle (Pernelle, Marty, & Carron, 2013).
Le suivi des utilisateurs dans ce jeu repose sur un Système à Base
de Traces construit en utilisant le modèle de Settouti (Settouti, 2011),
dans lequel le jeu enregistre des traces « basiques » (utilisation du chat, avancement dans le scénario...) qui peuvent
ensuite être combinées à loisir par l’analyste pour
créer des « indicateurs ». Mais comme
l’indiquent les chercheurs à l’origine du projet,
l’implémentation de ces indicateurs est particulièrement
chronophage, et doit être effectuée spécifiquement pour
chaque scénario de jeu afin d’être pertinente. Les recherches
actuelles des créateurs de Learning Adventure portent donc sur
l’élaboration d’indicateurs génériques,
réutilisables pour différents Serious Games.
Ainsi, si l’influence des outils et théories utilisées
pour suivre les utilisateurs d’EIAH est réelle sur le champ du
Serious Game, (Marne, Carron, & Labat, 2013) (Pernelle, Marty, & Carron, 2013) (Thomas, Yessad, & Labat, 2011),
cette influence reste pour l’instant limitée. A nos yeux, la
principale limite à ce transfert réside dans les
différences, en terme d’objet, entre les applications
d’e-learning et les Serious Games, même lorsque les finalités
d’utilisation sont convergentes. Par exemple, une des
problématiques en EIAH est l’élaboration de méthodes
simples et unifiées permettant à un enseignant d’adapter le
parcours de ses élèves, pour laquelle de nombreuses solutions
existent (Lefevre et al., 2012).
Cette même problématique est travaillée pour le Serious Game
par Marne & al. (Marne, Carron, & Labat, 2013) à travers le modèle MoPPLiq, outil sur lequel
l’influence des travaux issus du champ de l’EIAH est notable. Mais
de tels travaux se heurtent à la complexité intrinsèque
d’un jeu vidéo, qui, en tant que machine à état
variable (Dormans, 2009) (Grünvogel, 2005) (Juul, 2003), met
œuvre un grand nombre de règles afin d’offrir une large
variété d’interactions à l’utilisateur. Comme
évoqué précédemment (cf. 2.2.1), Marne
& al. ont par exemple été contraints de limiter la
portée de leur modèle à un seul genre de jeu, le jeu
d’aventure, dont les mécanismes sont généralement
moins complexes que d’autres genres vidéoludiques. Or le jeu
d’aventure n’est qu’un des nombreux genres
vidéoludiques utilisés d12s le
champ des Serious Games12.
Ainsi, pour faire face à la diversité des mécanismes de
jeux existants dans le champ du Serious Game, il nous semble finalement que le
concepteur doit pouvoir conserver la liberté de définir
lui-même la nature des traces pour chaque jeu. De plus, dans un Serious
Game, les données d’interactions brutes ne peuvent faire sens
à elles seules, car le sens d’un Serious Game naît de la
rencontre entre les règles de jeu (scénario ludique) et le contenu
sérieux (scénario pédagogique) (Alvarez, 2007).
Un modèle de trace générique adapté au Serious Game
devrait alors pouvoir rendre compte de l’interaction de
l’utilisateur, mais également du contexte (état actuel du
monde du jeu, avancement du scénario, etc.). En attendant que des
travaux aboutissent à l’élaboration d’un tel
modèle, la possibilité de pouvoir définir librement une
trace pour chaque jeu nous semble donc être primordiale pour effectuer le
suivi du parcours du joueur dans tout genre de Serious Game.
Ce postulat tend à écarter, pour l’instant, la solution
d’une norme de type SCORM ou IMS-LD comme moyen permettant de
réduire le « coût » des systèmes sur
mesure pour l’évaluation de Serious Games, sans pour autant
sacrifier la liberté pour l’analyste de pouvoir définir
librement les données qu’il veut utiliser pour suivre le parcours
des joueurs. Il nous semble alors opportun d’explorer de nouvelles voies
pour tenter d’apporter une réponse à cette
problématique.
2.2.3. Les plateformes génériques de mesure analytique
L’enregistrement et l’analyse de traces
générées par des logiciels informatiques afin de suivre le
comportement de l’utilisateur est une problématique de recherche
active dans de nombreux domaines, allant des EIAH à l’automobile en
passant par les sites Internet (Champin, Mille, & Prié, 2013).
Si des transferts sont bien évidemment possibles et réels entre
ces différents domaines, chaque contexte soulève des questions
spécifiques, au point de nécessiter des cadres théoriques
et outils techniques qui lui sont propres (Tarrit & Caron, 2013).
Un outil particulièrement intéressant est apparu dans le
milieux des années 1990 dans le domaine d’Internet : la
plateforme de mesure d’audience. Il s’agit d’un outil visant
à mesurer la fréquentation d’un site Internet. Si des
solutions « sur mesure » existent, dans lequel un webmaster
enregistre directement dans une base de données le nombre de visites sur
son site, des outils génériques, adaptables à tout site
Internet, ont également fait leur apparition. Les premiers exemples de
ces outils, à l’image de Webalizer (1997-) et AwStats
(2000-), analysent une trace pré-existante, à savoir les logs de connexion produits par le serveur web, pour établir des
données de fréquentation. Aussi pratique soient-ils, ces outils
sont lentement rendus caducs par l’évolution technologique des
sites Internet, qui sont progressivement découpés en
« interactions » plutôt qu’en
« pages » (Clifton, 2008).
D’autres outils de mesure, à l’image de WebtraffIQ / Site
Stats (1995-) et Google Analytics / Urchin (2001-), reposent donc sur
une approche différente : le webmaster définit lui-même
le moment exact, dans le code source du site, qui doit générer une
trace. Cette trace est ensuite collectée et analysée par une
plateforme qui permet sa visualisation. Chaque plateforme propose une API
générique simple à implémenter, permettant à
ces outils de fonctionner avec tout type de site Internet.
Ce genre d’outil semble avoir influencé un autre domaine, celui
des jeux vidéo, et plus précisément celui des jeux
vidéo sur Internet (browser games, social games...). Plus
qu’une simple mesure d’audience, les concepteurs de tels jeux
vidéo ont besoin de connaître avec précision le
comportement, à l’échelle quantitative, des joueurs. Cela
leur permet par exemple d’améliorer l’expérience de
jeu, en modifiant un passage trop difficile, en explicitant une règle mal
comprise ou en ajustant les règles du jeu pour éviter que les
joueurs s’ennuient (El-Nasr, Drachen, & Canossa, 2013).
Dans un premier temps, ce travail est effectué via des outils
« sur mesure ». Les studios de création de jeux
vidéo emploient alors en interne des spécialistes en data mining
pour les implémenter et interpréter les données (SNJV, 2012). Mais,
à l’image des plateformes génériques de mesure
d’audience de site Internet, d’autres outils plus
génériques pour le suivi des joueurs ont également vu le
jour depuis quelques
années13. Ces outils, que
nous baptisons « plateformes génériques de mesure
analytique », proposent une API simple permettant au créateur
du jeu d’enregistrer tout type de donnée quand il le souhaite.
Cette trace est ensuite collectée et analysée par une plateforme
qui permet également sa visualisation. Si ces outils sont avant tout
destinés aux créateurs de jeux de divertissement pour les aider
à améliorer l’expérience ludique
délivrée par leurs titres, ils semblent également
intéressants par rapport à notre problématique
d’évaluation de Serious Games.
Au-delà du fait que les Serious Games sont par nature des jeux
vidéo, le principal intérêt de ces outils est qu’ils
permettent au créateur du jeu ou à l’analyste de
définir librement les données qu’il veut utiliser pour
suivre le parcours du joueur. Et, tout en conservant cette liberté
primordiale pour l’évaluation de Serious Game, ces outils offrent
en apparence un « coût » d’implémentation
bien moindre que celui d’une solution « sur mesure ».
De plus, ils semblent également s’adapter à tout type de
Serious Game, sans limitation de genre, de complexité ou de structure
interne. Ces plateformes génériques de mesure analytique
représentent donc une réponse potentielle à notre
problématique de réduction du « coût »
des outils sur mesure tout en conservant leur liberté de
définition de traces. Les deux plateformes que nous avons
sélectionnées pour cette expérimentation sont Playtomic
(2009-2013), car il s’agit d’une des premières
plateformes publique destinée au jeu vidéo, et Google Analytics
(2005-), qui est très prisée sur le secteur des sites
Internet, tout en restant adaptable au jeu vidéo.
2.2.4. Playtomic
Playtomic14 (anciennement SWFStats) est un service de « suivi de
joueurs » destiné aux jeux vidéo de divertissement. Il
permet d’enregistrer toute valeur numérique souhaitée par le
concepteur du jeu, et propose ensuite de l’analyser à travers
différents tableaux et autres outils de visualisation graphique.
![](images/Figure03.png)
Figure 3 • Playtomic : écran de
visualisation du score moyen lors du premier tiers de jeu pour le Jardinier
Ecolo
Lors de la période de diffusion des deux Serious Games, cette
plateforme, pionnière dans le secteur des jeux vidéo de
divertissement, était en phase de « bêta-test », ce qui ne fut pas sans
conséquences. Lors de l’analyse des données, nous avons en
effet pu nous apercevoir que les mises à jour régulières de
ce service ont entraîné plusieurs pertes de données. De
nombreuses parties n’ont tout simplement pas été
enregistrées par la plateforme. Néanmoins, suffisamment de
données ont pu être récoltées pour permettre
l’analyse de nos joueurs. S’agissant du seul service de ce type
disponible lors du démarrage de notre expérimentation, nous avons
donc quand même décidé de l’utiliser pour effectuer le
suivi des joueurs.
D’un point de vue technique, l’intégration des services de
mesure offerts par cette plateforme est réservée aux applications
développées avec les technologies Flash, HTML5, Unity, Android,
iOS, Java et C++. Une API existe pour chaque langage, qui permet au concepteur
du jeu de renvoyer vers les serveurs de Playtomic la valeur d’une
variable quand il le souhaite dans son programme, et ce à travers une
seule ligne de code (appel d’une méthode statique d’une
classe statique matérialisant l’API).
Enfin, précisons que le service Playtomic a malheureusement
fermé ses portes au mois de mai 2013. Le code source de
l’application a alors été libéré par son
auteur, ce qui permet dorénavant à d’autres services
similaires d’émerger
facilement15. Les fondateurs de Playtomic ont ensuite créé une autre plateforme, lvlboost16, qui offre
des prestations similaires mais qui est toujours en phase de bêta-test
à la date d’écriture de cet article. Notons également
que d’autres plateformes concurrentes à Playtomic ont vu le
jour depuis le début de notre expérimentation. Mentionnons par
exemple GameAnalytics, qui offre des API pour HTML5, Flash, Unity et
Python, ainsi que la possibilité d’envoyer des données
à la plateforme depuis tout autre langage, le service reposant sur une
architecture de type REST. Mentionnons également MochiBot, réservé aux applications Flash, Lumos,
réservé aux applications Unity, et HoneyTracks, une
plateforme payante qui supporte potentiellement tout langage de programmation
via une architecture REST.
2.2.5. Google Analytics
Afin de ne pas nous appuyer uniquement sur un
outil en cours d’élaboration, nous avons également
utilisé le service Google
Analytics17. Cet outil de mesure
d’audience est normalement destiné à l’analyse de
sites Internet. Nous avons donc du recourir à quelques artifices afin de
l’utiliser pour mesurer les données extraites de nos deux Serious
Games. Concrètement, Google Analytics permet d’enregistrer
deux types de données. La première consiste à mesurer
simplement le nombre de visites effectuées sur une
« page » donnée. Nous avons alors
découpé la structure de nos Serious Games en
« pages » afin d’effectuer quelques mesures avec cette
plateforme. Par exemple, chacun des lieux de Eco-Reporter a été
considéré comme une « page », permettant ainsi
de mesurer le nombre de fois que les joueurs se rendent dans chaque lieu. Il en
a été fait de même pour les différents
« niveaux » du Jardinier Ecolo. Ensuite, Google
Analytics permet d’enregistrer des
« événements », qui associent un nom
d’évènement à une valeur numérique, ouvrant la
voie à des mesures similaires à celles proposées par Playtomic. Cependant, Google Analytics n’est pas
destiné à suivre une application générant de
très nombreux évènements, mais des sites Internet
engendrant seulement une poignée
d’événements par visiteur. Cet outil est limité
à l’envoi de 10 évènements à la seconde, ce
qui complique l’envoi simultané de plusieurs variables. De plus, le
nombre total d’évènements pouvant être envoyés
durant une « session de navigation » est limité,
signifiant que si la partie dure un peu trop longtemps, les
événements ne seront plus envoyés. Nous avons pu constater
les inconvénients d’une telle limite sur Le Jardinier Ecolo, les
données enregistrées par Google Analytics s’arrêtant en général au deux tiers de la
première partie. De plus, Google Analytics n’est pas non
plus capable d’estimer de manière fiable le temps de jeu des
utilisateurs, limite liée au fait de détourner ainsi la plateforme
de sa vocation initiale. Notons enfin que cet outil effectue une analyse
géographique de la ville d’origine des visiteurs
particulièrement poussée. Ces données furent
appréciées par les commanditaires du projet pour estimer la
portée de la « communication locale » du projet.
D’un point de vue technique, la plateforme propose elle aussi une API
fonctionnant pour les langages HTML5/Javascript et Flash. A l’image de
l’API de Playtomic, le concepteur du jeu peut donc, via
l’appel d’une simple ligne de code, renvoyer toute variable vers les
serveurs de Google Analytics, ou compter une
« visite », quand il le souhaite dans son programme.
2.2.6. Données enregistrées pour chacun des Serious Games
Chacune de ces deux plateformes
génériques de mesure analytique présente ses propres
avantages et ses propres limites. Ces dernières étant
différentes, les deux plateformes s’avèrent finalement
complémentaires quant aux données qu’elles peuvent
enregistrer et à la manière dont elles permettent de les
visualiser. Pour cette expérimentation, nous avons donc utilisé
simultanément Google Analytics et Playtomic pour
enregistrer les valeurs numériques, et Google Analytics pour
compter les visites dans les différents « lieux »
définis pour ces deux Serious Games. La version Internet du jeu, ainsi
que la version cédérom si une connexion Internet est disponible
sur la machine, enregistrent de manière transparente les informations
suivantes :
- Le contenu des articles rédigés sur Eco-Reporter,
qui est enregistré lorsqu’un joueur soumet un article
répondant aux critères lui permettant d’être
publié. Afin de pouvoir également analyser le comportement des
joueurs qui ne rédigent pas d’article, le nombre de visites dans
chaque lieu et de conversations avec chaque personnage sont enregistrés
de manière continue durant la partie.
- Le score des joueurs, le pourcentage moyen de satisfaction des
visiteurs, l’argent restant, l’argent dépensé pour
acheter de nouveaux éléments, l’argent dépensé
pour améliorer des éléments existants, l’argent
dépensé en arrosage, le nombre de plantes et d’objets (bancs...) possédés par les joueurs du Jardinier Ecolo. Le
jeu se compose de 26 niveaux, entrecoupés de trois « rapports
d’activité » qui présentent ces données
statistiques aux joueurs, assortis de conseils pour les aider à
améliorer leurs stratégies. Lorsqu’un rapport est
présenté aux joueurs, les données qu’il contient sont
également enregistrées par le système d’analyse.
3. Résultats
En utilisant
conjointement les deux plateformes, nous avons enregistré des
données sur une période allant du 20 mai 2010 au 20 mai
2011. Les données présentées dans cet article
résultent donc d’une observation quantitative correspondant
à un an de diffusion publique des deux Serious Games.
3.1. Données récoltés pour le jeu
« Eco-Reporter »
D’après Google Analytics,
1723 parties de Eco-Reporter ont été jouées sur la
période d’observation, alors que Playtomic n’en a
enregistré que 1082. A partir de ces données partielles (qui
résultent des « pannes » liés au statut
bêta de Playtomic, cf. 2.2.4), cette
plateforme estime la durée moyenne d’une partie à 18 min
57.
3.1.1. Analyse du parcours des joueurs dans le jeu
Grâce
à Google Analytics et son système de suivi des
« pages », nous obtenons un aperçu des lieux
visités par les joueurs durant ces 1723 parties, et des personnages avec
lesquels ils ont discuté. Comme nous pouvons l’observer dans le
tableau ci-dessous, tous les personnages à l’exception du guide
d’accueil ont été « visités »
plus souvent que le lieu qui les abrite. Cela signifie tout simplement que les
joueurs ont lancé plusieurs séances de discussion successives avec
un même personnage. En effet, il arrive parfois qu’un dialogue se
termine par manque de questions à poser. Les joueurs ont donc parfois
relancé immédiatement un dialogue afin de poser des questions
différentes, et ainsi récolter des informations
supplémentaires. De prime abord, le fait que « L’Espace Andromède » soit une
exception à cette règle semblerait pouvoir s’expliquer par
le fait qu’il s’agit du lieu de départ des joueurs, et que le
personnage qui y est présent ne sert qu’à donner des
indications sur la manière de jouer. Pour autant, en l’état,
ces données ne nous permettent pas d’expliquer véritablement
pourquoi ce lieu a été parfois visité sans que le joueur
lance un dialogue avec le personnage présent (cf. 4.1.1).
Nom du lieu (personnage associé) |
Visites du lieu |
Dialogues avec le personnage |
Espace Andromède (Guide d’accueil) |
1878 |
1723 |
L'Ecrin Végétal (Facteur) |
1071 |
1320 |
Cap Constellation (Paysagiste) |
851 |
916 |
Avenue d'Andromède (Boulanger) |
787 |
801 |
Complexe Sportif d'Andromède (Entraîneur de football) |
773 |
842 |
Le Grand Patio (Retraité vivant en appartement) |
759 |
860 |
Gendarmerie (Gendarme) |
746 |
792 |
Cours Barricou (Enfant jouant au football) |
732 |
845 |
Promologis (Jeune couple d’étudiants) |
670 |
782 |
Centre de Maintenance du Tramway (Conducteur de Tramway) |
624 |
646 |
Sirrah (Institutrice) |
605 |
720 |
La coulée verte (Brigadier de la police montée) |
556 |
589 |
Lycée St-Exupéry (Lycéenne championne de patin à
glace) |
535 |
617 |
Théâtre de verdure (Retraitée vivant en maison de
retraite) |
501 |
585 |
Centre de loisirs Barricou (Animateur du centre de loisirs) |
478 |
542 |
Le Galilée (Architecte) |
472 |
488 |
Osmose (Constructeur d’écobâtiments) |
462 |
513 |
Les Jardins Andalous (Supporter du Blagnac Football Club) |
424 |
428 |
Carré Mondrian (Hôtesse de l’air) |
371 |
471 |
Les Essentielles (Directrice de la ludothèque) |
369 |
387 |
Crèche Cassiopée (Educatrice jeunes enfants) |
335 |
364 |
Cours Pinot (Famille franco-allemande avec un enfant) |
330 |
379 |
Centre de Formation des Apprentis de l’Industrie (Enseignant) |
327 |
349 |
Tableau 1 •
Données quantitatives relatives aux visites des lieux de
Eco-Reporter
Notons également que Google Analytics propose un outil de
visualisation permettant, pour chaque « page », de savoir
quelles sont les pages d’origines des visiteurs et leurs pages de
destination. Nous pouvons donc savoir, pour chacun des
« lieux » et « personnages »
d’Eco-Reporter, quel est le parcours suivi par le joueur pour y arriver.
Dans l’exemple ci-dessous, nous voyons que 16% des joueurs sont
allés visiter le lieu « Cap Constellation » directement après avoir discuté avec le personnage du « Facteur ». Une fois arrivés sur ce lieu, 94%
des joueurs ont discuté avec le personnage qu’il abrite, 4% des
joueurs ont ouvert l’interface de rédaction d’article, tandis
que 1% des joueurs semblent avoir quittés le jeu à ce moment
là. Ce type de visualisation s’avère particulièrement
pertinent pour une analyse détaillée du parcours des joueurs. Nous
n’avons pas eu besoin de rentrer à ce point dans le détail
pour notre expérimentation, mais il est intéressant de noter que
ces données sont disponibles et visualisables facilement sans
nécessiter de développement supplémentaire.
![](images/Figure04.png)
Figure 4 •
Exemple de visualisation détaillée du parcours des joueurs
grâce à Google Analytics
3.1.2. Analyse du contenu des articles composés par les joueurs
Toujours d’après Google
Analytics, nous constatons que 339 parties d’Eco-Reporter ont abouti
à la rédaction d’un article publié. Cela signifie
qu’environ 20% des joueurs d’Eco-Reporter ont été
suffisamment captivés par le jeu pour aller jusqu’à la
publication d’un article. Cela semble correspondre aux données
enregistrées par Playtomic sur la durée d’une partie,
avec d’un côté de nombreuses parties qui ne durent que
quelques minutes, et de l’autre des parties à la durée
comprise entre 30 minutes et 1h30, temps moyen généralement requis
pour arriver à l’étape de composition d’un article
dans le jeu.
Au total, 1631 articles ont été rédigés et
proposés par les joueurs pour publication. Si seuls 339 de ces articles
ont réussi à passer les critères de publication, nous
observons logiquement que les articles simples (niveau
« Internet ») sont plus nombreux que ceux du niveau « national », dont la création correspond
à une durée de partie d’environ 1h30. A noter
également que 42% des joueurs ayant réussi à faire publier
leur article ont décidé de l’imprimer sur papier pour garder
un souvenir du jeu.
Etape de la rédaction d’un article |
Nombre total d’actions |
Taille moyenne d’un article |
Ouverture de l'interface de rédaction d’article |
4026 |
- |
Soumission de l’article au rédacteur en chef |
1631 |
- |
Refus de l’article par le rédacteur en chef |
1284 |
- |
Acceptation de l’article par le rédacteur en chef |
339 |
48 éléments |
Articles acceptés au niveau « Internet » |
179 |
27 éléments |
Articles acceptés au niveau
« Régional » |
98 |
63 éléments |
Articles acceptés au niveau « National » |
61 |
84 éléments |
Impression sur papier de l’article accepté |
145 |
- |
Tableau 2 •
Données quantitatives relatives à la rédaction d’un
article dans Eco-Reporter
Comme il l’avait été souhaité par les
commanditaires du projet (cf. 2.1.1), les
données enregistrées nous permettent également de
visualiser les « thèmes » du contenu sérieux
les plus utilisés par les joueurs. Tout d’abord, nous obtenons la
répartition globale des différentes thématiques du contenu
sérieux dans les articles composés par les joueurs :
Thème des messages utilisés dans l’article |
Nombre total de messages cités |
Nombre de messages différents dans le thème |
Qualité de vie |
1445 |
8 messages |
Commodités |
1228 |
6 messages |
Généralités |
1179 |
7 messages |
Les espaces verts |
1110 |
6 messages |
Transports |
1016 |
5 messages |
Aspects Environnementaux |
941 |
6 messages |
Vie locale |
840 |
6 messages |
La Géothermie Profonde |
666 |
5 messages |
La gestion des eaux |
597 |
5 messages |
Mixité sociale et générationnelle |
503 |
4 messages |
Les Toitures Végétalisées |
314 |
3 messages |
Photographies des lieux |
4021 |
27 photos |
Tableau 3 •
Répartition des thématiques pour les articles
rédigés dans Eco-Reporter
Ensuite, pour chacun de ces « thèmes », il est
possible d’obtenir des statistiques plus détaillées. Tout
d’abord, sur le nombre de messages d’un thème donné
qui sont présents dans chacun des articles finalisés par les
joueurs. Ci-dessous uniquement le détail de la catégorie
« Aspects Environnementaux » :
Nombre de messages liés au thème dans l’article |
Articles publiés |
1 message lié aux « Aspect Environnementaux »
dans l’article |
31 |
2 messages liés aux « Aspect Environnementaux »
dans l’article |
49 |
3 messages liés aux « Aspect Environnementaux »
dans l’article |
43 |
4 messages liés aux « Aspect Environnementaux »
dans l’article |
52 |
5 messages liés aux « Aspect Environnementaux »
dans l’article |
44 |
6 messages liés aux « Aspect Environnementaux »
dans l’article |
42 |
Tableau 4 •
Détail du nombre d’utilisations des messages de la
thématique « Aspects Environnementaux »
Et enfin, il est tout simplement possible d’obtenir, pour chacun des 61
« messages » définissant le contenu sérieux
d’Eco-Reporter, le nombre de fois qu’il a été
employé dans les articles des joueurs. Ci-dessous uniquement le
détail de la catégorie « Aspects
Environnementaux » :
Message lié au « Aspects Environnementaux » |
Citations totales |
« De nombreux bâtiments de cet écoquartier
répondent à la certification Bâtiment Basse Consommation
(BBC) » |
200 |
« La certification BBC est attribuée aux bâtiments
à faible dépense énergétique en terme de chauffage
et d'éclairage » |
186 |
« La limitation du goudronnage des sols permet de mieux
gérer les espaces verts et la récupération de l'eau de
pluie » |
169 |
« Les parkings des équipements publics sont
mutualisés pour accueillir les visiteurs tout en limitant
l’imperméabilisation des sols » |
145 |
« Pour les habitants, la certification BBC représente des
économies sur le chauffage et la climatisation » |
126 |
« Un éco-bâtiment est construit avec plusieurs
techniques telles que les toitures végétales, la géothermie
ou les panneaux solaires » |
115 |
Tableau 5 •
Détail de l’utilisation de chaque message de la thématique
« Aspects Environnementaux »
En prenant en compte le nombre de messages dans chaque
« thème » et leur nombre de citations, nous observons
que, sur la durée d’observation du jeu, les joueurs
d’Eco-Reporter ont favorisés dans leurs articles les messages
traitant des commodités, des généralités, des
transports, de la qualité de vie et des espaces verts. A l’inverse,
ils ont été nettement moins enclins à utiliser les
informations sur les aspects techniques de l’écologie urbaine (fonctionnement de la géothermie profonde, des toitures
végétalisées, gestion des eaux de pluie) et sur les
notions de mixité sociale et générationnelles. Loin de
constituer un sondage ou une enquête d’opinion à proprement
parler, à cause des nombreux biais introduits (non constitution
d’un panel représentatif, enquête
« transparente » et non signalée au joueur,
etc.), ces données sont néanmoins très
intéressantes pour appréhender de manière globale le niveau
de diffusion respectif de chaque message « sérieux »
du jeu.
3.2. Données récoltés pour le jeu « Le
Jardinier Ecolo »
D’après Google Analytics, 1985 parties du Jardinier Ecolo ont été
jouées sur la période d’observation, alors que Playtomic n’en a enregistré que 1400. A partir de ces
données partielles, la plateforme estime la durée moyenne
d’une partie à 18 min 10.
3.2.1. Analyse du parcours des joueurs dans le jeu
En nous appuyant sur les données
récoltées par Google Analytics, nous pouvons avoir une
idée du nombre de joueurs ayant terminé chacun des niveaux du
jeu :
![](images/Figure05.png)
Figure 5 •
Nombre de joueurs ayant terminé chacun des niveaux du Jardinier
Ecolo
Au total, si 1985 joueurs ont démarré le premier niveau du jeu,
seulement 499 d’entre eux sont arrivés jusqu’à la fin.
Cela signifie qu’environ 25% des joueurs qui commencent une partie la
poursuivent jusqu’à son terme. Le fait que 3/4 des joueurs quittent
le jeu avant la fin de la partie apparaît considérable, et, en
l’état, les données récoltés ne nous
permettent pas d’expliquer outre mesure cette situation. De plus, les
données enregistrées par Playtomic permettent
d’obtenir une courbe similaire, malgré un nombre moindre de parties
analysées. S’il est normal que le nombre de joueurs diminue
légèrement de niveau en niveau (Cook, 2009), la
diminution notable du nombre de joueurs sur les premiers niveaux semble ici
nécessiter de plus amples analyses pour être explicitée (cf. 4.1.2).
3.2.2. Analyse des stratégies mises en place par les joueurs
Dues aux limitations propres à Google
Analytics et son système
« d’événements » (cf. 2.2.5), seules
les données enregistrées par Playtomic ont pu être
utilisées pour étudier les stratégies
développées par les joueurs à partir des différentes
variables du jeu (argent dépensé, taux de satisfaction des
visiteurs...). Cependant, les données moyennes calculées
automatiquement par Playtomic sont faussées, car elles prennent en
compte dans le calcul les jours où aucune partie n’a
été jouée, rajoutant ainsi de nombreux
« 0 » diminuant artificiellement les valeurs moyennes. Nous
avons alors du extraire manuellement les données brutes
enregistrées de manière quotidienne par Playtomic, et
recalculer nous-même les valeurs moyennes pour chacune des variables
enregistrées dans le tableau ci-dessous :
Donnée enregistrée |
Rapport n°1 |
Rapport n°2 |
Rapport n°3 |
Moyenne |
Somme dépensée pour l’achat
d’éléments |
636 € |
1188 € |
563 € |
796 € |
Nombre de plantes achetées |
2,5 |
2,4 |
1,8 |
6,7 |
Nombre d’objets (bancs...) achetés |
2,1 |
1,7 |
1,5 |
5,4 |
Somme dépensée pour l’amélioration
d’éléments |
421 € |
957 € |
554 € |
644 € |
Somme dépensée pour l’arrosage des plantes |
510 € |
1386€ |
1178 € |
1025 € |
Budget restant au joueur |
176 € |
231 € |
211 € |
147 € |
Taux de satisfaction des visiteurs |
83% |
71% |
59% |
71% |
Score du joueur |
3454 |
13614 |
21899 |
21899 |
Tableau 6 •
Données enregistrées par Playtomic sur Le Jardinier Ecolo
Comme exposé précédemment, ces données sont
enregistrées lors de « rapports
d’activité » qui sont présentés aux joueurs
à chaque tiers de sa partie (cf. 2.2.6). Elles
nous permettent de voir que plus la partie avance, plus les joueurs ont tendance
à investir dans l’arrosage des plantes au détriment de leur
achat. De même, la somme investie par les joueurs dans
l’amélioration des plantes existantes est quasiment
équivalente au montant représenté par l’achat de
nouvelles plantes. Ces deux données illustrent le fait que les joueurs
semblent avoir plutôt bien assimilé le fait qu’avoir peu de
plantes que l’on fait grandir et que l’on entretient
régulièrement est une meilleure stratégie que celle qui
consiste à multiplier l’achat de plantes. De même, les
équipements n’ont pas été négligés par
les joueurs, qui ont cherché à
« rentabiliser » leurs quelques plantes par l’ajout de
bancs permettant aux visiteurs de s’asseoir pour les admirer plus
longtemps. Nous constatons aujourd’hui que ces données auraient
été encore plus pertinentes si nous avions opéré une
différenciation entre les espèces
« exotiques » et « locales » en comptant
le nombre de plantes achetées par les joueurs. Cette donnée
n’étant pas pertinente pour les rapports d’activité (un joueur pouvant visuellement voir à tout moment les
différentes espèces de plantes sur son terrain), nous
n’avions pas pensé à l’inclure avant la diffusion du
jeu à grande échelle. Si elles ne permettent donc pas de rentrer
autant dans le détail des stratégies des joueurs que nous
l’aurions souhaité, ces quelques données quantitatives nous
renseignent tout de même sur les tendances générales de
leurs choix stratégiques.
4. Discussion
Durant
cette expérimentation, l’utilisation de plateformes
génériques de mesure analytique nous a permis d’enregistrer
et visualiser différents types de traces pour évaluer ces deux
Serious Games, synthétisées dans le tableau ci-dessous :
Type de trace enregistrée |
Jeu concerné |
Exploitation durant l’analyse |
Temps total de jeu |
Eco-ReporterJardinier Ecolo |
Motivation des joueurs |
Nombre de visites par lieu et de dialogues par personnage |
Eco-Reporter |
Exposition des joueurs aux divers messages du jeu |
Parcours détaillé (pour chaque action des joueurs,
enregistrement de l’action précédente et de l’action
suivante) |
Eco-Reporter |
Exposition des joueurs aux divers messages du jeu (trace très
détaillée, mais que nous n’avons finalement pas eu à
exploiter) |
Détail des messages du jeu cités dans les articles
composés par les joueurs |
Eco-Reporter |
Identification de messages du jeu ayant le plus retenu l’attention des
joueurs |
Nombre de joueurs atteignant chaque niveau du jeu |
Jardinier Ecolo |
Exposition des joueurs au message du jeu |
Répartition des choix stratégiques opérés par
les joueurs (types et nombres d’objet achetés, taux
d’arrosage...) |
Jardinier Ecolo |
Compréhension de la « stratégie gagnante »
du jeu, et donc du message qu’il vise à véhiculer, par les
joueurs (N.B.: « Privilégiez les plantes locales par rapport
aux exotiques, et mieux vaut peu de grandes plantes que beaucoup de jeunes
pousses ») |
Score moyen du joueur |
Jardinier Ecolo |
Tableau 7 • Synthèse des traces
récoltées durant l’expérimentation
Malgré la richesse de ces données, leur analyse soulève
plusieurs questions restées en suspens quant aux comportements des
joueurs dans ces deux jeux. Afin d’approfondir l’évaluation
de ces Serious Games, une étude qualitative complémentaire a donc
été menée.
4.1. Etude qualitative complémentaire
L’étude qualitative de la réception de ces deux Serious
Games a eu lieu selon des modalités simples. Nous avons observé
une personne en train de jouer, en nous abstenant de tout commentaire. Nous
avons alors demandé au joueur de penser à voix haute, afin de
pouvoir noter ses différentes réflexions lors de
l’utilisation du jeu. Une fois la partie terminée, nous lui avons
posé la question « Pensez-vous que ce jeu diffuse un
message ? Si oui, quel est-il ? » et noté sa
réponse pour compléter le compte-rendu d’observation.
Au total, nous avons observé 28 utilisateurs différents, dont
23 ont testé Eco-Reporter, et seulement 20 Le Jardinier Ecolo. Notre
panel comprenait par exemple un homme de 74 ans n’ayant jamais joué
à un jeu vidéo ou encore une joueuse occasionnelle
âgée de 28 ans. En constituant un tel panel, nous avons
essayé de rassembler un échantillon représentatif du public
ciblé par ce projet. La part de femmes est plus élevée que
celles des hommes parmi nos testeurs (17 personnes sur 28). Si leurs âges
et professions sont diverses, la plupart des personnes que nous avons
observées en train d’utiliser ces deux Serious Games ne sont pas
des joueurs passionnés de jeu vidéo. Certains d’entre eux
n’ont même jamais joué à un jeu vidéo de leur
vie, alors que pour d’autres cette pratique se limite à des parties
de jeux sur Wii entre amis ou en famille. Nos Serious Games étant
destinés aux personnes peu familières avec le jeu vidéo
aussi bien qu’à ceux qui le pratiquent de manière
occasionnelle, notre échantillon de testeurs
« qualitatifs » représente finalement assez bien le
public visé.
4.1.1. Retours qualitatifs sur Eco-Reporter
Pour Eco-Reporter, trois types de comportements
ont été observés chez nos testeurs. Tout d’abord,
certains joueurs n’ont pas du tout accroché au concept du jeu. 2 de
nos 23 testeurs ont essayé le titre quelques minutes, ont trouvé
sa manipulation aisée et son principe sympathique, mais « ça ne leur plaisait pas de lire toutes ces
informations ». Ils ont trouvé le jeu trop simple, pas
assez « ludique » à leur goût. Un de ces
testeurs était un joueur passionné de jeu vidéo qui
n’aimait pas trop les jeux d’aventure car il les trouvait « ennuyeux ». L’autre testeur connaissait
déjà bien l’écoquartier Andromède, et ne
voyait donc pas d’intérêt particulier à relire des
informations sur le sujet quand il pouvait aussi tester Le Jardinier Ecolo. Pour
ces deux joueurs, la partie n’aura donc duré que quelques
minutes.
Ensuite, des joueurs ont apprécié le côté
« exploration de l’écoquartier » mais
n’ont trouvé aucun intérêt à rédiger
l’article. Ce comportement a été observé pour 5 de
nos 23 testeurs. Ne rentrant pas dans l’optique de « gagner
le jeu », ces joueurs, tous des habitants de la ville de Blagnac,
ont été plutôt intéressés par « la découverte de cet écoquartier en construction
pas loin de chez eux ». Ils ont apprécié la richesse
des informations et ont pris de nombreuses photos et notes. Mais au moment de
rédiger l’article, ils nous ont dit qu’ils trouvaient cette
étape de composition « prise de tête » et s’estimaient déjà totalement satisfaits par les
informations qu’ils avaient pu lire lors de la visite virtuelle du
quartier. A noter que ces testeurs ont donc exploré les 23 lieux du jeu
et ont discuté au moins une fois avec tous les personnages. Pour ces
joueurs, la partie aura durée entre 20 et 30 minutes.
Enfin, 16 de nos 23 testeurs ont littéralement été
« accrochés » par le jeu. Ils ont tout d’abord
commencé par explorer le quartier, afin de récolter photos et
informations. Cependant, nous avions incorporé un mécanisme qui
rappelle aux joueurs, au bout de 12 minutes de jeu, qu’ils doivent
composer un article et non pas seulement explorer le quartier.
Concrètement, le jeu affiche une fenêtre avec un message du
rédacteur en chef du journal pour lequel travaille le joueur, qui lui
demande d’envoyer un brouillon du travail déjà accompli. La
plupart des joueurs ont cliqué sur le bouton « Je le ferai
plus tard », en nous expliquant qu’ils souhaitaient tout
d’abord finir de récolter des informations avant de rédiger.
Mais ce message a clairement rappelé à nos testeurs quel
était l’objectif du jeu. La plupart d’entre eux
s’étaient laissé « happer » par la
dimension exploration au point d’oublier qu’il faudrait ensuite
rédiger un article, tel que nous l’avons constaté en les
écoutant réfléchir à voix haute. Une fois
l’exploration terminée, ces joueurs ont ouvert l’interface de
rédaction d’article, et, à notre surprise, s’y sont
presque plus amusés que durant la phase d’exploration.
Peut-être est-ce du à la dominante féminine de notre corpus
de testeurs, toujours est-il que ces derniers ont clairement exprimé
qu’ils s’amusaient beaucoup à organiser les informations
récoltées pour composer un article. Tous ces joueurs,
captivés par la rédaction de l’article, ont parfois
passé autant de temps à le composer qu’à explorer le
quartier. Ils ont donc été largement exposés aux nombreux
messages du jeu. En tout, les joueurs ayant réussi à faire publier
un article ont passé entre 30 minutes et 1h30 à jouer à
EcoReporter. Ce temps de jeu est plus que surprenant de la part d’un
public qui n’est pas forcément attiré par le jeu
vidéo.
Cette étude qualitative nous permet également de
répondre aux deux questions restées en suspens lors de
l’analyse des données quantitatives sur Eco-Reporter. Tout
d’abord en ce qui concerne le temps de jeu, très fragmenté,
avec d’un coté des parties très courtes de l’ordre de
quelques minutes, et de l’autre des parties durant entre 30 et 90 minutes (cf. 3.1.2). Ces
données quantitatives semblent correspondre aux différents profils
de joueurs observés, Eco-Reporter ayant manifestement divisé les
joueurs en trois groupes selon leur niveau d’implication dans le jeu.
L’autre question restée en suspens concerne le fait que le lieu
de départ des joueurs, « l’Espace
Andromède », est le seul lieu qui est parfois visité
sans que les joueurs entament une conversation avec le personnage (cf. 3.1.1). La
réponse à cette question nous a été donnée
lors de l’observation des joueurs relevant du groupe allant
jusqu’à la rédaction d’un article. Certains joueurs ne
prennent tout simplement pas en photo ce lieu, car il s’agit du lieu de
départ où le jeu leur explique comment jouer et qu’ils
« oublient » de prendre une photo car ils se focalisent
d’abord sur le fait de changer de lieu. Lors de la rédaction de
l’article, ces joueurs se rendent ensuite compte qu’ils n’ont
pas la photo de ce lieu, et y reviennent donc uniquement afin d’en prendre
une photo, sans discuter à nouveau avec le personnage.
4.1.2. Retours qualitatifs sur le Jardinier Ecolo
En ce qui concerne Le Jardinier Ecolo, les
retours d’utilisateurs étaient sensiblement différents. Sur
les 20 personnes qui ont testées ce jeu, une seule personne n’a pas
du tout accroché, ne « voyant pas
l’intérêt du jeu ». Une autre testeuse, joueuse
passionnée de jeu vidéo, a quant à elle arrêté
de jouer au bout de quelques niveaux, trouvant le jeu « beaucoup
trop simple avec pas assez de choses à gérer ».
Pourtant, ces deux personnes ont consacré plus de 1h30 à
Eco-Reporter.
Les autres testeurs du Jardinier Ecolo ont tous été
suffisamment captivés par le jeu pour le terminer, ce qui
représente environ 30 minutes de jeu. Environ deux tiers de ces testeurs
ont manifesté le souhait de recommencer une partie pour améliorer
leur score. Lors de leur première partie, tous ces joueurs ont
acheté des plantes exotiques, poussés par les conseils sciemment
donnés en ce sens par le jeu. Comme ils possédaient
également des plantes locales, qui sont moins efficaces pour remonter le
moral des visiteurs mais nettement moins gourmandes en eau, ils ont alors pu
constater à quel point les plantes exotiques coûtaient cher
à entretenir. Des phrases du type « je voudrais bien acheter
un banc, mais je viens d’arroser et il ne me reste plus
d’argent » ou « mais c’est pas possible,
je viens d’arroser ma plante exotique et il faut déjà
que je lui redonne de l’eau » revenaient
régulièrement lors de l’observation de ces testeurs. Cette
observation renvoie à la part importante d’argent consacrée
à l’arrosage des plantes que nous avons observé dans nos
donnés quantitatives (cf. 3.2.2). Lors de
leur seconde partie, ces joueurs se sont généralement
tournés vers les espèces de plantes
« locales », et ont constaté qu’ils obtenaient
un meilleur score à l’échelle d’une partie. A la fin
de chaque partie, le jeu demande son nom au joueur afin de l’enregistrer
dans un « tableau des meilleurs scores ». Ce système,
grand classique des jeux d’arcade, fut également efficace pour ce
Serious Game. Certains de nos testeurs se battaient littéralement pour
arriver tout en haut de ce tableau de score. Ils ont pour cela continué
à jouer une fois rentrés chez eux, en dehors des
évaluations que nous avons mis en place, pouvant parfois jouer une
quinzaine de parties afin d’atteindre la première place du
classement.
Au final, la plupart de nos testeurs ont réussi à percevoir le
message du jeu. Comme nous l’a formulé une de nos testeuses,
très inspirée : « Les arbres ça prend une
place dans la vie des gens, des beaux espaces verts ça donne envie d'y
aller, d'y rester et de renouer avec la nature quand c'est bien entretenu. Mais
ça ne se fait pas tout seul, un parc c'est de l'entretien et c'est pas
fait au hasard. Bref, la nature c'est joli mais c'est du boulot, et ce jeu
ça fait prendre conscience que les espaces verts ne sont pas faits au
hasard ». Une autre joueuse fut beaucoup plus synthétique : « Les espaces verts sont bon pour le moral et les plantes exotiques
sont une ruine ». Bien qu’incorporé au sein des
mécanismes de jeu, le message sur la valeur et le coût de
l’eau pour l’entretien des plantes semble avoir été
identifié par la plupart de nos testeurs ayant terminé le
jeu : « Le jeu dit qu’on peut pas faire ce qu’on veut
avec la nature, il y a des contraintes de budget, l’eau ça
coûte cher, il y a différentes plantes et tout ça
», ou encore : « On passe beaucoup de temps à
arroser, j’ai eu l’impression de ne faire qu’arroser car
ça revient souvent et c’est [rébarbatif], mais c’est
vrai que du coup on voit bien le côté écolo ». Le
fait que ce message soit ici associé à une
« stratégie gagnante » implique que les joueurs
commencent par « perdre ». Ils entament ensuite un processus
de réflexion qui les amène à découvrir une meilleure
stratégie, et donc à prendre conscience du message en
déconstruisant mentalement le fonctionnement du jeu. Bien qu’elle
ne soit effectuée que par les joueurs qui sont suffisamment
captivés par le jeu pour le terminer et avoir envie d’y rejouer
pour améliorer leur score, cette approche semble ici plutôt
pertinente pour diffuser des messages simples de manière
« intrinsèque ». Baptisée
« rhétorique de l’échec », cette
approche est d’ailleurs assez répandue au sein des Serious Games (Lee, 2003) (Maurin, 2010).
Cependant, bien qu’ils aient tous identifié le message du jeu,
plusieurs utilisateurs nous ont questionnés sur la nature
« sérieuse » du jeu. Autant ils voyaient bien la
qualité de « Serious Game » pour Eco-Reporter, autant
Le Jardinier Ecolo leur est apparu comme un « jeu
normal ». Aussi surprenant que cela puisse paraître, nous
voyons ici une des limites de la méthode de conception
intrinsèque : quand les
dimensions « ludique » et
« sérieuse » sont mélangées, le jeu ne
sera pas forcément perçu comme
« sérieux ». Ce qui peut nuire à la bonne
réception du message. Ce point nous renvoie à la question
primordiale de la « réception » d’un message
diffusé à travers un « média » tel que
le jeu vidéo, thème d’étude particulièrement
riche dans le champ disciplinaire des Sciences de l’Information et de la
Communication (Amato, 2008) (Genvo, 2006).
Par rapport à notre expérimentation, nous retiendrons que,
malgré tous les efforts du concepteur d’un Serious Game, de
nombreux paramètres liés à la posture, la culture, le
contexte social... du joueur influent grandement sur la réception du
« contenu sérieux » que le jeu cherche à
véhiculer.
Enfin, cette étude qualitative permet également
d’apporter des éléments de réponse à la
question restée en suspens suite à l’analyse des
données quantitatives : celle de la forte diminution du nombre de
joueurs au fur et à mesure de l’avancement des niveaux, en
particulier lors des premiers niveaux du jeu (cf. 3.2.1).
Au-delà de des joueurs abandonnant en cours de partie pour diverses
raisons classiques (s’ennuie dans le jeu, plus de temps disponible pour
jouer, etc.), l’observation de nos testeurs nous permet
d’identifier une stratégie de jeu, déployée par
certains joueurs, qui accentue ce phénomène. Les joueurs qui ont
joué plusieurs parties d’affilée devant nos yeux ont parfois
adopté, dès leur seconde partie, une démarche inattendue
d’optimisation de leur score. Si, arrivés au premier rapport de
performance proposé par le jeu (au niveau 10 sur 26, cf. 2.1.2), ils
constataient que leur score était inférieur à celui de leur
partie précédente, ils en déduisaient qu’ils avaient
peu de chances de faire un meilleur score une fois arrivés à la
fin du jeu. Ils quittaient alors tout simplement le jeu pour recommencer une
nouvelle partie, et essayaient d’opérer des choix
stratégiques différents jusqu’à obtenir un meilleur
score lors de ce premier rapport, auquel cas ils continuaient leur partie
jusqu’à la fin.
4.2. Avantages et limites des outils de mesures génériques
identifiés suite à notre expérimentation
Suite à l’utilisation de deux plateformes
génériques de mesure analytique, Playtomic et Google
Analytics, pour le suivi des utilisateurs dans deux jeux, nous identifions
certains avantages et limites de cette approche pour l’évaluation
de Serious Games. Plus précisément, nous pouvons comparer
l’utilisation de ces plateformes à deux autres approches :
l’intégration à un LMS via des normes telles que SCORM ou
IMS-LD, et la construction d’un outil d’analyse « sur
mesure ».
4.2.1. Avantages identifiés
- Implémentation extrêmement rapide et
légère de l’enregistrement de données, même
lors de l’utilisation conjointe de plusieurs plateformes (avantage
comparable à l’approche « LMS »).
- Liberté totale du choix des données à
enregistrer (avantage comparable à l’approche « sur
mesure »).
- Permet de visualiser directement les données
récoltées sans avoir à développer un logiciel
spécifique (avantage comparable à l’approche
« LMS »).
- Coût financier modeste pour l’hébergement
du système de suivi : les deux plateformes évaluées sont
gratuites.
- Possibilité d’enregistrer de très grands
volumes de données (les deux outils testés sont utilisables
pour suivre les utilisateurs d’applications possédant une audience
de plusieurs centaines de milliers, voire plusieurs millions, de joueurs).
4.2.2. Limites observées
- Qualité du suivi des utilisateurs tributaire des
performances techniques d’un système tiers. Si cela n’est pas
un réel problème avec Google Analytics qui possède
une infrastructure serveur stable et solide, cela a été
particulièrement gênant avec le service Playtomic, alors en
bêta lors de notre expérimentation. D’autres tests
menés pas nos soins après la fin de la bêta de cet outil ont
néanmoins montré qu’il était bien plus stable par la
suite. De plus, l’offre en matière de plateformes s’est
étoffée entre le début de notre expérimentation et
la publication de cet article. Cette limite semble donc désormais moins
importante.
- Visualisation des données contrainte au cadre défini
par la plateforme, qui offre finalement peu de possibilités de
personnalisation (limite comparable à l’approche
« LMS »).
- Limites imposées sur la récolte de données
par certains outils (limitation du nombre d’événements
enregistrables par Google Analytics) qui sont difficilement acceptables
selon le contexte d’utilisation. Tous les outils ne présentent pas
cette limite, le choix d’une plateforme générique de mesure
analytique adaptée aux besoins de suivi du joueur dans un Serious Game
donné s’avère donc primordial.
- Obligation éventuelle de recourir à une
transformation des traces récoltées si elles ne conviennent pas
à l’usage souhaité par l’analyste (calcul par
Playtomic de moyennes sans pouvoir exclure les journées avec aucun
joueur). Là encore, cette limite met en avant l’importance du
choix d’une plateforme adaptée aux besoins de l’analyste.
- Ne permet pas facilement (Playtomic), voire pas du tout (Google Analytics), d’accéder directement aux données
brutes. Cela complique l’éventuel développement d’une
solution de visualisation propre à partir des données
collectées par la plateforme, ce qui permettrait de palier si besoin aux
limites précédentes (limite spécifique à cette
approche, variable selon la logique économique de chaque plateforme. Par
exemple, GameAnalytics offrait un accès direct aux données brutes
moyennant un abonnement payant, et a rendu cette fonctionnalité gratuite
en août 2013).
- Recourt à une évaluation qualitative pour
interpréter les données récoltées. Plutôt
qu’une limite spécifique à cette approche, il nous semble
qu’il s’agit là d’une considération
d’ordre méthodologique applicable à toute analyse
quantitative. Cependant, les plateformes génériques de mesure
analytique que nous avons évaluées ne permettent pas
d’opérer des transformations sur les traces
récoltées. Cette limite est donc potentiellement plus
présente avec cette approche qu’avec les deux autres, en tout cas
d’après l’expérimentation, non exhaustive,
présentée dans cet article.
5. Conclusion
Grâce à l’interfaçage de
deux plateformes génériques de mesure analytique, Playtomic et Google Analytics, avec deux Serious Games, nous avons pu obtenir de
nombreuses données quantitatives pertinentes pour
l’évaluation de ces jeux. En effet, ces plateformes nous permettent
d’observer, avec un niveau de détail défini par nos soins,
les parcours suivis par les joueurs dans ces deux Serious Games. Cela nous
permet tout d’abord d’appréhender de manière globale
les différentes stratégies déployées par les
joueurs. Cette première étape d’analyse nous aide ensuite
à évaluer de manière quantitative ces jeux, car leur
dimension sérieuse est profondément liée à leur
dimension ludique, comme le définit la méthode
« intrinsèque » utilisée pour les concevoir.
Au final, les mesures effectuées grâce à cette approche nous
permettent de fournir au commanditaire du projet un retour quantitatif sur
l’exposition des joueurs aux divers messages qu’il a souhaité
diffuser à travers ces deux Serious Games. Cependant, l’analyse des
données enregistrées lors de cette expérimentation laisse
apparaître plusieurs questions importantes, auxquelles cette seule
étude quantitative ne permet pas de répondre. Afin
d’approfondir l’évaluation de ces Serious Games, nous avons
alors du recourir à une étude qualitative complémentaire,
qui a permis d’élucider ces quelques interrogations restées
en suspens.
En conclusion, cette expérimentation nous permet d’identifier
certains avantages et limites de l’utilisation de plateformes
génériques de mesure analytique pour le suivi des joueurs dans un
Serious Game. Plus précisément, nous pouvons évaluer cette
approche par rapport à deux autres : l’intégration
à un LMS via des normes telles que SCORM ou IMS-LD (Burgos et al., 2008) (Tran, George, & Marfisi-Schottman, 2010) et la construction d’un outil d’analyse sur mesure (Andersen, Liu, Apter, Boucher-Genesse, & Popović, 2010) (Thomas, Yessad, & Labat, 2011).
Bien que loin d’être exhaustive, l’expérimentation
présentée dans cet article nous semble indiquer
l’intérêt que peut représenter l’utilisation de
telles plateformes. Sans pour autant supplanter ou remplacer les deux autres
voies existantes, cette troisième approche permet de les
compléter. Elle semble même être adaptée à un
contexte précis de projet : le besoin d’une grande
flexibilité dans la collecte de traces sans pour autant être en
mesure de construire un outil d’analyse spécifique à un
Serious Game donné. Cette approche apparaît donc finalement comme
un compromis entre les deux autres, alliant certains de leurs avantages et
certaines de leurs limites.
Bien que cette première expérimentation visait uniquement
à explorer l’éventuel potentiel des plateformes
génériques de mesure analytique pour l’évaluation de
Serious Games, elle nous semble également faire émerger des
considérations d’ordre méthodologique. Tout d’abord,
nous constatons que les différentes plateformes existantes sont
très différentes en termes de fonctionnalités techniques,
une plateforme pouvant présenter des limitations que d’autres
n’ont pas. Par exemple, nous avons été confronté
à des quotas sur la quantité de données enregistrées
par Google Analytics, ainsi qu’à la manière atypique
dont Playtomic calcule certaines valeurs moyennes. Un premier point
méthodologique pour l’utilisation de cette approche est donc
l’importance cruciale du choix de l’outil utilisé. Cette
tâche est d’ailleurs compliquée par la perpétuelle
évolution de l’offre dans le domaine, avec ses nombreuses
disparitions (Playtomic, Mochibot) et apparitions (GameAnalytics,
DeltaDNA). Cependant, si aucun outil idéal n’est disponible,
rien n’empêche d’en utiliser plusieurs simultanément,
leur « coût » cumulé
d’implémentation restant inférieur à
l’élaboration d’un système « sur
mesure ». Un autre point méthodologique important est le
rôle qu’a joué l’évaluation qualitative dans
notre expérimentation. En effet, sans cette évaluation
qualitative, il nous aurait été impossible
d’interpréter complètement les données quantitatives
récoltées. Cela voudrait-il dire que le recours à une
évaluation qualitative complémentaire est obligatoire pour
exploiter pleinement le potentiel de ces plateformes pour le Serious Game ?
Nous pourrions pourtant considérer que ce point s’applique
potentiellement à toute analyse quantitative. Mais, comme nous
l’avons évoqué (cf. 2.2.2), le
Serious Game est un objet complexe de par la richesse d’interaction
qu’il offre à l’utilisateur, au point que nous pourrions
supposer que son analyse qualitative soit justifiée
systématiquement. Pourrions-nous par exemple envisager de construire une
méthodologie reposant sur une analyse quantitative en amont afin de
pouvoir « cibler » l’étude qualitative sur des
points à expliciter ? Il s’agit là
d’hypothèses qui méritent d’être
vérifiées.
Ainsi, après avoir interrogé le potentiel des plateformes
génériques de mesure analytique pour le Serious Game, il nous
semble à présent pertinent de continuer à
expérimenter cette approche afin d’approfondir leur
méthodologie d’utilisation. Dans la suite de nos travaux, nous
projetons d’utiliser les plateformes GameAnalytics et lvlboost, tout en continuant à travailler avec Google
Analytics, afin d’essayer de formaliser, ou du moins de rationaliser,
leur application au Serious Game.
6. Références
ALVAREZ J. (2007, December 17). Du jeu vidéo au serious game, approches culturelle, pragmatique et
formelle (PhD Thesis). Toulouse, France: Université de Toulouse.
AMATO E. A. (2008, November 25). Le jeu vidéo
comme dispositif d’instanciation : du phénomène ludique aux
avatars en réseau. Paris, France: Université Paris 8.
ANDERSEN E., LIU Y., APTER E., BOUCHER-GENESSE F.,
POPOVIC Z. (2010). Gameplay analysis through state projection. In Proceedings
of the Fifth International Conference on the Foundations of Digital Games (pp. 1-8). Monterey, California: ACM.
BURGOS D., MORENO-GER P., SIERRA J. L., FERNANDEZ-MANJON
B., SPECHT M., KOPER R. (2008). Building adaptive game-based learning resources:
The integration of IMS Learning Design and. Simulation Gaming, 39(3), 414-431.
CHAMPIN P., MILLE A., PRIE Y. (2013). Vers des traces
numériques comme objets informatiques de premier niveau : une approche
par les traces modélisées. Intellectica, (59),
171–204.
CHOQUET C., IKSAL S. (2007). Modélisation et
construction de traces d'utilisation d'une activité d'apprentissage : une
approche langage pour la réingénierie d'un EIAH. STICEF, 14(2007). Retrieved from
http://sticef.univ-lemans.fr/num/vol2007/14-choquet/sticef_2007_choquet_14.htm
CLIFTON B. (2008). Web Analytics - Web Traffic Data
Sources & Vendors Comparison (p. 12). Omega Digital Media.
COOK D. (2009, July 15). Lost Garden: Flash Love Letter. Lost Garden. Retrieved May 20, 2011, from
http://www.lostgarden.com/2009/07/flash-love-letter-2009-part-1.html
DJAOUTI D. (2011, November 28). Serious Game Design -
Considérations théoriques et techniques sur la création de
jeux vidéo à vocation utilitaire (PhD Thesis). Toulouse,
France: Université de Toulouse.
DORMANS J. (2009). Machinations: Elemental Feedback
Structures for Game Design. In GAME-ON-NA 2009: 5th International North
American Conference on Intelligent Games and Simulation. Presented at the
GAME-ON-NA 2009: 5th International North American Conference on Intelligent
Games and Simulation, Atlanta, USA. Retrieved from
http://www.jorisdormans.nl/article.php?ref=machinations
EL-NASR M. S., DRACHEN A., CANOSSA A. (Eds.). (2013). Game Analytics, Maximizing the Value of Player Data. Springer.
GENVO S. (2006, October 27). Le game design de jeux
vidéo : approche communicationnelle et interculturelle. Metz, France:
Université de Metz.
GRÜNVOGEL S. M. (2005). Formal Models and Game
Design. Game Studies, 5(1).
IKSAL S. (2011). Tracks Analysis in Learning Systems: A
Prescriptive Approach. nternational Journal for e-Learning Security
(IJeLS), 1(1).
JUUL J. (2003). The game, the player, the world: looking
for a heart of gameness. In C. Marinka & R. Joost (Eds.), Level Up
Conference Proceedings: Proceedings of the 2003 Digital Games Research
Association Conference (pp. 30-45). Utrecht: University of Utrecht.
Retrieved from http://www.digra.org/dl/display_html?chid=05163.50560.pdf
Lee S. (2003). I Lose, Therefore I Think: A Search for
Contemplation amid Wars of Push-Button Glare. Game Studies, 3(2).
Retrieved from http://www.gamestudies.org/0302/lee/
LEFEVRE M., BROISIN J., BUTOIANU V., DAUBIAS P.,
DAUBIGNEY L., GREFFIER F., GUIN N., et al. (2012). Personnalisation de
l’apprentissage : comparaison des besoins et approches à travers
l’étude de quelques dispositifs. STICEF, 19,
353–387.
LETOURNEUX M. (2006). La question du genre dans les jeux
vidéo. In S. Genvo (Ed.), Le game design de jeux vidéo :
Approches de l'expression vidéoludique. Editions L'Harmattan.
MARNE B., CARRON T., LABAT J. (2013). Modélisation
des parcours pédago-ludiques pour l'adaptation des jeux sérieux.
Presented at the EIAH 2013, Toulouse, France.
MAURIN F. (2010, July 15). Jeu vidéo : "Je perds
donc je pense". LeMonde.fr. Retrieved May 18, 2011, from
http://www.lemonde.fr/actualite-medias/article/2010/07/15/jeu-video-je-perds-donc-je-pense-serious-games-2-5_1385386_3236.html
MICHAEL D., CHEN S. (2005). Serious Games: Games That
Educate, Train, and Inform (1er ed.). Course Technology PTR.
PERNELLE P., MARTY J., CARRON T. (2013). From Traces to
Indicators for Serious Games: Case study concerning a new way to introduce
Product Lifecycle Management. International Journal of Learning
Technology, 8(2), 127–146.
SETTOUTI L. S. (2011, January). Systèmes
à Base de traces modélisées - Modèles et langages
pour l'exploitation des traces d'Interactions (Thèse de Doctorat en
Informatique). Université Claude Bernard Lyon 1. Retrieved from
http://liris.cnrs.fr/publis/?id=4984
SNJV. (2012). Référentiel des
métiers du jeu vidéo. Paris, France: SNJV.
TARRIT C. R., CARON P. (2013). Outils
épistémiques et méthodologiques pour l'étude des
modes d'existence et d'émergence d'un EIAH.Atténuation des effets
de discontinuités dans les analyses des traces d'une plate-forme de
formation. Presented at the EIAH 2013, Toulouse, France.
THOMAS P. (2010). Le suivi de l’apprenant dans un
serious game intégré au sein d’une plateforme
d’apprentissage. Presented at the Troisièmes Rencontres Jeunes
Chercheurs en EIAH, Université Lyon I, Lyon.
THOMAS P., YESSAD A., LABAT J. (2011). Réseaux de
Petri et ontologies : des outils pour le suivi de l'apprenant dans les jeux
sérieux. In Actes de la conférence EIAH 2011 (pp. 435-447).
Mons, Belgique: Editions de l'UMONS, Mons 2011. Retrieved from
http://hal.archives-ouvertes.fr/hal-00605779
TRAN C. D., GEORGE S., MARFISI-SCHOTTMAN I. (2010). EDoS:
An authoring environment for serious games design based on three models (pp.
393-402). Presented at the 4th Europeen Conference on Games Based Learning
(ECGBL2010), Copenhagen, Denmark.
A
propos de l'auteur
Damien Djaouti est maître de
conférences en Informatique à l’université
Montpellier II (laboratoire LIRDEF – http://www.lirdef.fr). Ses travaux de recherche
portent sur la conception et l’utilisation de jeux vidéo pour des
finalités autres que le divertissement (Serious Games) :
éducation, communication, santé, politique, art... Il
étudie et développe des outils théoriques et logiciels
permettant de faciliter la création de tels jeux vidéo. Il est
également cofondateur du laboratoire associatif Ludoscience (http://www.ludoscience.com/),
dédié à l’étude du jeu vidéo sous
toutes ses formes.
Adresse : IUFM de Montpellier, 2 place Marcel Godechot, 34092
Montpellier
Courriel : damien.djaouti@univ-montp2.fr
1 Traduction personnelle : « games that do not have entertainment, enjoyment or fun as their
primary purpose »
2 Acronyme de Learning Management System. Désigne un système logiciel
destiné à accompagner et suivre des apprenants dans un cursus de
formation. Un LMS rassemble plusieurs outils (cours, exercices, chat, forum...)
et enregistre leur utilisation (notes obtenues aux exercices...) pour chaque
apprenant, facilitant ainsi leur suivi dans le cadre de formations à
distance.
3 Expression dérivée
des termes anglais « metrics » et
« analytics »
4 Un écoquartier est un
projet d’aménagement urbain qui respecte des principes
d’aménagement durable et incite ses habitants à adopter une
attitude écocitoyenne. Un tel quartier est par exemple
aménagé de manière à permettre la
récupération des eaux de pluie, la limitation des transports par
la mise à disposition de commerces de proximité, à
n’accueillir que des constructions respectant des normes
environnementales...
5 http://serious.gameclassification.com/14971
6 http://serious.gameclassification.com/15028
7 http://www.thinkingworlds.com/
8 http://e-ucm.es/
9 http://creatools.gameclassification.com/410
10 Même si les jeux
vidéo sont généralement répartis en
« genres » (Letourneux, 2006),
la diversité, l’évolution perpétuelle, et surtout
l’absence d’universalité de cette notion de genre fait que le
jeu vidéo, et donc le Serious Game, reste un objet plus
« variable » que
« standardisé ».
11 http://virtualheroes.com/projects/adventure-lab
12 A titre d’illustration,
le mot-clé « aventure » ne correspond
qu’à 284 jeux sur les 2985 Serious Games de la base de
données http://serious.gameclassification.com/,
soit moins de 10% du corpus [relevé le 10-03-2014]
13 Les références
historiques sont très laconiques dans le domaine, mais Mochibot,
lancée en janvier 2008 et fermée en mars 2014, semble être
la première « plateforme générique de mesure
analytique » dédiée au jeu vidéo à avoir
été accessible au public.
14 http://www.playtomic.com/
15 La version open-source de
Playtomic est disponible sur http://playtomic.org/
16 http://lvlboost.com/
17 http://www.google.com/analytics/
|