Titre : 

Simulation virtuelle : modélisation et conception de patients virtuels interactifs pour l’enseignement de la psychiatrie

Virtual simulation: modelling and designing interactive virtual patients for teaching psychiatry

-----------------------------

LIEU 

Laboratoire Interdisciplinaire des Sciences du Numérique

91405 - Orsay (RER B)
 

-----------------------------

CANDIDATURE

Début de la thèse le 1 octobre 2024

Date limite de candidature (à 23h59) 13 mai 2024

Envoyer à jean.claude.martin@gmail.com

CV

Lettre de motivation

Relevé de notes de L1 L2 L3 M1 M2

Rapport de projet et stage

-----------------------------

FINANCEMENT

Concours de l'ED STIC (programme blanc des GS)

-----------------------------

THEMES

Interaction Humain-Machine, Agent Virtuel Interactif, Modélisation de comportement

Human-Computer Interaction, Interactive Virtual Agent, Behavior Modelling

-----------------------------

ENCADREMENT

Jean-Claude MARTIN & Brian RAVENET

-----------------------------

PROFILS RECHERCHES

Master Informatique ou Diplôme d'ingénieur Spécialité Interaction Humain-Machine 

-----------------------------

CONTEXTE : la Conception de Patients Virtuels Interactifs

La thèse intitulée 'Simulation Virtuelle : Modélisation et Conception de Patients Virtuels pour l'Enseignement de la Psychiatrie aux Étudiants en Santé' vise à explorer l'utilisation de la simulation virtuelle pour améliorer l'enseignement en psychiatrie. Actuellement, la

méthode privilégiée implique des patients standardisés, mais elle est coûteuse et difficile à mettre en œuvre.

Le projet se concentre sur deux aspects principaux : la création de patients virtuels émotionnellement réactifs et la conception d'un environnement pour leur utilisation pédagogique, y compris un système de débriefing. La thèse s'appuie sur des travaux préliminaires réussis et bénéficie d'une collaboration interdisciplinaire entre la psychiatrie et l'informatique.

Les objectifs incluent la définition d'un modèle général permettant de générer des signes psychiatriques chez un patient virtuel, en tenant compte de la congruence émotionnelle multimodale. De plus, un environnement d'édition de scénarios sera développé pour faciliter le travail des enseignants en santé. Ce dernier comprendra des modules pour définir le déroulement du scénario, la réactivité émotionnelle du patient virtuel, l'exploitation de grand modèle de langage et l'interrogation des connaissances de l'apprenant.

Les méthodes incluent l'utilisation de la plateforme MARC pour créer des avatars émotionnellement réactifs, ainsi que des outils de synthèse vocale émotionnelle. Une migration vers un environnement virtuel plus réaliste est également envisagée. Le projet bénéficie de financements préliminaires et se déroulera dans deux environnements de recherche complémentaires.

En résumé, cette thèse vise à combler les lacunes dans l'utilisation de la simulation virtuelle en psychiatrie en développant des patients virtuels émotionnellement réactifs et un environnement pédagogique adapté.

Le développement de compétences pour communiquer avec des patients et gérer leurs symptômes est essentiel pour les professionnels de santé1. Les patients standardisés (joués par des acteurs formés) permettent de renforcer les stratégies de communication réussies avec les patients, mais la méthode est coûteuse et difficile à mettre en œuvre de manière régulière. La simulation en santé fait référence à l’utilisation d’appareils (mannequin ou simulateur procédural), de réalité virtuelle ou de patients virtuels pour aider les apprenants à acquérir des connaissances et des compétences relatives au diagnostic, au traitement et à la prise de décision clinique2. Une solution possible au problème du coût posé par la rémunération des patients standardisés est l’utilisation de la simulation virtuelle, c'est-à-dire qui repose sur un environnement virtuel1. Une enquête récente portant sur la formation basée sur la simulation en psychiatrie auprès des étudiants en médecine montre que cette discipline continue de privilégier l’implication des patients standardisés (non virtuels) alors que d'autres spécialités médicales ont étendu leur utilisation de la simulation virtuelle2. Si certains programmes de simulation virtuelle en psychiatrie ont rapporté une efficacité pédagogique3,4, une méta-analyse récente n'a pas cependant permis de montrer une efficacité claire de la simulation virtuelle dans l’enseignement de la psychiatrie5, probablement à cause de l’hétérogénéité importante dans les études incluses. Il est donc important de continuer à concevoir et expérimenter des outils d'enseignement de la psychiatrie par simulation avec des patients virtuels.

La simulation virtuelle en psychiatrie utilise différents supports. Le premier, dominant à l’heure actuelle, est la retransmission vidéo d’acteurs filmés6,7. Mais cette modalité limite le contrôle paramétrique du patient virtuel, particulièrement ses réactions émotionnelles. Elle

ne permet pas non plus d’ajustement pédagogique du scénario au fil de l’eau, du fait de la contrainte de l’enregistrement vidéo préalable avec un acteur. Le deuxième type de support pédagogique pouvant être utilisé sont les avatars virtuels, c’est-à-dire des agents/personnages 3D interactifs évoluant dynamiquement dans un scénario pédagogique8. Cependant, les réactions émotionnelles de ces patients virtuels sont en général absentes ou se limitent à de simples gestes corporels : par exemple, le patient virtuel baisse la tête pour exprimer sa tristesse 9. Une seule étude fait exception : elle a utilisé un avatar interactif émotionnel avec un trouble de l’utilisation de

substances auprès de professionnels en soins primaires (médecin et infirmières)3. Cette étude a démontré une amélioration des connaissances, des compétences et de la capacité à prendre des décisions en collaboration avec le patient. Cependant, il manque des

modèles généraux de création d’avatar de personnes présentant les principaux signes que l’on retrouve dans les troubles psychiatriques.Cela limite pour l’instant la création de scénarii multiples et le paramétrage des réactions émotionnelles de l’avatar à l’aide

de modèles informatiques des émotions. Ces modèles pourraient notamment générer des combinaisons congruentes ou incongruentes de réactions subtiles dans différentes modalités émotionnelles 10,11.

Cette thèse vise à répondre aux questions scientifiques encore inexplorées dans le domaine de la simulation virtuelle appliquée à la pédagogie des étudiants en santé, c'est-à -dire en médecine et en soins infirmiers.

Elle repose sur des travaux préliminaires suggérant la faisabilité de cette thèse. Ainsi, un premier scénario entièrement scripté manuellement mettant en scène l’évaluation du risque suicidaire a été développé depuis 2019 dans le cadre du jeu sérieux SIVIPSY. Les

qualités pédagogiques de ce premier scénario utilisant un avatar émotionnellement réactif ont pu être validées auprès d’enseignants de psychiatrie en médecine et en soins infirmiers12. Une étude controllée randomisée contre l’enseignement habituel a été également menée pour valider l’efficacité pédagogique auprès des étudiants directement. Les résultats vont dans le sens d’une efficacité de l’intervention pour développer les compétences nécessaires à une réponse adéquate à un patient exprimant des idées sucidaires. Ils vont également dans le sens d’une efficacité sur la confiance des apprenants dans leurs capacités à prendre en charge un patient en crise suicidaire.

Enfin, les résultats suggérent une plus grande authenticité attribuée à l’avatar par les apprenants utilisant une version avec une prosodie émotionnelle de tristesse congruente à la dépression présentée par le patiente virtuel que celle attribuée par les apprenants utilisant une version avec une prosodie émotionelle neutre.

Cette thèse bénéficiera d’un co-encadrement pluridisciplinaire avec l’équipe de Paul Roux, Professeur de psychiatrie - Université Versailles Saint-Quentin-En-Yvelines, qui collabore depuis une dizaine d’années avec Jean-Claude Martin, PR Informatique, laboratoire

LISN, Université Paris-Saclay. L’équipe de Jean-Claude Martin a conçu une patient virtuelle Alzheimer avec un modèle en partie automatique pour simuler des troubles émotionnels (Benamara et al. 2022, Benamara et al. 2024, Chaby et al. 2022 ).

OBJECTIFS 

Deux objectifs scientifiques sont définis : 

1) Définition d’un nouveau modèle général permettant la genèse de signes psychiatriques chez un avatar autonome émotionnellement réactif, sur la base de la congruité émotionnelle multimodale Une dimension essentielle de la sémiologie psychiatrique se situe dans les anomalies de congruence entre les différents canaux expressifs émotionnels des personnes présentant un trouble mental14. Il est possible d’envisager un modèle général d’interaction entre les différents canaux émotionnels (vocal, facial, et sémantique) permettant de générer des signes et symptômes émotionnels se rapportant à différents troubles psychiatriques pendant l'interaction dyadique avec un patient virtuel émotionnellement réactif. Par exemple, un patient présentant une schizophrénie désorganisée pourrait être modélisé par un paramètre stable d’incongruité entre les expressions d’émotions faciales, vocales et sémantiques (discordance). Un patient présentant un état limite pourra être modélisé par ce même paramètre, mais uniquement dans des situations de rejet social. Un patient avec un épisode dépressif caractérisé pourra être modélisé par une hyper expressivité de la tristesse alors qu’un patient en épisode maniaque pourra être modélisé par une hyper expressivité de joie, une rapide variation des expressions (labilité) et par une hyper expressivité de l’ensemble des émotions réactives aux émotions sémantiques exprimées par l’apprenant (hypersyntonie). L’autonomie réactionnelle du patient virtuel conférée par la modélisation des émotions exprimées facilitera considérablement le développement des scenarii de simulation et leur crédibilité en réduisant le nombre d’événements préprogrammés. La validation des différents modèles sera réalisée auprès de praticiens en santé mentale à l’aide d’outils d’évaluation clinique développés pour de vraies personnes avec des troubles mentaux. La thèse aura aussi pour objectif de mesurer l’impact pédagogique de telles expressions émotionnelles situées dans des scénarii d’interactions. Nous faisons l’hypothèse qu’un tel modèle augmente le réalisme et donc la satisfaction, mais pourrait éventuellement moduler négativement l’apprentissage par perturbation des processus d’encodage, avec nécessité d’une compensation à apporter lors du débriefing par exemple. Plusieurs études ont considéré la manière dont les utilisateurs perçoivent des combinaisons congruentes ou incongruentes de signaux dans différentes modalités et ont montré un impact complexe de cette congruité sur les aspects subjectifs et les performances objectives15. 2) Conception d'un environnement pour la conception de patients virtuels dans des simulations en psychiatrie intégrant un debriefing Ce second objectif vise, en se basant sur le modèle que nous venons de décrire, à créer un éditeur de scénario pour faciliter le travail pédagogique des futurs enseignants en santé. Cet éditeur comprendra un module pour définir le déroulé du scénario, un module pour définir la réactivité automatique émotionnelle du patient virtuel (avec par ex des paramètres à définir pour l’incongruité, l’hypo ou hyperréactivité, comme défini dans le paragraphe ci-dessus) et un module d’interrogation des connaissances théoriques de l’apprenant. Après une simulation virtuelle, diverses modalités de débriefing sont possibles: personnalisé ou en groupe; pendant juste après la fin ou à distance de la simulation, par forme orale facilitée par un enseignant ou par écrit sous la forme d’un résumé16. La combinaison des différentes modalités semble particulièrement prometteuse d’un point de vue pédagogique17. Dans notre prototype précédent SIVIPSY, nous avons développé un débriefing de groupe facilité par deux enseignants selon le principe du bon jugement18. De même un feedback immédiat était proposé à l’apprenant au cours du jeu et lors de l’épilogue du jeu (communication des scores de raisonnement clinique, compétence relationnelle et d’efficacité clinique). L’objectif de cette thèse est d’améliorer le débriefing individuel informatisé fait à l’apprenant juste à la fin de la simulation, en intégrant une interprétation automatique des choix successifs fait par l'apprenant (raisonnement clinique déterminant la performance) et sous une modalité interactive avec un enseignant virtuel intégré de manière cohérente dans l’environnement virtuel de formation. 

MÉTHODE

Le candidat bénéficiera de deux environnements de recherche privilégiés. D’abord au sein du Laboratoire Interdisciplinaire des Sciences du Numérique LISN (CNRS/Université Paris Saclay) pour un développement optimal des recherches dans le domaine des interactions Humain-Machine, sous la direction du Pr Jean Claude Martin. Mais aussi dans au Centre de Recherche en Épidémiologie et Santé des Populations dans l’équipe située dans le service universitaire de psychiatrie d’adultes et d’addictologie du Centre Hospitalier de Versailles. Ce laboratoire est aussi une équipe de l’UFR Simone Veil Santé de l’Université de Versailles Saint-Quentin-en-Yvelines qui offrira un environnement stimulant et dynamique en termes de recherche en pédagogie médicale, au travers de son Centre de Simulation en santé. Ce projet a déjà reçu deux financements préliminaires: bourse ARS Ile-De-France Soutien à l’innovation (49 980 euros - 2019); bourse Appel à Projet Simplifié Interne de l’Université Versailles Saint-Quentin –En-Yvelines (12 889 euros - 2020). La 1ère étape consistera à la définition d’un modèle de congruence des différents canaux émotionnels pour paramétrer les dimensions de discordance émotionnelle, de tristesse pathologique ou d’hyperexpressivité émotionnelle informé par la litérature et les experts en psychiatrie. Le doctorant travaillera aussi sur la genèse d’un débriefing automatique interactif complémentaire du débriefing de groupe facilité par les enseignants. Pour cela, il faudra identifier des sous-groupes d’apprenants en fonction de leur profil de réponses à partir de données collectées, générer des hypothèse sur les spécificités du raisonnement clinique sous jacent à chaque profil de réponse et proposer un feedback automatique interactif avec l’étudiant en vu de confirmer ces hypothèses et de proposer un stratégie alternative pour corriger le déficit de performance. Le doctorant utilisera la plateforme logicielle MARC (Multimodal Affective and Reactive Characters), hébergée par le LISN et qui permet de créer des avatars émotionnellement réactifs. Cette plateforme est utilisée chaque année par 30 étudiants de Master pluridisciplinaire HCID. Il aura aussi un accès libre au logiciel de synthèse vocale émotionnelle ACAPELA® acheté par le laboratoire Psychiatrie du Développement et Trajectoire du CESP. Une migration de SIVIPSY depuis MARC vers un environnement virtuel plus réaliste (metahuman Méthode - unreal engine) est envisagée. L’accès à la nouvelle plateforme sera financée par le laboratoire Psychiatrie du Développement et Trajectoire. 

RESULTATS ATTENDUS

Un nouveau modèle général permettant la genèse de signes psychiatriques chez un avatar autonome émotionnellement réactif, sur la base de la congruité émotionnelle multimodale Un environnement logiciel pour la conception de patients virtuels dans des simulations en psychiatrie intégrant un debriefing Des résultats de l'évaluation des patients virtuels développés avec les étudiants du master en Psychiatrie

REFERENCES

1. Sweigart L, Burden M, Carlton KH, Fillwalk J. Virtual Simulations across Curriculum Prepare Nursing Students for Patient Interviews. Clin Simul Nurs. 2014 Mar 1;10(3):e139–45.

2. Abdool PS, Nirula L, Bonato S, Rajji TK, Silver IL. Simulation in Undergraduate Psychiatry: Exploring the Depth of Learner Engagement. Acad Psychiatry J Am Assoc Dir Psychiatr Resid Train Assoc Acad Psychiatry. 2017 Apr;41(2):251–61.

3. Albright G, Bryan C, Adam C, McMillan J, Shockley K. Using Virtual Patient Simulations to Prepare Primary Health Care Professionals to Conduct Substance Use and Mental Health Screening and Brief Intervention. J Am Psychiatr Nurses Assoc. 2018 Jun;24(3):247–59.

4. Fleming M, Olsen D, Stathes H, Boteler L, Grossberg P, Pfeifer J, et al. Virtual reality skills training for health care professionals in alcohol screening and brief intervention. J Am Board Fam Med JABFM. 2009 Aug;22(4):387–98.

5. Piot M-A, Dechartres A, Attoe C, Jollant F, Lemogne C, Layat Burn C, et al. Simulation in psychiatry for medical doctors: A systematic review and meta-analysis. Med Educ. 2020 Apr 3;

6. Gorrindo T, Baer L, Sanders KM, Birnbaum RJ, Fromson JA, Sutton-Skinner KM, et al. Web-based simulation in psychiatry residency training: a pilot study. Acad Psychiatry J Am Assoc Dir Psychiatr Resid Train Assoc Acad Psychiatry. 2011 Aug;35(4):232–7.

7. Pantziaras I, Fors U, Ekblad S. Training with virtual patients in transcultural psychiatry: do the learners actually learn? J Med Internet Res. 2015 Feb 16;17(2):e46.

8. Talbot T, Rizzo A “Skip.” Virtual Human Standardized Patients for Clinical Training. In: Rizzo A “Skip”, Bouchard S, editors. Virtual Reality for Psychological and Neurocognitive Interventions [Internet]. New York, NY: Springer New York; 2019 [cited 2020 Oct 3]. p. 387–405. (Virtual Reality Technologies for Health and Clinical Applications). Available from: http://link.springer.com/10.1007/978-1-4939-9482-3_17

9. Pataki C, Pato MT, Sugar J, Rizzo AS, Parsons TD, St George C, et al. Virtual patients as novel teaching tools in psychiatry. Acad Psychiatry J Am Assoc Dir Psychiatr Resid Train Assoc Acad Psychiatry. 2012 Sep 1;36(5):398–400.

10. Benamara A, Prigent E, Martin J, Zagdoun J, Chaby L, Chetouani M, et al. Conception des Interactions avec un Patient Virtuel Alzheimer pour la Formation du Personnel Soignant: Designing Interactions with an Alzheimer Virtual Patient for Caregiver Training. In: 32e Conférence Francophone sur l’Interaction Homme-Machine [Internet]. Virtual Event France: ACM; 2021 [cited 2022 Feb 21]. p. 1–12. Available from: https://dl.acm.org/doi/10.1145/3450522.3451337

11. Benamara A, Prigent E, Martin J, Zagdoun J, Chaby L, Chetouani M, et al. COPALZ: A Computational Model of Pathological Appraisal Biases for an Interactive Virtual Alzheimer’s patient. In: International Conference on Autonomous Agents and Multi-Agent Systems 2022 (AAMAS’2022).

12. Roux P, Okuya Y, Martin JC. Simulation Virtuelle : développement du jeu sérieux SIVIPSY pour l’enseignement de la psychiatrie aux étudiants en santé [Internet]. Communication scientifique presented at: Symposium MAPS 2 - Management et Psychiatrie; 2021 May 2; Paris. Available from: https://www.prepsy.fr/s/PROGRAMME_MAPS2021_PREPSY-cck3.pdf

13. Kirkpatrick D, Kirkpatrick J. Evaluating training programs: The four levels. San Francisco, CA: Berrett-Koehler Publishers; 2006.

14. Micoulaud-Franchi J-A, Geoffroy P-A, Amad A, Quiles C. Le jardinier et le botaniste. Proposition d’une organisation minimale de la sémiologie psychiatrique pour l’étudiant en médecine. Ann Méd-Psychol Rev Psychiatr. 2015 Jun;173(5):460–9.

15. Martin J-C, Clavel C, Courgeon M, Ammi M, Amorim M-A, Tsalamlal Y, et al. How do users perceive multimodal expressions of affects? In: Monash University, Oviatt S, Schuller B, University of Augsburg and Imperial College London, Cohen PRC, Monash University, et al., editors. The Handbook of Multimodal-Multisensor Interfaces: Foundations, User Modeling, and Common Modality Combinations - Volume 2 [Internet]. Association for Computing Machinery; 2018 [cited 2022 Feb 21]. p. 263–85. Available from: https://dl.acm.org/citation.cfm?id=3108001

16. Verkuyl M, Lapum JL, St-Amant O, Betts L, Hughes M. An Exploration of Debriefing in Virtual Simulation. Clin Simul Nurs. 2017 Nov;13(11):591–4.

17. Verkuyl M, St-Amant O, Hughes M, Lapum JL, McCulloch T. Combining Self-Debriefing and Group Debriefing in Simulation. Clin Simul Nurs. 2020 Feb;39:41–4.

18. Oriot D, Alinier G. La simulation en santé: le débriefing clés en mains. Issy-les-Moulineaux: Elsevier Masson; 2019.

19. Brooke J. SUS: a “quick and dirty’usability. Usability Eval Ind. 1996;189.

20. Wind LA, Van Dalen J, Muijtjens AMM, Rethans J-J. Assessing simulated patients in an educational setting: the MaSP (Maastricht Assessment of Simulated Patients). Med Educ. 2004 Jan;38(1):39–44.

21. Schubert T, Friedmann F, Regenbrecht H. The experience of presence: Factor analytic insights. Presence Teleoperators Virtual Environ. 2001;10(3):266–81.

22. Brett-Fleegler M, Rudolph J, Eppich W, Monuteaux M, Fleegler E, Cheng A, et al. Debriefing assessment for simulation in healthcare: development and psychometric properties. Simul Healthc J Soc Simul Healthc. 2012 Oct;7(5):288–94.

23. Hojat M, Gonnella JS, Nasca TJ, Mangione S, Vergare M, Magee M. Physician empathy: definition, components, measurement, and relationship to gender and specialty. Am J Psychiatry. 2002 Sep;159(9):1563–9.

24. Younes N, Delaunay AL, Roger M, Serra P, Hirot F, Urbain F, et al. Evaluating the effectiveness of a single-day simulation-based program in psychiatry for medical students: a controlled study. BMC Med Educ. 2021 Jun 16;21(1):348. 

25. Witmer BG, Singer MJ. Measuring Presence in Virtual Environments: A Presence Questionnaire. Presence Teleoperators Virtual Environ. 1998;7(3):225–40.

26. Brockmyer JH, Fox CM, Curtiss KA, McBroom E, Burkhart KM, Pidruzny JN. The development of the Game Engagement Questionnaire: A measure of engagement in video game-playing. J Exp Soc Psychol. 2009 Jul;45(4):624–34.

27. Benamara, Amine & Jean-Claude Martin, Elise Prigent, Laurence Chaby, Mohamed Chetouani, Jean Zagdoun, Hélène Vanderstichel, Sébastien Dacunha, and Brian Ravenet. 2022. COPALZ: A Computational Model of Pathological Appraisal Biases for an Interactive Virtual Alzheimer Patient. In Proceedings of the 21st International Conference on Autonomous Agents and Multiagent Systems (AAMAS '22). International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 72–81.

28. Benamara, Amine & Jean-Claude Martin, Elise Prigent, and Brian Ravenet. 2023. Evaluating a Model of Pathological Affect based on Pedagogical Situations for a Virtual Patient. In Proceedings of the 23rd ACM International Conference on Intelligent Virtual Agents (IVA '23). Association for Computing Machinery, New York, NY, USA, Article 13, 1–8. https://doi.org/10.1145/3570945.3607325

29. Chaby L, Benamara A, Pino M, Prigent E, Ravenet B, Martin J-C, Vanderstichel H, Becerril-Ortega R, Rigaud A-S and Chetouani M (2022) Embodied Virtual Patients as a Simulation-Based Framework for Training Clinician-Patient Communication Skills: An Overview of Their Use in Psychiatric and Geriatric Care. Front. Virtual Real. 3:827312. doi: 10.3389/frvir.2022.827312