Diagnostic en urgence – CCCP Jouan R., Pellet R., Staccini P.

 Etudier la pertinence d’une grille d’évaluation d’un jeu appliqué à l’apprentissage en médecine  Evaluer les caractéristiques spécifiques du jeu  Déterminer les éléments jugés importants par les étudiants  Faire en sorte que le test puisse permettre d’évaluer l’apport des SG en ayant vu et pratiqué…

 Sortie en 2012  En développement  Studio CCCP  Patients aux urgences  Outils de création scénarios  Etudiants du 2 ème cycle  ARC : Apprentissage Raisonnement Clinique

Localisation :  Sélectionnée par volontariat  Dans la suite d’une enquête d’opinion concernant l’utilisation des jeux sérieux dans l’apprentissage médical  584 volontaires contactés par courriel

 Sélectionnée par volontariat  Dans la suite d’une enquête d’opinion diffusée par l’ANEMF concernant l’utilisation des jeux sérieux dans l’apprentissage médical  584 volontaires contactés par courriel

 Questionnaire constitué de :  Echelles de Likert à 5 niveaux (d’accord / pas d’accord ; je n’aime pas / j’aime) avec des inversions d’échelle,  Questions à réponses multiples (avec présentation aléatoire des items),  Questions ouvertes.

 Questionnaire en 5 parties :  Aspect général du jeu : couleurs, personnages, objets, décors, animations

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu : scénario, mise en scène, résolution des cas, avis sur le contenu, objectifs pédagogiques, activités de réflexion

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu :  Interactions du joueur : qualité, choix, variété, attrait

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu :  Interactions du joueur :  Utilisabilité générale du jeu : prise en main, aide, multi-joueurs, progression, caractère ludique, temps passé, problèmes techniques

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu :  Interactions du joueur :  Utilisabilité générale du jeu : prise en main, aide, multi-joueurs, progression, caractère ludique, temps passé, problèmes techniques

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu :  Interactions du joueur :  Utilisabilité générale du jeu :  Utilité du jeu : importance des caractéristiques dans le choix, points forts, points faibles, perspectives d’évolution, ressenti global

 Questionnaire en 5 parties :  Aspect général du jeu :  Contenu du jeu :  Interactions du joueur :  Utilisabilité générale du jeu :  Utilité du jeu : importance des caractéristiques dans le choix, points forts, points faibles, perspectives d’évolution, ressenti global

 Questionnaire en 5 parties :

 Aspect général du jeu :  Contenu du jeu :  Interactions du joueur :  Utilisabilité générale du jeu :  Utilité du jeu :  L’identité du joueur : année, université, profil de joueur, avis sur les outils de simulation, avis sur les serious games

 63 réponses (pour l’instant…) = 11%

CCycle d’études : 335 (55%) (1 er cycle) 228 (45%) (2 ème cycle) PProfil de joueur : ppassionné : …………….…..…17 (27%) jjoueur occasionnel : ……..…30 (48%) aancien joueur : ……………….10 (16%) ""allergique" au jeu : ………...6 (10%)

 Avis sur les outils de simulation :  Favorable 4&5 : …………………63 (100%)  Aimeriez-vous qu’un jeu de ce type soit intégré dans la formation ?  OUI : 60 (95%)

 J'ai trouvé le test intéressant :55 (87%)  J'ai trouvé le jeu inutile : 2 (3%)  J'ai pu revoir des choses : 30 (48%)  J'aurais aimé plus de cas : 37 (59%)  J'ai passé un bon moment : 39 (62%)  Je me suis amusé : 35 (56%)  Je me suis ennuyé : 4 (6%)  Sans opinion : 2 (3%)

Pas d’accord D’accord 51% passé

Pas d’accord D’accord  Je n’ai pas vu le temps passé à résoudre le cas proposé 51%

Pas d’accord D’accord  J’aurais bien aimé pouvoir jouer à plusieurs en même temps 43%

Echelle de Likert à 5 niveaux : décompte 4&5  Réalisme54 (85%)  Contenu scientifique56 (89%)  Scénario pédagogique54 (86%)  Interactions entre joueurs10 (16%)  Interactions avec le jeu47 (74%)  Niveaux de difficulté44 (70%)  Aspects ludiques44 (70%)

Questions à réponses multiples :  apport nouvelles connaissances :26 (41%)  revoir ses connaissances :57 (90%)  évaluer ses connaissances :54 (86%)  mise en situation avant un cours :22 (35%)  mise en situation avant un stage :44 (70%)

 jouer à plusieurs :22 (35%)  prendre un rôle différent : 11 (17%)  choisir un niveau de complexité : 53 (84%)  garder trace de ses performances :41 (65%)  rejouer et revoir ses erreurs :49 (78%)  analyser ses erreurs :59 (94%)

 Sur les résultats  Enquête de perception observationnelle et non interventionnelle (jugement d’efficacité) : « Comment qualifier l’efficacité pédagogique ? »  Une richesse ergonomique : technique, « sociale », cognitive, didactique, ludique « Quels éléments évaluer ? »

 L’évaluation de ce type d’outil est  difficile : quel critère de jugement ? quel outil ?  longue  Trouver un moyen pour « attirer » les utilisateurs dans ce type de démarche…  l’évaluation du concepteur ≠ l’évaluation utilisateur  Le retour utilisateur est pourtant capital au succès de ce type d’outil  Retour automatique pour la partie technique ?

 Expérience agréable, ludique  Estimée par le « temps subjectif »  Contenu de qualité  Adapté, sérieux, rigoureux, non ambigu  Scénario original  valeur ajoutée au temps investi par l’utilisateur  Réaliste  transposable à sa pratique  Niveaux de difficulté  modulable selon l’avancement durant le processus d’apprentissage

 L’évaluation c’est avant tout une quête vers l’amélioration continue :  Analyser pour apprendre de ses erreurs

P D C A P D C A

P D C A P D C A

 L’évaluation c’est avant tout une quête vers l’amélioration continue :  Analyser pour apprendre de ses erreurs  Apprendre puis s’entrainer pour comprendre  S’impliquer dans une démarche active vers la connaissance et le savoir-faire

 Merci pour votre attention  Robin JOUAN Vice-Président de l’ANEMF chargé des Tutorats 