Atelier - CONSTRUIRE UN QCM 2 SAPIENS 09/02/2016 9h30 – 12h30 11/02/2016

Introduction

Définition Fondé par Eurich à la seconde guerre mondiale en remplacement des questions rédactionnelles aux Etats Unis. En France, elles sont apparues dans les années 60 notamment en faculté de Médecine. Un QCM est une série de questions auxquelles « l’étudiant répond en opérant une sélection (au moins) parmi plusieurs solutions proposées, chacune étant jugée (par le constructeur de l’ épreuve et par un consensus entre spécialistes) correcte ou incorrecte indépendamment de l’apprenant qui doit y répondre ». (Leclerq 2006

Elaborer des QCM en pratique, c’est quoi ? Activité 1 Elaborer des QCM en pratique, c’est quoi ?

Des questions… au préalable Quels sont les objectifs visés par cette évaluation ? (connaissance, compréhension, application, analyse, évaluation, synthèse) Un QCM pour quel usage ? (interactivité, une évaluation diagnostique, formative, certificative ) Le QCM permettra-t-il de vérifier si les étudiants ont développé les apprentissages visés par votre enseignement (adéquation avec mon enseignement) ? Faudra- t-il prévoir une autre modalité d’évaluation pour observer d’autres apprentissages ? Le système de cotation (grille d’évaluation) est-il connu et explicité pour les étudiants ? Comment envisagez-vous de faire le QCM (papier, en ligne, avec une correction automatique) ? Dans votre institution, y a t-il des collègues qui en font ? Quel est/sont le(s) systèmes possibles ? Avez-vous pensé au plagiat ? (Banque de questions possibles, jeux de questions)

Un QCM mais pour quels objectifs pédagogiques ? Analyse Evaluation Synthèse Analyse Evaluation Synthèse Application Application Compréhension L ‘écriture d’un bon test doit commencer par l’identification des connaissances à tester. Une fois que vous avez identifié les objectifs pédagogiques à tester. Il faut bien penser à prendre en compte la taxonomie de Bloom avec les différents niveaux cognitifs. Une question peut mesurer différents niveaux cognitifs par ex la connaissance et l’application. En général, la plupart des tests ne testent que la partie connaissance. La mémoire et la reconnaissance, ce sont les faciles à rédiger. Compréhension Connaissance Connaissance Lison (2014)

Durant l’élaboration De quoi avez-vous besoin pour produire un bon QCM ou améliorer l’existant ? Est-ce que vos questions vous permettent d’évaluer le niveau d’apprentissage que vous aviez préalablement déterminé ? Le système de notation est-il toujours pertinent au regard de vos questions ? Testez vos questions (par vous même, vos pairs, étudiants, non experts)

Après Comment organisez-vous la correction (automatique, manuelle) ? Comment souhaitez-vous organisez le feedback aux étudiants ? (Ne pas fixer les solutions erronées) Réajustez vos questions (coefficients de questions non fiables) Si cela est manuelle, il ne faut pas hésiter à avoir une double correction pour réduire les risques d’erreurs.

Améliorer des QCM en pratique, c’est quoi ? Activité 2 Améliorer des QCM en pratique, c’est quoi ?

Composantes et typologie d’un QCM SGI (Solutions générales implicites) « L’étudiant est averti qu’en plus des solutions propres à chaque question (k), il doit prendre en considération x autres solutions » (Leclerq 1986) k +1 : aucune des solutions proposées n’est correcte k + 2 : toutes les solutions proposées sont correctes ; k + 3 : il manque au moins un élément dans l’énoncé k + 4 : une absurdité s’est glissée dans l’énoncé, la question est sans objet. Exemple : Ou se trouve la ville de Dinan ? K 2 Sur la rance / En haute Bretagne / Dans le département des Cotes d’Armor / A une 30 de Km de St Malo Toutes les réponses sont correctes Aucune des réponses n’e sont correctes il manque au moins un élément dans l’énoncé Exemple 2 : Où se trouve l’ apophyse styloide ? k + 3

Les degrés de certitude 6 6 degrés de certitude possibles «  (Leclerq 1986)

Les utilisations pédagogiques des QCM 1°Individuellement, sur le corpus suivant, que pouvez-vous améliorer si vous jugez cela nécessaire ? A quelle règle d’élaboration de QCM cela fait référence ? 2° En groupe de 2 3° Par groupe de 4 4° Restitution finale sur https://bimestriel.framapad.org/p/OoxRtlsZP7

Construire des QCM en ligne ? Activité 2 Construire des QCM en ligne ?

Construire un QCM sur Moodle 6 1° Mettez une question du corpus sur Moodle en ligne Moodle Sorbonne Paris Cité https://wiki.umontreal.ca/display/StudiUMDocs/Test 2° Testez la question du groupe d’à côté 3° Regardez les résultats en ligne Dans Moodle, il n’est pas possible pour l’instant de faire des degrés de certitude pour les questions mais pour un test.

Analyse de validité des questions

Les barèmes de notation Brainstorming Activité 3 Les barèmes de notation Brainstorming

Les règles d’élaboration 1/ Poser des questions sur des notions essentielles mesurant un objectif important d’apprentissage cf tableau de spécification

Les banques de questions Cela permet de limiter la fraude et la notion de hasard

Conclusion Privilégier un barème simple Pour éviter l’effet hasard : ne pas privilégier les Vrai/ Faux intégrer des degrés de certitude créer plusieurs questions portant sur le même objectif élaborer des SGI Faire tester vos questions

Bibliographie Bravard, S. (2005) Usage pédagogique des QCM http://fle.u- strasbg.fr/evaluation_fle/Bravard_qcm.pdf Leclercq, D. (1986). La conception des QCM. Bruxelles : Labor. El Khir Missaoui, O (2013). Thot Cursus Construire des QCM de qualité : http://cursus.edu/article/19667/construire-des-qcm-qualite/#.VjNyrqLQVxg Lison, C (2014). ‘Enseigner à des grands groupes et l’apprentissage dans tous ça’. Exposé pour université Lyon1, 25 février 2014 : https://www.youtube.com/watch?v=PiV8SgjGapI&feature=em-upload_owner Puget, S (2010).QCM Mode d’emploi DIU de pédagogie médicalehttp://www.edu.upmc.fr/medecine/pedagogie/memoire/MEMOIR ES%202010/18.pdf Revue au service de l’enseignement et de l’apprentissage à l’université (2009), Le questionnaire à choix multiple https://pure.fundp.ac.be/ws/files/5572849/67449.pdf

Contact sapiens : sapiens@uspc.fr Merci de votre participation ! A bientôt ! Contact sapiens : sapiens@uspc.fr