Le questionnaire à choix multiple

Présentation au sujet: "Le questionnaire à choix multiple"— Transcription de la présentation:

1 Le questionnaire à choix multiple

2 Les Formats d’items Questions fermées - QCM
- Système de questions « vrai-faux », « oui-non », etc. - Questions d’appariement Questions ouvertes - à réponse brève (chiffre, mot) - à réponse narrative - demandant une performance Une question d'appariement se compose de plusieurs parties : une introduction qui présente le contexte ; une liste de propositions ; une liste de réponses. L'étudiant doit associer chaque proposition avec une des réponses proposées. Une réponse correcte correspond à chaque proposition. Toutes les propositions ont un même poids dans le calcul de la note pour la question.

3 Conception d’un QCM Règles générales Règles de rédaction sur la forme Règles de rédaction des solutions

4 Avantages de l’utilisation des Q.C.M.
la capacité à couvrir un domaine : grand nombre de questions Meilleure représentativité   simplicité et objectivité de la correction : critères de notation précis grille de correction identique Qualité de la notation  la brièveté de la réponse : Elève dispensé de la recherche du vocabulaire Attention concentrée sur la pertinence de la réponse.

5 Les trois composantes d’un QCM
la consigne : décrit la question, le mode de réponse éventuellement les principes de notation. doit être donnée sous forme écrite une seule fois au début de l’épreuve (si elle est valable pour toutes les questions du Q.C.M) ou être mentionnée à plusieurs reprises (si elle fait l’objet de diverses formulations.) l’amorce : définit un problème ou une situation donnée ( ex : on veut ...) et pose une question relative à ce problème (ex : laquelle ...?) les solutions proposées : la solution correcte (bonne réponse “ BR ”) des solutions incorrectes appelées distracteurs (mauvaises réponses ou “ MR ”).

6 Homogénéité de vraisemblance des solutions
Un bon item discrimine bien les candidats.  - pouvoir attractif comparable des solutions souhaitable Bonne répartition des réponses des sujets dans l'ensemble des solutions proposées  Exemple : un item proposant 4 solutions : a. 49 % (BR) b. 47 % c. 3 % d. 1 %  les deux derniers distracteurs sont peu pertinents. Le choix des distracteurs : Un distracteur peut être retenu parce que révélateur d’un manque d’information ou d’un défaut de raisonnement .

7 Pour obtenir un instrument discriminant
ne pas proposer de solutions totalement incongrues très peu de chances d'être choisies proposer un nombre suffisant de solutions réduire la part de hasard faire varier la place de la bonne réponse ne pas proposer de questions emboîtées Question nécessitant la réponse à la question n pour répondre à la question n+1

8 Analyse des items Le manque de validité d’un item peut être repéré au travers de deux indices : - la fréquence de réponses correctes ; - la corrélation score à l’item / score au test   Une fréquence de réponses correctes trop élevée - item trop peu discriminatif (ne permet pas de différencier les élèves.) Une fréquence de réponses correctes trop faible - item trop peu discriminatif - question trop difficile ? - domaine de connaissance non partagé (candidats et concepteur) - d’une formulation ambiguë.

9 Analyse des items Analyse des réponses aux distracteurs :
trop choisis, ils peuvent signaler une ambiguïté voire une erreur dans la question ou la réponse proposée, trop peu choisis ils font baisser le nombre réel d’alternatives à la QCM, augmentant ainsi la facilité d’une réponse faite au hasard.

10 Règles générales 1. Unidimensionnalité
Quelle est l'affirmation fausse ? (A partir d'un emploi du temps) Maria n'effectue pas plus d'heures de maths que de français Maria effectue au moins 28 heures hebdomadaires Maria effectue moins d'heures de maths que d ’EPS Maria a un emploi du temps satisfaisant La dernière proposition n’est pas de même nature que les autres, concernant une opinion et non pas la compétence de lecture de tableau.

11 Règles générales 2. Non ambiguïté Non Pas :
Vous entendez le signal d'alarme incendie. Que faites-vous ? Mais : Vous êtes affecté au nettoyage des couloirs du 3ème étage de votre collège. Vous entendez le signal d'alarme incendie. Vous voyez une trentaine d'élèves en permanence dans une salle sans surveillance. Vous ... les faites sortir précipitamment criez pour prévenir ceux qui n'auraient pas entendu veillez à ce que la sortie se fasse en bon ordre (BR) leur faites ranger leurs affaires avant de sortir

12 Règles de rédaction sur la forme
1. La question doit être compatible avec la consigne Lequel des quadrilatères ci-dessous a ses diagonales qui se coupent en leur milieu ? Le losange le parallélogramme le rectangle (toutes les solutions sont acceptables) Il faudrait, dans l’amorce, ajouter « le plus «  (de lipides), par exemple.

13 Règles de rédaction sur la forme
2. Proposer des phrases syntaxiquement correctes On appelle médiane d ’un triangle une droite qui coupe : dont les points sont équidistants des extrémités d ’un côté perpendiculairement un côté en son milieu qui sépare l ’angle en deux angles égaux en son milieu un côté et qui passe par le sommet opposé (BR) Exemple belge

14 Règles de rédaction sur la forme
Les crochets sont utilisée dans la notion d’un segment longueur droite demi-droite point

15 Règles de rédaction sur la forme
3. Pas de terme vague dans l'énoncé De quels éléments a t ’on besoin pour réaliser un losange ABCD ? du compas et de la règle de AC et BD de parallèles (toutes les solutions sont acceptables) Le mot élément est trop vague. Il faudrait dans l’amorce préciser à quel niveau on se situe (cellulaire, moléculaire, atomique,…)

16 Règles de rédaction sur la forme
4. Eviter les formes négatives (syntaxiques et sémantiques), a fortiori proscrire leur accumulation N'est-il pas faux de nier que l'absence d'arrêt à un signal "STOP" n'entraîne pas automatiquement le retrait du permis de conduire ? Oui Non

17 Règles de rédaction sur la forme
5. Regrouper dans l'amorce les éléments communs aux solutions proposées NON PAS : un angle aigu aura une mesure qui : 1. - sera comprise entre 0° et 90° 2. - sera comprise entre 90° et 180° 3. - sera comprise entre 180° et 270° 4. - sera comprise entre 270° et 360° MAIS : un angle aigu aura une mesure comprise entre : ° et 90° 2. 90° et 180° ° et 270° ° et 360°

18 Règles de rédaction sur la forme
6. On doit préciser sur quelle partie de l'énoncé porte la question A. Au XIIè siècle, les Arabes inventaient le nombre zéro, mettant ainsi en place une notion difficile. Vrai Faux B. Les carrés sont des rectangles car ils ont les côtés opposés de même longueur C. En Egypte, devant les pyramides Thales fondateur des mathématiques grecques, fut l ’inventeur du théorème qui porte son nom. Seule la dernière partie de la proposition est fausse. On aurait dû souligner « parce que » (seul objet de la question VRAI-FAUX). On aurait dû souligner « en 1968 » ou, mieux, commencer la phrase par « C’est en en 1968 que… ».

19 Règles de rédaction des solutions
1. Indépendance syntaxique Non pas : Au self, chaque élève a droit à 4 plats. Vous constatez qu'un élève a sur son plateau une entrée : taboulé ; un plat principal : saucisson en croûte et spaghetti ; un fromage ; une part de gâteau à la crème. - vous le félicitez pour son solide appétit - vous ne réagissez pas car vous n'avez pas à contrôler les choix des élèves - au contraire, vous lui demandez s'il va vraiment manger tout cela - en plus, vous lui remplacez le saucisson par des carottes râpées Mais : - vous le félicitez pour son solide appétit - vous lui demandez s'il va vraiment manger tout cela - vous ne réagissez pas car vous n'avez pas à contrôler les choix des élèves - vous lui conseillez de choisir un repas mieux équilibré (BR)

20 Règles de rédaction des solutions
2. Indépendance sémantique La valeur de cos(x) peut aller jusqu'à : a. 0,9 b. 99/100 c d. 1 (choisir la solution d. équivaut à accepter toutes les autres. Pour lever l’ambiguïté, il suffit de préciser : « un cosinus vaut au maximum  »

21 Règles de rédaction des solutions
3. Mêmes mots communs avec l'amorce Un repère (O, i, j ) dont les axes sont orthogonaux et tel que | | i | | = | | j | | est un repère : 1. direct 2. orienté 3. orthonormé 4. indirect

22 Règles de rédaction des solutions
4. Égalité de vraisemblance entre les solutions Quel nom porte le nombre situé au dessus du trait de fraction ? 1. Le numérateur 2. Le dénominateur 3. Le quotient 4. Le diviseur 5. Le nominateur 6. Le numinateur

23 Règles de rédaction des solutions
5. Même longueur de toutes les solutions Non pas : Un théorème possède des hypothèses . Pourquoi ? pour que l’on puisse vérifier si les conditions d ’utilisation de ce théorème correspondent précisément aux conditions que l ’on retrouve dans l ’énoncé de l ’exercice pour apporter un exemple d ’utilisation pour compliquer son apprentissage Mais : pour vérifier dans quels conditions l ’utiliser pour apporter un exemple d ’utilisation pour compliquer son apprentissage

24 Règles de rédaction des solutions
6. Même complexité de toutes les solutions Un incendie se déclare dans une cuisine. L'occupant n'arrive pas à le maîtriser. Que doit-il faire ? Couper l'arrivée du gaz au compteur Téléphoner aux pompiers Evacuer les enfants 1 et 2 2 et 3 1, 2 et 3

25 Règles de rédaction des solutions
7. Même niveau de généralité dans les indicateurs (temps, modificateurs...) Dans une distribution normale (courbe de Gauss), la moyenne : 1. est toujours supérieure à l'écart-type 2. est toujours inférieure à l'écart-type 3. est parfois inférieure à l'écart-type (BR)

26 Règles de rédaction des solutions
8. Même degré de technicité du vocabulaire dans toutes les solutions proposées Dans l'Islam chiite, un ayatollah est : 1. un imam 2. un uléma 3. une autorité religieuse (BR) 4. un derviche