Faculté de Psychologie et des Sciences de l’Education Prof. Marc DEMEUSE Institut d’Administration scolaire Université de Mons, Belgique

Présentation au sujet: "Faculté de Psychologie et des Sciences de l’Education Prof. Marc DEMEUSE Institut d’Administration scolaire Université de Mons, Belgique"— Transcription de la présentation:

1 Faculté de Psychologie et des Sciences de l’Education Prof. Marc DEMEUSE Institut d’Administration scolaire Université de Mons, Belgique marc.demeuse@umons.ac.be http://www.umons.ac.be/inas QCM…. ????

2 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 2 L’évaluation par QCM…  … un problème qui nous concerne de plus en plus!

3 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 3 Définition « Une question à laquelle l’étudiant répond en opérant une sélection (au moins) parmi plusieurs solutions proposées, chacune étant jugée (par le constructeur de l’épreuve et par un consensus entre spécialistes) correcte ou incorrecte, indépendamment de l’étudiant qui doit y répondre » D.Leclercq (1986). La conception des questions à choix multiples. Bruxelles : Labor.

4 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 4 Rappels de docimologie  Les écarts entre évaluateurs : problèmes de fidélité des épreuves  Quelles solutions ?  Les méthodes de modération a posteriori ou a priori  La transformation des épreuves : une correction- codage  Et la validité ? Qu’évalue un QCM ?

5 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 5 Du décidable !  Une certaine image de la connaissance : l’accord indiscutable, peu de nuances !  Risque de se limiter aux questions de connaissance de faits ou de relations (bas niveau des taxonomies d’objectifs: connaissance – application – analyse ET PAS synthèse - évaluation Certains objectifs d’apprentissage ne s’évaluent pas par QCM : les QCM sont une modalité d’évaluation parmi d’autres !

6 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 6 Comment répond-on (côté élève)?  Activité non de production spontanée, mais… de jugement multiple  Dans un domaine délimité du savoir : le plus plausible !  Quand on ne sait pas on peut tenter : place du hasard

7 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 7 La réponse seulement (côté correcteur)!  Les seules données accessibles à l’évaluation dans un QCM sont les réponses brutes cochées  On n’a pas accès aux démarches qui les ont déterminées, sauf si certains choix proposés permettent de les différencier par inférence  Cela ne veut pas dire pourtant que l’on réponde sans raisonnement ou calcul !

8 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 8 Une QCM : c’est quoi ?  Trois composantes : 1.Une consigne 2. L’amorce (tronc, corps, base, prémisse) qui définit le problème et pose la question) 3. Les solutions proposées : (Choix, suggestions ou options), parmi lesquelles : La ou les solutions correctes Les solutions incorrectes (distracteurs ou leurres)

9 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 9 La consigne  Généralement valable pour l’ensemble du QCM, elle décrit : 1.La question (précise le nombre de réponses correctes) ex.: 1 seule réponse correcte 2.Le mode de réponse et son expression (avec un verbe d’action) ex.: cocher la réponse correcte, si erreur, utiliser la ligne de « repentir ». C’est la ligne de repentir qui prime si une case est noircie dans les deux lignes. Pour annuler sa réponse alors qu’on a déjà répondu: noircir toutes les cases de la ligne. 3.Les principes de notation et le barème de cotation ex.: pénalisation pour choix au hasard. Pénalisation si plusieurs réponses sont fournies.

10 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 10 Exemple: examen (feuille de réponse) 5. ABCDE 4. ABCDE 6. ABCDE Cases à cocher pour répondre Ligne de repentir Lettres correspondant aux différentes propositions Numéro de la question

11 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 11 Exemple: examen (feuille de réponse) 5. ABCDE 4. ABCDE 6. ABCDE OK NON! Réponse A Réponse B Réponse fausse

12 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 12 Exemple: examen (feuille de réponse) 5. ABCDE 4. ABCDE 6. ABCDE OK NON! Réponse Abstention

13 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 13 Les types de QCM ou questions à réponse fermée  Vrai-Faux  QCM classique simple : tronc et une liste de solutions : avec une, plusieurs ou aucune réponses correctes et leur nombre annoncé ou non dans la consigne  QCM à listes d’appariement simple, sans biunivocité : chaque item de la première liste correspondant à une, aucune ou plusieurs réponses  QCM à listes d’appariements multiples Une complexité croissante avec : le niveau des objectifs d’apprentissage visés Les niveaux d’études concernés

14 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 14 Règles de rédaction (1)  Respecter l’objectif Quel type de question est le plus approprié ?  Coller à l’objectif Quelle formulation ou quelle présentation ?  Ne pas perturber les apprentissages Notamment lorsque la mémoire perceptive est importante (orthographe) Adéquation aux objectifs

15 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 15 Règles de rédaction (2) Valeur diagnostique de la réponse  Possibilité d’identifier la démarche de réponse par le choix des distracteurs  La vraisemblance des distracteurs  Leur signification sur le type d’erreur  Les énoncés ambigus : préciser sur quelle partie de l’énoncé porte la question

16 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 16 Règles de rédaction (3) sur la forme  Compatibilité de la question et de la consigne  Correction syntaxique des phrases à recomposer  Absence de terme vague dans l’énoncé  Préférence pour les formes affirmatives  Séparation nette entre informations et questions  Regroupement dans l’amorce des éléments communs aux solutions  Indépendances syntaxique et sémantique des solutions  Identité de longueur et de complexité pour toutes le solutions  Identité du degré de généralité des déterminants ou de technicité du vocabulaire dans toutes les solutions

17 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 17 Exemples de (non) application des règles de rédaction des QCM  Tous les exemples sont empruntés à Leclercq (1986)

18 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 18 La QCM doit répondre à l’objectif visé

19 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 19 La QCM ne doit pas perturber les apprentissages

20 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 20 La QCM ne doit pas perturber les apprentissages

21 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 21 La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’étudiant

22 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 22 Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect

23 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 23 Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect

24 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 24 La question doit être compatible avec la consigne

25 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 25 Proposer des phrases syntaxiquement correctes

26 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 26 Proposer des phrases syntaxiquement correctes

27 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 27 Pas de termes vagues dans l’énoncé

28 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 28 Eviter les formes négatives (syntaxes et sémantiques) et leur accumulation

29 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 29 Séparer informations et questions

30 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 30 Regrouper dans l’amorce les éléments communs aux solutions proposées

31 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 31 Indépendance syntaxique des solutions proposées

32 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 32 Indépendance sémantique des solutions proposées

33 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 33 Même longueur et même complexité pour les solutions

34 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 34 Même complexité pour les solutions

35 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 35 Même niveau de généralité (notamment les adverbes)

36 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 36 Même degré de technicité

37 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 37 La cotation  L’absence de réponse et les erreurs  La cohérence des réponses  La signification différenciée des erreurs  Limiter l’effet des réponses au hasard  Note= -1/k-1 si réponse fausse (où k est le nombre de solutions proposées)  Note= 1 si réponse correcte  Note= 0 si pas réponse  Pondération par indice de certitude % de certitude exprimé par le répondant (voir D.Leclercq, 2004)  Un triple indice personnel : 3 points de plus : Confiance (certitude correcte>50%), Prudence (certitude incorrecte 20%)

38 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 38 Quelques références bibliographiques (1) OUVRAGES GENERAUX ET « CLASSIQUES » Abernot, Y. (1988). Les méthodes d’évaluation scolaire. Paris : Bordas. Dawoud, M. (1995). Elaboration d’un examen de rendement scolaire. Techniques et procédures. Ottawa: Editions nouvelles. De Ketele, J.M. (1985). Docimologie : introduction aux concepts et aux pratiques. Louvain-la- Neuve : Cabay. (2 e édition) De Landsheere, G. (1992). Evaluation continue et examens. Précis de docimologie. Liège: Labor, Coll. « Education 2000 ». (6 e édition) Fabre, J.M. (1980). Jugement et certitude. Bern: Peter Lang. Laurier, M., Morissette, D., Tousignant, R. (2005). Les principes de la mesure et de l’évaluation des apprentissages. Montréal: Gaëtan Morin. Leclercq, D. (1986). La conception des questions à choix multiples. Bruxelles : Labor, Coll. Education 2000. Morissette, D. (1993). Les examens de rendement scolaire. Québec : Presses de l’Université Laval

39 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 39 Quelques références bibliographiques (2) OUVRAGES GENERAUX ET « CLASSIQUES » (suite) Noizet, G. & Caverni, J.C (1978). Psychologie de l’évaluation scolaire. Paris : Presses universitaires de France. Piéron, H. (1963). Examens et docimologie. Paris: Presses universitaires de France, Coll. « Le psychologue ». Veslin, O., Veslin, J. (1992). Corriger des copies. Evaluer pour former. Paris: Hachette éducation, coll. « Pédagogies pour demain ».

40 Université de Mons Prof. Marc Demeuse | Service de Méthodologie et Formation / INAS 40 Quelques références bibliographiques (3) POUR ALLER PLUS LOIN DANS LA REFLEXION Bressoux, P., Pansu, P. (2003). Quand les enseignants jugent leurs élèves. Paris: Presses universitaires de France, coll. « Education et formation ». Merle, P. (2007). Les notes. Secrets de fabrication. Paris: Presses universitaires de France, coll. « Education et société ». Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Bruxelles: De Boeck, coll. « Pédagogies en développement ». DU POINT DE VUE TECHNIQUE et DES MODELES DE MESURE Bertrand, R., Blais, J.G. (2004). Modèles de mesure. L’apport de la théorie des réponses aux items. Sainte-Foy: Presses de l’Université du Québec. Laurencelle, L. (1998). Théories et techniques de la mesure instrumentale. Sainte-Foy: Presses de l’Université du Québec. Penta, M., Arnould, C., Decruynaere, C. (2005). Développer et interpréter une échelle de mesure. Application du modèle de Rasch. Sprimont: Mardaga, coll. « Pratiques psychologiques ».

41 Faculté de Psychologie et des Sciences de l’Education Pr. Marc Demeuse Institut d’Administration scolaire Faculté de Psychologie et des Sciences de l’Education Université de Mons Académie universitaire Wallonie-Bruxelles Faculté de Psychologie et des Sciences de l’Éducation Place du Parc, 18 B-7000 Mons (Belgique) marc.demeuse@umons.ac.be http://www.umons.ac.be/inas