Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie.

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie de la Reproduction des ruminants, équidés et porcins Jean-Loup Castaigne 1 et al. 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs, Faculté de Médecine Vétérinaire, Université de Liège, Prof. C. Hanzen en collaboration avec Jean-Luc Gilles, Service de Technologie de l’Éducation & S.M.A.R.T., Faculté de Psychologie et Sciences de l ’Éducation, Université de Liège, Prof. D. Leclercq FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 ÉvalEns EvalEns : évaluation de l ’enseignement théorie, pratique, examen d ’après les étudiants : 1. Le mode d ’évaluation le plus adéquat : examen écrit rédigé > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l ’année dont le rôle serait : modérer un problème à l ’oral > auto-évaluation > 25 % de la cote finale

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Nouvelles stratégies Pour l ’année 2000-2001 : 1 BEV sur les prérequis avec mise à niveau immédiate et remédiation libre 5 LQRT (40% du cours) dont les 4 meilleurs sont sanctionnants pour 50% de la cote finale Oral en 2 parties : 30 QRO de synthèse remises à la fin du cours et à défendre oralement : 25 % Discussion sur des cas pratiques illustrés par des photos préalablement exposée au cours et consultables sur le Web : 25 %

Castaigne et al., ULG - AIPU - Dakar, avril 2001 LQRT - SAFE en OGA Lire Questions - Réponses en amphithéâtre Test Feedback et Régulation Le résultat du test correspond-t-il à ce que nous voulions évaluer ?

Castaigne et al., ULG - AIPU - Dakar, avril 2001 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis,... 7. Feedback aux étudiants On-line ou en amphi Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations

Castaigne et al., ULG - AIPU - Dakar, avril 2001 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis,... 7. Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril 2001 1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance relative 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant 1. Analyse de l ’enseignement

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance. Liste mise à disposition des étudiants sur le Web 1.1 Définir les Points Enseignés [PE] 1. Analyse de l ’enseignement

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1. Analyse de l ’enseignement 1.2 Définir les Catégories de Performance [CP] Exemples Cp en OGA

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle(s) CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8), l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. 1. Analyse de l ’enseignement 1.3 [PE x CP]

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Catégories de Conditions : «...avec degrés de certitude », «...à livres ouverts »,... Catégories de Questionnement : « VF », « QCM », « QROC »,... Il existe des …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude à Livres Ouverts » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude à Livres Ouverts » Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] 2.Mise en forme de l ’épreuve Création des trinômes … ce qui donne une liste de trinômes : [PE x CP x MQ]

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Quelles modalités de questionnement utiliser ou ne jamais utiliser ? Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : 2.Mise en forme de l ’épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ]

Castaigne et al., ULG - AIPU - Dakar, avril 2001 2.Mise en forme de l ’épreuve Les QCM - LO Problème des évaluations portant sur la compréhension, l ’analyse et l ’évaluation (Bloom) : QCM : Questions à Choix Multiples évaluation standardisée facilité de correction (150 étudiants) (+ oral) LO : tests à Livres Ouverts permettent d ’éliminer les questions de connaissance (évocation ou rappel) pour favoriser les autres niveaux taxonomiques Compréhension & analyse : SGI…. Évaluation : DC

Castaigne et al., ULG - AIPU - Dakar, avril 2001 2.Mise en forme de l ’épreuve Les S.G.I. et L.O. Les Solutions Générales Implicites en plus des solutions habituellement proposées, quatre possibilités : Rejet : aucune solution proposée n’est correcte ( Capitales ), Toutes : toutes sont correctes ( Royaume Uni ), Manque : il manque des données dans l’énoncé pour que l’on puisse choisir UNE solution comme correcte ( Rimbaud ), Absurdité : il y a une contre-vérité dans l’énoncé à dénoncer en priorité ! ( Napoléon & Jules C. ) évaluer des niveaux taxonomiques plus élevés que la connaissance éviter l’identification de la réponse correcte (recognition) par hasard détecter les incohérences, les lacunes, les contradictions sans être mis sur la voie, stimuler la vigilance factuelle (Aller spontanément au-delà du donné, accéder à l’implicite), combattre le curriculum caché (Ce que personne n’enseigne, mais que tout le monde apprend) habituer aux situations où plusieurs solutions sont correctes

Castaigne et al., ULG - AIPU - Dakar, avril 2001 2.Mise en forme de l ’épreuve Les D.C. Problème des évaluations portant sur la compréhension, l ’analyse et l ’évaluation (Bloom) : Évaluation : Degrés de Certitude Savoir ce que l ’on sait, savoir ce que l ’on ne sait pas et savoir à quel point on sait ou pas en respectant (1) une consigne probabiliste, (2) un barème des tarifs calculé selon la théorie des décisions, (3) le calcul d’indice de réalisme, (4) un entraînement à la procédure.

Castaigne et al., ULG - AIPU - Dakar, avril 2001 2.Mise en forme de l ’épreuve Répartition des CP par MQ

Castaigne et al., ULG - AIPU - Dakar, avril 2001 2.Mise en forme de l ’épreuve Importance des PE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 1) conseils méthodologiques de rédaction 2) choix parmi les références des Questions 3) présentation aux encadrants & ajustement PE : 1.6.3. CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 3.Construction des Questions SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. RC : 6 Choix de 50 % de SGI dans le test mais entraînement progression

Castaigne et al., ULG - AIPU - Dakar, avril 2001 4. Entraînement des étudiants Entraînements Degrés de Certitude seul DC et SGI –sur des connaissances générales –sur des connaissances spécifiques –avant chaque test

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Matériel, Timing, procédures anti-fraude 5. Mise en œuvre de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Corrections 6. Correction de l ’épreuve Correction des justificatifs –analyse des commentaires des étudiants –autres réponses (individuelle ou en groupe) Lecture des formuloms Analyse des r.bis –rejet des certaines QCM –acceptations d ’autres réponses correctes Ajustement de la sévérité

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis en pratique 15 questions : r.bis seuil = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 14 questions : r.bis seuil = 0,27 6. Correction de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril 2001 7. Feedback aux étudiants Feedbacks Immédiat : à la sortie du test affichage des réponses correctes présence du personnel encadrant Retardé En présentiel PE ayant posé des problèmes de compréhension On-line Intégralité de la procédure Résultats : score, réalisme, centration,...

Castaigne et al., ULG - AIPU - Dakar, avril 2001 )À la mise en forme de l’épreuve (étape 2), nous avons validé les questions par rapport aux objectifs (étape 1). )Dès la discussion en fin de test (5), nous avons changé les réponses correctes de certaines QCM (3). )À la fin du premier LQRT (5), nous avons autorisé les étudiants à bénéficier d’un quart d’heure supplémentaire pour répondre au test (5). )Lors de la correction des formuloms et des justifications (6), des QCM ont été supprimées du test et modifiées ou supprimées dans la banque des questions (3), d’autres solutions ont été admises comme correctes (6) et les fréquences de distribution des SGI ont été adaptées en fonction de la maîtrise montrée par les évalués (2). )Les étudiants utilisant TIMI sans lire les feedbacks mais uniquement en espérant qu’une ou plusieurs QCM d’entraînement (4) seraient également dans le test, la forme et la réponse correcte des questions d’entraînement étaient différentes des questions du test (3). )Une nouvelle EvalEns sera organisée après l’examen oral de fin d’année pour recueillir l’avis des étudiants et essayer d’améliorer le système pour l’année académique suivante. 8. Régulation du processus

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Régulation finale À la mise en forme de l’épreuve (étape 2), nous avons validé les questions par rapport aux objectifs (étape 1). Dès la discussion en fin de test (5), nous avons changé les réponses correctes de certaines QCM (3). À la fin du premier LQRT (5), nous avons autorisé les étudiants à bénéficier d’un quart d’heure supplémentaire pour répondre au test (5). Lors de la correction des formuloms et des justifications (6), des QCM ont été supprimées du test et modifiées ou supprimées dans la banque des questions (3), d’autres solutions ont été admises comme correctes (6) et les fréquences de distribution des SGI ont été adaptées en fonction de la maîtrise montrée par les évalués (2). Les étudiants utilisant TIMI sans lire les feedbacks mais uniquement en espérant qu’une ou plusieurs QCM d’entraînement (4) seraient également dans le test, la forme et la réponse correcte des questions d’entraînement étaient différentes des questions du test (3). Une nouvelle EvalEns sera organisée après l’examen oral de fin d’année pour recueillir l’avis des étudiants et essayer d’améliorer le système pour l’année académique suivante. 8. Régulation du processus

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Jean-Loup Castaigne oga.fmv@ulg.ac.be http://www.fmv.ulg.ac.be/oga/ Merci de votre attention

Castaigne et al., ULG - AIPU - Dakar, avril 2001 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis,... 7. Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Adresses Jean-Luc Gilles 2 Tél : 04 / 366 20 78 eMail : jl.gilles@ulg.ac.be http://139.165.55.45/smart/ Jean-Loup Castaigne 1 Tél : 04 / 366 41 72 http://www.fmv.ulg.ac.be/oga/index.html 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, Ulg — Prof. C. Hanzen (Christian.Hanzen@ulg.ac.be) 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, Ulg — Prof. D. Leclercq (D.Leclercq@ulg.ac.be) FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Boucle de régulation Cohérence Correction dans TIMI CP en QCM pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo Réalisme Sévérité SGI en OGA Taux d ’exactitude et réalisme Plan des annexes

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple QCM recognition Le diamètre normal des cornes utérines d ’une vache ou d ’une génisse non gestante est 1. De 2,5 à 4 cm 2. De 1 à 2 cm 3. De 4 à 7 cm Réponse correcte : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM compréhension Au cours du pro œstrus, l ’utérus de la bête bovine s ’œdèmatie ce le qui rend à la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Réponse correcte : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM : application une structure anéchogène d ’une taille supérieure à 3 cm, à paroi mince (inférieure à 5 mm). Réponse correcte : 2 4,3 cm 3mm Votre diagnostic le plus probable sera : 1. Un corps jaune cavitaire 2. Un kyste folliculaire ou lutéal 3. Un follicule 4. Une tumeur Lors de l ’examen échographique d ’une vache pie noire de 3 ans, vous mettez en évidence sur l ’ovaire droit : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d ’une génisse est 1. Plus grand 2. Plus petit 3. De même taille Une absurdité ou une contre-vérité (une génisse possède des ovaires, non des testicules) dans l ’énoncé rend toute la question sans objet : réponse 9

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI De combien d ’ovaire(s) est équipée une génisse BBB normalement constituée 1. Zéro 2. Quatre 3. Six Aucune des solutions proposées n ’est correcte puisque comme toutes les femelles mammifères, elle a 2 ovaires : réponse 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI L ’utérus d ’une vache normalement constituée comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposées sont correctes simultanément : réponse 7

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI Le taux d ’œstrogènes en pg/mL d ’une vache est : 1. inférieur à 100 2. 150 3. supérieur à 200 Il est impossible de répondre parce que l ’information (au moins une donnée : le moment dans le cycle) nécessaire manque dans l ’énoncé de la question : réponse 8 2

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Taux d’exactitude : 9 bonnes réponses sur 14 questions, soit 64 % Score DC : 140 / 280 soit 50 % Analyses des réponses 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Boucle de Régulation Analyses des besoins Définition du projet Planification Exécution Mesure Rétroaction ConceptionConception ActionAction Boucles courtes Boucles longues 8 Leclercq, 1999, Chap 1, p 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Les feuilles réponses

Castaigne et al., ULG - AIPU - Dakar, avril 2001 En cas d ’erreur 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 D ’après Boxus, 1991 Réalisme le calcul d’indices de réalisme SUR et SOUS estimation SOUS SUR Évaluation

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Graphe de réalisme Boxus, 1991 SOUS SUR 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Taux d ’exactitude & Réalisme Réalisme = 0,759Réalisme = 0,961 Taux d ’exactitude de 50% 4 Q dont 2 RC20 Q dont 10 RC Réalisme Boxus, 1991 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Cohérence Boxus, 1991 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis d r pcq coefficient de corrélation Bis érial pcq 1 variable réparti la population en 2 séries. pcq dichotomie vraie (RC ou RI) Indice de cohérence entre la question et le test Quantitatif :  pq Qualitatif : Mx-Ma /  r.bis = (Mx-Ma /  ) (  pq) En ordonnées réduites (y = p distribué normalement) r.bis = (Mx-Ma /  ) (pq / y) Leclercq, 1999, chap 10, p 44-53

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis en pratique 15 questions : r.bis repère = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 14 questions : r.bis repère = 0,27 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Sévérité Score réajusté = score 20 * 20 sévérité 7 10 13 Leclercq, 1993 7 Sévérité = 20 Max = 15 Sévérité = 18 10 Max = 20 Sévérité = 16 13 Max = 25 6 7

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis spectral 6 Adapté de Leclercq, 1999, chap 10, p 44-53

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis spectral turbo 6 Taux d ’Exactitude (revoir dia TE) (revoir dia TE) Écart entre TE et VC Adapté de Leclercq, 1999, et Boxus, 1991 Échelle des DC Valeur Centrale

Castaigne et al., ULG - AIPU - Dakar, avril 2001 On-line : DC, sévérité (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +), r.bis spectral turbo (en savoir +), réalisme (en savoir +),... (en savoir +) 6. Correction de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril 2001 La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; Objectifs qualité du SMART La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l ’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie.

Présentations similaires

Présentation au sujet: "Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie."— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back

Entrer

S'autoriser via un réseau social:

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie.

Présentations similaires

Présentation au sujet: "Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie."— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back