La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours dObstétrique et de Pathologie de la Reproduction des ruminants, équidés.

Présentations similaires


Présentation au sujet: "Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours dObstétrique et de Pathologie de la Reproduction des ruminants, équidés."— Transcription de la présentation:

1 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours dObstétrique et de Pathologie de la Reproduction des ruminants, équidés et porcins Jean-Loup Castaigne 1 & Jean-Luc Gilles 2 1 Service d Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, ULg Prof. C. Hanzen 2 Service de Technologie de lÉducation & S.M.A.R.T., FAPSE, ULg Prof. D. Leclercq FAPSE

2 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations

3 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

4 1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d une évaluation et en quantifier l importance 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l enseignant va prendre lors de l évaluation de l apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d en apprécier la bonne transmission vers l apprenant 1. Analyse de l enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

5 Isoler chaque module assez important pour justifier d une évaluation et en quantifier l importance 1.1 Définir les Points Enseignés [PE] 1. Analyse de l enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

6 Quelles sont les mesures que l enseignant va prendre lors de l évaluation de l apprenant ? 1. Analyse de l enseignement 1.2 Définir les Catégories de Performance [CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 Exemples Cp en OGA

7 Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle CP permettra d en apprécier la bonne transmission vers l apprenant ? C est le premier binôme. Les 6 catégories de performances choisies par l enseignant sont affichées Pour ce PE (4.8), lenseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. 1. Analyse de l enseignement 1.3 [PE x CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

8 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

9 Catégories de Conditions : «...avec degrés de certitude », «...à livre ouvert »,... Catégories de Questionnement : « VF », « QCM », « QROC »,... Il existe des …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à laide de QCM avec degrés de certitude » Les binômes [PE x CP] de lanalyse de lenseignement sont croisés avec les binômes [CP x MQ] 2.Mise en forme de l épreuve Création des trinômes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 … ce qui donne une liste de trinômes : [PE x CP x MQ]

10 Quelles modalités de questionnement utiliser ou ne jamais utiliser ? Relier la Catégorie de Performance [CP] recherchée chez l étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : 2.Mise en forme de l épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 Exemples SGI en OGA

11 2.Mise en forme de l épreuve Répartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

12 2.Mise en forme de l épreuve Importance des PE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

13 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

14 1) conseils méthodologiques 2) choix parmi les références des Questions PE : CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l ovaire gauche d une vache pie noire de 6 ans, a été réalisée une semaine après l oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 3.Construction des Questions Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. RC : 6

15 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq,1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

16 4. Entraînement des étudiants Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 on line : TIMI (correction) en amphi : Formuloms (exemple), BVE,... (correction) (exemple)

17 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

18 Matériel & Timing & procédure anti-fraude 5. Mise en œuvre de l épreuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

19 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

20 On-line : DC, sévérité (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +), r.bis spectral turbo (en savoir +), réalisme (en savoir +),... (en savoir +) 6. Correction de l épreuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

21 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

22 Présentation et analyse sommaire des résultats 1. Sévérité de 20 (sévérité) (sévérité) 2. Retrait d une QCM à cause de son r.bis (r.bis) (r.bis) 3. Correction en amphithéâtre des questions ayant posé un problème (3 sur 15) 7. Feedback aux étudiants Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

23 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 8. Régulation du processus Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

24 Boucle de régulation 1 (revoir boucles de régulation) (revoir boucles de régulation) Courte : R5 : Mesure ajustée par retrait d une QCM Longue : R3 : mise à jour de la banque de QCM R2 : Nouveaux projets d évaluation 8. Régulation du processus Régulation en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 EvalEns 2 : d après les étudiants : 1. Le mode d évaluation le plus adéquat : examen écrit rédigé > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l année dont le rôle serait : modérer un problème à l oral > auto-évaluation > 25 % de la cote finale Pour l an prochain et les années suivantes... : 1 BEV sur les prérequis avec mise à niveau immédiate 5 LQRT dont les 3 best sont sanctionnant (20% du cours) PARM sur base de volontariat (maximum 10% du cours) autres solutions pour étudiants n ayant pas accès au PARM 1 Leclercq, 1999, Chap 1, p 4 2 Leclercq, 1999, Chap 1, p 9

25 1. Analyse de l enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques FAPSE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

26 Adresses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 Jean-Luc Gilles 2 Tél : 04 / Jean-Loup Castaigne 1 Tél : 04 / Service d Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, Ulg Prof. C. Hanzen 2 Service de Technologie de lÉducation & S.M.A.R.T., FAPSE, Ulg Prof. D. Leclercq FAPSE

27 Boucle de régulation Cohérence Correction dans TIMI CP en QCM pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo Réalisme Sévérité SGI en OGA Taux d exactitude et réalisme Plan des annexes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

28 Exemple QCM recognition Le diamètre normal des cornes utérines d une vache ou d une génisse non gestante est 1. De 2,5 à 4 cm 2. De 1 à 2 cm 3. De 4 à 7 cm Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

29 Exemple de QCM compréhension Au cours du pro œstrus, l utérus de la bête bovine s œdèmatie ce le qui rend à la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

30 Exemple de QCM : application une structure anéchogène d une taille supérieure à 3 cm, à paroi mince (inférieure à 5 mm). Réponse correcte : 2 4,3 cm 3mm Votre diagnostic le plus probable sera : 1. Un corps jaune cavitaire 2. Un kyste folliculaire ou lutéal 3. Un follicule 4. Une tumeur Lors de l examen échographique d une vache pie noire de 3 ans, vous mettez en évidence sur l ovaire droit : Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

31 Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d une génisse est 1. Plus grand 2. Plus petit 3. De même taille Une absurdité ou une contre-vérité (une génisse possède des ovaires, non des testicules) dans l énoncé rend toute la question sans objet : réponse 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

32 Exemple de QCM SGI De combien d ovaire(s) est équipée une génisse BBB normalement constituée 1. Zéro 2. Quatre 3. Six Aucune des solutions proposées n est correcte puisque comme toutes les femelles mammifères, elle a 2 ovaires : réponse 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

33 Exemple de QCM SGI L utérus d une vache normalement constituée comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposées sont correctes simultanément : réponse 7 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

34 Exemple de QCM SGI Le taux d œstrogènes en pg/mL d une vache est : 1. inférieur à supérieur à 200 Il est impossible de répondre parce que l information (au moins une donnée : le moment dans le cycle) nécessaire manque dans l énoncé de la question : réponse 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

35 Taux dexactitude : 9 bonnes réponses sur 14 questions, soit 64 % Score DC : 140 / 280 soit 50 % Analyses des réponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

36 Boucle de Régulation Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 Analyses des besoins Définition du projet Planification Exécution Mesure Rétroaction ConceptionConception ActionAction Boucles courtes Boucles longues 8 Leclercq, 1999, Chap 1, p 4

37 Les feuilles réponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

38 En cas d erreur Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

39 Graphe de réalisme Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 SOUS SUR 6

40 Taux d exactitude & Réalisme Réalisme = 0,759Réalisme = 0,961 Taux d exactitude de 50% 4 Q dont 2 RC20 Q dont 10 RC Réalisme Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

41 Cohérence Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

42 r.bis d r pcq coefficient de corrélation Bis érial pcq 1 variable réparti la population en 2 séries. pcq dichotomie vraie (RC ou RI) Indice de cohérence entre la question et le test Quantitatif : pq Qualitatif : Mx-Ma / r.bis = (Mx-Ma / ) ( pq) En ordonnées réduites (y = p distribué normalement) r.bis = (Mx-Ma / ) (pq / y) Leclercq, 1999, chap 10, p Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

43 r.bis en pratique 15 questions : r.bis repère = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 14 questions : r.bis repère = 0,27 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai

44 Sévérité Score réajusté = score 20 * 20 sévérité Leclercq, 1993 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai Sévérité = 20 Max = 15 Sévérité = Max = 20 Sévérité = Max =

45 r.bis spectral Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai Adapté de Leclercq, 1999, chap 10, p 44-53

46 r.bis spectral turbo Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai Taux d Exactitude (revoir dia TE) (revoir dia TE) Écart entre TE et VC Adapté de Leclercq, 1999, et Boxus, 1991 Échelle des DC Valeur Centrale

47 La validité : les scores des étudiants doivent représenter ce que lenseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de lenseignement (validité de contenu) ; Objectifs qualité du SMART La fidélité : la note (dune épreuve corrigée) classée dans une catégorie donnée doit lêtre de la même façon si elle est traitée par dautres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés dapprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; Léquité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l aide des ressources en personnel et en matériel disponibles et proportionnées à limportance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000


Télécharger ppt "Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours dObstétrique et de Pathologie de la Reproduction des ruminants, équidés."

Présentations similaires


Annonces Google