Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie.

Slides:



Advertisements
Présentations similaires
Analyse d’items Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent. Ensemble.
Advertisements

Présentation de la « banqoutils »
EVALUATION DE LEXPERIMENTATION DU C2i niveau 2 « Métiers de la Santé » Nguyen Jean-Michel, Université Nantes 1.
But de la lecture critique
EPEUVE ECRITE Spécialité Marketing. EPREUVE DE SPECIALITE La partie écrite Durée: 4 heures Coefficient: 7 RAPPEL : Epreuve de spécialité coefficient 12.
LA SITUATION SIGNIFICATIVE D’INTEGRATION
PROJET DE SERVICE VIE SCOLAIRE
Dany Wanono –IEN de Flers
La certification en Enseignement de Spécialité STMG
Les Devoirs Maisons… Réflexion sur ce qu’est ou sur ce que peut être un Devoir Maison : rappel de ce que demande l’institution - Documents IA-IPR - Documents.
Conception de l’évaluation
Pédagogie par Objectifs
Mettre en place un dispositif dévaluation formative en 1 ère année détudes de Bacheliers en Sciences Dewalque Jennifer Malherbe Cédric Département de Chimie.
Midi pédagogique Bienvenue à toutes et à tous!. Lévaluation formative Petite évaluation diagnostique pour débuter… Document 1.
Mettre en place un dispositif d’évaluation formative en 1ère année d’études de Bacheliers en Sciences Dewalque Jennifer Malherbe Cédric Département de.
TPE Les élèves mènent à bien une production originale, concrète et choisie par eux Ils développent des compétences individuelles à travers un travail de.
L’INTERACTIVITÉ DANS L’ENSEIGNEMENT MAGISTRAL
Si vous n’êtes pas sûr de l’endroit où vous voulez aller, vous risquez de vous retrouver ailleurs… et de ne pas le savoir ! (R.F. Mager) Master ISIF.
Baccalauréat général, série scientifique : épreuve de sciences de la vie et de la Terre à compter de la session 2013.
Pédagogie générale et « organisationnelle ».
Séminaire international du CUD 5 septembre 2001 PANORAMA DES ACTIVITES DU S.M.A.R.T. (Système Méthodologique dAide à la Réalisation de Tests)
Recherche d’un thème de projet Identification d’un besoin
Épreuves de fin du 1er cycle du secondaire
La différenciation pédagogique
Unité de Logopédie Clinique
3G / 4G L’attitude et la participation en classe L’étude à domicile La méthode de travail La tenue des notes de cours Le journal de classe L’évaluation.
Jean-Loup Castaigne1 & Jean-Luc Gilles2
Séminaire international du CUD 5 septembre 2001 PANORAMA DES ACTIVITES DU S.M.A.R.T. (Système Méthodologique dAide à la Réalisation de Tests)
Analyse d'un dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après.
Sylvie Charpentier, Conseillère pédagogique Libourne 2
Plus de maîtres que de classes
Séminaire international du CUD 5 septembre 2001 Gestion qualité des tests pédagogiques standardisés dans lenseignement supérieur Jean-Luc Gilles
Introduction à la construction d’évaluations des acquis des apprenants
Approche qualité & critères de qualité des évaluations des apprentissages – Jean-Luc Gilles – Séminaire TECFA 22 mars Fondements dune approche qualité.
Etapes de construction d’une évaluation standar-disée des acquis des apprenants Cycle de construction et de gestion qualité des évaluations des apprentissages.
Etape « 6. Correction et discussion »
Macro-régulation dans le contexte du cycle de construction dune évaluation des apprentissages.
L’ORAL de CONTRÔLE au BACCALAUREAT en MATHEMATIQUES
30/01/2007CDS- Georges - Detroz Quand le testing standardisé formatif et systématique pose les jalons de l'apprentissage et offre un diagnostic sur les.
htp:// 8 novembre 2006
Proposition d’activités en BAC1 Kinés et Sc. Motricité
Percevoir les exigences et comprendre les attentes des enseignants La simulation dexamen : un moyen pédagogique à plusieurs facettes Octobre 2008 CDS -
Les interrogations formatives Une nécessité. Public concerné Première baccalauréat en médecine et dentisterie Premier baccalauréat en kinésithérapie et.
Percevoir les exigences et comprendre les attentes des enseignants La simulation dexamen : un moyen pédagogique à plusieurs facettes 9 mai 2006 Michel.
Les hémisphères cervicaux GLC 204. Quel est ton hémisphère dominant? Examine chacune des questions suivantes. Inscris sur une feuille de papier le.
gestion qualité des évaluations standardisées des acquis des étudiants
Module 8 : Surveillance des performances de SQL Server
Séminaire international du CUD 5 septembre 2001 Gestion qualité des tests pédagogiques standardisés dans l’enseignement supérieur Jean-Luc Gilles
L’épreuve orale de sciences pour la session 2015
Organisation administrative
Une communication efficace au cœur de la démarche d’apprentissage et d’évaluation Intention: Prendre conscience qu’une communication efficace.
XIVème Congrès de l’AMSE – Santiago du Chili – 10 au 14 mai 2004 Thématique « Nouveaux acteurs éducatifs » Colloque : Gérer la qualité des évaluations.
BACCALAUREAT PROFESSIONNEL
LE PROJET D’ECOLE Dourdan, mai 2013 – réunion des directeurs.
Des évaluations nationales à la mise en place d’un PPAP Novembre 2003 Stage T1 Sylvie Charpentier, CPAIEN Libourne II.
Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Utilisation de la méthode LQRT - SAFE ( Lecture / Questions -
( ) Collège de Maisonneuve
Informatique et Sciences du Numérique
PROJET D’ECOLE Réunion des directeurs du 14 mai 2009.
Préambule Problématique générale.
Exemple en maternelle (vidéo) L,  Visionner la VIDEO  Analyse : 3 temps  Rappel :1 er trimestre les livres qui font peur 2 ème trimestre mon.
Le Projet Personnalisé de Réussite Educative
Patrick Vanasse, Cégep de Saint-Hyacinthe. La simulation d’une situation authentique en Science politique 1. Objectifs de la simulation 2. Déroulement.
Préparation d’un mémoire
Evaluer 1. Objectif(s) (pourquoi évaluer ?) 2. Objet (évaluer quoi ?) 3. Procédure (comment évaluer ?) 4. Exemples L. Heurley Formation DCE / SUP – 4 mars.
Atelier - CONSTRUIRE UN QCM 2 SAPIENS 09/02/2016 9h30 – 12h30
UNE CARRIERE DANS LA MAGISTRATURE Examen d’aptitude professionnelle Ce Powerpoint peut être consulté sur le site du CSJ ( HOGE RAAD VOOR DE.
Emmanuelle Alves da Silva
A. de Crombrugghe0 Intro-méthode1 FAITS ET DECISIONS ECONOMIQUES Prof. Alain de Crombrugghe Année Académique ECGE B170 UNIVERSITE DE NAMUR FACULTE.
PÔLE TICE / SEMAINE DES TICE ATELIER SCÉNARISER SON COURS Illustration : Maxx-Studio, Shutterstock.comMaxx-Studio, Shutterstock.com.
Transcription de la présentation:

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques au cours d’Obstétrique et de Pathologie de la Reproduction des ruminants, équidés et porcins Jean-Loup Castaigne 1 et al. 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs, Faculté de Médecine Vétérinaire, Université de Liège, Prof. C. Hanzen en collaboration avec Jean-Luc Gilles, Service de Technologie de l’Éducation & S.M.A.R.T., Faculté de Psychologie et Sciences de l ’Éducation, Université de Liège, Prof. D. Leclercq FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 ÉvalEns EvalEns : évaluation de l ’enseignement théorie, pratique, examen d ’après les étudiants : 1. Le mode d ’évaluation le plus adéquat : examen écrit rédigé > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l ’année dont le rôle serait : modérer un problème à l ’oral > auto-évaluation > 25 % de la cote finale

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Nouvelles stratégies Pour l ’année : 1 BEV sur les prérequis avec mise à niveau immédiate et remédiation libre 5 LQRT (40% du cours) dont les 4 meilleurs sont sanctionnants pour 50% de la cote finale Oral en 2 parties : 30 QRO de synthèse remises à la fin du cours et à défendre oralement : 25 % Discussion sur des cas pratiques illustrés par des photos préalablement exposée au cours et consultables sur le Web : 25 %

Castaigne et al., ULG - AIPU - Dakar, avril 2001 LQRT - SAFE en OGA Lire Questions - Réponses en amphithéâtre Test Feedback et Régulation Le résultat du test correspond-t-il à ce que nous voulions évaluer ?

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance relative 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant 1. Analyse de l ’enseignement

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance. Liste mise à disposition des étudiants sur le Web 1.1 Définir les Points Enseignés [PE] 1. Analyse de l ’enseignement

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1. Analyse de l ’enseignement 1.2 Définir les Catégories de Performance [CP] Exemples Cp en OGA

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle(s) CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8), l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. 1. Analyse de l ’enseignement 1.3 [PE x CP]

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Catégories de Conditions : «...avec degrés de certitude », «...à livres ouverts »,... Catégories de Questionnement : « VF », « QCM », « QROC »,... Il existe des …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude à Livres Ouverts » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude à Livres Ouverts » Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] 2.Mise en forme de l ’épreuve Création des trinômes … ce qui donne une liste de trinômes : [PE x CP x MQ]

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Quelles modalités de questionnement utiliser ou ne jamais utiliser ? Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : 2.Mise en forme de l ’épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ]

Castaigne et al., ULG - AIPU - Dakar, avril Mise en forme de l ’épreuve Les QCM - LO Problème des évaluations portant sur la compréhension, l ’analyse et l ’évaluation (Bloom) : QCM : Questions à Choix Multiples évaluation standardisée facilité de correction (150 étudiants) (+ oral) LO : tests à Livres Ouverts permettent d ’éliminer les questions de connaissance (évocation ou rappel) pour favoriser les autres niveaux taxonomiques Compréhension & analyse : SGI…. Évaluation : DC

Castaigne et al., ULG - AIPU - Dakar, avril Mise en forme de l ’épreuve Les S.G.I. et L.O. Les Solutions Générales Implicites en plus des solutions habituellement proposées, quatre possibilités : Rejet : aucune solution proposée n’est correcte ( Capitales ), Toutes : toutes sont correctes ( Royaume Uni ), Manque : il manque des données dans l’énoncé pour que l’on puisse choisir UNE solution comme correcte ( Rimbaud ), Absurdité : il y a une contre-vérité dans l’énoncé à dénoncer en priorité ! ( Napoléon & Jules C. ) évaluer des niveaux taxonomiques plus élevés que la connaissance éviter l’identification de la réponse correcte (recognition) par hasard détecter les incohérences, les lacunes, les contradictions sans être mis sur la voie, stimuler la vigilance factuelle (Aller spontanément au-delà du donné, accéder à l’implicite), combattre le curriculum caché (Ce que personne n’enseigne, mais que tout le monde apprend) habituer aux situations où plusieurs solutions sont correctes

Castaigne et al., ULG - AIPU - Dakar, avril Mise en forme de l ’épreuve Les D.C. Problème des évaluations portant sur la compréhension, l ’analyse et l ’évaluation (Bloom) : Évaluation : Degrés de Certitude Savoir ce que l ’on sait, savoir ce que l ’on ne sait pas et savoir à quel point on sait ou pas en respectant (1) une consigne probabiliste, (2) un barème des tarifs calculé selon la théorie des décisions, (3) le calcul d’indice de réalisme, (4) un entraînement à la procédure.

Castaigne et al., ULG - AIPU - Dakar, avril Mise en forme de l ’épreuve Répartition des CP par MQ

Castaigne et al., ULG - AIPU - Dakar, avril Mise en forme de l ’épreuve Importance des PE

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril ) conseils méthodologiques de rédaction 2) choix parmi les références des Questions 3) présentation aux encadrants & ajustement PE : CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 3.Construction des Questions SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. RC : 6 Choix de 50 % de SGI dans le test mais entraînement progression

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril Entraînement des étudiants Entraînements Degrés de Certitude seul DC et SGI –sur des connaissances générales –sur des connaissances spécifiques –avant chaque test

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Matériel, Timing, procédures anti-fraude 5. Mise en œuvre de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Corrections 6. Correction de l ’épreuve Correction des justificatifs –analyse des commentaires des étudiants –autres réponses (individuelle ou en groupe) Lecture des formuloms Analyse des r.bis –rejet des certaines QCM –acceptations d ’autres réponses correctes Ajustement de la sévérité

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis en pratique 15 questions : r.bis seuil = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 14 questions : r.bis seuil = 0,27 6. Correction de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril Feedback aux étudiants Feedbacks Immédiat : à la sortie du test affichage des réponses correctes présence du personnel encadrant Retardé En présentiel PE ayant posé des problèmes de compréhension On-line Intégralité de la procédure Résultats : score, réalisme, centration,...

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques D ’après Gilles & Leclercq, 1995

Castaigne et al., ULG - AIPU - Dakar, avril 2001 )À la mise en forme de l’épreuve (étape 2), nous avons validé les questions par rapport aux objectifs (étape 1). )Dès la discussion en fin de test (5), nous avons changé les réponses correctes de certaines QCM (3). )À la fin du premier LQRT (5), nous avons autorisé les étudiants à bénéficier d’un quart d’heure supplémentaire pour répondre au test (5). )Lors de la correction des formuloms et des justifications (6), des QCM ont été supprimées du test et modifiées ou supprimées dans la banque des questions (3), d’autres solutions ont été admises comme correctes (6) et les fréquences de distribution des SGI ont été adaptées en fonction de la maîtrise montrée par les évalués (2). )Les étudiants utilisant TIMI sans lire les feedbacks mais uniquement en espérant qu’une ou plusieurs QCM d’entraînement (4) seraient également dans le test, la forme et la réponse correcte des questions d’entraînement étaient différentes des questions du test (3). )Une nouvelle EvalEns sera organisée après l’examen oral de fin d’année pour recueillir l’avis des étudiants et essayer d’améliorer le système pour l’année académique suivante. 8. Régulation du processus

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Régulation finale À la mise en forme de l’épreuve (étape 2), nous avons validé les questions par rapport aux objectifs (étape 1). Dès la discussion en fin de test (5), nous avons changé les réponses correctes de certaines QCM (3). À la fin du premier LQRT (5), nous avons autorisé les étudiants à bénéficier d’un quart d’heure supplémentaire pour répondre au test (5). Lors de la correction des formuloms et des justifications (6), des QCM ont été supprimées du test et modifiées ou supprimées dans la banque des questions (3), d’autres solutions ont été admises comme correctes (6) et les fréquences de distribution des SGI ont été adaptées en fonction de la maîtrise montrée par les évalués (2). Les étudiants utilisant TIMI sans lire les feedbacks mais uniquement en espérant qu’une ou plusieurs QCM d’entraînement (4) seraient également dans le test, la forme et la réponse correcte des questions d’entraînement étaient différentes des questions du test (3). Une nouvelle EvalEns sera organisée après l’examen oral de fin d’année pour recueillir l’avis des étudiants et essayer d’améliorer le système pour l’année académique suivante. 8. Régulation du processus

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Jean-Loup Castaigne Merci de votre attention

Castaigne et al., ULG - AIPU - Dakar, avril Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Adresses Jean-Luc Gilles 2 Tél : 04 / Jean-Loup Castaigne 1 Tél : 04 / Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, Ulg — Prof. C. Hanzen 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, Ulg — Prof. D. Leclercq FAPSE

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Boucle de régulation Cohérence Correction dans TIMI CP en QCM pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo Réalisme Sévérité SGI en OGA Taux d ’exactitude et réalisme Plan des annexes

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple QCM recognition Le diamètre normal des cornes utérines d ’une vache ou d ’une génisse non gestante est 1. De 2,5 à 4 cm 2. De 1 à 2 cm 3. De 4 à 7 cm Réponse correcte : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM compréhension Au cours du pro œstrus, l ’utérus de la bête bovine s ’œdèmatie ce le qui rend à la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Réponse correcte : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM : application une structure anéchogène d ’une taille supérieure à 3 cm, à paroi mince (inférieure à 5 mm). Réponse correcte : 2 4,3 cm 3mm Votre diagnostic le plus probable sera : 1. Un corps jaune cavitaire 2. Un kyste folliculaire ou lutéal 3. Un follicule 4. Une tumeur Lors de l ’examen échographique d ’une vache pie noire de 3 ans, vous mettez en évidence sur l ’ovaire droit : 1

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d ’une génisse est 1. Plus grand 2. Plus petit 3. De même taille Une absurdité ou une contre-vérité (une génisse possède des ovaires, non des testicules) dans l ’énoncé rend toute la question sans objet : réponse 9

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI De combien d ’ovaire(s) est équipée une génisse BBB normalement constituée 1. Zéro 2. Quatre 3. Six Aucune des solutions proposées n ’est correcte puisque comme toutes les femelles mammifères, elle a 2 ovaires : réponse 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI L ’utérus d ’une vache normalement constituée comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposées sont correctes simultanément : réponse 7

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Exemple de QCM SGI Le taux d ’œstrogènes en pg/mL d ’une vache est : 1. inférieur à supérieur à 200 Il est impossible de répondre parce que l ’information (au moins une donnée : le moment dans le cycle) nécessaire manque dans l ’énoncé de la question : réponse 8 2

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Taux d’exactitude : 9 bonnes réponses sur 14 questions, soit 64 % Score DC : 140 / 280 soit 50 % Analyses des réponses 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Boucle de Régulation Analyses des besoins Définition du projet Planification Exécution Mesure Rétroaction ConceptionConception ActionAction Boucles courtes Boucles longues 8 Leclercq, 1999, Chap 1, p 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Les feuilles réponses

Castaigne et al., ULG - AIPU - Dakar, avril 2001 En cas d ’erreur 4

Castaigne et al., ULG - AIPU - Dakar, avril 2001 D ’après Boxus, 1991 Réalisme le calcul d’indices de réalisme SUR et SOUS estimation SOUS SUR Évaluation

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Graphe de réalisme Boxus, 1991 SOUS SUR 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Taux d ’exactitude & Réalisme Réalisme = 0,759Réalisme = 0,961 Taux d ’exactitude de 50% 4 Q dont 2 RC20 Q dont 10 RC Réalisme Boxus,

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Cohérence Boxus,

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis d r pcq coefficient de corrélation Bis érial pcq 1 variable réparti la population en 2 séries. pcq dichotomie vraie (RC ou RI) Indice de cohérence entre la question et le test Quantitatif :  pq Qualitatif : Mx-Ma /  r.bis = (Mx-Ma /  ) (  pq) En ordonnées réduites (y = p distribué normalement) r.bis = (Mx-Ma /  ) (pq / y) Leclercq, 1999, chap 10, p 44-53

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis en pratique 15 questions : r.bis repère = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 14 questions : r.bis repère = 0,27 6

Castaigne et al., ULG - AIPU - Dakar, avril 2001 Sévérité Score réajusté = score 20 * 20 sévérité Leclercq, Sévérité = 20 Max = 15 Sévérité = Max = 20 Sévérité = Max =

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis spectral 6 Adapté de Leclercq, 1999, chap 10, p 44-53

Castaigne et al., ULG - AIPU - Dakar, avril 2001 r.bis spectral turbo 6 Taux d ’Exactitude (revoir dia TE) (revoir dia TE) Écart entre TE et VC Adapté de Leclercq, 1999, et Boxus, 1991 Échelle des DC Valeur Centrale

Castaigne et al., ULG - AIPU - Dakar, avril 2001 On-line : DC, sévérité (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +), r.bis spectral turbo (en savoir +), réalisme (en savoir +),... (en savoir +) 6. Correction de l ’épreuve

Castaigne et al., ULG - AIPU - Dakar, avril 2001 La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; Objectifs qualité du SMART La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l ’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.