Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Utilisation de la méthode LQRT - SAFE ( Lecture / Questions - Réponses / Test Système Adulte de Formation et d’Évaluation ) en médecine vétérinaire. Jean-Loup Castaigne. Service d’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs, Faculté de Médecine Vétérinaire, Université de Liège, Prof. C. Hanzen

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Déroulement d’un LQRT 1  Lecture  Questions - Réponses  Test Outils d’évaluation Pré-test : entraînement, conception Post-test : feed-backs, indices de qualité et métacognitifs 1 LQRT-SAFE ou TASTE approach : Leclercq, 1971, 93, 98

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Pourquoi le LQRT ?  Sondage auprès des étudiants Système d’évaluation complémentaire de l’examen oral de fin d’année  Demande du professeur Augmenter la participation au cours Forcer les étudiants à étudier pendant l’année  Médiation pédagogique Centrer et responsabiliser l’étudiant Mise en place d’une stratégie d’évaluation ¥ Travail en compréhension durant l’année ¥ Synthèse et connaissances en fin d’année

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Public des LQRT  200 étudiants en 5 e année de médecine vétérinaire (formation de 6 ans)  Première année concernant les pathologies spécifiques aux différentes espèces  5 séances de 3 heures sur 55 heures de cours (27%)  Sélection des chapitres les plus importants aux yeux du professeur qui posent le plus de problèmes à l’oral où la compréhension prime sur la connaissance

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Déroulement d’un LQRT  Côté étudiant Formation centrée sur l’étudiant Préparation du cours par une lecture en compréhension  Côté professeur notes de cours, ouvrages de référence,… définition des points d’enseignement ¥ en terme de matière à préparer ¥ en terme d’importance relative ¥ en terme de performances cognitives attendues Lecture

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Points d’enseignement Points d’enseignement d’un chapitre des notes de cours du du professeur Hanzen : 100 % : chapitre ou paragraphe essentiel. 75 % : chapitre ou paragraphe important. 50 % : les principaux points du chapitre ou paragraphe. 25 % : les mots clés du chapitre ou paragraphe. Lecture

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Déroulement d’un LQRT Côté étudiant oriente le contenu du cours par ses questions focalise la formation sur les points lui posant problème prend conscience de mauvaise compréhension par les questions des autres étudiants Côté professeur libéré du devoir de couvrir toutes la matière développe sa réponse en fonction de l’importance du point d’enseignement concerné par la question et archivage épisodique Question-Réponse en amphithéâtre

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Déroulement d’un LQRT  Remarques générales  Outils utilisés  Pré-test des étudiants du professeur  Post-test Feed-backs immédiat et retardé Indices de qualité du test Indices métacognitifs Test

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Remarques générales Côté étudiant Test Caractère formatif grace aux feed-backs Caractère certificatif dans la stratégie d’évaluation  Côté professeur Test de compréhension Mesure de la qualité du transfert Correction précoce en cas de problème de compréhension Justifications manuscrites libres et uniquement positives

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Évaluer la compréhension…, l’analyse et le jugement-évaluation (Bloom, 1969) :  Tests à Livres Ouverts permettent d ’éliminer les questions de connaissance (évocation ou rappel) pour favoriser les autres niveaux taxonomiques Outils  QCM : Questions à Choix Multiples évaluation standardisée (+justifications) facilité de correction (200 étudiants) (+ oral)  Compréhension & analyse : SGI  Jugement : DC

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Les S.G.I.  Les Solutions Générales Implicites en plus des solutions habituellement proposées, quatre possibilités : évaluer des niveaux taxonomiques plus élevés que la connaissance éviter l’identification de la réponse correcte (recognition) par hasard détecter les incohérences, les lacunes, les contradictions sans être mis sur la voie, stimuler la vigilance factuelle (Aller spontanément au-delà du donné, accéder à l’implicite), combattre le curriculum caché (Ce que personne n’enseigne, mais que tout le monde apprend) habituer aux situations où plusieurs solutions sont correctes Rejet : aucune solution proposée n’est correcte, Toutes : toutes sont correctes, Manque : il manque des données dans l’énoncé pour que l’on puisse choisir UNE solution comme correcte (Rimbaud), Absurdité : il y a une contre-vérité dans l’énoncé à dénoncer en priorité ! (Napoléon & Jules C.) Outils

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Les Degrés de Certitude  Niveau Jugement - Évaluation Savoir ce que l ’on sait, savoir ce que l ’on ne sait pas et savoir à quel point on sait ou pas  Fournir à l’étudiant des indices métacognitifs de sa performance  Fournir à l’enseignant des indices de qualité sur son test et sur son enseignement Outils

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Entraînement sur le web  Aspécifique Aux degrés de certitude : GUESS Aux SGI-DC : « Cureghem » sur TIMI Pré-Test étudiants  Spécifique QCM-SGI-DC propres à la matière

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Conception des QCM  Rédaction Test à livres ouverts Q de compréhension Utilisation des SGI manque & absurde Pré-Test professeur  Sélection en accord aux objectifs  Validation

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Démarche  Sortie du test Feed-back immédiat : réponses correctes commentées Commentaires « à chaud » des étudiants  Lecture et traitement informatique Score de l’étudiant et indices métacognitifs  Lecture des justifications  Indices de qualité du test Post Test  Feed-back retardé en amphithéâtre  Sur le web : démarche et résultats

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) D ’après Boxus, 1991 le calcul d’indices de réalisme & de SUR et SOUS estimation SOUS estimation SUR estimation Indices métacognitifs Post Test étudiants

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Calcul d’indices métacognitifs Post Test étudiants Tendance à être proche de la diagonale idéale (de 0 à +1) Centration : ∑ écarts* Tendance à la sur (+) ou sous (-) estimation (de -1 à +1) Cohérence : Taux de succès croissant en confidence croissante Acuité : Tendance à diversifier son jugement Brier, 1950; Adams & Adams, 1961; Oskamp, 1962; Murphy 1972, 73, 74 ; Lichtenstein et al, 1977; Leclercq, 1983 * Pondéré par le nombre d’utilisation de la certitude Réalisme : ∑ | écarts |*

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Évolution des indices Réalisme Centration Tous les étudiants Score ≥ 12 Score < 12 bonbon moymoy

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Indices de qualité des tests QCM  Subjectifs Commentaires des étudiants La fréquence des justifications  Objectifs r.bis basé sur la réussite du test r.bis spectral basé sur le réalisme  Conséquence Autres RC collectives ou individuelles Retrait de certaines QCM Post Test professeur

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Analyse spectrale Graphe de distribution des RC & RI par classe de certitude Post Test Les deux RIRC Jans & Leclercq, 1999 Connaisances dangereuses Connaissances utilisables Connaisances inutilisables

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Analyse spectrale Graphe de distribution des RC & RI par classe de certitude Tous les étudiants ont un taux d’exactitude de 80% Post Test Les deux

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Analyse spectrale Graphe de distribution des RC & RI par classe de certitude Post Test Les deux

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Mesures des tests LQRT Tous les étudiants Score ≥ 12 Score < 12 Connaissances dangereuses utilisables inutilisables

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Conclusions  EvalEns par les étudiants  Critiques Gains ¥ en compréhension : 43% d’avis favorables ¥ en connaissance : 50% d’avis favorables Taux de participation aux questions Utilisation des outils d’auto-évaluation FIN -3

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Perspectives  Modification des LQRT en augmentation de L et Q-R et diminution de T  Réduction de 5 à 3 séances LQRT  Mise à jour des notes  Estimation de son examen oral Estimer sa note pour la partie QROL Intervention de la justesse de l’estimation et du réalisme acquis durant l’année dans la note de la partie QROL FIN -2

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Perspectives  Activités d’apprentissage ¥ L toujours, ¥ parfois Q-R & parfois T ¥ parfois T puis soit Q-R soit ex cathedra ¥ parfois ex cathedra (ou pas de cours si pas Q)  Mise à jour des notes et des PE  Évaluation Formative avec des outils de résolution de problème associé aux QCM de connaissance Modification du tarif des certitudes : toujours bénéfique d’être réaliste Testing en sommation et dispensatoire FIN -1

Le LQRT-SAFE en OGA, Jean-Loup Castaigne, 18 e colloque AIPU (Louvain-la-Neuve, Mai 2002) Adresse Jean-Loup Castaigne Tél : 04 / Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, ULg — Prof. C. Hanzen OGA-B42 20, Bd de Colonster 4000 Liège