Jean-Loup Castaigne1 & Jean-Luc Gilles2 OGA FAPSE Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours d’Obstétrique et de Pathologie de la Reproduction des ruminants, équidés et porcins Jean-Loup Castaigne1 & Jean-Luc Gilles2 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, ULg Prof. C. Hanzen 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, ULg Prof. D. Leclercq

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants On-line ou en amphi 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l ’enseignement 1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1.1 Définir les Points Enseignés [PE] 1. Analyse de l ’enseignement 1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1.2 Définir les Catégories de Performance [CP] 1. Analyse de l ’enseignement 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? Exemples Cp en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l ’enseignement 1.3 [PE x CP] Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8) , l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Catégories de Questionnement : « VF », « QCM », « QROC », ... 2.Mise en forme de l ’épreuve Création des trinômes Catégories de Questionnement : « VF », « QCM », « QROC », ... Il existe des Catégories de Conditions : « ...avec degrés de certitude », « ...à livre ouvert », ... …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude » Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] … ce qui donne une liste de trinômes : [PE x CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.1 [CP x MQ] [MQ] [CP] Exemple de binôme [CP x MQ] : 2.Mise en forme de l ’épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ] Quelles modalités de questionnement utiliser ou ne jamais utiliser ? Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : Exemples SGI en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Répartition des CP par MQ 2.Mise en forme de l ’épreuve Répartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Importance des PE 2.Mise en forme de l ’épreuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

3.Construction des Questions SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. 2,8 cm 3,9 cm 0,6 cm 1,5 cm 1) conseils méthodologiques 2) choix parmi les références des Questions Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact PE : 1.6.3. CP : analyse MQ : QCM SGI DC RC : 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq ,1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

4. Entraînement des étudiants on line : TIMI (correction) en amphi : Formuloms (exemple), BVE, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

5. Mise en œuvre de l ’épreuve Matériel & Timing & procédure anti-fraude Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

6. Correction de l ’épreuve On-line : DC, sévérité (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +), r.bis spectral turbo (en savoir +), réalisme (en savoir +), ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

7. Feedback aux étudiants 1. Sévérité de 20 (sévérité) 2. Retrait d ’une QCM à cause de son r.bis (r.bis) 3. Correction en amphithéâtre des questions ayant posé un problème (3 sur 15) Présentation et analyse sommaire des résultats Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

8. Régulation du processus Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Régulation en OGA 8. Régulation du processus Boucle de régulation1 (revoir boucles de régulation) Courte : R5 : Mesure ajustée par retrait d ’une QCM Longue : R3 : mise à jour de la banque de QCM R2 : Nouveaux projets d ’évaluation EvalEns2 : d ’après les étudiants : 1. Le mode d ’évaluation le plus adéquat : examen écrit rédigé > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l ’année dont le rôle serait : modérer un problème à l ’oral > auto-évaluation > 25 % de la cote finale Pour l ’an prochain et les années suivantes... : 1 BEV sur les prérequis avec mise à niveau immédiate 5 LQRT dont les 3 best sont sanctionnant (20% du cours) PARM sur base de volontariat (maximum 10% du cours) autres solutions pour étudiants n ’ayant pas accès au PARM 1 Leclercq, 1999, Chap 1, p 4 2 Leclercq, 1999, Chap 1, p 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Des Questions ? Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi FAPSE OGA 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Adresses Jean-Luc Gilles2 Tél : 04 / 366 20 78 eMail : jl.gilles@ulg.ac.be http://139.165.55.45/smart/ FAPSE Jean-Loup Castaigne1 Tél : 04 / 366 41 72 http://www.fmv.ulg.ac.be/oga/index.html OGA 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, Ulg — Prof. C. Hanzen (Christian.Hanzen@ulg.ac.be) 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, Ulg — Prof. D. Leclercq (D.Leclercq@ulg.ac.be) Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Plan des annexes Boucle de régulation Cohérence Correction dans TIMI CP en QCM pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo Réalisme Sévérité SGI en OGA Taux d ’exactitude et réalisme Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple QCM recognition Le diamètre normal des cornes utérines d ’une vache ou d ’une génisse non gestante est 1. De 2,5 à 4 cm 2. De 1 à 2 cm 3. De 4 à 7 cm Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM compréhension Au cours du pro œstrus, l ’utérus de la bête bovine s ’œdèmatie ce le qui rend à la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM : application 3mm Lors de l ’examen échographique d ’une vache pie noire de 3 ans, vous mettez en évidence sur l ’ovaire droit : une structure anéchogène d ’une taille supérieure à 3 cm, à paroi mince (inférieure à 5 mm). Votre diagnostic le plus probable sera : 1. Un corps jaune cavitaire 2. Un kyste folliculaire ou lutéal 3. Un follicule 4. Une tumeur 1 Réponse correcte : 2 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d ’une génisse est 1. Plus grand 2. Plus petit 3. De même taille Une absurdité ou une contre-vérité (une génisse possède des ovaires, non des testicules) dans l ’énoncé rend toute la question sans objet : réponse 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemple de QCM SGI De combien d ’ovaire(s) est équipée une génisse BBB normalement constituée 1. Zéro 2. Quatre 3. Six Aucune des solutions proposées n ’est correcte puisque comme toutes les femelles mammifères, elle a 2 ovaires : réponse 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemple de QCM SGI L ’utérus d ’une vache normalement constituée comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposées sont correctes simultanément : réponse 7 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemple de QCM SGI Le taux d ’œstrogènes en pg/mL d ’une vache est : 1. inférieur à 100 2. 150 3. supérieur à 200 Il est impossible de répondre parce que l ’information (au moins une donnée : le moment dans le cycle) nécessaire manque dans l ’énoncé de la question : réponse 8 2 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Analyses des réponses Taux d’exactitude : 9 bonnes réponses sur 14 questions, soit 64 % Score DC : 140 / 280 soit 50 % 4 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Boucle de Régulation Leclercq, 1999, Chap 1, p 4 Analyses des besoins Boucles longues Définition du projet Conception Planification Exécution Action Boucles courtes Mesure Rétroaction 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Les feuilles réponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 En cas d ’erreur 4 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Graphe de réalisme Boxus, 1991 SOUS 6 SUR Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Taux d ’exactitude & Réalisme Boxus, 1991 Taux d ’exactitude de 50% 4 Q dont 2 RC 20 Q dont 10 RC Réalisme Réalisme = 0,759 Réalisme = 0,961 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Cohérence Boxus, 1991 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 r.bis Indice de cohérence entre la question et le test d Leclercq, 1999, chap 10, p 44-53 Quantitatif : pq Qualitatif : Mx-Ma /  r.bis = (Mx-Ma / ) (pq) En ordonnées réduites (y = p distribué normalement) (Mx-Ma / ) (pq / y) r pcq coefficient de corrélation Bisérial pcq 1 variable réparti la population en 2 séries . pcq dichotomie vraie (RC ou RI) Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 r.bis en pratique 15 questions : r.bis repère = 0,33 14 questions : r.bis repère = 0,27 6 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Sévérité Leclercq, 1993 Score réajusté = score20 * 20 sévérité 7 Sévérité = 20 Max = 15 Sévérité = 18 10 Max = 20 Sévérité = 16 13 Max = 25 7 10 13 7 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 r.bis spectral Adapté de Leclercq, 1999, chap 10, p 44-53 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 r.bis spectral turbo Adapté de Leclercq, 1999, et Boxus, 1991 Échelle des DC Valeur Centrale Taux d ’Exactitude (revoir dia TE) Écart entre TE et VC 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Objectifs qualité du SMART La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l ’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000