gestion qualité des évaluations standardisées des acquis des étudiants

Présentation au sujet: "gestion qualité des évaluations standardisées des acquis des étudiants"— Transcription de la présentation:

1 gestion qualité des évaluations standardisées des acquis des étudiants
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants 21/11/2002

2 PROGRAMME DE LA FORMATION
[1] Cycle de gestion qualité des tests standardisés – 21/11/02 Objectif : vous initier aux étapes de réalisation d'un test standardisé d'évaluation des acquis des étudiants ainsi qu'aux principales procédures de gestion qualité associées à chacune de ces étapes. [2] Contrôle qualité a priori des questions fermées – 28/11/02 Objectif : vous initier aux règles de rédaction des questions à choix multiple (QCM) et vous amener à critiquer et améliorer des QCM en utilisant ces règles. [3] Dispositifs d'entraînement des étudiants aux proc. d'évaluation – 05/12/02 Objectif : vous initier à trois dispositifs d'ingénierie docimologique mis gratuitement à votre disposition par le SMART-ULg pour vous permettre d'entraîner vos étudiants avant un test certificatif : [1] la Lecture Optique de Marques (LOM), [2] les Boîtiers de Vote Electronique (BVE) et [3] le Testing Interactif Multimédia via Internet (TIMI). [4] Contrôle qualité a posteriori des questions fermées – 12/12/02 Objectif : vous initier aux méthodes et indices qui permettent d'analyser les résultats des épreuves en vue d'en évaluer la qualité des questions puis d'effectuer d'éventuelles rectifications. [5] Ressources offertes par le SMART pour la réal. de tests pédagogiques de qualité – 19/12/02 Objectif : vous initier à la mise en oeuvre concrète des différentes procédures proposées par le SMART-ULg de manière à vous permettre de mettre en oeuvre et d'analyser vos tests standardisés d'évaluation des acquis des étudiants. Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

3 SOMMAIRE de la séance du 21/11/02
[1] Cycle de gestion qualité des tests standardisés [1.1] Introduction [1.2] Les fondements de notre système méthodologique [1.3] Le cycle de gestion qualité des évaluations standardisées [1.4] Une application dans le cadre du cours d’Obstétrique et de pathologie de la reproduction des ruminants, équidés et porcins Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

4 http://www.smart.ulg.ac.be [1.1] Introduction
[1.1.1] Le SMART, ses missions Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

5 [1.1] Introduction [1.1.2] Ouvrages de référence Edumétrie et docimologie, D. Leclercq (1999) Educational Assessment of Students, A. Nitko (2001) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

6 http://cwx.prenhall.com/bookbind/pubbooks/nitko/ [1.1] Introduction
[1.1.2] Ouvrages de référence Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

7 Objectifs de qualité Besoins des ensei- gnants & des étudiants
[1.2] Les fondements de notre système méthodologique [1.2.1] Une approche « qualité » Objectifs de qualité Ressources en personnel et en matériel Besoins des ensei- gnants & des étudiants Modèles & procédures SMART (Gilles, 2002) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

8 validité  fidélité  sensibilité  diagnosticité  praticabilité
[1.2] Les fondements de notre système méthodologique [1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests validité  fidélité  sensibilité  diagnosticité  praticabilité  équité  communi- cabilité Objectifs de qualité Ressources en personnel et en matériel Besoins des ensei- gnants & des étudiants Modèles & procédures SMART (Gilles, 2002) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

9 [1.2] Les fondements de notre système méthodologique
[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

10 [1.2] Les fondements de notre système méthodologique
[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

11 Plus d'une trentaine de procédures "qualité" 8 étapes
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.1] Vue d’ensemble du modèle et des procédures Plus d'une trentaine de procédures "qualité" 8 étapes EEEVI BVE TVI Une série de dispositifs technologiques Cycle de gestion qualité des tests standardisés (Gilles, J.-L. & Leclercq, D., 1996) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

12 Cycle de gestion de la qualité des tests standardisés
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.1] Vue d’ensemble du modèle et des procédures Cycle de gestion de la qualité des tests standardisés 1. Analyse des objectifs de l’enseignement - Points Ense ignés Catégories de Performances Priorités 2. Mise en forme de l’épreuve - Définition des Modalités de Questionnement Équilibrage de l’épreuve 3. Construction de l’épreuve - Rédaction des questions Barèmes et tarifs Contrôle qualité a priori 8. Macro régu- lation (recueil des avis des étudiants) 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude 7. Feed-back aux exam i nés - FB « matières », processus me n taux » et métacognitifs infos sur l’analyse des questions 6. Correction et discussion - performances analyse des pr o positions, contrôle qualité a posteriori : r pbis, rectific tions (Gilles & Leclercq, 1996) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

13 Taxonomie des objectifs d’enseignement de Bloom
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Taxonomie des objectifs d’enseignement de Bloom 6. Évaluation 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

14 http://www.bced.gov.bc.ca/exams/specs.htm Exemple :
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Exemple : les examens provinciaux (K12) en Colombie Britannique Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

15 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement Niveau 1  Connaissance La définition de la connaissance englobe les comportements et les situations de contrôle qui mettent l’accent sur la mémorisation, par reconnaissance ou par rappel, d’idées, de données ou de phénomènes. Font partie de ce niveau la connaissance de la terminologie, de faits spécifiques (dates, événements, personnes, etc.) de conventions et de catégories, de critères, de méthodes de recherche, de principes et de généralisations, de théories et de structures. 1. Connaissance Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

16 3. Application 2. Compréhension 1. Connaissance
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Niveau 2  Compréhension et application La compréhension fait référence aux réponses qui témoignent de l’entendement du message littéral contenu dans une communication. Cela signifie que l’élève est en mesure d’interpréter ou d’extrapoler le sens d’un message. L’interprétation met en jeu la remise en ordre d’idées (inférences, généralisations ou résumés). L’extrapolation fait appel à des estimations ou des prédictions basées sur la compréhension des tendances. L’application exige que l’élève applique une abstraction appropriée (théorie, principe, idée, méthode) à une nouvelle situation. 3. Application 2. Compréhension 1. Connaissance Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

17 6. Évaluation 5. Synthèse 4. Analyse 3. Application 2. Compréhension
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Niveau 3  Processus mentaux supérieurs L’analyse se traduit par la capacité de reconnaître les sous-entendus, de distinguer les faits des hypothèses, de discriminer les conclusions des arguments qui les étayent, de reconnaître les hypothèses et les faits qui sont essentiels à la thèse ou à l’argument et de faire la différence entre les relations de cause à effet et d’autres relations séquentielles. La synthèse met en jeu la production d’une communication unique, la capacité de proposer des modalités de contrôle des hypothèses, de concevoir une expérience, de formuler et de modifier des hypothèses et de faire des généralisations. L’évaluation se définit comme l’expression de jugements de valeur sur des idées, des solutions et des méthodes. Elle fait appel à des critères et à des normes pour mesurer le degré d’exactitude, d’efficacité, d’économie ou de pertinence des détails. L’évaluation met en jeu la capacité d’appliquer des critères donnés à des jugements sur le travail accompli, de reconnaître les erreurs de logique et de comparer les principales théories et généralisations. Les questions qui font appel aux processus mentaux supérieurs subsument le niveau Connaissance ainsi que le niveau Compréhension et application. 6. Évaluation 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

18 DESCRIPTION DE L’EXAMEN PROVINCIAL
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.3] Mise en forme de l’épreuve PHYSIQUE 12 PHYSIQUE 12 DESCRIPTION DE L’EXAMEN PROVINCIAL (…) L’examen provincial comporte deux parties : PARTIE A : Questions à choix multiple comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base ainsi que l’application d’équations simples alors que quelques questions peuvent être plus complexes. PARTIE B : Questions à développement comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base alors que certaines questions peuvent nécessiter une explication des concepts de base. Le nombre de questions à développement peut varier d’un examen à l’autre, selon la valeur attribuée à chaque question. Cependant, le nombre total de points attribués à la section des questions à développement demeure inchangé. Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

19 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.3] Mise en forme de l’épreuve PHYSIQUE 12 Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

20 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve BIOLOGIE 12 x Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

21 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve BIOLOGIE 12 x Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

22 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve BIOLOGIE 12 Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

23 [1.3] Le cycle de gestion qualité des évaluations standardisées
BIOLOGIE 12 [1.3.4] Construction de l’épreuve x Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

24 FRANÇAIS LANGUE PREMIÈRE 12
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve FRANCAIS LANGUE PREMIERE 12 FRANÇAIS LANGUE PREMIÈRE 12 BARÈME DE NOTATION ÉPREUVE ORALE CONTENU communiquer informations opinions sentiments préparation connaissance Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

25 FRANÇAIS LANGUE PREMIÈRE 12
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve FRANCAIS LANGUE PREMIERE 12 FRANÇAIS LANGUE PREMIÈRE 12 BARÈME DE NOTATION ÉPREUVE ORALE FORME maîtrise de la syntaxe, vocabulaire prononciation débit verbal Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

26 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve 1. Analyse des objectifs de l’enseignement - Points Ense ignés Catégories de Performances Priorités 3. Construction de l’épreuve Rédaction des questions Barèmes et tarifs Contrôle qualité a priori 2. Mise en forme Définition des Modalités de Questionnement Équilibrage de l’épreuve Y. Lion, 2000 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

27 de pourcentages de certitude (Leclercq, 1986)
[1.3] Le cycle de gestion qualité des évaluations standardisées Exemple de QCM : (Castaigne & Hanzen, 2000) 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l’ovaire gauche d’une vache pie noire de 6 ans, a été réalisée une semaine après l’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 6. Aucune 7. Toutes Exemple d’échelle de pourcentages de certitude (Leclercq, 1986) Exemple de recueil des données pour une lecture automatisée des réponses et certitudes : (SMART-ULg, 1996) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

28 [1.3] Le cycle de gestion qualité des évaluations standardisées
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

29 [1.3] Le cycle de gestion qualité des évaluations standardisées
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

30 [1.3] Le cycle de gestion qualité des évaluations standardisées
Le Kaléidoscope des techniques de questionnement - Edumétrie et docimologie, 1999  D. Leclercq & J.-L. Gilles, 1999 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

31 Testing Interactif Multimédia via Internet (T.I.M.I.)
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve Testing Interactif Multimédia via Internet (T.I.M.I.) 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

32 Boîtiers de Votes Electroniques (B.V.E.)
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve Boîtiers de Votes Electroniques (B.V.E.) Formulaire de réservation en ligne des BVE 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

33 (en 5 jours ouvrables maximum)
[1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve Boucles courtes (en 5 jours ouvrables maximum) Dispositif de Lecture Optique de Marques (L.O.M.) 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

34 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.6] Epreuve 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

35 Quatre formes différentes sont possibles :
[1.3] Le cycle de gestion qualité des évaluations standardisées Dispositif anti-fraude [1.3.6] Epreuve Forme A Quatre formes différentes sont possibles : les étudiants ont alors les mêmes questions, mais dans des ordres différents. 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

36

37 Dispositif anti-fraude
[1.3] Le cycle de gestion qualité des évaluations standardisées Dispositif anti-fraude [1.3.6] Epreuve 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

38 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.7] Correction & discussion (Gilles, 2002) 6. Correction et discussion - performances analyse des pr o positions, contrôle qualité a posteriori : r pbis, rectific tions 7. Feed-back aux exam i nés FB « matières », processus me n taux » et métacognitifs infos sur l’analyse des questions Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

39 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.7] Correction & discussion Fichiers envoyés par aux enseignants Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

40 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.8] Feedback aux examinés 6. Correction et discussion - performances analyse des pr o positions, contrôle qualité a posteriori : r pbis, rectific tions 7. Feed-back aux exam i nés FB « matières », processus me n taux » et métacognitifs infos sur l’analyse des questions Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

41 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation 8. Macro régu- lation (recueil des avis des étudiants) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

42 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

43 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 1ère candidature (n=250) 6 2ème candidature (n=134) 5 4 Moyennes des avis 3 2 1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

44 [1.3] Le cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) 6 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 5 1ère candidature (n=250) 2ème candidature (n=134) 4 Moyennes des avis 3 2 1 [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... [1.3] Les questions étaient claires [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [1.1] Le mode d'évaluation était adéquat [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [1.4] Questions bien adaptées à la matière [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [1.6] L'évaluation est équitable et impartiale [2.4] L'horaire fixé pour l'examen est respecté [1.2] L'entraînement avant l'examen était suffisant [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.1] Les exigences de l'enseignant sont clairement présentées Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

45 [1.3] Le cycle de gestion qualité des évaluations standardisées
EEEVI BVE TVI Cycle de gestion qualité des tests standardisés (Gilles, J.-L. & Leclercq, D., 1996) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

46 [1.4] Une application Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

47 Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants On-line ou en amphi 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, ...

48 Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

49 1. Analyse de l ’enseignement
1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

50 1.1 Définir les Points Enseignés [PE]
1. Analyse de l ’enseignement 1.1 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

51 1.2 Définir les Catégories de Performance [CP]
1. Analyse de l ’enseignement 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

52 1. Analyse de l ’enseignement
1.3 [PE x CP] Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8) , l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

53 Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

54 Catégories de Questionnement : « VF », « QCM », « QROC », ...
2.Mise en forme de l ’épreuve Création des trinômes Catégories de Questionnement : « VF », « QCM », « QROC », ... Il existe des Catégories de Conditions : « ...avec degrés de certitude », « ...à livre ouvert », ... …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude » Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] … ce qui donne une liste de trinômes : [PE x CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

55 2.1 [CP x MQ] [MQ] [CP] Exemple de binôme [CP x MQ] :
2.Mise en forme de l ’épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ] Quelles modalités de questionnement utiliser ou ne jamais utiliser ? Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

56 Répartition des CP par MQ
2.Mise en forme de l ’épreuve Répartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

57 Importance des PE 2.Mise en forme de l ’épreuve
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

58 Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMI en amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

59 3.Construction des Questions
SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. 2,8 cm 3,9 cm 0,6 cm 1,5 cm 1) conseils méthodologiques 2) choix parmi les références des Questions Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact PE : CP : analyse MQ : QCM SGI DC RC : 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

60 Suite à lire dans l’article accessible sur le serveur web du SMART :
[1.4] Une application Suite à lire dans l’article accessible sur le serveur web du SMART : Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02

61 FIN Formation à la gestion qualité des évaluations standardisées des acquis des étudiants /11/02