La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants 21/11/2002.

Présentations similaires


Présentation au sujet: "1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants 21/11/2002."— Transcription de la présentation:

1 1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants 21/11/2002

2 2 [1] Cycle de gestion qualité des tests standardisés – 21/11/02 Objectif : vous initier aux étapes de réalisation d'un test standardisé d'évaluation des acquis des étudiants ainsi qu'aux principales procédures de gestion qualité associées à chacune de ces étapes. [2] Contrôle qualité a priori des questions fermées – 28/11/02 Objectif : vous initier aux règles de rédaction des questions à choix multiple (QCM) et vous amener à critiquer et améliorer des QCM en utilisant ces règles. [3] Dispositifs d'entraînement des étudiants aux proc. d'évaluation – 05/12/02 Objectif : vous initier à trois dispositifs d'ingénierie docimologique mis gratuitement à votre disposition par le SMART-ULg pour vous permettre d'entraîner vos étudiants avant un test certificatif : [1] la Lecture Optique de Marques (LOM), [2] les Boîtiers de Vote Electronique (BVE) et [3] le Testing Interactif Multimédia via Internet (TIMI). [4] Contrôle qualité a posteriori des questions fermées – 12/12/02 Objectif : vous initier aux méthodes et indices qui permettent d'analyser les résultats des épreuves en vue d'en évaluer la qualité des questions puis d'effectuer d'éventuelles rectifications. [5] Ressources offertes par le SMART pour la réal. de tests pédagogiques de qualité – 19/12/02 Objectif : vous initier à la mise en oeuvre concrète des différentes procédures proposées par le SMART-ULg de manière à vous permettre de mettre en oeuvre et d'analyser vos tests standardisés d'évaluation des acquis des étudiants. PROGRAMME DE LA FORMATION Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

3 3 [1.1] Introduction SOMMAIRE de la séance du 21/11/02 [1.2] Les fondements de notre système méthodologique [1.3] Le cycle de gestion qualité des évaluations standardisées [1.4] Une application dans le cadre du cours d’Obstétrique et de pathologie de la reproduction des ruminants, équidés et porcins [1] Cycle de gestion qualité des tests standardisés Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

4 4 Introduction [1.1] Introduction [1.1.1] Le SMART, ses missions Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

5 5 [1.1.2] Ouvrages de référence Introduction [1.1] Introduction Edumétrie et docimologie, D. Leclercq (1999) Educational Assessment of Students, A. Nitko (2001) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

6 6 [1.1.2] Ouvrages de référence Introduction [1.1] Introduction Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

7 7 [1.2.1] Une approche « qualité » Besoins des ensei- gnants & des étudiants Ressources en personnel et en matériel Modèles & procédures SMART Objectifs de qualité Les fondements de notre système méthodologique [1.2] Les fondements de notre système méthodologique (Gilles, 2002) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

8 8 [1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests Besoins des ensei- gnants & des étudiants Ressources en personnel et en matériel Modèles & procédures SMART Objectifs de qualité Les fondements de notre système méthodologique [1.2] Les fondements de notre système méthodologique (Gilles, 2002)  validité  fidélité  sensibilité  diagnosticité  praticabilité  équité  communi- cabilité Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

9 9 •La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; •La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; •La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; •La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; [1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests Les fondements de notre système méthodologique [1.2] Les fondements de notre système méthodologique Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

10 10 •L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; •La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; •La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. [1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests Les fondements de notre système méthodologique [1.2] Les fondements de notre système méthodologique Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

11 11 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Cycle de gestion qualité des tests standardisés (Gilles, J.-L. & Leclercq, D., 1996) 8 étapes EEEVI BVE Plus d'une trentaine de procédures "qualité" TVI Une série de dispositifs technologiques [1.3.1] Vue d’ensemble du modèle et des procédures

12 12 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.1] Vue d’ensemble du modèle et des procédures Cycle de gestion de la qualité des tests standardisés (Gilles & Leclercq, 1996) 1. Analyse des objectifs de l’enseignement -Points Enseignés -Catégories de Performances -Priorités 4. Entraînement 6. Correction et discussion -performances -analyse des propositions, contrôle qualitéa posteriori : rpbis, rectifications 7.Feed-back aux examinés -FB « matières », « processus mentaux » et « métacognitifs » -infos sur l’analyse des questions 3. Construction de l’épreuve - Rédaction des questions - Barèmes et tarifs -Contrôle qualité a priori 2. Mise en forme de l’épreuve -Définition des Modalités de Questionnement -Équilibrage de l’épreuve 8. Macrorégu- lation (recueil des avis des étudiants) 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

13 13 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement 6. Évaluation 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance Taxonomie des objectifs d’enseignement de Bloom Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

14 14 Exemple : les examens provinciaux (K12) en Colombie Britannique Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

15 15 1. Connaissance Niveau 1  Connaissance La définition de la connaissance englobe les comportements et les situations de contrôle qui mettent l’accent sur la mémorisation, par reconnaissance ou par rappel, d’idées, de données ou de phénomènes. Font partie de ce niveau la connaissance de la terminologie, de faits spécifiques (dates, événements, personnes, etc.) de conventions et de catégories, de critères, de méthodes de recherche, de principes et de généralisations, de théories et de structures. Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

16 16 3. Application 2. Compréhension 1. Connaissance Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Niveau 2  Compréhension et application La compréhension fait référence aux réponses qui témoignent de l’entendement du message littéral contenu dans une communication. Cela signifie que l’élève est en mesure d’interpréter ou d’extrapoler le sens d’un message. L’interprétation met en jeu la remise en ordre d’idées (inférences, généralisations ou résumés). L’extrapolation fait appel à des estimations ou des prédictions basées sur la compréhension des tendances. L’application exige que l’élève applique une abstraction appropriée (théorie, principe, idée, méthode) à une nouvelle situation. Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

17 17 6. Évaluation 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance Niveau 3  Processus mentaux supérieurs L’analyse se traduit par la capacité de reconnaître les sous- entendus, de distinguer les faits des hypothèses, de discriminer les conclusions des arguments qui les étayent, de reconnaître les hypothèses et les faits qui sont essentiels à la thèse ou à l’argument et de faire la différence entre les relations de cause à effet et d’autres relations séquentielles. La synthèse met en jeu la production d’une communication unique, la capacité de proposer des modalités de contrôle des hypothèses, de concevoir une expérience, de formuler et de modifier des hypothèses et de faire des généralisations. L’évaluation se définit comme l’expression de jugements de valeur sur des idées, des solutions et des méthodes. Elle fait appel à des critères et à des normes pour mesurer le degré d’exactitude, d’efficacité, d’économie ou de pertinence des détails. L’évaluation met en jeu la capacité d’appliquer des critères donnés à des jugements sur le travail accompli, de reconnaître les erreurs de logique et de comparer les principales théories et généralisations. Les questions qui font appel aux processus mentaux supérieurs subsument le niveau Connaissance ainsi que le niveau Compréhension et application. Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.2] Analyse des objectifs de l’enseignement Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

18 18 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.3] Mise en forme de l’épreuve PHYSIQUE 12 DESCRIPTION DE L’EXAMEN PROVINCIAL (…) L’examen provincial comporte deux parties : PARTIE A : Questions à choix multiple comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base ainsi que l’application d’équations simples alors que quelques questions peuvent être plus complexes. PARTIE B : Questions à développement comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base alors que certaines questions peuvent nécessiter une explication des concepts de base. Le nombre de questions à développement peut varier d’un examen à l’autre, selon la valeur attribuée à chaque question. Cependant, le nombre total de points attribués à la section des questions à développement demeure inchangé. Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 PHYSIQUE 12 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

19 19 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.3] Mise en forme de l’épreuve Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 PHYSIQUE 12

20 20 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve x Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002 BIOLOGIE 12 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

21 21 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve x Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 BIOLOGIE 12 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

22 22 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 BIOLOGIE 12 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

23 23 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve x Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 BIOLOGIE 12 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

24 24 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12 BARÈME DE NOTATION ÉPREUVE ORALE Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 communiquer informations opinionssentimentspréparation connaissance FRANCAIS LANGUE PREMIERE 12 CONTENU Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

25 25 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12 BARÈME DE NOTATION ÉPREUVE ORALE Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002 maîtrise de la syntaxe, vocabulaire prononciationdébit verbal FRANCAIS LANGUE PREMIERE 12 FORME Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

26 26 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.4] Construction de l’épreuve 1. Analyse des objectifs de l’enseignement -Points Enseignés -Catégories de Performances -Priorités 3. Construction de l’épreuve - Rédaction des questions - Barèmes et tarifs -Contrôle qualité a priori 2. Mise en forme de l’épreuve -Définition des Modalités de Questionnement -Équilibrage de l’épreuve Y. Lion, 2000 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

27 27 Exemple de QCM : (Castaigne & Hanzen, 2000) 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l’ovaire gauche d’une vache pie noire de 6 ans, a été réalisée une semaine après l’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 6. Aucune 7. Toutes Exemple d’échelle de pourcentages de certitude (Leclercq, 1986) Exemple de recueil des données pour une lecture automatisée des réponses et certitudes : (SMART-ULg, 1996) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

28 28 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

29 29 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

30 30 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Le Kaléidoscope des techniques de questionnement - Edumétrie et docimologie, 1999 D. Leclercq & J.-L. Gilles, 1999 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

31 31 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Testing Interactif Multimédia via Internet (T.I.M.I.) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

32 32 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Boîtiers de Votes Electroniques (B.V.E.) Formulaire de réservation en ligne des BVE Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

33 33 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Dispositif de Lecture Optique de Marques (L.O.M.) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.5] Entraînement à l’épreuve  Boucles courtes (en 5 jours ouvrables maximum) (en 5 jours ouvrables maximum) Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

34 34 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.6] Epreuve 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

35 35 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.6] Epreuve 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02 Dispositif anti-fraude Forme A Quatre formes différentes sont possibles : les étudiants ont alors les mêmes questions, mais dans des ordres différents.

36 36

37 37 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.6] Epreuve 4. Entraînement 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02 Dispositif anti-fraude

38 38 6. Correction et discussion -performances -analyse des propositions, contrôle qualitéa posteriori : rpbis, rectifications 7.Feed-back aux examinés -FB « matières », « processus mentaux » et « métacognitifs » -infos sur l’analyse des questions (Gilles, 2002) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.7] Correction & discussion Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

39 39 Fichiers envoyés par aux enseignants Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.7] Correction & discussion Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

40 40 6. Correction et discussion -performances -analyse des propositions, contrôle qualitéa posteriori : rpbis, rectifications 7.Feed-back aux examinés -FB « matières », « processus mentaux » et « métacognitifs » -infos sur l’analyse des questions Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.8] Feedback aux examinés Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

41 41 8. Macrorégu- lation (recueil des avis des étudiants) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.9] Macro régulation Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

42 42 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.9] Macro régulation Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

43 43 Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) Moyennes des avis 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 1ère candidature (n=250) 2ème candidature (n=134) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.9] Macro régulation Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

44 44 Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) [1.1] Le mode d'évaluation était adéquat [1.2] L'entraînement avant l'examen était suffisant [1.3] Les questions étaient claires [1.4] Questions bien adaptées à la matière [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [1.6] L'évaluation est équitable et impartiale [2.1] Les exigences de l'enseignant sont clairement présentées [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [2.4] L'horaire fixé pour l'examen est respecté [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... Moyennes des avis 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 1ère candidature (n=250) 2ème candidature (n=134) Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées [1.3.9] Macro régulation Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

45 45 Le cycle de gestion qualité des évaluations standardisées [1.3] Le cycle de gestion qualité des évaluations standardisées Cycle de gestion qualité des tests standardisés (Gilles, J.-L. & Leclercq, D., 1996) EEEVI BVE TVI Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

46 46 Une application [1.4] Une application Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

47 47 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations

48 48 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

49 Définir les Points Enseignés [PE] Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance 1.2 Définir les Catégories de Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant 1. Analyse de l ’enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

50 50 Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance 1.1 Définir les Points Enseignés [PE] 1. Analyse de l ’enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

51 51 Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? 1. Analyse de l ’enseignement 1.2 Définir les Catégories de Performance [CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

52 52 Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8), l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur la connaissance et la compréhension. 1. Analyse de l ’enseignement 1.3 [PE x CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

53 53 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

54 54 • Catégories de Conditions : «...avec degrés de certitude », «...à livre ouvert »,... • Catégories de Questionnement : « VF », « QCM », « QROC »,... Il existe des …Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude » Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] 2.Mise en forme de l ’épreuve Création des trinômes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 … ce qui donne une liste de trinômes : [PE x CP x MQ]

55 55 • Quelles modalités de questionnement utiliser ou ne jamais utiliser ? • Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binôme [CP x MQ] : 2.Mise en forme de l ’épreuve 2.1 [CP x MQ] Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

56 56 2.Mise en forme de l ’épreuve Répartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

57 57 2.Mise en forme de l ’épreuve Importance des PE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000

58 58 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblage et équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en œuvre de l ’épreuve Matériel, Timing, procédures anti-fraude 6. Correction de l ’épreuve On-line : DC, sévérité, réalisme, r.bis, Feedback aux étudiants On-line ou en amphi 8. Régulation du processus Recueil et analyse des avis des étudiants, propositions d ’améliorations Cycle gestion qualité S.M.A.R.T. des tests pédagogiques Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 Gilles & Leclercq, 1996

59 59 1) conseils méthodologiques 2) choix parmi les références des Questions PE : CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 3.Construction des Questions Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG mai 2000 SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. RC : 6

60 60 Suite à lire dans l’article accessible sur le serveur web du SMART : Une application [1.4] Une application Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

61 61 FIN Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02


Télécharger ppt "1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants 21/11/2002."

Présentations similaires


Annonces Google