Introduction à la construction d’évaluations des acquis des apprenants

Présentation au sujet: "Introduction à la construction d’évaluations des acquis des apprenants"— Transcription de la présentation:

1 Introduction à la construction d’évaluations des acquis des apprenants
Prof. Jean-Luc Gilles Service de didactique des disciplines et intervention éducative Système Méthodologique d’Aide à la Réalisation de Tests Université de Liège - Belgique Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

2 Typologie des évaluations dans une structure modulaire
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

3 Moment : au départ dans une séquence d’enseignement
Moment : au départ dans une séquence d’enseignement Test d’entrée  ex. évaluer les prérequis Prétest  ex. éviter la séquence aux élèves qui maîtrisent déjà les objectifs Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Epreuve de placement  ex. placer l’élève à l’endroit qui lui convient (skipping) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

4 Moment : au cours de la séquence d’enseignement
Moment : au cours de la séquence d’enseignement Evaluation formative  ex. informer l’élève de son état d’avancement vers la maîtrise des objectifs Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation.  ex. diagnostiquer les difficultés et les erreurs, et y remédier Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

5 Moment : immédiatement après la séquence d’enseignement
Moment : immédiatement après la séquence d’enseignement Post test immédiat  ex. certifier la maîtrise des objectifs : évaluation sommative Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation.  ex. contrôler les prérequis de la séquence suivante si l’apprentissage est cumulatif Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

6 Moment : à court terme, à moyen et à long terme après…
Moment : à court terme, à moyen et à long terme après… Post-test différé  ex. mesurer l’efficacité de la séquence d’enseignement à court, à moyen et à long terme Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation.  ex. mobiliser ou élargir les compétences acquises antérieurement Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

7 Source : Tourneur et Vasamillet, 1982
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

8 Rapports entre les fonctions pronos-tiques, formatives
et sommatives Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

9 Décision d’admission, d’orientation,…
Linda Allal, 1999 : Décision d’admission, d’orientation,… Communi- cation à l’intérieur du système scolaire Décision de certification Communicationavec l’extérieur Sommative Pronos- tique Formative Décision d’adaptations pédagogiques Communicationau sein de la classe Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

10 Comparaison entre évaluation
Linda Allal, 1999 : Comparaison entre évaluation formative et sommative Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

11 Implication active de l’élève dans les processus d’apprentissage
Linda Allal, 1999 : Implication active de l’élève dans les processus d’apprentissage Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

12 Problèmes de fiabilité intra et inter-correcteurs
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

13 Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

14 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

15 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

16 … L’impression d’avoir déjà vécu ce genre de situation ?
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

17 Biais dus aux interactions professeur  élèves :
 Effet de halo Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

18 Biais dus aux interactions professeur  élèves :
 Effet de halo Weiss (1969) Deux groupes de 46 correcteurs Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

19 Biais dus aux interactions professeur  élèves :
 Effet de halo Weiss (1969) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

20 Et chez mes collègues, quelles sont vos cotes ?
Biais dus aux interactions professeur  élèves : Et chez mes collègues, quelles sont vos cotes ?  Effet de stéréotypie Tendance à attribuer à un élève les notes que celui-ci a acquises antérieurement Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

21 Biais dus aux séries de copies :  Effet d’ancrage
Bonniol, 1972 Ancre « légère » Ancre « lourde » Deux séries de devoirs moyens dans lesquels Bonniol introduit des ancres légères (un devoir), lourdes (trois devoirs), basses (mauvais devoirs) ou haute (très bons devoirs) … Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

22 Biais dus aux séries de copies :
 Effet de relativisation Parmi toutes les copies jugées moyennes quelques mois auparavant le correcteur distinguera des faibles et des bonnes … Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

23 certains correcteurs …
Biais dus au seul correcteur :  Effet de sévérité Sévérité systématiquement plus élevée ou au contraire moins élevée chez certains correcteurs … Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

24 Biais dus au seul correcteur :
 Effet de tendance centrale Evitement des notes extrêmes et concentration des scores au milieu de l’échelle … Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

25  Le mythe de la courbe de Gauss
Courbe gaussienne … début d’une séquence d’enseignement Courbe en « i » … fin d’une séquence d’enseignement Courbe en « j » Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

26 Critères de qualité docimologique
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

27 Critère de validité Les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de contenu) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

28 ou/et à un autre moment (consistance intrajuge)
Critère de fidélité La note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

29 Critère de sensibilité
La mesure doit être précise, refléter des phénomènes subtils Les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas Critère de « diagnosticité » Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

30 Critère de praticabilité
Critère d’équité Tous les évalués doivent être traités de façon juste, en principe de la même façon (standardisation) La réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles Critère de praticabilité Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

31 Critère de communicabilité
les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les acteurs de l’évaluation les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts Critère d’authenticité Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

32 Typologie de techniques de questionnement
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

33 Notation automatisable
Leclercq, 1986 : Questionnement < Ouvert Fermé > à réponse rédigée réponse longue intervalle à proposer courte à réponse choisie QCM intervalle à choisir type V / F Correction selon Formule mathématique Correction simple (mécanique) Notation complexe Notation automatisable Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

34 La lutte contre une « dissonance
Blais & al., 1997 : Taille du groupe Culture d’évaluation Règlement pédagogique Contingences qui orientent les enseignants vers le choix de questions fermées ou ouvertes (ens. sup.) La lutte contre une « dissonance pédagogico- docimologique » La contrainte des disciplines Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

35 Principaux avantages potentiels et inconvénients des questions fermées
  - Automatisation   questions   validité -  problèmes de concor-dances intra et inter-correcteurs   fidélité - Automatisation   praticabilité - … - Piège des questions portant sur des détails - Conception binaire des réponses (sauf si utilisation DC) - Impuissance à mesurer certaines catégories de performances Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

36 Principaux avantages potentiels et inconvénients des questions ouvertes
  - Permettent l’évaluation de performances complexes - Permettent d’évaluer les objectifs d’expression - Sollicitations plus proches de celles de la vie quotidienne - En général peu de questions pour éviter d’augmenter le temps de correction - Biais  concordance intra et inter-correcteurs - Ne sont pas socialement neutres (Passeron, 1970) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

37 5 4 3 2 1 La technique des degrés de certitude (DC) incorrecte
Sans l’utilisation des degrés de certitude incorrecte correcte La solution est : 100% 0% 60% 40% 5 4 3 2 1 Degrés de certitude Avec la technique des degrés de certitude : Situation « catastrophique » Performance « assurée » Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

38 La technique des Solutions Générales Implicites (SGI)
6 ou REJET = Aucune des solutions proposées n'est correcte. 7 ou TOUTES = TOUTES les solutions proposées sont correctes. 8 ou MANQUE = Il est impossible de répondre parce que de l'information (au moins une donnée) MANQUE dans l'énoncé de la question (donc pas dans le cours ni dans la connaissance actuelle sur le problème). 9 ou ABSURDITE = Une ABSURDITE dans l'énoncé rend toute la question sans objet (par exemple CONTRE-VERITE dans l'énoncé). Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

39 Kaléidoscope des techniques de questionnement
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

40 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

41 Dans le kaléidoscope ci-après,
les objectifs sont placés dans la toute première facette et constituent en fait la source lumineuse (qui, placée à travers le prisme de l’observation, donnera des mesures). Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

42 Kaléidoscope des techniques de questionnement
Source : Leclercq et Gilles, 1995 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

43 Etapes de construction d’une évaluation standar-disée des acquis des apprenants
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

44 Gilles & al. (2004, 2005) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

45 1. Analyse des objectifs enseignés
- Lister les points à évaluer (PE) - Associer des priorités liées aux PE - Définir les catégories de performances (CP) attendues chez les élèves Produit de cette 1ère étape : une table de spécification où les PE sont croisés avec les CP : (PE x CP) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

46 1. Analyse des objectifs enseignés
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

47 2. Mise en forme de l’évaluation (design)
- Quels types de questionnements vais-je privilégier ? V / F ? Avec SGI ? … portant sur des cas ? QROC ? Avec DC ? QCM ? … Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

48 2. Mise en forme de l’évaluation (design)
- Définition des modalités de questionnement (MQ) en rapport avec les catégories de performances (CP) de l’étape 1 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

49 2. Mise en forme de l’évaluation (design)
- Introduction des modalités de questionnement (MQ) dans la table de spécification Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

50 2. Mise en forme de l’évaluation (design)
- Sélection des PE qui feront l’objet de questions lors de l’évaluation Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

51 3. Création des questions
PE = « Diversifier » CP = « Analyse » Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

52 Student Assessment and Program Evaluation Branch,
Ministère de l’éducation, Colombie Britannique, 2002 x Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

53 4. Entraînement 5. Test Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

54 6. Correction Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

55 6. Correction (Gilles, 2002) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

56 7. Feedbacks Diagnostiques Individualisés Précis Rapides Performances
Travaux Portfolio Epreuves écrites Examens oraux … Stages Auto-évaluations Performances Individualisés Diagnostiques Feedbacks Rapides Précis Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

57 8. Macro-régulation Analyse des résultats et recueil des avis des élèves en vue de réguler le système d’évaluation et d’en améliorer la qualité Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

58 Quelques (bonnes) références …
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

59 Evaluation continue et examens – Précis de docimologie
G. De Landsheere (1992) Educational Assess-ment of Students, A. Nitko (2001) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

60 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006

61 Vers une pratique de l’évaluation formative L. Allal (1991)
Vers une pratique de l’évaluation formative L. Allal (1991) La conception des questions à choix multiple D. Leclercq (1986) Par exemple, Benjamin Bloom qui a créé la taxonomie qui porte son nom est un docimologue qui est devenu un théoricien de l’éducation. Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006