Communauté de recherche et d’entraide en éducation Service de soutien, d’entraide, d’innovation et de valorisation de l’enseignement CREÉ SSEIVE Évaluation.

Présentation au sujet: "Communauté de recherche et d’entraide en éducation Service de soutien, d’entraide, d’innovation et de valorisation de l’enseignement CREÉ SSEIVE Évaluation."— Transcription de la présentation:

1 Communauté de recherche et d’entraide en éducation Service de soutien, d’entraide, d’innovation et de valorisation de l’enseignement CREÉ SSEIVE Évaluation des apprentissages II (la confection des questions d’examen) Denis Savard, professeur Faculté des Sciences de l’éducation (Université Laval) Louise Arsenault, conseillère en formation Faculté des Sciences et de Génie, Faculté de Médecine (Université Laval) Michel-Ange Augustin, doctorant, consultant, Faculté des Sciences de l’éducation (Université Laval) SSEIVE (Université de Moncton, campus d’Edmundston)

2 CREÉ SSEIVE 2 Le plan de cours (outil de planification)  Les objectifs d’apprentissage Sous forme de liste…  Les modalités d’évaluation Forme Fréquence Échéances Pondération Critères généraux d’évaluation L’appréciation de la qualité de la langue

3 CREÉ SSEIVE 3 Faire le plan d’un examen (1) Tableau de spécification 1.Préciser le contenu 2.Préciser les habiletés (niveau taxonomique) 3.Établir la pondération

4 CREÉ SSEIVE 4 Tableau de spécification Contenu Niveaux taxonomiques AlgèbreGéométrieTrigonométrieTotal ConnaîtreDimension 1Dimension 4Dimension 720 ComprendreDimension 2Dimension 5Dimension 830 AppliquerDimension 3Dimension 6Dimension 930 Analyser / Synthétiser.. Dimension 1020 Total.503020100

5 CREÉ SSEIVE 5 Faire le plan d’un l’examen (2) Spécification de l’épreuve Pour chacune des cellules du tableau de spécification 1.(+) Spécifier le nombre et le type de questions 2.(+) Établir la pondération de chacune des questions

6 CREÉ SSEIVE 6 Tableau de spécifications cours Tableau de spécifications Examen

7 CREÉ SSEIVE 7 Principales qualit é d ’ un instrument de mesure VALIDIT É  Qualit é d ’ un instrument qui mesure bien ce qu ’ il est cens é mesurer. FIDÉLITÉ  Qualité d’un instrument à mesurer avec la même exactitude chaque fois qu’il est administré.  stabilité  équivalence  consistance interne

8 CREÉ SSEIVE 8 Validité de contenu  Type de validité qui indique le degré de: A.congruence de chacun des items avec l’objet mesuré; B.représentativité de l’ensemble des items d’un instrument de mesure en regard de ce qu’on veut mesurer.

9 CREÉ SSEIVE 9 Validité de contenu (conditions) Contenu Niveaux taxonomiques AlgèbreGéométrieTrigonométrieTotal Connaître congruence pertinence représentativité congruence pertinence représentativité congruence pertinence représentativité 20 Comprendre congruence pertinence représentativité congruence pertinence représentativité congruence pertinence représentativité 30 Appliquer congruence pertinence représentativité congruence pertinence représentativité congruence pertinence représentativité 30 Analyser / Synthétiser.. congruence pertinence représentativité 20 Total503020100

10 CREÉ SSEIVE 10 Congruence  La congruence est la relation étroite qui doit exister entre une situation d’évaluation et objet mesure.  Les 3 principaux critères :  le verbe (objectif) ou le niveau taxonomique  le contenu  les conditions

11 CREÉ SSEIVE 11 Pertinence  Les questions posées touchent des points importants de la matière:  concept de tâche type.

12 CREÉ SSEIVE 12 Représentativité  Les questions posées sont représentatives de la dimension mesurée.

13 CREÉ SSEIVE 13 Modèle de mesure V = X ± E  V : "vrai" score de l' é tudiante ou de l' é tudiant  X : r é sultat de l' é tudiante ou de l' é tudiant  E : erreur de mesure (+ ou -)

14 CREÉ SSEIVE 14 Fidélité  Attention aux erreurs de mesure inhérentes...  à l'instrument de mesure (formulation des questions, grille de correction… )  aux conditions de passation  à l'étudiante et l'étudiant (peu de contrôle)

15 CREÉ SSEIVE 15 Une formation de qualité 1.Des objectifs spécifiques qui traduisent bien où vous voulez arriver 2.Des formules pédagogiques (enseignement/apprentissage) qui aident à atteindre les objectifs spécifiques 3.Une évaluation qui mesure vraiment l’atteinte des objectifs spécifiques

16 Communauté de recherche et d’entraide en éducation Service de soutien, d’entraide, d’innovation et de valorisation de l’enseignement CREÉ SSEIVE Construire des examens de type papier-crayon

17 CREÉ SSEIVE 17 R é diger une question (1) 1.Choisir l ’ objectif. 2.R é diger une question qui contient toutes les limites et les conditions n é cessaires à la r é solution du probl è me. S é parer la consigne de la question. Pour vous aider à r é diger une question : Mise en situation Donn é es du probl è me Tâche de l ’é tudiant : la question Consigne : la fa ç on de r é pondre Espace de r é ponse (d é marche, r é sultat, unit é s) Modalit é s de correction

18 CREÉ SSEIVE 18 R é diger une question (2) 3.Utiliser la phrase imp é rative ou interrogative. É viter de terminer l ’é nonc é par des points de suspension … La congruence est ….? Quelle est la d é finition du concept de congruence dans le contexte de la mesure des apprentissages? 4.É viter les extraits textuels tir é s des manuels. 5.É viter de r é diger des questions plus difficiles que ne le prescrit l ’ objectif.

19 CREÉ SSEIVE 19 R é diger une question (3) 6.Pr é senter sur une même page toutes les questions se rapportant à une même mise en situation. Sinon, r é p é ter la question sur une deuxi è me page. 7.R é diger des questions ind é pendantes les unes des autres. Sinon, vous p é nalisez l ’é tudiant qui, pour une contre- performance, perd des points à plus d ’ un endroit sur la grille de correction.

20 CREÉ SSEIVE 20 R é diger une question (4) 8.R é diger la question pour qu ’ elle corresponde parfaitement à l ’ objectif dont elle doit mesurer l ’ atteinte. Congruence

21 CREÉ SSEIVE 21 R é diger une question (5) 9.À l ’ int é rieur de la question, r é diger des consignes pr é cises, claires et compl è tes. Le nombre de bonnes r é ponses, l ’ endroit o ù les é tudiants doivent indiquer la r é ponse et la fa ç on de l ’ exprimer, l ’ endroit o ù l ’ on ex é cute les calculs, les p é nalit é s impos é es pour ajout d ’é l é ments é trangers à la r é ponse, etc. 10.É liminer les renseignements superflus dont la pr é sence risque de compliquer inutilement la tâche de l ’é tudiant.

22 CREÉ SSEIVE 22 R é diger une question (6) 11.Employer un vocabulaire adapt é aux é tudiants. 12.Indiquer le nombre de points accord é s à chaque question. 13.Choisir un type de questions que les é tudiants connaissent. À r é ponse choisie : Choix de r é ponse, vrai ou faux, association À r é ponse construite : Phrase à compl é ter, r é ponse courte, r é ponse d é velopp é e

23 CREÉ SSEIVE 23 Question à choix de r é ponses (1) Variations :  trouver la bonne r é ponse  trouver la meilleure r é ponse  trouver la seule r é ponse qui soit fausse  trouver toutes les bonnes r é ponses  trouver la r é ponse qui ordonne une s é rie d ’é nonc é s  trouver des contre-exemples  trouver l ’é l é ment manquant  trouver l ’é l é ment é tranger  identifier l ’ incident critique ou l ’é l é ment significatif  etc.

24 CREÉ SSEIVE 24 Question à choix de r é ponses (2) Quelle est la s é quence de verbes d'action qui correspond à une introduction bien structur é e?  a. Amener, poser, diviser *  b. Annoncer, amener, ouvrir  c. Choisir, recommander, identifier  d. Ouvrir, pr é ciser, choisir  e. Poser, amener, diviser

25 CREÉ SSEIVE 25 Question à choix de r é ponses (3) Quelle est l'affirmation qui est fausse? a. Avant d'être discut é s et analys é s, les r é sultats doivent être pr é sent é s. b. Il n'y a pas de nouvelle argumentation dans une conclusion. * c. Les temps les plus utilis é s pour r é diger un rapport technique sont le pr é sent et l'imparfait. d. Le titre d'une figure doit être plac é en dessous de la figure. e. Toutes les r é f é rences doivent être cit é es dans le corps du rapport.

26 CREÉ SSEIVE 26 Question à choix de r é ponses (4) 1.R é diger de 3 à 5 r é ponses (leurres) qui doivent être consistantes et appropri é es à la question (~ même longueur, ~ même complexit é et ayant le même attrait) 2.Placer les r é ponses en ordre : alphab é tique ordinal chronologique etc.

27 CREÉ SSEIVE 27 Question à choix de r é ponses (5) 3.Utiliser avec prudence le choix AUCUNE DE CES R É PONSES ou TOUTES CES R É PONSES SONT BONNES 4.Autant que possible, placer les r é ponses en colonne plutôt que de les disposer horizontalement. L ’ important, c ’ est d ’ être uniforme dans la pr é sentation. 5.Trier en colonne plutôt qu ’ en ligne ac bd

28 CREÉ SSEIVE 28 Question de type vrai ou faux (1) Variations :  La forme bon/mauvais, plus petit/plus grand, fait/opinion, etc.  La forme correction

29 CREÉ SSEIVE 29 Question de type vrai ou faux (2) Forme correction Indique si la proposition ci-dessous est vraie ou fausse. Si elle est fausse, transforme la partie soulign é e de l ’é nonc é pour rendre la proposition vraie. La validit é de contenu est la premi è re qualit é dont on doit se pr é occuper lors de la confection d ’ examens. V F Correction si n é cessaire : __________________

30 CREÉ SSEIVE 30 Question de type vrai ou faux (3) 1.Pr é senter une seule id é e importante par question. 2.Pr é senter des é nonc é s manifestement vrais ou faux. 3.Pr é senter des é nonc é s plutôt brefs que longs.

31 CREÉ SSEIVE 31 Question de type vrai ou faux (4) 4.Utiliser avec prudence les termes TOUS, TOUJOURS, JAMAIS, qui sont associ é s à des é nonc é s faux. Les termes PARFOIS, SOUVENT, LA PLUPART, sont associ é s à des é nonc é s vrais et les termes FR É QUENT, NOMBREUX, PLUSIEURS, PEU, sont ambigus. 5.É viter les doubles n é gations.

32 CREÉ SSEIVE 32 Question de type association (1) Variations:  L ’ association simple  L ’ association multiple : associer plusieurs é l é ments  La classification : classifier des é l é ments selon des cat é gories

33 CREÉ SSEIVE 33 Voici, pr é sent é s à gauche, des CONCEPTS de base en mesure et é valuation et, à droite, des D É FINITIONS. Associer, à chacun des concepts, la bonne d é finition. Inscrire, en regard du nombre, la lettre appropri é e. CONCEPTS (l ’ ensemble questions) ___1. CONGRUENCE ___2. VALIDIT É ___3. FID É LIT É D É FINITIONS (l ’ ensemble r é ponses) A)Lien é troit entre l ’ objectif et la question d ’ examen B)Qualit é d ’ un instrument qui fait r é f é rence à la stabilit é des r é sultats C)Qualit é d ’ un instrument qui mesure bien ce qu ’ il pr é tend mesurer D)Ensemble des op é rations pour mod é rer les r é sultats d ’ un instrument

34 CREÉ SSEIVE 34 Question de type association (2) 1.Donner le sch é ma de base de l ’ association, d é crire l ’ ensemble questions ainsi que l ’ ensemble r é ponses et indiquer s ’ il y a r é p é tition ou non des é l é ments de l ’ ensemble r é ponses. 2.Placer dans chaque ensemble des é l é ments homog è nes. 3.Ne pas compter au total plus de dix é l é ments dans l ’ ensemble r é ponses.

35 CREÉ SSEIVE 35 Question de type association (3) 4.Placer un plus grand nombre d ’é l é ments dans l ’ ensemble r é ponses. 5.D é signer l ’ ensemble questions par des nombres et l ’ ensemble r é ponses par des lettres. Habituellement l ’ ensemble r é ponses est plac é à gauche. 6.Placer les é l é ments de l ’ ensemble r é ponses dans l ’ ordre qui facilite le travail de l ’é tudiant.

36 CREÉ SSEIVE 36 Question de type phrase à compl é ter (1) Variations :  question à r é ponse unique  question à r é ponses multiples  phrase à compl é ter dont l ’ omission est à l ’ int é rieur d ’ un choix de r é ponses,  ne r é diger qu ’ une partie r é v é latrice d ’ une tâche: le paragraphe d ’ introduction ou de conclusion, les phrases de transition, une suite de mots cl é s, les trois derni è res lignes de programmation, etc.

37 CREÉ SSEIVE 37 Question de type phrase à compl é ter (2) Le lien é troit qui doit exister entre un objectif sp é cifique et une question d ’ examen se nomme ___________.

38 CREÉ SSEIVE 38 Question de type phrase à compl é ter (3) 1.N ’ enlever que les termes importants de la phrase. 2.Ne placer qu ’ une ou deux omissions par phrase à compl é ter. 3.Placer les omissions vers la fin de la phrase. 4.Placer un espace ou un trait constant pour toutes les omissions et ce, sans é gard à la longueur des mots omis. 5.Si la r é ponse porte sur des quantit é s, indiquer les unit é s demand é es.

39 CREÉ SSEIVE 39 Question à r é ponse courte (1) Variations :  question à r é ponse unique  question à r é ponses multiples  d é finir un mot cl é  construire un sch é ma  donner un exemple  identifier une loi, un principe  r é diger une phrase, etc.

40 CREÉ SSEIVE 40 Question à r é ponse courte (2) 1.Pr é senter le probl è me en posant une question plutôt qu ’ en formulant une affirmation. 2.Pr é voir un espace apr è s chaque question pour que l ’é tudiant puisse inscrire sa r é ponse.

41 CREÉ SSEIVE 41 Question à r é ponse courte (3) Quelle est la d é finition du concept de congruence? La r é ponse attendue s ’ exprime en moins de 3 lignes. _________________________________

42 CREÉ SSEIVE 42 Question à r é ponse d é velopp é e (1) Variations :  r é soudre un probl è me  extrapoler  é tablir des rapports, des liens  expliquer, synth é tiser, analyser, é valuer, r é aliser une production  r é sumer  etc.

43 CREÉ SSEIVE 43 Question à r é ponse d é velopp é e (2) 1.Structurer, encadrer suffisamment le probl è me pr é sent é dans la question pour que la r é ponse soit orient é e vers ce que l ’ on se propose de mesurer.

44 CREÉ SSEIVE 44 Question à r é ponse d é velopp é e (3) En un maximum de 300 mots, expliquer l ’ importance des objectifs dans la construction des instruments de mesure. À l ’ int é rieur de votre r é ponse, on doit retrouver trois avantages d ’ une telle pratique ainsi qu ’ un exemple. _______________________________________________ …

45 CREÉ SSEIVE 45 Question à r é ponse d é velopp é e (4) 2.Si vous le jugez à propos, avertir l ’é tudiant qu ’ il sera p é nalis é s ’ il introduit dans sa r é ponse des é l é ments é trangers au probl è me à r é soudre. 3.Mieux vaut indiquer l ’ ordre de grandeur de la r é ponse souhait é e.  Exemples : En un maximum de deux pages … En 300 mots … À l ’ int é rieur du tableau …

46 CREÉ SSEIVE 46 Question à r é ponse d é velopp é e (5) 4.Pr é voir l ’ espace n é cessaire pour la r é ponse.  Une mise en page structur é e peut aider à corriger ces r é ponses longues. 5.À titre indicateur, pr é ciser le temps normalement allou é pour r é pondre à la question. 6.Pour concevoir le corrig é, vous pouvez r é diger une r é ponse-type et souligner les mots cl é s.  Il est plus facile, juste et é quitable de corriger la premi è re question pour tout le groupe avant de corriger la deuxi è me.