Système Méthodologique d’Aide à la Réalisation de Tests

Présentation au sujet: "Système Méthodologique d’Aide à la Réalisation de Tests"— Transcription de la présentation:

1 Système Méthodologique d’Aide à la Réalisation de Tests
htp:// 31 octobre 2007 Système Méthodologique d’Aide à la Réalisation de Tests SMART P. Detroz V. Crahay

2 Le SMART en trois missions
Missions du SMART Le SMART en trois missions Evaluation des acquis cognitifs Evaluation de la qualité des enseignements Enquêtes à caractère pédagogique Pour ces trois missions : une même approche qualité

3 Quatre facteurs clés pour une approche qualité
Validité Fidélité Sensibilité Diagnosticité Praticabilité Équité Communicabilité Authenticité La validité : les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de contenu) ; La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La diagnosticité : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. L’« authenticité » : les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie. Gilles, 2002

4 les scores des apprenants doivent représenter
Critères de « qualité SMART » d’un test standardisé La validité : les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de contenu) ; La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;

5 la mesure doit être précise, refléter des phénomènes subtils ;
Critères de « qualité SMART » d’un test standardisé La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;

6 tous les étudiants doivent être traités de façon juste,
Critères de « qualité SMART » d’un test standardisé L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;

7 La « communicabilité » :
Critères de « qualité SMART » d’un test standardisé La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. L’« authenticité » : les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie.

8 Quatre facteurs clés pour une approche qualité
Validité Fidélité Sensibilité Diagnosticité Praticabilité Équité Communicabilité Authenticité La validité : les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de contenu) ; La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; La diagnosticité : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. L’« authenticité » : les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie. Gilles, 2002

9 CGQTS Gilles 2002; Gilles & al. 2004-2005
Il est important de focaliser l’attention sur le cycle. Celui-ci permettra de donner la structure de la formation. « Voici les étapes qui seront envisagées tout au long de la journée. Chaque étape sera envisagée en fonction des outils disponibles au SMART : Les plateformes, les BVE, etc. Gilles 2002; Gilles & al

10 Examination Assessment Management System
R&D en ingénierie docimologique Le cycle CGQTS La plate-forme ExAMS : Examination Assessment Management System Test standardisé : « Test dont les procédures d'administration et de notation, de même que le procédé d'interprétation, sont uniformisés pour tous les sujets » Pigeon & Kellett (2000)

11 La plate-forme ExAMS pour répondre à des besoins:
Structure de travail collectif (plusieurs institutions); Unification des méthodes; Réflexion sur la matière à évaluer, sur les méthodes pour évaluer; Gestion de la banque de questions; Gestion des tests; Préparation des étudiants à la matière évaluée, au dispositif d'évaluation; Correction facilitée des tests; Analyse à posteriori des questions et gestion de la qualité du test; Analyse des résultats (statistiques descriptives, graphiques,...); Feedbacks pour les étudiants au niveau du test et de leur auto- évaluation. ...

12 Un outil en ligne pour construire et gérer les évaluations
La plate-forme ExAMS : Un outil en ligne pour construire et gérer les évaluations Site:

13 A travers les étapes du cycle CGQTS

14 1. Analyse Gilles 2002; Gilles & al. 2004-2005
Parler de l’enjeux de réaliser une table de spec en terme de validité Gilles 2002; Gilles & al

15 1.1 Définir les Points Enseignés [PE]
1. Analyse 1.1 Définir les Points Enseignés [PE] Vérification de la bonne couverture de la matière abordée  Validité de contenu 1.2 Quantifier les priorités Mise en évidence des points essentiels qui devront être évalués 1.3 Définir les Catégories de Performance [CP] Définition des processus mentaux dont l’évalué veut exercer sur les PE 1.4 Relier les Points Enseignés et les Catégories de Performance [PE x CP] Construction du binôme [PE x CP]  Validité

16 Titres Sous-titres PE 1. Analyse Introduction Présentation
L’expertise du SMART Une approche qualité 4 facteurs-clés Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies Binôme [PExCP] Etape 2. Design

17 Titres Sous-titres PE P
1. Analyse Titres Sous-titres PE P Introduction Présentation L’expertise du SMART Une approche qualité 4 facteurs-clés Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies Binôme [PExCP] Etape 2. Design 1 3 3 3 3 3 2 3

18 CP Compréhension Application Analyse Titres Sous-titres PE P CP
Introduction Présentation L’expertise du SMART 1 Une approche qualité 4 facteurs-clés 3 Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies 2 Binôme [PExCP] Etape 2. Design CP Compréhension Application Analyse Interpréter des informations. Extrapoler le sens d’un message en saisir la nature et la signification profonde Utilisation de règles principes ou algorithme pour résoudre un problème Découper une structure selon ses parties, distinguer les faits des hypothèses, en vue d’en expliquer le fonctionnement

19 Titres Sous-titres PE P CP
1. Analyse Titres Sous-titres PE P CP Compr. Appli Analyse Introduction Présentation L’expertise du SMART 1 Une approche qualité 4 facteurs-clés 3 Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies 2 Binôme [PExCP] Etape 2. Design X X X X X X X X X X X X X X X X

20 1. Analyse

21 1. Analyse G. Mialaret, Pédagogie générale, Paris : PUF, 1991

22 Produit de cette 1ère étape :
1. Analyse Produit de cette 1ère étape : Une table de spécifications où les PE sont croisés avec les CP : (PE x CP)

23 1. Analyse Dans Exams…

24 Relier les Points Enseignés et les Catégories de Performance [PE x CP]
La plate-forme ExAMS : Étape 1 : Création d’une table de spécification Priorités CP PE Relier les Points Enseignés et les Catégories de Performance [PE x CP] Construction du binôme [PE x CP]  Validité

25 2. Design Gilles 2002; Gilles & al. 2004-2005
Il est important de focaliser l’attention sur le cycle. Celui-ci permettra de donner la structure de la formation. « Voici les étapes qui seront envisagées tout au long de la journée. Chaque étape sera envisagée en fonction des outils disponibles au SMART : Les plateformes, les BVE, etc. Gilles 2002; Gilles & al

26 2.1 Définir les modalités de questionnement (MQ)
2. Design 2.1 Définir les modalités de questionnement (MQ) Choisir les modalités de questionnement selon les objectifs de l'évaluation 2.2 Associer les Modalités de questionnement aux Catégories de performance Construction du binôme [MQ x CP] En fonction de l’importance que du trinôme pour l’évaluateur, il fera l’objet d’une question à l’étape suivante 2.3 Croiser les Binômes [PE x CP] et [MQ x CP ]  Trinôme [PE x MQ x CP] Sur base des trinômes, nous pouvons générer des questions correspondant aux objectifs fixés

27 2.1 Définir les modalités de questionnement (MQ)
2. Design 2.1 Définir les modalités de questionnement (MQ) Les Modalités de questionnement sont composées de : - Un Format de Questionnement [FQ] : QCM, V-F, QROC, QROL, Portfolio,… - Une série d’Option de Questionnement [OQ] SGI, DC, LO, TI Les MQ se compose d’une format de questionnement et d’une série d’option de questionnement

28 2.2 Construction du Binôme [MQ x CP]
2. Design 2.2 Construction du Binôme [MQ x CP] MQ 1 MQ 2 MQ 3 CP1 CP2 CP3 CP4 CP5 QCM+SGI+LO QCM+SGI QROL Connaissance X X Compréhension X X Application X Analyse X X Synthèse

29 Titres Sous-titres PE P CP
2. Design Titres Sous-titres PE P CP Compr. Appli Analyse QCM-DC-SGI-LO QCM-DC-SGI- LO Introduction Présentation L’expertise du SMART 1 X Une approche qualité 4 facteurs-clés 3 Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies 2 Trinômes [PE x CP x MQ]

30 Produit de cette 2ème étape :
2. Design Produit de cette 2ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés

31 2. Design Dans Exams…

32 2. Design CP x MQ PE x CP x MQ

33 Quelles options de questionnement ?
2. Design Quelles options de questionnement ? Les enjeux des degrés de certitude et des Solutions Générales Implicites (SGI)

34 2. Design « T.O.I.S.E. ou une Taxonomie d’Objectifs Instrumentée au Service de l’Évaluation » (D. Leclercq, 1999)

35 La taxonomie des objectifs cognitifs de Bloom
2. Design 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance 6. Évaluation La taxonomie des objectifs cognitifs de Bloom

36 les plus souvent évalués
2. Design 6. Evaluation (jugement selon des critères internes, donc subjectifs) 5. Synthèse (production personnelle, expression, formulation, créativité) Niveaux les plus souvent évalués 4. Analyse (décomposition, classification, organisation) 3. Application (d’un principe général à un cas particulier) 2. Compréhension (interprétation, traduction, rien n’étant “caché”) 1. Connaissance (réactualisation de contenus mémorisés)

37 2. Design 6. Évaluation 5. Synthèse 4. Analyse QRO 3. Application
2. Compréhension 1. Connaissance 6. Évaluation QRO (Question à Réponse Ouverte)

38 2. Design 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance 6. Évaluation QCM simple

39 5. Synthèse 4. Analyse 3. Application 2. Compréhension 6. Évaluation
2. Design 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance 6. Évaluation QCM + SGI

40 2. Design 5. Synthèse 4. Analyse 3. Application 2. Compréhension 1. Connaissance 6. Évaluation Degrés de certitude

41 2. Design En résumé, Les QCM simples ou classiques ont une aire d’efficacité (ou de pertinence) assez étroite, qui est « élargie » par d’autres techniques. Les SGI permettent d’évaluer des niveaux taxonomiques plus élevés que la connaissance dans la taxonomie de Bloom d’éviter l’identification de la réponse correcte (recognition) par hasard de mesurer la détection d’erreurs de mesurer la vigilance cognitive d’habituer aux situations où plusieurs solutions sont correctes.

42 Les SGI sont proposées sous les numéros de code suivant :
2. Design Les SGI sont proposées sous les numéros de code suivant : et ne sont pas dactylographiées dans les QCM 6 ou NUL ou REJET 7 ou TOUTES 8 ou MANQUE 9 ou ABSURDITE Demander à l’évalué d’exprimer son degré de certitude [DC] permet de : l’amener à s’auto-estimer (niveau 6 dans la taxonomie de Bloom) de calculer ses indices de réalisme.

43 2. Design Les enjeux des DC « Bon nombre de personnes considèrent que la connaissance est affaire de tout ou de rien : ou bien on « sait » les choses ou bien on ne les « sait pas ». […] Mais, le plus souvent, on est dans un état intermédiaire, de connaissance partielle » Gilles,2002

44 Les enjeux des DC RC OM RI 2. Design +1 -1
RC OM Choisissez l’orthographe correcte du mot proposé. Tous les étudiants sont de passer un test de français dés leur entrée à l’université suceptibles susseptibles suseptibles susceptibles

45 Les enjeux des DC RC RI 2. Design 85 25 50 70 95 100
Choisissez l’orthographe correcte du mot proposé. Tous les étudiants sont de passer un test de français dés leur entrée à l’université suceptibles susseptibles suseptibles susceptibles RC +13 +16 +17 +18 +19 +20 85 25 50 70 95 100 +4 +3 +2 -6 -20 RI

46 Les enjeux des DC RC RI 2. Design 25 50 70 85 95 100 Compétence
ignorée Compétence partielle Compétence assurée 25 50 70 85 95 100 Ignorance reconnue Ignorance partielle Ignorance ignorée RI

47 3. Questions Gilles 2002; Gilles & al

48 3. Création des questions
Alimenter la banque de question Valider les questions qui pourraient être utilisées pour l’examen

49 Titres Sous-titres PE P CP
3. Questions Titres Sous-titres PE P CP Compr. Appli Analyse QCM-DC-SGI-LO QCM-DC-SGI- LO Introduction Présentation L’expertise du SMART 1 X Une approche qualité 4 facteurs-clés 3 Le cycle de construction et de gestion de qualité Etape 1. Analyse Table de spécification Point à évaluer Priorités Catégories de performance Taxonomies 2 Q Q Q Q Q Q Q

50 Produit de cette 3ème étape :
3. Questions Produit de cette 3ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)

51 3. Questions Dans Exams…

52 La rédaction des questions
La plate-forme Exams: La rédaction des questions

53 La rédaction des questions
La plate-forme Exams: La rédaction des questions

54 3. Questions Petit Test …

55 La dernière amitié de Harlan Stone est un
3. Questions La dernière amitié de Harlan Stone est un satire politique récit autobiographique histoire de science fiction courte biographie

56 La population de la ville de Frankton est inférieure à
3. Questions La population de la ville de Frankton est inférieure à 1. 50 mille habitants 2. 60 mille habitants 3. 70 mille habitants 4. 80 mille habitants

57 Le Parti National Augustin a son quartier général à
3. Questions Le Parti National Augustin a son quartier général à 1. Camdem, dans le new jersey 2. St Augustin, en Floride 3. Palo Alto, en Californie 4. Dallas, au Texas

58 La loi Davis (XIX° siècle)
3. Questions La loi Davis (XIX° siècle) 1. Fournit de l’argent aux écoles. 2. Abolit une loi précédente 3. Interdit la fabrication, la vente, le transport ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales. 4. Augmenta le salaire des agents de l’état.

59 Herman Klavemann est célèbre parce que
3. Questions Herman Klavemann est célèbre parce que 1. Il a développé toutes les échelles musicales utilisées en occident. 2. Il a composé toutes les sonates pendant la période romantique. 3. Il a traduit tous les classiques russes en anglais. 4. Il a inventé l’épingle de sûreté.

60 Etude de la Test Wiseness
3. Questions Etude de la Test Wiseness Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir des points sans connaître la matière testée. »

61 3. Questions Chapitre 3 La rédaction des QCM (D. Leclercq, 1986)

62 3. Questions Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq) Règles de rédaction concernant l’adéquation aux objectifs Règles de rédaction concernant la valeur diagnostique de la réponse Règles de rédaction sur la forme Règles de rédaction des solutions proposées

63 R1: Respecter l’objectif
3. Questions A. Règles de rédaction concernant l’adéquation aux objectifs R1: Respecter l’objectif Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse, enlève toutes les taches … Choisissez le nom qui vous plaît le mieux. 1. ECONOMOUS 2. KIMOUSS 3. MOUSPACHER 4. MOUSTACH 5. SANTACH Exemple : N ’utilisez la QCM que si c’est le type de question le plus approprié à mesurer ce que l’on vise. Dans ce cas, la QROC serait plus pertinente.

64 La QCM doit correspondre à l’objectif visé,
3. Questions A. Règles de rédaction concernant l’adéquation aux objectifs R2: Coller à l’objectif Exemple : (a) Où est la tanche ? (b) Ce poisson est 1. Un brochet 2. Une carpe 3. Une tanche 4. Une truite La QCM doit correspondre à l’objectif visé, au comportement à évaluer … celui d’un poissonnier (a) ou d’un pêcheur (b) ?

65 R3: Ne pas perturber l’apprentissage
3. Questions A. Règles de rédaction concernant l’adéquation aux objectifs R3: Ne pas perturber l’apprentissage Exemple : Choisissez l’orthographe correcte 1. Horkidée 2. Horquidée 3. Orchidée 4. Orkidée 5. Orquidée La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores) Pour les autres apprentissages, Karraker a démontré que les distracteurs ne se fixent pas si on communique les RC dans les plus brefs délais.

66 B. Règles de rédaction concernant la valeur diagnostique de la réponse
3. Questions B. Règles de rédaction concernant la valeur diagnostique de la réponse R4: Révéler le processus mental Quelle est la surface de la figure ci-dessous ? 1. 5 cm2 2. 6 cm2 3. 7 cm2 Exemple : La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.

67 D’où le recours à leurs propres erreurs en QROC.
3. Questions B. Règles de rédaction concernant la valeur diagnostique de la réponse R5: Indiquer l’erreur commise Exemple : Un spécialiste en oto-rhino-laryngologie indique généralement sur sa plaque « nez-gorge-oreilles ». Le rhinocéros a une corne à l’avant du museau. Celui qui souffre de rhinite se mouche fréquemment. Le mot grec rhis, rhinos, signifie : 1. Corne 2. Gorge 3. Maladie 4. Nez 5. Visage Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant … D’où le recours à leurs propres erreurs en QROC.

68 On doit préciser sur quelle partie de l’énoncé porte la question
3. Questions B. Règles de rédaction concernant la valeur diagnostique de la réponse R6: Préciser sur quelle partie de l’énoncé porte la question Exemple : En 1452, voguant sur la Santa Maria, la Pinta et la Nina, Christophe Colomb a découvert l’Amérique du Sud. 1. Vrai 2. Faux On doit préciser sur quelle partie de l’énoncé porte la question

69 La question doit être compatible avec la consigne.
3. Questions C. Règles de rédaction sur la forme R7: Respecter la consigne Exemple : Lequel des aliments ci-dessous apporte des lipides ? 1. Eau 2. Huile 3. Œuf 4. Viande La question doit être compatible avec la consigne. Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités contiennent des lipides.

70 Proposer des phrases (tronc + solutions) syntaxiquement correctes.
3. Questions C. Règles de rédaction sur la forme R8: Proposer une phrase syntaxiquement correcte Exemple : On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures). 2. en 365 jours (soit un an). 3. dont la durée est de 1440 minutes. 4. sur elle-même autour de l’axe Nord-Sud. RC = 2 Proposer des phrases (tronc + solutions) syntaxiquement correctes.

71 Transgression de la règle 8 « proposer des phrases syntaxiquement correctes »
(Diamond & Evans, 1972) La dernière amitié de Harlan Stone est un 1. satire politique 2. récit autobiographique 3. histoire de science fiction 4. courte biographie 35%

72 C. Règles de rédaction sur la forme
3. Questions C. Règles de rédaction sur la forme R9: Éviter les termes vagues Exemple : Quel est l’élément du sang qui transporte l’oxygène ? 1. Le fer 2. L’hémoglobine 3. Les globules rouges RC = Toutes, si « élément » est pris au sens large.

73 a fortiori proscrire leur accumulation.
3. Questions C. Règles de rédaction sur la forme R10: Éviter les négation Exemple : N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOP n’entraîne pas automatiquement le retrait du permis de conduire ? 1. Oui 2. Non Éviter les formes négatives (syntaxiques et sémantiques), a fortiori proscrire leur accumulation.

74 C. Règles de rédaction sur la forme
3. Questions C. Règles de rédaction sur la forme R11: Séparer l’information et questions Exemple : Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons par barreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ». Dans une embarcation armée - en pointe, le rameur tire un aviron des deux mains - en couple, chaque rameur a deux avirons. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ? MAIS

75 C. Règles de rédaction sur la forme
3. Questions C. Règles de rédaction sur la forme R12: Regrouper dans l’amorce les éléments commun aux solutions proposées Exemple : La température de solidification d ’une matière est : 1. inférieure à la température de fusion de cette matière. 2. égale à la température de fusion de cette matière. 3. supérieure à la température de fusion de cette matière. La température de solidification d’une matière est 1. inférieure 2. égale 3. supérieure à sa température de fusion. MAIS

76 D. Règles de rédaction des solutions proposées
3. Questions D. Règles de rédaction des solutions proposées R13: Indépendance syntaxique des solutions Exemple : Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde 2. Le triceps 3. Au contraire, le biceps 4. En plus, le cubitus de la main.

77 R14: Indépendance sémantique des solutions
3. Questions D. Règles de rédaction des solutions proposées R14: Indépendance sémantique des solutions Exemple : Une solution d’eau salée en sel de cuisine peut descendre sans geler jusqu’à une température de 1. 0° centigrades 2. -2° centigrades 3. -4° centigrades 4. -6° centigrades Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.

78 Transgression de la règle 14 «  les solutions proposées doivent être sémantiquement indépendantes les unes des autres » (Diamond & Evans, 1972) La population de la ville de Frankton est inférieure à 1. 50 mille habitants 2. 60 mille habitants 3. 70 mille habitants 4. 80 mille habitants 45%

79 Mêmes mots communs avec l’amorce.
3. Questions D. Règles de rédaction des solutions proposées R15: Égalité des mots communs à la solution et à l’amorce Exemple : Quel est le nom de l’organisme de police internationale ? 1. CIA 2. FBI 3. Interpol 4. SAS Mêmes mots communs avec l’amorce.

80 Transgression de la règle 15 « même mots communs avec l’amorce » (Marshall & Hales, 1971)
Le Parti National Augustin a son quartier général à 1. Camdem, dans le new jersey 2. St Augustin, en Floride 3. Palo Alto, en Californie 4. Dallas, au Texas 66% et 82%

81 D. Règles de rédaction des solutions proposées
3. Questions D. Règles de rédaction des solutions proposées R16: Égalité de vraisemblance des solutions Exemple : Quel groupe sanguin est « receveur universel » ? 1. A 2. B 3. AB 4. O 5. AO

82 R17: Même longueur pour toutes les solutions
3. Questions D. Règles de rédaction des solutions proposées R17: Même longueur pour toutes les solutions Exemple : Le mot « spinaker » désigne : 1. Un chien écossais 2. Une voile triangulaire de grande surface, légère et très creuse, que les yachts envoient dans la marche au vent arrière 3. Un chant tyrolien 4. Un instrument de musique La solution correcte ne doit pas être systématiquement plus longue que les autres.

83 Transgression de la règle 17 « même complexité : la solution correcte ne doit pas être systématiquement plus longue que les autres » (Diamond & Evans, 1972) La loi Davis (XIX° siècle) 1. Fournit de l’argent aux écoles. 2. Abolit une loi précédente 3. Interdit la fabrication, la vente, le transport ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales. 4. Augmenta le salaire des agents de l’état. 53%

84 D. Règles de rédaction des solutions proposées
3. Questions D. Règles de rédaction des solutions proposées R18: Même complexité pour toutes les solutions Exemple : Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ? 1. Couper l’arrivée du gaz au compteur 2. Téléphoner aux pompiers 3. Evacuer les enfants 4. 1 et 2 5. 1, 2 et 3

85 R19: Même degré de généralité
3. Questions D. Règles de rédaction des solutions proposées R19: Même degré de généralité Exemple : Le terme épicéa désigne 1. Tous les arbres résineux. 2. Tous les pins. 3. Certains types de pins. Même niveau de généralité dans les indicateurs (temps, modificateurs, …)

86 Transgression de la règle 19 « même niveau de généralité dans les indicateurs (temps, modificateurs …) » (Marshall & Hales, 1972) Herman Klavemann est célèbre parce que 1. Il a développé toutes les échelles musicales utilisées en occident. 2. Il a composé toutes les sonates pendant la période romantique. 3. Il a traduit tous les classiques russes en anglais. 4. Il a inventé l’épingle de sûreté. 50%

87 D. Règles de rédaction des solutions proposées
3. Questions D. Règles de rédaction des solutions proposées R20: Même degré de technicité Exemple : Dans l’islam chiite, un ayatollah est 1. Un imam 2. Un uléma 3. Une autorité religieuse 4. Un derviche Même degré de technicité du vocabulaire dans toutes les solutions proposées.

88 Règles de rédaction proposées par le SMART
3. Questions Règles de rédaction proposées par le SMART R22: Signes en toutes lettres R21: Ordre croissant et décroissant Règles de cohérence dans le test R26: Uniformisation des ponctuations dans le test R28: Ne pas induire la réponse à une autre questions du test R23: Termes identiques pour une même idée Règles des solutions proposées R24: Consensus sur le caractère correct ou incorrect des solutions R25: Équilibre entre les solutions positives et négatives R27: Éviter de connoter les solutions

89 4. Entraînement Gilles 2002; Gilles & al

90 Entraînement TIMI + Guess BVE
4. Entraînement | Outils Entraînement In situ Via Internet TIMI + Guess LOM BVE

91 Entraînement aux procédures : Degrés de Certitude (DC)
4. Entraînement | Guess Entraînement aux procédures : Degrés de Certitude (DC)

92 4. Entraînement | TIMI

93 Accédez à la démonstration de TIMI
4. Entraînement | TIMI | DEMO Accédez à la démonstration de TIMI DEMO

94 Accédez au TEST en cliquant sur
4. Entraînement | TIMI | Connexion Accédez au TEST en cliquant sur

95 4. Entraînement | TIMI | Feedbacks étudiants

96 4. Entraînement | TIMI | Feedbacks étudiants

97 Taux d’exactitude (axe des y): Probabilité de réussite (axe des x) :
4. Entraînement | TIMI | Feedbacks RC : réponses correctes RI : Réponses incorrectes Taux d’exactitude (axe des y): Exactitude des questions du test pour l’évalué Probabilité de réussite (axe des x) : Probabilités de réussite choisie par l’évalué Plus le rectangle orange est proche de la droite, plus il est proche du réalisme « parfait » Sur l'axe des x sont reprises les classes de certitude. Dans chaque classe nous utiliserons la valeur centrale calculée mathématiquement. Pour chaque classe, nous allons reporter les valeurs du tableau des certitudes de l'étudiant évalué telles qu'il les a annoncés. Par exemple, 2 réponse avec une certitude de "0" (ou 0-25% soit une valeur centrale de 12,5%), 1 réponse avec une certitude de "1" (ou 25-50% soit une valeur centrale de 37,5%), etc. Sur l'axe de des y sont repris les résultats de l'étudiant en pourcentage de réponses correctes pour chaque classe de certitude. Dans notre exemple, 50% de réussite dans la classe 0-25%, 100% de réussite dans la classe 25-50%, 0% dans la classe 50-70%, 90.9% dans la classe 70-85%, etc. A chacune des intersections x-y est représenté un logo entouré des classique "moustaches" de distribution, qui situe l'étudiant par rapport à la droite de réalisme idéal dessinée avec des " * * * * * ". Plus le logo est proche de cette droite idéale, plus le réalisme de l'étudiant pour cette classe de certitude sera bon. Dans notre exemple, l'étudiant se sous-estime dans les classes 0-25%, 25-50% et 70-85%. Il se surestime dans les classes 50-70% et 85-95%. Ces données sont toutes fois à pondérer compte tenu des pourcentages de réponses correctes étant soit de 0% soit de 100%. L'indice de réalisme de 77 reflète bien le réalisme moyen de cet étudiant. une centration de -5, montre un net manque de centration. Cet étudiant se sous-estime dans les basses classes de certitudes et se sur-estime dans les hautes classes de certitudes. Pour améliorer son réalisme et son score, il devrait retravailler les PE de compréhension, s'entraîner à utiliser les DC en général avec Guess puis pour les QCM d'oga avec TIMI. Au-dessus de la droite, l’étudiant se sous-estime En dessous de la droite, l’étudiant de sur-estime

98 4. Entraînement | TIMI | Feedbacks enseignants
r.bis

99 4. Entraînement  Information
Dans Exams…

100 4. Information 4. INFORMATION Gilles 2002; Gilles & al

101 4. Information des évalués
Expliquer les procédures d’évaluation et les conditions de l’examen Lier des fichiers, … Proposer des entraînements 4. Information des évaluateurs Un suivi qualitatif des apprentissages de son groupe d’étudiants

102 La plate-forme Exams : Les tests formatifs

103 Informer les étudiants :
vers un « engagement docimologique »

104 La plate-forme ExAMS : Les tests formatifs

105 Un suivi des tests formatifs
La plate-forme ExAMS : Un suivi des tests formatifs

106 Produit de cette 4ème étape :
4. Information Produit de cette 4ème étape : des informations en ligne ainsi que des tests d’entraînement

107 5. Testing Gilles 2002; Gilles & al

108 5. Testing

109 Produit de cette 5ème étape :
5. Testing Produit de cette 5ème étape : un questionnaire d’examen « papier crayon » ou électronique

110 Vidéo, documents disponibles par lien web
5. Testing | Etudiant Livre ouvert QCM SGI Vidéo, documents disponibles par lien web Degrés de certitude

111 5. Testing Dans Exams… En live

112 6. Correction Gilles 2002; Gilles & al

113 6. Acquisition, correction et contrôle qualité des résultats
- Contrôler la qualité des questions Etablir une version finale

114 Résultats et Statistiques :
6. Correction Résultats et Statistiques :

115 Gestion Qualité du test :
6. Correction Gestion Qualité du test :

116 Gestion Qualité de l’évalué :
6. Correction Gestion Qualité de l’évalué :

117 Interprétation des rpbis à l’étape de correction d’un test
…contrôle qualité a posteriori des QCM (autre ppt)

118 (Gilles, 2002)

119 Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7
(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

120 Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves
Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions : Changements de réponse correcte 10 Suppressions d’une question 22 Valorisation d’un distracteur 39 TOTAL 71 Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité) (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

121 Produit de cette 6ème étape : une version fiable des résultats
6. Correction Produit de cette 6ème étape : une version fiable des résultats des évalués

122 7. Feedbacks Gilles 2002; Gilles & al

123 7. Feedbacks aux étudiants
Sélectionner les caractéristiques des feedbacks aux étudiants Autoriser la mise en ligne des feedbacks

124 Dans le contexte de l’enseignement supérieur,
7. Feedbacks Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages … Travaux Portfolio Epreuves écrites Examens oraux … Stages Auto-évaluations Performances Feedbacks Individualisés Diagnostiques Rapides Précis

125 Face à des centaines d’étudiants, comment fournir rapidement
7. Feedbacks Face à des centaines d’étudiants, comment fournir rapidement des feedbacks individualisés, précis et diagnostiques ?

126 7. Feedbacks Cliquez ici

127 Description de l’évaluation
7. Feedbacks Description de l’évaluation Données de Base

128 Aide à l’interprétation
7. Feedbacks Score global Résultats par processus mentaux Résultats par rubriques matières Evidement le score global obtenu à l’épreuve obtenu par l’étudiant. Puis ses résultats par processus mentaux et par rubriques matières. La possibilité d’obtenir une aide pour l’interprétation de cette feuille de résultats. Et enfin, un dernier lien qui permet à l’étudiant de revoir le questionnaire de l’évaluation et donc de relire les questions et de les mettre en lien avec le détail de ses réponses et performances. Aide à l’interprétation Questionnaire de l’examen Feedbacks diagnostiques via internet : un système individualisé de communication des niveaux de performances des étudiants dans le cadre d’évaluations standardisées 3ème congrès des chercheurs en éducation – 16 et 17 mars Jean-Luc GILLES

129 Questionnaire de l’examen
7. Feedbacks Questionnaire de l’examen

130 Informations relatives à la question 4
7. Feedbacks Données de base Informations relatives à la question 4 question 29

131 « Connaître de mémoire »
7. Feedbacks Résultats par processus mentaux « Connaître de mémoire » « Appliquer les concepts » Exemples :

132 Aide à l’interprétation
7. Feedbacks Aide à l’interprétation

133 Par exemple, des chapitres du cours…
7. Feedbacks Résultats par Rubriques matières Par exemple, des chapitres du cours…

134 Feedback métacognitif
7. Feedbacks Lorsque les pourcentages de certitude sont utilisés… Feedback métacognitif Tendance à se surestimer… Aucune utilisation des degrés de certitude 0, 1 et 5.

135 Aide à l’interprétation
7. Feedbacks Aide à l’interprétation

136 pics de consultations hors l'ULg pics de consultations à l'ULg
7. Feedbacks pics de consultations hors l'ULg ULg pics de consultations à l'ULg hors ULg Ce graphique montre les consultations par les étudiants des feedbacks via internet en fonction des heures du jour. La courbe bleue montre les consultations depuis les ordinateurs connectés à l’internet qui se trouvent sur le campus de l’université de Liège, les consultations depuis les ordinateurs qui se trouvent dans les différentes salles informatisées de l’université. La courbe rose montre les consultations en fonction des heures du jour depuis des machines connectées à l’internet qui se trouvent à l’extérieur de l’ULg, par exemple au domicile ou au kot de l’étudiant. On remarque deux pics de consultations à l’ULg aux alentours de midi et de 17h00 (+/- la fin des cours). Hors ULg, il y a aussi un pic aux alentours de midi et un second vers 21h00. On voit clairement que une baisse de consultation des feedbacks à l’ULg après 12h00 avec une augmentation des consultations à l’extérieur de l’ULg après midi jusqu’au environs de 21h00 après quoi le nombre de consultations diminue. (Gilles, 2004)

137 Produit de cette 7ème étape :
7. Feedbacks Produit de cette 7ème étape : des feedbacks individualisés, précis et diagnostiques pour chaque évalué

138 8. Macro-régulation Gilles 2002; Gilles & al

139 Proposer des améliorations
8. Macro-régulation 8. Macro-régulation Sélectionner des critères de qualité et les croiser avec les produits finaux des différentes étapes Proposer des améliorations

140 L’étape de macro-régulation :
Les huit premières étapes développées semblent être linéaire et s’enchaîner en une suite logique. Dans la réalité, il n’en va toutefois pas de même. Les mouvements de va et viens entre les différentes étapes ne sont pas rares et sont même parfois souhaitable. L’étape de macro-régulation : recueillir de l’information sur le déroulement de l’évaluation, ce qui doit permettre un jugement critique dont le but est de prendre des décisions quant à l’amélioration de futurs processus d’évaluation voire des enseignements

141 3 facettes d’un enseignement peuvent être évaluées : - Le cours
8. Macro-régulation | Outil | e-NGELS Évaluation des enseignements à travers la récolte des avis des étudiants 3 facettes d’un enseignement peuvent être évaluées : - Le cours - L’examen et les procédures d’évaluation des acquis - Les Travaux Pratiques (TP), Travaux Dirigés (TD), Cliniques (CL) Outil de récolte des données

142 8. Macro-régulation | Outil | e-NGELS | Etudiant

143 8. Macro-régulation | Outil | e-NGELS | Enseignant
Les données privées concerne un enseignement mis en évidence pas la zone grisée Un espace dédié aux enseignants afin de leur permettre de consulter les données récoltées pour les enseignements dont ils ont la charge

144 8. Macro-régulation 1ère candidature 1997-1998 (n=227)
Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) 6 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 5 1ère candidature (n=250) 2ème candidature (n=134) 4 Moyennes des avis 3 2 1 [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... [1.3] Les questions étaient claires [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [1.1] Le mode d'évaluation était adéquat [1.4] Questions bien adaptées à la matière [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [2.4] L'horaire fixé pour l'examen est respecté [1.6] L'évaluation est équitable et impartiale [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [1.2] L'entraînement avant l'examen était suffisant [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.1] Les exigences de l'enseignant sont clairement présentées (Gilles, 2002)

145 Produit de cette 8ème étape :
8. Macro-régulation Produit de cette 8ème étape : Une série de pistes d’amélioration de la qualité pour le prochain examen

146 Merci pour votre attention !
Pour toute information complémentaire n’hésitez pas à prendre contact :

147 La vigilance cognitive
2. Design La vigilance cognitive Aller spontanément au-delà du donné, accéder à l’implicite, détecter les pièges, les incohérences, les lacunes, les contradictions sans être mis sur la voie et donc lutter contre les messages implicites tel que « Quand on vous pose une question, il faut répondre », « Quand une question est posée, il existe une et une seule bonne réponse » ou « Une question posée par l’autorité est forcément bien posée ». (Leclercq, 1999)