L’évaluation des apprentissages : partage d’expériences, repères conceptuels, et exemples d'application (Personne ressource : Jean Jouquan Faculté de médecine, Université de Bretagne Occidentale, Brest)

Evaluation de l’enseignement (formations) Outcome-based education Institutions (Politiques) Programmes (Curriculum) Cours et/ou stages (Interventions) Evaluation de l’enseignement (formations) Evaluation Evaluation des apprentissages (étudiants) Connaissances (Ce que l’on sait) Compétences (Ce que l’on sait faire) Performances (Ce que l’on fait) Conséquences, impact

L ’ÉTUDIANT Besoins de formation Objectifs éducationnels Évaluation des apprentissages Objectifs éducationnels L ’ÉTUDIANT Activités d’ enseignement Activités d’apprentissage

« Evaluation drives curriculum » G. Miller, 1961 «  Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …Si vous voulez savoir ce que font les étudiants, regardez les examens» G. Norman, 1991

Plusieurs études concordantes en pédagogie universitaire montrent que, durant leurs études, un nombre significatif d’étudiants ont des difficultés à : Lire d’une façon active Sélectionner les idées importantes Faire des liens avec ce qu’ils savent déjà Dépasser la mémorisation pure (« par cœur ») Evaluer leur compréhension des nouvelles informations Réviser autrement qu’en tout relisant Ajuster leurs stratégies d’apprentissage au type d’examen à passer Pressley M et al. G. Some of the reasons why preparing for exams is so hard: What can be done to make it easier? Educ Psycho Rev 1997 ; 9 : 1-38.

- soulignement de phrases ou mots dans le texte : 27% Stratégies d’apprentissage utilisées par 487étudiants candidats aux études de médecine à l’Université d’Helsinki. ( étudiants considérés comme plutôt brillants :75% avaient obtenus de très bonne notes pendant leurs études secondaires) - simple lecture : 12% - soulignement de phrases ou mots dans le texte : 27% - résumés reprenant le strict verbatim des textes : 34% - résumés des textes utilisant leur propre vocabulaire : 20% - réalisation d’un schéma de synthèse : 7% Lahtinen V et al. Spontaneous study strategies and the quality of knowledge construction. Br J Educ Psychol 1997 ; 67 : 13-24.

Résolution de problèmes Répétition Reformulation des informations dans les mêmes termes Répétition silencieuse des informations Soulignement des mots-clés et des idées importantes Transcription et prise de notes Elaboration Reformulation des informations dans des termes différents (en ajoutant de l’information personnelle aux nouvelles connaissances) Résumés utilisant son propre vocabulaire, établissant des liens avec ce que l’on savait déjà du sujet Elaboration de questions Formulation d’analogies, d'exemples, de contre-exemples Organisation Hiérarchisation, catégorisation et transformation des informations Identification des idées principales Catégorisation des informations Construction de documents de synthèse (tableaux, graphiques, schémas) Résolution de problèmes Sélection et manipulation d'informations en fonction d'un but (comprendre et résoudre un problème) Sélection d'informations Choix de méthodes Application de ces informations à la compréhension et à la résolution de problèmes Etablissement de séquences

L’évaluation est une pratique pédagogique Apprentissage Enseignement Evaluation Etudiant L’évaluation est une pratique sociale

Définition générale de la démarche évaluative 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées) 2 -Interpréter ces informations afin de porter un jugement 3- Dans le but de prendre une décision

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1) L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2) L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites) « très bon stage » « travail insuffisant » « étudiant intelligent très motivé »

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3) La mesure (recueil d’informations) est confondue avec la note (formalisation codifiée de la décision) Le résultat d’une mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

Définition générale de la démarche évaluative 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées) 2 -Interpréter ces informations afin de porter un jugement (de valeur) 3- Dans le but de prendre une décision

3. Dans le but de prendre une décision Ajuster des stratégies d ’apprentissage et d ’enseignement EVALUATION FORMATIVE Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure EVALUATION SOMMATIVE Délivrer une autorisation d ’exercice professionnel EVALUATION CERTIFICATIVE (Licence et/ou certification)

1.Recueillir des informations La perspective DOCIMOLOGIQUE de l ’évaluation La perspective de l ’évaluation « AUTHENTIQUE » Les informations relatives aux apprentissages doivent résulter d’une mesure La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés Clivage entre les situations d ’apprentissage et les situations d ’évaluation Les informations relatives aux apprentissages résultent de procédures éclectiques Les critères de rigueur sont ceux de l’approche qualitative en sciences humaines et sociales Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants Enchâssement de l’évaluation dans les situations d’apprentissage

2. Interpréter ces informations afin de porter un jugement Nécessité d ’adosser le processus d ’évaluation à un cadre conceptuel Evaluation à interprétation normative : Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme. Evaluation à interprétation critériée : Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants

Problème à résoudre Problème simple (well structured problem) tous les indices sont disponibles d ’emblée la solution requiert des tâches familières peuvent être résolus avec un haut degré de certitude les experts s’accordent sur la nature de la solution correcte Problème complexe (ill structured problem) les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée le problème évolue au cours de son investigation la solution n ’est pas standardisée mais unique ne peuvent pas être résolus avec un haut degré de certitude Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu But visé : appliquer la « bonne » solution But visé : élaborer et argumenter l’une des solutions raisonnables possibles

Questions à réponse ouverte et courte (QROC) Tâches académiques Questions à réponse ouverte et courte (QROC) Questions à choix multiples (QCM) Cartes conceptuelles (Concept mapping)

Questions à choix multiple (1960) Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir Points forts Objectivité grande Validité de contenu possiblement élevée Fidelité Correction automatisable Points faibles Validité de construit faible Explore essentiellement des connaissances déclaratives décontextualisées Favorise des apprentissages superficiels et peu transférables Elaboration difficile et souvent caricaturale

Cartes conceptuelles (Concept mapping) 1990 Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement. Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques. Points forts Permet d ’accéder à l ’organisation des connaissances Favorise des apprentissages en profondeur Outil puissant pour dépister les conceptions erronées Contextualisation à un problème de santé possible Validité de contenu vraisemblable Points faibles Outil d ’évaluation sommative récent Recherche évaluative encore restreinte. N ’évalue pas les connaissances procédurales.

Grégoire, DCEM1 Carte conceptuelle Extrait Manque de communication dans l’équipe soignante liés à un L ’information du malade : (annoncer une « mauvaise nouvelle ») se heurte à des Obstacles a trait aux a trait au investigations a trait au a trait au dus à des dus à la dus à des diagnostic traitement pronostic Situation particulière du patient « Mentalités » particulières Mécanismes de défense liée à sa liée à son liée à sa famille telles que le vécu présents chez le présents chez le telles que le culture malade médecin Paternalisme médical Conformisme du patient : signale les concepts ou « items » illustrés dans la situation d’étude

une relation médecin-malade fondée sur la Confiance secret professionnel famille qui est opposable à la Respect de L’autonomie du patient une relation médecin-malade fondée sur la Confiance qui prévoit l’information de qui prescrit le est essentielle pour le Code de déontologie Charte du malade hospitalisé Code pénal est essentielle pour Contraintes matérielles (temps, locaux, disponibilité) telles que liés à des telles que telles que qui prescrit une information L ’information du malade : (annoncer une « mauvaise nouvelle ») doit prendre en compte des se heurte à des Dispositions réglementaires Obstacles a trait aux a trait au liés à un Manque de communication dans l’équipe soignante claire a trait au a trait au appropriée investigations exige la mise en œuvre de diagnostic loyale dus à des dus à la dus à des traitement pronostic Stratégies Situation particulière du patient préservant l’ Mécanismes de défense « Mentalités » particulières prévoyant un espérance intégrant la Environnement adapté utilisant un respectant le durée liée à son présents chez le liée à sa telles que le telles que le présents chez le liée à sa Plan de discussion contrôle de la vitesse de fourniture de l’information par le patient malade médecin famille culture vécu Paternalisme médical Conformisme du patient tel que tel que tel que tel que Sublimation tel que tel que fausse réassurance tel que Déni tel que tel que mensonge tel que Déplacement évitement Agressivité rationalisation Régression fuite en avant : signale les concepts ou « items » illustrés dans la situation d’étude

Portfolio 1995 Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,.... -une analyse réflexive développée à partir de cette banque documentaire. Points forts Authenticité Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente) Favorise des apprentissages en profondeur Coût faible Points faibles Processus d ’implantation long Exigences pédagogiques contraignantes (supervision/tutorat) Convient parfois mal au style d ’apprentissage de certains étudiants Nécessite une acceptation et une maîtrise du paradigme « qualitatif »

Perspective traditionnelle Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Logique d ’enseignement Perspective docimologique Approche didactique Corollaires Les tâches d’apprentissage réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ’ils maîtrisent.  Standardisation Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit.  Externalisation La rigueur du processus d ’évaluation doit pouvoir être démontrée « expérimentalement ».  Mesure

Théorie de la formation Théorie de l ’évaluation Perspective alternative Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Approche systémique Logique d ’apprentissage Perspective de l’évaluation authentique Corollaires Les tâches d’apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent. Contextualisation Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Récurrence et interaction Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer) Eclectisme

8 recommandations pragmatiques Utiliser plusieurs outils d’évaluation des apprentissages Tâches standardisées et tâches authentiques Tâches explorant à la fois le processus et le résultat Utiliser chaque outil plusieurs fois au cours d’une séquence d’enseignement Echantillon varié et représentatif de « situations contextualisées » Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. Cotation selon jugement global vs cotation avec check-list

8 recommandations pragmatiques Utiliser des procédures d ’évaluation cohérentes avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants. Problèmes complexes vs problèmes simples Lorsque des interactions avec des personnes sont exploitées pour l’évaluation des apprentissages en stage Observer directement l’étudiant pendant son interaction Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé

8 recommandations pragmatiques Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, …) Rendre explicite aux étudiants, dès le début de la séquence de formation, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite. Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales

Dispositifs de formation fondés sur une logique d’enseignement Dispositifs de formation fondés sur une logique d’apprentissage Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,… Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur Le professeur est conçu avant tout comme un facilitateur des apprentissages L'enseignement, l'apprentissage et l'évaluation sont séparés L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages Les apprentissages sont mesurés indirectement grâce à des tests standardisés Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble

Pour optimiser la « validité/crédibilité » du jugement : Les « tendances lourdes » actuelles en matière d’évaluation des apprentissages Pour optimiser la « validité/crédibilité » du jugement : Multiplier les sources d’informations sur les apprentissages Privilégier la récurrence des moments d’évaluation Pour optimiser la « fidélité/fiabilité» du jugement : Envisager l’enseignement, l’apprentissage et l’évaluation des différentes dimensions de la compétence d’emblée de façon intégrée Privilégier d’emblée l’authenticité des contextes d’enseignement, d’apprentissage et d’évaluation des apprentissages Pour optimiser globalement la pertinence du jugement : Logique de validation de processus plutôt que : Logique de démonstration expérimentale

Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989) Concernant la conception des modalités d’évaluation -La production est destinée à un jury -Il n’y a aucune contrainte de temps fixée arbitrairement -La tâche et ses exigences sont connues avant la situation d’évaluation -L’évaluation peut exiger une certaine forme de collaboration avec les pairs -Les tâches d’évaluation sont récurrentes Concernant l’orientation cognitive des tâches -L’évaluation n’inclut que des tâches contextualisées -L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques -L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants -L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

Caractéristiques des évaluations « authentiques » (2) (Adapté d’après Wiggins, 1989) Concernant les critères de correction -La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences -Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée -L’auto-évaluation fait partie de l’évaluation -Les critères de réussite sont démystifiés pour l’étudiant Concernant l’éthique et la déontologie -L’évaluation doit déterminer les forces des étudiants -Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés -L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants -Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés -L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

Définition de la compétence Un « savoir-agir » complexe … prenant appui sur la mobilisation et la combinaisson efficaces … d’une variété de ressources internes et externes … à l’intérieur d’une famille de situations Tardif J. L’évaluation des compétences. Documenter le parcours de développement Montréal: Chenelière Education, 2006

Savoir faire vs. Savoir agir Caractère algorithmique Caractère heuristique Automatisable Difficilement automatisable Exerçable en dehors de tout contexte Impossible à mettre en œuvre hors contexte Parfois compliqué Par nature complexe Tardif J. L’évaluation des compétences. Documenter le parcours de développement Montréal: Chenelière Education, 2006

Ressources internes et externes D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement Montréal: Chenelière Education, 2006 Modèle de développement Étape de développement 1 Étape de développement 2 Étape de développement 3 Apprentissages critiques Saut s de réorganisation qualitative Obstacles au développement Trajectoire de développement Tâches intégratives Ressources internes et externes Familles de situations Contextes professionnels Critères Indicateurs Rubriques Cohérence , authenticité et puissance des tâches Exigence de pluri –inter voire trans- disciplinarité Possibilité de rétro-action Référence à des dimensions jugées essentielles Descripteurs multidimensionnels et mutiréférentiels

Ressources internes et externes D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement Montréal: Chenelière Education, 2006 Modèle de développement Étape de développement 1 Étape de développement 2 Étape de développement 3 DERIVES Etapes définies en référence à la détermination de fréquences ou de variations de quantité Trajectoire de développement indifférenciées selon les étudiants Tâches intégratives Ressources internes et externes Familles de situations Contextes professionnels Critères Indicateurs Rubriques DERIVES Référence à des checklists de comportements Développement défini de manière linéaire en référence à des scores DERIVES Évaluation d es ressources en elles-mêmes Evaluation décontextualisée