Définition générale de la démarche évaluative

Présentation au sujet: "Définition générale de la démarche évaluative"— Transcription de la présentation:

1 Définition générale de la démarche évaluative
1- Recueillir des informations relatives aux apprentissages effectués (compétences développées) 2 -Interpréter ces informations afin de porter un jugement 3- Dans le but de prendre une décision

2 Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1)
L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

3 Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2)
L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites) « très bon stage » « travail insuffisant » « étudiant intelligent très motivé »

4 Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3)
La mesure est confondue avec la note Le résultat d’une mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

5

6 2.Interpréter ces informations afin de porter un jugement
Evaluation à interprétation normative Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme. Décision fondée sur la performance relative de l’étudiant par rapport à la performance du groupe. Evaluation à interprétation critériée Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants. Décision fondée sur la performance de l’étudiant par rapport à des critères prédéterminés

7 2. Interpréter ces informations afin de porter un jugement
Nécessité d ’adosser le processus d ’évaluation à une (plusieurs) théorie(s) Théorie de l ’évaluation Ex : La perspective docimologique postule : la « décomposabilité » et la « normativité » des compétences Théorie de la formation Ex : Le paradigme d ’enseignement postule : la « fixité » et la « stabilité» des connaissances Théorie de l  ’expertise professionnelle Ex : Certaines procédures d ’évaluation standardisées peuvent « surcoter » des comportements novices par rapport à des comportements experts

8 3. Dans le but de prendre une décision
Ajuster des stratégies d ’apprentissage et d ’enseignement EVALUATION FORMATIVE Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure EVALUATION SOMMATIVE Délivrer une autorisation d ’exercice professionnel EVALUATION CERTIFICATIVE (Licence ou certification)

9 Apprentissage Enseignement Etudiant Evaluation

10 « Evaluation drives curriculum »
G. Miller, 1961 «  Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation» G. Norman, 1991

11 Fondements de l’évaluation des apprentissages
1. Approche centrée sur les différences individuelles ( ) (Approche endogène) Objet central de la démarche : -Les aptitudes, l’intelligence de l’individu Changement observé : -Les habiletés reliées aux aptitudes ou à l’intelligence -Traits unidimensionnels -Interprétation normative (position de l’individu par rapport aux autres) Postulat : -La somme des réponses aux questions est un indicateur suffisant de l’importance du changement

12 Fondements de l’évaluation des apprentissages
2. Approche entrée sur un contenu externe à l’individu ( ) (Approche exogène) Objet central de la démarche : -Le contenu du programme d’étude Changement observé : -Les objectifs pédagogiques -Traits unidimensionnels -Interprétation critériée (individu en rapport avec la tâche) Postulat : -La nombre d’objectifs réussis est un indicateur suffisant de la performance (amplitude du changement)

13 Fondements de l’évaluation des apprentissages
3. Approche centrée sur le développement de la personne (2000-…) (Approche écologique) Objet central de la démarche : -L’interaction personne/environnement Changement observé : -L’adaptation à l’environnement (prévisible et imprévisible) -Traits multidimensionnels -Interprétation à partir du profil de fonctionnement de l’individu dans un contexte donné (contrôlé ou aléatoire) Postulat : -Le contexte influence (positivement ou négativement) l’accomplissement d’une tâche -La démarche évaluative doit solliciter des contextes « authentiques »

14

15      Compétence clinique Raisonnement clinique
Attitudes Habiletés Connaissances Raisonnement clinique (Résolution de problèmes) Connaissances hautement organisées Processus de contrôle de haut niveau   Performances cliniques  Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

16 Questions à choix multiple (1960)
Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir Points forts Objectivité grande Validité de contenu possiblement élevée Fidelité Correction automatisable Points faibles Validité de construit faible Explore essentiellement des connaissances déclaratives décontextualisées Favorise des apprentissages superficiels et peu transférables Elaboration difficile et souvent caricaturale

17 Cartes conceptuelles (Concept mapping) 1990
Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement. Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques. Points forts Permet d ’accéder à l ’organisation des connaissances Favorise des apprentissages en profondeur Outil puissant pour dépister les conceptions erronées Contextualisation à un problème de santé possible Validité de contenu vraisemblable Points faibles Outil d ’évaluation sommative récent Recherche évaluative encore restreinte. N ’évalue pas les connaissances procédurales.

18 Grégoire, DCEM1 Carte conceptuelle Extrait
Manque de communication dans l’équipe soignante liés à un L ’information du malade : (annoncer une « mauvaise nouvelle ») se heurte à des Obstacles a trait aux a trait au investigations a trait au a trait au dus à des dus à la dus à des diagnostic traitement pronostic Situation particulière du patient « Mentalités » particulières Mécanismes de défense liée à sa liée à son liée à sa famille vécu telles que le présents chez le présents chez le telles que le culture malade médecin Paternalisme médical Conformisme du patient : signale les concepts ou « items » illustrés dans la situation d’étude

19 une relation médecin-malade fondée sur la Confiance
secret professionnel famille qui est opposable à la Respect de L’autonomie du patient une relation médecin-malade fondée sur la Confiance qui prévoit l’information de qui prescrit le est essentielle pour le Code de déontologie Charte du malade hospitalisé Code pénal est essentielle pour Contraintes matérielles (temps, locaux, disponibilité) telles que liés à des telles que telles que L ’information du malade : (annoncer une « mauvaise nouvelle ») qui prescrit une information doit prendre en compte des se heurte à des Dispositions réglementaires Obstacles a trait aux a trait au liés à un Manque de communication dans l’équipe soignante claire a trait au a trait au appropriée investigations exige la mise en œuvre de diagnostic loyale dus à des dus à la dus à des traitement pronostic Stratégies Situation particulière du patient préservant l’ Mécanismes de défense « Mentalités » particulières prévoyant un espérance intégrant la Environnement adapté utilisant un respectant le durée présents chez le liée à sa liée à son telles que le telles que le présents chez le liée à sa Plan de discussion contrôle de la vitesse de fourniture de l’information par le patient malade médecin famille culture vécu Paternalisme médical Conformisme du patient tel que tel que tel que tel que Sublimation tel que tel que fausse réassurance tel que Déni tel que tel que mensonge tel que Déplacement évitement Agressivité rationalisation Régression fuite en avant : signale les concepts ou « items » illustrés dans la situation d’étude

20 Grilles d’évaluation comportementales 1980
Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale. Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9). Points forts Instrument facile à utiliser Peu consommateur de temps Plusieurs dimensions appréciées sur un même période de temps Des grilles peuvent être adaptées à l ’évaluation par des pairs ou par des patients Points faibles Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9) Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres Critères parfois peu standardisés voire non directement observés.

21 Patients standardisés et ECOS 1975
Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d ’un patient. Les activités d ’interrogatoire, d ’examen physique, d ’éducation et de conseil de l ’étudiant sont appréciées à l ’aide de « checklists », d ’échelles de cotation élémentaires ou globales. Des tâches procédurales complémentaires exploitant divers matériels (Mannequins, RX, Labo, ECG,…) sont prescrites et côtées . L ’ensemble fait l ’objet de « stations » d ’évaluation (isolées ou complémentaires) codifiées. Points forts Evaluation de l’interrogatoire, de l’examen physique et des habiletés de communication. Fidélité et validité (de contenu+, de construit +/-) sous certaines conditions Observation directe Standardisation et planification possibles Environnement « contrôlé ». Points faibles Compétences logistiques difficile à homogénéiser Caractère non complètement authentique Pénalisation des étudiants « experts » Fidélité médiocre pour les tâches de haut niveau (raisonnement clinique, jugement et décision) Exigences docimologiques contraignantes Vécu parfois « stressé » des étudiants Coût

22 Grilles d’évaluation longitudinale 1980
Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale. Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9). Points forts Instrument facile à utiliser Peu consommateur de temps Plusieurs dimensions appréciées sur un même période de temps Des formulaires peuvent être adaptées à l ’évaluation par des pairs ou par des patients Points faibles Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9) Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres Critères parfois peu standardisés voire non directement observés.

23 Clinical Evaluation Exercise (CEX) ou mini CEX 1990
L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion. Rétro-action + Echelle d ’évaluation à 9 points Points forts Observation directe Objectivité Coût minime Vrais patients Interaction directe « enseignant-étudiant » Satisfaction élevée des étudiants Points faibles Fidélité inter-correcteur médiocre Discrimination faible entre étudiants faibles et forts Validité externe (généralisabilité) faible Nécessité de répétition ( 10 à 14 séances) Consommation de temps

24 Test de concordance de script 1998
. Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse. Points forts Evaluation objective du processus et non pas seulement du résultat du raisonnement clinique Authenticité de la situation cherchée (problèmes mal structurés) Validité de construit et validité prédictive documentées Facilité raisonnable de mise en œuvre Coût acceptable Points faibles Conception un peu normative du raisonnement clinique Se réfère à une décomposabilité du processus de raisonnement clinique

25 Analyse de « cas cliniques » Patient Management Problem (PMP) 1967 Sequential Management Problem (SMP) 1974 Modified Essay Question (MEQ) 1975 Dossier clinique (sous forme « papier » ou « numérique ») dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l ’étudiant, après chacune de ses réponses (ouvertes ou fermées) Comparaison de la démarche employée par l ’étudiant à celle d ’un groupe de référence ou d ’un expert. Formulation de l ’appréciation à l ’aide de scores +/- combinés. Points forts Objectivité dans l ’appréciation d ’un « raisonnement ». Points faibles Hétérogénéité des formats Effet « indice » Nature « comptable » des scores Pénalisation des étudiants « experts » Validité externe (généralisabilité) très médiocre (spécificité de contenu).

26 Objective Structured Long Examination Record (OSLER) 1987
L’étudiant est observé par 2 examinateurs pendant qu ’il interroge et examine un patient puis il argumente sa prise en charge. Les examinateurs fondent leur jugement en appréciant 10 items (dont 4 concernent l’interrogatoire, 3 l ’examen physique, 1 la démarche d ’investigation, 1 la gestion et le jugement clinique. Chaque item fait l ’objet d ’une cotation (en 3 grades) et d’une note ( en 9 paliers de 35 à 80), étayée par des descripteurs critériés. Les problèmes sont classés en trois niveaux de difficultés. Au total 138 possibilités théoriques de cotation sont disponibles. Points forts Observation directe Authenticité de la situation Objectivité Validité de contenu et de construit satisfaisante Jugement des examinateurs fortement sollicité Facilité de mise en œuvre Coût faible Points faibles Validité externe (généralisabilité) faible Consommation de temps Peu de recherche évaluative

27 Audits de dossiers médicaux 1985
Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées. Une rétro-action est éventuellement développée à l ’égard de l ’étudiant. Points forts Disponibilité immédiate du matériel Information directement pertinente par rapport à la prise en charge du patient Evaluation des pratiques de prévention, de l ’examen physique, de l ’utilisation stratégique des examens complémentaires Haut degré de fidélité si critères explicites Points faibles Qualité variable de la documentation disponible (problème de validité) Eléments souvent négligés : diagnostic, éducation du patient, procédures Non observation directe de l ’interaction « étudiant-patient » Fidélité aléatoire (inter-correcteurs)

28 Portfolio 1995 Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,.... -une analyse réflexive développée à partir de cette banque documentaire. Points forts Authenticité Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente) Favorise des apprentissages en profondeur Coût faible Points faibles Processus d ’implantation long Exigences pédagogiques contraignantes (supervision/tutorat) Convient parfois mal au style d ’apprentissage de certains étudiants Nécessite une acceptation et une maîtrise du paradigme « qualitatif »

29

30

31 Théorie de la compétence
Théorie de la santé Théorie de la compétence Evaluation/certification des compétences cliniques Théorie de la formation Théorie de l ’évaluation

32 Théorie de la santé Prévention/maintien de la santé Soins primaires
Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants? Prévention/maintien de la santé Soins primaires Santé des populations Continuité des soins Soins communautaires Modèle bio-psycho-social Maladies/soins aigus Soins secondaires/tertiaires Santé des individus Soins intermittents/ traitement des épisodes Soins en institution Modèle bio-clinique

33 Théorie de la formation
Comment conçoit-on l’articulation de la formation par les stages et de la formation par les enseignements formels? Stages = contextes d’application de connaissances et de compétences développées ailleurs? Stages = contextes d’apprentissage, d’enseignement et d’évaluation? Comment conçoit-on la supervision clinique pendant le stage? Maître de stage = démonstrateur, vérificateur? Maître de stage = modèle de rôle professionnel explicite, médiateur, motivateur?

34 Théorie de la compétence
Favorise t-on pendant les stages des pratiques cohérentes avec les modèles de compétence que l’on veut développer? Concernant le processus de raisonnement clinique? Concernant le processus de décision médicale? … ?

35 Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)
Concernant la conception des modalités d’évaluation -La production est destinée à un jury -Il n’y a aucune contrainte de temps fixée arbitrairement -La tâche et ses exigences sont connues avant la situation d’évaluation -L’évaluation peut exiger une certaine forme de collaboration avec les pairs -Les tâches d’évaluation sont récurrentes Concernant l’orientation cognitive des tâches -L’évaluation n’inclut que des tâches contextualisées -L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques -L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants -L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

36 Caractéristiques des évaluations « authentiques » (2) (Adapté d’après Wiggins, 1989)
Concernant les critères de correction -La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences -Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée -L’auto-évaluation fait partie de l’évaluation -Les critères de réussite sont démystifiés pour l’étudiant Concernant l’éthique et la déontologie -L’évaluation doit déterminer les forces des étudiants -Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés -L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants -Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés -L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

37

38

39 Perspective traditionnelle
Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Logique d ’enseignement Perspective docimologique Approche didactique Corollaires Les tâches professionnelles réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ’ils maîtrisent.  Standardisation Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit.  Externalisation La rigueur du processus d ’évaluation doit pouvoir être démontrée « expérimentalement ».  Mesure

40 QCM ECOS Echelles Cex Compétence clinique Raisonnement clinique
Performances cliniques Connaissances hautement organisées Processus de contrôle de haut niveau Compétence clinique Attitudes Habiletés Raisonnement clinique (Résolution de problèmes) QCM ECOS Echelles « Cas cliniques » Pratiques médicales réelles Cex Modifié d ’après Newble, Norman et Van der Vleuten, 2000

41 Théorie de la formation Théorie de l ’évaluation
Perspective alternative Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Approche systémique Logique d ’apprentissage Perspective de l’évaluation authentique Corollaires Les tâches professionnelles réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent. Contextualisation Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Récurrence et interaction Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer) Eclectisme

42 Osler Compétence clinique Portfolio Raisonnement clinique4
Connaissances6 hautement organisées Processus de contrôle de haut niveau7 Performances cliniques Compétence clinique Attitudes3 Habiletés2 Connaissances1 Raisonnement clinique4 (Résolution de problèmes) Audits de dossier Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000 Portfolio 1,6.Schémas conceptuels 2,3,4.Enregistrements audio/video 2,3,4.Témoignages écrits 5,6,7.Développements réflexifs …. Osler

43 L ’introuvable « étalon or » (1) Le problème des outils pour évaluer la compétence
Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident. Holmboe ES, Hawkins RE. 1998 Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique. Newble D, Norman G, Van der Vleuten. 2000 Il n ’y a aucune méthode idéale pour évaluer la compétence médicale -Donabedian A. 2000

44 L ’introuvable « étalon or » (2) Le problème de la définition des « standards »
Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quel devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas. Kane MT, Crooks TJ et Cohen AS., 1999 La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité. Friedman BenDavid M. 2000

45 Recommandations à visée didactique
Développer les tâches d ’évaluation autour de scénarios authentiques, possédant un réel niveau de complexité. Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. Lorsque des méthodes d ’observation directe sont employées, faire verbaliser les étudiants sur le processus développé. Utiliser des systèmes de cotation simples. Exposer les étudiants à un nombre suffisant de situations

46 Recommandations à visée « écologique » et déontologique
Développer des procédures d ’évaluation/certification cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) Développer des procédures d ’évaluation/certification cohérentes avec les options pédagogiques conceptuelles du programme compte tenu des conséquences attendues chez les étudiants.

47 Dispositifs de formation fondés sur une logique d’enseignement
Dispositifs de formation fondés sur une logique d’apprentissage Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,… Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur Le professeur est conçu avant tout comme un facilitateur des apprentissages L'enseignement, l'apprentissage et l'évaluation sont séparés L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages Les apprentissages sont mesurés indirectement grâce à des tests standardisés Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble

48 Modèle indicatifde plan d’évaluation
1. But de l’évaluation Pourquoi l’évaluation Type de décision à prendre Diagnostic forces faiblesse étudiants Décision administrative Impact de la formation 2. Compétences à évaluer Aspects du contenu à évaluer Type de compétence à évaluer processus produit processus+produit Décrire: Nature des tâches problèmes simples problèmes complexes bien structurés problèmes complexes mal structurés Composantes des tâches connaissances (déclaratives/action) stratégies cognitives stratégies métacognitives stratégies psycho-affectives

49 3. Activités soumises à l’étudiant
Mode de présentation Problème écrit Questionnement audio/video Matériel concret Mise en situation Décrire: Contexte d’exécution Ressources Temps alloué Type d’interaction attendu 4. Critères d’évaluation Les rubriques Mode de correction Analytique Globale Combinée 5. Evaluateur L’enseignant L’étudiant Groupe d’expert Autre 6. Nombre d’interventions évaluatives Une fois Plusieurs fois

50 Revues générales Holmboe ES, Hawkins RE. Methods for evaluating clinical competence of residents in internal medicine : a review. Ann Intern Med 1998 ; 129 : Newble D, Norman G, Van der Vleuten. Assessing clinical reasoning. In: Clinical reasoning in the Health Professions. J Higgs and M Jones (Eds), Butterworth Heineman, Oxford : 2000. LaDuca A. Validation of professional licensure examinations. Professions Theory, Test design and construct validity. Eval Health Professions 1994 ; 17 : Tamblyn R. Is the public being protected? Prevention of suboptimal medical practice through training programs and credentialing examinations. Eval Health Professions 1994 ; 17 : Kane MT, Crooks TJ, Cohen AS. Designing and evaluating standard-setting procedures for licensure and certification tests. Adv Health Sc Ed 1999 ; 4 :

51 Guides et recommandations
Newble D, Dauphinee D, MacDonald M, Mulholland H, Dawson B, Page G, Swanson D, Thomson A, Van der Vleuten C. Guidelines for assessing clinical competence. Teach Learn Med 1994 ; 6 : Challis M. Portfolio-based learning and assessment in medical education. Med Teacher 1999 ; 21 : Friedman Ben-David M. Standard setting in student assessment. Med Teacher 2000 ; 22 : Collins JP, Harden RM. Real patients, simulated patients and simulators in clinical examinations. Med Teacher 1998 ; 20 : Harden RM, Gleeson FA. Assessment of medical competence using an Objective Structured Clinical Examination. Med Educ 1979 ; 13 : Gleeson F. Assessment of clinical comptence using the Objective Structured Long Examination Record. Med Teacher 1997 ; 19 : 7-14.

52 Articles de recherche évaluative
Skinner BD, Newton WP, Curtis P. The educational value of an OSCE in a family pratice residency. Acad Med 1997 ; 72 : Norcini JJ, Blank L, Arnold GK, Kimball HR. The Mini Clinical Evaluation Exercise (CEX) : a preliminary investigation. Ann Intern Med 1995 ; 123 : Brailovsky CA, Grand ’Maison P, Lescop J. Construct validity of the Quebec Licensing Examination SP-based OSCE. Teach Learn Med 1997 ; 9 : West DC, Pomeroy JR, Park JK, Gerstenberger EA, Sandoval J. Critical Thinking in Graduate Medical Education. A Role for Concept Mapping Assessment? JAMA. 2000;284:

53 Articles « d ’opinion » Dauphinee WD. Assessing clinical performance. Where do we stand and what might we expect? JAMA 1995 ; 274 : McGuire CH. Reflections of a Maverick measurement maven. JAMA 1995 ; 274 : Haladyna TM. A Research agenda for licensing and certification teting validation studies. Eval Health Professions 1994 ; 17 : Snadden D. Portfolios-attempting to measure the unmeasurable? Med Educ.1999;33: Mavis BE, Henry RC, Ogle KS, Hoppe RB. The Emperor ‘  New Clothes : The OSCE reassessed. Acad Med 1996 ; 71 : Engel JD. Narratives of construct validation. Eval Health Professions 1994 ; 17 :