Dr Pierre Wolf Evaluation du choix de lexpert (et du cahier des charges de son intervention) Dr Pierre Wolf AEU dexpertise en FMC et en pédagogie médicale janvier 2007

Dr Pierre Wolf2 27/01/2007 Questionnaire Unaformec RA dauto évaluation 10. Évaluer la formation 0, Une évaluation de la satisfaction des participants (formateurs, utilisateurs, expert) est faite à chaque formation -[Jamais, Rarement, Souvent, Toujours] Les résultats des recueils dopinion et de satisfaction (questionnaires de satisfaction, compilation des opinions, autres informations recueillies) sont analysés pour chaque formation -[Jamais, Rarement, Souvent, Toujours] L'Association tient compte de ces évaluations et analyses pour améliorer la réalisation de ses formations -[Jamais, Rarement, Souvent, Toujours] Le résultat des évaluations de chaque formation est communiqué aux participants -[Jamais, Rarement, Souvent, Toujours] Pour chaque formation toutes les évaluations prévues dans le dossier de conception sont réalisées -[Jamais, Rarement, Souvent, Toujours] Vous mettez en œuvre une procédure d'évaluation de l'amélioration de la pratique, après un délai à l'issue de la formation (cf. question 7.7) -[Jamais, Rarement, Souvent, Toujours]- 0

Dr Pierre Wolf3 27/01/2007 Questionnaire Unaformec RA dauto évaluation 13. Gérer les anomalies 0, Tout défaut de fonctionnement constaté ou modification de fonctionnement souhaitée par un partenaire ou acteur de lAssociation, est enregistré dans une fiche d'anomalie gérée par un responsable de l'Association -[Jamais, Rarement, Souvent, Toujours] Ces fiches d'anomalies sont utilisées par les membres de l'Association et le Bureau pour apporter les corrections ou améliorations nécessaires - [Jamais, Rarement, Souvent, Toujours] Mesurer et améliorer les performances de l'Association 0, La Bureau de lAssociation évalue les performances globale de lAssociation par revue de direction ou Questionnaire d'auto évaluation -[Jamais, Rarement, Souvent, Toujours] LAssociation évalue systématiquement les performances de chacun de ses processus à laide daudits et d'indicateurs définis dans les procédures. -[Mal; un Peu; Bien; Très bien] Les fiches d'anomalie sont enregistrées et suivies par un Responsable de l'Association jusqu'à ce qu'une solution ou une réponse y soit donnée. -[Mal; un Peu; Bien; Très bien] La Bureau de lAssociation utilise les résultats des évaluations des formations réalisées et des processus ainsi que les fiches d'anomalie pour déterminer, au cours de revues de direction, les améliorations à apporter aux processus de lAssociation. -[Jamais, Rarement, Souvent, Toujours]- 0

Dr Pierre Wolf4 27/01/2007 Introduction 1.évaluation du choix de lexpert 2.évaluation du cahier des charges de son intervention

Dr Pierre Wolf5 27/01/2007 Introduction Lévaluation est « une démarche consistant fondamentalement à porter un jugement de valeur sur une intervention (une pratique, une organisation, un programme, une politique) dans le but daider à la décision » Constandriopoulos, 1991).

Dr Pierre Wolf6 27/01/2007 Introduction Aussi, toute démarche évaluative associe : –une phase dobservation et de mesure –à une phase de jugement ce qui implique de définir : –des critères –des instruments de mesure (indicateurs) –et des points de comparaison (référentiel, norme).

Dr Pierre Wolf7 27/01/2007 Principes principe 1 : définir des questions évaluatives communes aux différents acteurs principe 2 : élaborer un dispositif dévaluation –commanditaire –évaluateur(s) principe 3 : préciser les destinataires de lévaluation –pour quoi et pour qui ? principe 4 : préciser les finalités : 3 dimensions –dimension cognitive –dimension normative –dimension instrumentale

Dr Pierre Wolf8 27/01/ ère ligne de partage dimension cognitive –produire de linformation –permettre une meilleure connaissance dimension normative –notion de jugement de valeur –analyser et interpréter les résultats à laune de référentiels dimension instrumentale –objectif daide à la décision –ses conclusions doivent avoir des conséquences opérationnelles, en terme dinflexion du résultat

Dr Pierre Wolf9 27/01/ ème ligne de partage autre ligne de partage plus pertinente évaluation formative –partie intégrante du processus –processus continu (roue de Deming) –outil permanent de pilotage du projet –démarche qualité évaluation normative –sanctionnante, certificative –permet de faire le point, de façon périodique, sur latteinte des objectifs –assurance qualité

Dr Pierre Wolf10 27/01/2007 Principes principe 5 : trouver le bon moment de lévaluation –avant pertinence, qualité, intérêt –pendant évaluation formative –après évaluation de résultat principe 6 : définir une grille danalyse –que va-t-on évaluer ? –avec quels outils ?

Dr Pierre Wolf11 27/01/2007 Evaluation des enseignants Une histoire ancienne… Les étudiants de l Université Harvard auraient été les premiers en 1924 à évaluer les professeurs et en à publier les résultats. Lopération sest rapidement répandue dans la plupart des autres universités nord- américaines. NORMAND S., BERNARD H. Les professeurs cliniciens se prononcent sur lévaluation de lenseignement. Pédagogie médicale, novembre 2002

Dr Pierre Wolf12 27/01/2007 Evaluation des enseignants Au Canada et au Québec, on voit les premières traces de cette opération dans les années soixante. De nos jours, pratiquement toutes les universités nord-américaines procèdent à lévaluation de lenseignement, et les résultats sont très souvent accessibles sur Internet. Par contre, lévaluation de lenseignement reste une démarche peu répandue dans de nombreux pays francophones. Koumaré AK, Barrier JH., Normand S. Enquête sur la politique institutionnelle de lévaluation de lenseignement dans les facultés de médecine francophones. XV° Journées Universitaires Francophones de Pédagogie Médicale, Nancy avril 2003 [on line] Disponible sur :

Dr Pierre Wolf13 27/01/2007 Questions critiques Qui doit décider dévaluer lenseignement ? –le maître douvrage (financeur, décideur) ? –le maître dœuvre (responsable de la réalisation) ? Evaluation des experts : oui, mais par quoi commencer : –évaluation des programmes, –évaluation des modules denseignement, –évaluation des enseignants ? Quelle périodicité ? BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K, Nawar J, Pottier P, Quinton A, Toure M, Lévaluation de l'enseignement : pour quelles décisions ? Pédagogie Médicale, novembre 2006

Dr Pierre Wolf14 27/01/2007 Questions critiques Comment évaluer léthique de lévaluation de lenseignement, des enseignants ? –respect de lanonymat –utilisation et confidentialité des résultats –entreprise éthique pour lassociation de FMC Quel est limpact de la diffusion de lévaluation ? Quelle diffusion de lévaluation des enseignants : –aux étudiants –faite par les étudiants BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K, Nawar J, Pottier P, Quinton A, Toure M, Lévaluation de l'enseignement : pour quelles décisions ? Pédagogie Médicale, novembre 2006

Dr Pierre Wolf15 27/01/2007 Questions critiques Peut-on proposer des actions correctives aux experts mal évalués ? Quelles pourraient être les actions positives à mettre en œuvre pour les experts bien évalués ? Comment prendre en compte les spécificités régionales de lévaluation ? Evaluation de pratiques : que souhaitent les médecins ? Est-ce que nous évaluons trop ? BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K, Nawar J, Pottier P, Quinton A, Toure M, Lévaluation de l'enseignement : pour quelles décisions ? Pédagogie Médicale, novembre 2006

Dr Pierre Wolf16 27/01/2007 Que ou qui faut-il évaluer ? un acte –lenseignement –la formation –la pratique une personne –lenseignant –lexpert –le formateur –le participant

Dr Pierre Wolf17 27/01/2007 Que faut-il évaluer ? Lévaluation des enseignements et évaluation des formations sont le plus souvent prises l'une pour l'autre mais sont aussi peu dissociables. L'évaluation des enseignements –plutôt individuelle –risque davantage de remettre en cause l'enseignant lui-même dans sa pratique L'évaluation des formations –concerne une filière ou un diplôme –bien plus répandue dans les universités que l'évaluation de l'enseignement –elle est plus collective, et de ce fait mieux acceptée –elle heurte moins de front les enseignants et est considérée par certaines équipes comme un moyen de sensibiliser les collègues à l'utilité de l'évaluation. De plus, les questionnaires utilisés pour recueillir l'avis des participants se rapprochent plus dun recueil du « niveau de satisfaction »

Dr Pierre Wolf18 27/01/2007 Qui faut-il évaluer ? Même si l'on prend la précaution de dire que l'évaluation de l'enseignement n'est pas l'évaluation des enseignants, peut- être faut-il en fait s'interroger sur le bien-fondé de cette distinction et se demander si en fin de compte, l'évaluation des enseignements ne conduit pas quand même à une évaluation indirecte des enseignants qui assurent l'enseignement.

Dr Pierre Wolf19 27/01/2007 Que ou qui faut-il évaluer ? Dans le rapport EVALUE publié en 1998, les auteurs de la partie consacrée à l'évaluation de l'enseignement écrivaient ceci : « évaluer l'enseignement, c'est évaluer deux domaines : –la pratique de lenseignement (teaching). –la capacité des étudiants à apprendre et la façon dont lenseignement est reçu (learning). »

Dr Pierre Wolf20 27/01/2007 Que peut-on évaluer ? La cohérence des enseignements, en particulier : la cohérence des filières par rapport à leurs objectifs –formulation des objectifs de la filière, –explication et adoption de ces objectifs par les enseignants, –affichage de ces objectifs auprès des étudiants, –respect de ces objectifs la cohérence interne de chaque filière –dans le temps, –dans les différents types d'enseignement, –cohérence de la formation et de la documentation, –animation d'équipes pédagogiques, –réunion de jurys d'examen, –aptitude d'un enseignant à se coordonner avec ses collègues

Dr Pierre Wolf21 27/01/2007 Que peut-on évaluer ? Les qualités pédagogiques, comprenant –un noyau dur : ponctualité, respect des horaires, disponibilité… –et au-delà : la qualité des exposés, la maîtrise de la matière enseignée, le degré de préparation de lexposé, la clarté et l'intérêt des exposés, en cas dactions pérennes, l'effort de renouvellement des exposés pour les adapter aux progrès de la recherche et aux évolutions technologiques, l'ouverture de l'enseignant aux disciplines voisines le plaisir à le faire –l'intérêt porté aux participants –la qualité de l'aide méthodologique apportée.

Dr Pierre Wolf22 27/01/2007 Comment évaluer ? résultats aux examens –idéalement, une véritable évaluation d'un enseignement devrait permettre d'en apprécier les effets, –c'est-à-dire non seulement ce que les étudiants ont effectivement appris, mais aussi ce qu'ils ont compris et acquis comme compétences ou capacités. questionnaires –papier –informatique

Dr Pierre Wolf23 27/01/2007 Intérêts Parmi d'autres, elle est un des éléments utiles : –d'une nécessaire politique d'amélioration de la qualité de notre enseignement supérieur et continu –et de l'indispensable valorisation des fonctions d'enseignement. Dejean J. Evaluation de lenseignement. Rapport établi à la demande du Haut conseil de lévaluation de lécole. Février 2002

Dr Pierre Wolf24 27/01/2007 Intérêts De nombreux travaux, provenant le plus souvent de pays d'Amérique du Nord où les pratiques d'évaluation des enseignements sont bien plus développées que dans notre pays, ont essayé de répondre à cette question. Deux ouvrages en langue française d'universitaires québécoises en rendent compte (Bernard, 1992 ; Poissant, 1996). Mais tous ces travaux sont centrés : –surtout sur les actions réalisées par l'enseignant dans son enseignement, –peu sur les effets de l'enseignement ou sur la participation des étudiants au cycle enseignement- apprentissage. Dejean J. Evaluation de lenseignement. Rapport établi à la demande du Haut conseil de lévaluation de lécole. Février 2002

Dr Pierre Wolf25 27/01/2007 Frein 1 : lUniversité L'Université est un lieu où l'on apprend en principe à raisonner, mais c'est en fait un lieu où règne en maître la pensée magique pour ce qui est de la formation des enseignants : on pense qu'en les formant (longuement) à la recherche, on en fait des enseignants… Pourquoi s'étonner de l'ignorance de nombreux enseignants en matière d'évaluation quand on sait qu'ils ne bénéficient d'aucune formation à la pédagogie ?

Dr Pierre Wolf26 27/01/2007 Frein 2 Toutes les expériences et tous les travaux existant à l'étranger en matière d'évaluation de l'enseignement soulignent l'absolue nécessité de proposer des moyens de formation aux enseignants quand on met en place un dispositif d'évaluation des enseignements. Ces moyens ont été mis en place dans des pays comme la Belgique, le Québec ou la Suisse. La France possède un retard considérable sur ce plan.

Dr Pierre Wolf27 27/01/2007 Autres freins la passation des questionnaires –leur conception –quand –comment le dépouillement des questionnaires –quand –comment –coût lanalyse des résultats la validité des résultats

Dr Pierre Wolf28 27/01/2007 Conclusion 1 A linstar des universitaires qui ne savent pas, le plus souvent, ce qu'est l'évaluation, il n'est pas très étonnant de constater que les acteurs de FMC manquent souvent de compétences pour concevoir des démarches et des outils en la matière.

Dr Pierre Wolf29 27/01/2007 Conclusion 2 Lévaluation de lenseignement doit être systématiquement intégrée à tout processus de formation Quatre domaines doivent être systématiquement pris en compte : –les objectifs de lenseignement –les moyens et les méthodes denseignement –le système dévaluation lui-même –la gouvernance institutionnelle

Dr Pierre Wolf30 27/01/2007 Exemple – DAQUAR 07/04/2006 Noter entre 0 et 10Répondre parQue vous a apporté cette intervention ? « 10 correspond à excellentoui ou non(cochez la ou les réponses choisies) QUALITE DE LA PRESENTATION PERTINENCE DU SUJET LA COMMUNICATION A-T-ELLE REPONDU A VOS ATTENTES ? DE NOUVELLES CONNAISSA NCES UNE REACTUALIS ATION DES CONNAISSA NCES DES ELEMENTS DE REFLEXION La transfusion sanguine au CHU de Lyon C. NEGRIER La transfusion sanguine en France et en Europe Ph ROUGER Exposé des problématiques JM. CHABOT Point de vue dun Président de Collège de spécialité B. DUREUIL Modalités de lEPP C. COLIN EPP et V2 de la certification des établissements de santé L. BERNARD LEPP au sein dun CHU V. PIRIOU Point de vue du Conseil de lOrdre des Médecins J. DERRIEN Point de vue dun anesthésiste-réanimateur de CHU B. BALLY Point de vue dun anesthésiste-réanimateur du secteur privé JP. LANCON Exemple dune action dEPP réussie : audit clinique ciblé sur lantibioprophylaxie A. LEPAPE Réunions de morbidité/mortalité JJ. LEHOT Représentation des patients dans le système de santé L. DALIGAND Point de vue du Président dune association de défense des patients L. VINCENT Point de vue dun chirurgien J. BACHET Point de vue dun anesthésiste-réanimateur - F. CLERGUE