EVALUATION DE L’EQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université.

Présentation au sujet: "EVALUATION DE L’EQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université."— Transcription de la présentation:

1 EVALUATION DE L’EQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude Bernard, Lyon

2 EVALUATION EN FMC Interface entre l’évaluation en formation initiale et l’évaluation en médecine ANDEM : processus d ’application de méthodes scientifiques, visant à rassembler des données fiables et valides pour savoir comment et à quel degré des activités particulières produisent des effets ou des résultats particuliers L’activité en formation est une activité de transformation des individus. L’évaluation est le moyen par lequel on cherche à apprécier cette transformation ( évaluation scolaire)

3 EVALUATION - METHODES Méthode expérimentale : observe des faits constatés par l’expérience ou le comportement d’un individu Plans d’observation expérimentaux plan post-formation : constate un résultat plan « avant-après » groupes contrôles

4 EVALUATION Normative : Repérer des performances par rapport à des normes établies (contrôle de connaissances) Objectif de certification Formative : Tout au long du processus de formation Aide le formateur à modifier le programme en fonction des résultats Evaluation : Critère indispensable d’agrément d’une manifestation de FMC

5 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (1) VERGNENEGRE - Rev Mal Resp 1998;15:773-779
Enquête de satisfaction a posteriori « les états généraux de l’asthme » débat avec participation du public

6 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (2)
Questionnaire intérêt des thèmes traités (0-10) aspect novateur de la session (0-10) choix des intervenants (0-10) adéquation temps - quantité des informations (0-10) intérêts des discussions et de la conclusion (0-10) réponse aux attentes (0-10) organisation autres sessions (oui - non - ne sait pas)

7 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (3)
Evaluation de 4 ateliers de 10 à 30 participants, par enquête avant-après, le sujet étant son propre témoin, à partir d’un questionnaire de connaissances élaboré par le concepteur de l’atelier Evaluation d’une session plénière par QCM/QROC fournis par les orateurs groupe intervention - groupe contrôle appariement : âge - mode d’exercice

8 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (4)
Caractéristiques des 64 répondants : Age  7.3 Sexe 53 H / 11F Exercice public 42% privé 28% mixte 30 % Intérêts des thèmes :  2 Aspect novateur :  2.1 Choix intervenants :  1.7 Adéquation :  1.9 Discussion /ccl :  2.2 Réponse aux attentes :  2.3 Autres sessions : oui 78% non 9%

9 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (5)
Groupe Groupe p intervention contrôle (n = 59) (n=59) N réponses ± ± exactes pour les 3 sessions Session ± ± Session ± ± Session ± ± 1.33 NS

10 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (6)
Début atelier Fin atelier p 4 ateliers (n=51) ± ± Atelier 1 (n=4) ± ± NS Atelier 2 (n=11) ± ± Atelier 3 (n=15) ± ± Atelier 4 (n=16) ± ±

11 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (7)
Biais de sélection quant à la participation à une session de formation Faible nombre de sujets ANDEM : 4 niveaux d’évaluation Niveau I : niveau de l’application subjective ; expression des participants Niveau II : test des connaissances, subjectif ou objectif Niveau III : changement des pratiques, subjectif ou objectif (audit clinique, revue par les pairs, analyse de cas simulés) Niveau IV : résultat sur la santé, subjectif ou objectif (audit des données épidémiologiques)

12 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (8)
Evaluer les besoins Résultas négatifs de sessions traditionnelles et brèves sur une journée Peu de répercussions sur la pratique professionnelle de l’acquisition de connaissances théoriques

13 EVALUATION PEDAGOGIQUE IMMEDIATE D’UNE ACTION DE FMC
Peut-on définir une zone acceptable de qualité pédagogique pour un organisme accréditeur? Christian, N Engl J Med 1998;338:1163 session 245, 94 questionnaires 1 conférencier absent : conférence jugée excellente par 1/5 des participants

14 EVALUATION A DISTANCE D’UNE ACTION DE FMC
Steib, Ann Fr Anesth Réanim 2003;22: organisateurs de 7 séminaires au moins 3 mois après mode exercice : CHU, CHG, PSPH, clinique,…. Activité principale : anesthésie, réa, urgences 6 critères notés de 1 à utilisation post formation du document pédagogique diffusion des informations à des collègues entretien avec responsable hiérarchique modification de procédures de soins application des modifications atteinte de l’objectif de formation

15 EVALUATION A DISTANCE D’UNE ACTION DE FMC
5 réponses, 91/239 (38%) 25 CHU, 31 CHG, 27 PSPH anesthésie 83, réa 6, urgences 2 cours mère-enfant 2, SI, 2 respiratoire 1 notes PSPH plus faibles moindre utilisation document pédagogique pour cours mère-enfant

16 EVALUATION A DISTANCE D’UNE ACTION DE FMC
Utilisation post formation du document : 7 Diffusion des informations à des collègues : 6.8 Entretien avec hiérarchie : 3.6 Décision de modification de procédure : 7.3 Application des modifications décidées : 7.7 Atteint de l’objectif de formation : 8

17 NEWCASTLE ILLING, Medical teacher, 2002;24:67-70
Continuing Professional Development (CPD) for general practice is « a process of lifelong learning for all individuals and teams which enables professionals to expand and fulfil their potential and which also meets the needs of patients and delivers the health and health care priorities of the NHS (1998) » Programme de formation sur 2 ans durée du travail ½ journée / semaine management, audit, épidémiologie, projet de recherche livres de travail : informations, exercices, littérature 9 réunions d ’une demi journée

18 NEWCASTLE (2) Etude de 1996 à 1998, 2 1ères promotions (16)
Objectifs : - motifs d ’inscription - changement dans l’année - bénéfices pour patients et NHS Evaluation de la 1ère promotion 1 an après la fin de la formation Evaluation de la 2ème promotion au début et à la fin de la formation Questionnaires et interviews (13 par téléphone)

19 NEWCASTLE (3) Motifs : - apprendre plus - paraît intéressant
Satisfaction générale Motifs : - apprendre plus - paraît intéressant Changement de pratiques : /16 - meilleur usage de la bibliographie

20 NEWCASTLE (4) Module de management :
le plus utile (questionnaire et interview) «J’ai appris l’importance de construire une équipe et du leadership, et comment l’appliquer en pratique» Module de recherche : apprend à être plus critique et à considérer la recherche comme un challenge et non comme une menace

21 NEWCASTLE (5) Bénéfices pour le patient : réduction des grossesses chez les adolescentes - éradication H. pylori chez 158 patients Bénéfice pour le NHS : - oui 14/16 - « je n’ai pas besoin de changer » - « cette formation m’a plu mais ne m’a pas fait changer ; je suis proche de la retraite »

22 NEWCASTLE (6) Les professionnels apprennent quand leur apprentissage est basé sur leur travail quotidien On peut développer de la théorie à partir de problèmes pratiques et d’expériences personnelles Les besoins personnels, des patients et du système peuvent tous être satisfaits par une détermination soigneuse de ces besoins et une organisation adaptée à la formation

23 ROYAUME-UNI – PEDIATRIE SAIDI, Medical Education 2003;37:328-334
RCPCH 2000 : CME -> CPD 3 nouveautés : - plan de développement personnel, prenant en compte les besoins personnels et de l’employeur pour l’année à venir - recueil personnel des activités du CPD 1h = 1 crédit crédits sur 5 ans CPD interne et externe - Trace écrite de l’activité du CPD

24 ROYAUME-UNI – PEDIATRIE (2)
9 groupes : âge, lieu d’exercice Réunions à Londres (déplacement payé) Les questions : - Est-il difficile de suivre un CDP ? - Le PDP a-t-il un rôle facilitateur ? - Le CPD a-t-il entraîné des modifications de vos pratiques cliniques, rôles professionnels, responsabilités académiques ? - Que pensez vous de ce nouveau CPD ? Clarté des recommandations, utilisation aisée des formulaires…

25 ROYAUME-UNI – PEDIATRIE (3)
Responsable Rapporteur : rapport en 4 semaines 2 lecteurs indépendants 49 participants / 117 contacts 4 à 7 par groupe

26 ROYAUME-UNI – PEDIATRIE (4)
Est il difficile de suivre un CDP ? - oui pour tous les groupes - annulation du RV ; «qui va faire mon travail ?» - financièrement inégal (3-5 j ; £/an) - qualité variable des réunions, notamment internes - nécessité de retourner au cabinet après la formation

27 ROYAUME-UNI – PEDIATRIE (5)
Dans quelle mesure le PDP vous a-t-il aidé ? - A identifier des besoins de formation - Antagonisme entre les souhaits personnels et les demandes de l’institution

28 ROYAUME-UNI – PEDIATRIE (6)
CPD et changements : influence positive sur la pratique clinique, après participation à plusieurs réunions intérêt de la comparaison d’expériences professionnelles les aspects académiques sont aussi utiles aux médecins des centres non-enseignants, car leurs médecins doivent écrire des protocoles

29 ROYAUME-UNI – PEDIATRIE (7)
Documentation : recommandations claires, mais présentation des documents non appréciée quelles activités recueillies ? Comment attribuer les crédits ? Catégoriser les activités ? la « paperasserie » prend du temps… format électronique souhaité, mais accès inégal à un ordinateur

30 ROYAUME-UNI – PEDIATRIE (8)
CPD basé sur des objectifs individuels d’apprentissage professionnel : Avantages : - pour la pratique clinique du médecin - pour le patient - pour la société Inconvénients - qualité inégales des réunions internes - défaut de financement - manque de temps - charge de travail importante

31 AFRIQUE DU SUD DE VILLIERS, Medical Education 2003, 37: 815-821
CPD : « Promeut des soins de bonne qualité et actualisés, et offre à tous les cliniciens des possibilités d ’apprentissage pour maintenir et améliorer leurs compétences pratiques »

32 AFRIQUE DU SUD (2) Modèle classique : - Conférences
- Peu d’interaction conférenciers - assistance - Non adapté aux besoins - Trop basé sur l ’acquisition de points - Peu d ’impact sur la pratique quotidienne

33 AFRIQUE DU SUD (3) Modèle compétence :
- Petits groupes de 12 personnes avec experts - 2 heures/mois 3 mois - 3 programmes en 9 mois par personne

34 AFRIQUE DU SUD (4) Technique nominale de groupe : introduction : objectifs et déroulement de la technique à 2 questions, puis réponses individuelles (autant que possible) génération d ’item : réponses données à tour de rôle à l ’expert classification d ’item : item similaires ou redondants regroupés phase de priorisation : chaque participant classe par ordre décroissant ses 5 item les plus importants vote final

35 AFRIQUE DU SUD (5) 2 réunions pour développer 2 questionnaires : participants experts Comment améliorer l’apprentissage en petits groupes ? Quelles sont les forces de la technique petits groupes ? Taux de réponses : global : 38% petits groupes : 47% experts : 66%

36 AFRIQUE DU SUD (6) Age : 25-89 (40) Sexe : 54% femmes
Diplôme : (1989) Aucun impact du caractère obligatoire sur la participation : 53% Conférences mensuelles : 85% Petits groupes : 78%

37 AFRIQUE DU SUD (7) Non participation aux petits groupes : - contraintes de temps (34%) Non participation aux conférences : - préférence pour le petit groupe (19%) - travail (19%) - temps (19%)

38 AFRIQUE DU SUD (8) Intérêts du programme CPD 51 réponses
Amélioration des connaissances 90% Amélioration des soins % Amélioration des performances 63% Renforcement jugement prof 55% Contact avec collègues 41% Changement d’attitude % Coupure dans le travail 10%

39 AFRIQUE DU SUD (9) Changements :
- réunion d’introduction mieux structurée - besoins d’apprentissage des participants - contenu - agenda : dates - durée - lieu - formation des experts - 5 réunions par sujet en 5 mois

40 ONTARIO Austin, Am J Pharm Education 2006;70(5),art 117
Evaluation professionnelle de 1500 pharmaciens (15%): - 87% OK - 13% nécessitent une aide : rédaction d’un plan d’éducation écrit précisant les objectifs spécifiques d’apprentissage et les indicateurs de suivi

41 ONTARIO (2) Problèmes rencontrés :
difficultés à obtenir des informations du patient difficultés à identifier les pb liés au ttt mauvaise utilisation de « référentiels » manque d’informations scientifiques faible aptitude à communiquer méconnaissance des obligations professionnelles concernant la surveillance et le suivi des patients

42 ONTARIO (3) Années d’activité : 34 (10 – 52) Sexe : 66% hommes
Officine : 87% Lieu du diplôme : 45% Canada / USA Succès à la recertification : 69%

43 ONTARIO (4) 2002 : OCP Professional Skill Enhancement Workshop
2 ½ journées Références cliniques (mentor) Interactions avec le patient Identifier au plus 3 axes stratégiques Evaluation immédiate, puis à 12 – 18 mois impact sur les pratiques professionnelles

44 ONTARIO (5) Le PSEW m’ a aidé à mieux comprendre l’évaluation des pratiques : 80%, score 3,47/4 Je n’ai pas perdu mon temps : 91%, score : 3,56/4

45 ONTARIO (6) Depuis le PSEW , je me suis amélioré pour (n=35) :
Recueillir les infos : 84% Utiliser les infos sur les ttt : 92% Ecoute active : 40% interview cohérente du patient : 60%

46 ONTARIO (7) Comment évaluez-vousla participation au PSEW pour
utiliser les infos ttt : 8.8 interpréter les questions : 7.7 rechercher les références : 8.6 recueillir les infos du patient : 7.2 communiquer avec le patient : 8.6 confiance en mes capacités de P : 7.4

47 CONCLUSION L’évaluation est obligatoire, mais à améliorer
Il faut définir les objectifs de chaque FMC, et les vérifier Il faut généraliser le concept d’évaluation Il faut toujours innover en FMC