La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

EVALUATION DE LEQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude.

Présentations similaires


Présentation au sujet: "EVALUATION DE LEQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude."— Transcription de la présentation:

1 EVALUATION DE LEQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude Bernard, Lyon

2 EVALUATION EN FMC Interface entre lévaluation en formation initiale et lévaluation en médecine ANDEM : processus d application de méthodes scientifiques, visant à rassembler des données fiables et valides pour savoir comment et à quel degré des activités particulières produisent des effets ou des résultats particuliers Lactivité en formation est une activité de transformation des individus. Lévaluation est le moyen par lequel on cherche à apprécier cette transformation ( évaluation scolaire)

3 EVALUATION - METHODES Méthode expérimentale : observe des faits constatés par lexpérience ou le comportement dun individu Plans dobservation expérimentaux – plan post-formation : constate un résultat – plan « avant-après » – groupes contrôles

4 EVALUATION Normative : Repérer des performances par rapport à des normes établies (contrôle de connaissances). Objectif de certification Formative : Tout au long du processus de formation Aide le formateur à modifier le programme en fonction des résultats Evaluation : Critère indispensable dagrément dune manifestation de FMC

5 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (1) VERGNENEGRE - Rev Mal Resp 1998;15: Enquête de satisfaction a posteriori – « les états généraux de lasthme » – débat avec participation du public

6 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (2) Questionnaire – intérêt des thèmes traités (0-10) – aspect novateur de la session (0-10) – choix des intervenants (0-10) – adéquation temps - quantité des informations (0-10) – intérêts des discussions et de la conclusion (0-10) – réponse aux attentes (0-10) – organisation autres sessions (oui - non - ne sait pas)

7 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (3) Evaluation de 4 ateliers de 10 à 30 participants, par enquête avant-après, le sujet étant son propre témoin, à partir dun questionnaire de connaissances élaboré par le concepteur de latelier Evaluation dune session plénière par QCM/QROC fournis par les orateurs groupe intervention - groupe contrôle appariement : âge - mode dexercice

8 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (4) Caractéristiques des 64 répondants : Age Sexe 53 H / 11F Exercice public 42% privé 28% mixte 30 % Intérêts des thèmes : Aspect novateur : Choix intervenants : Adéquation : Discussion /ccl : Réponse aux attentes : Autres sessions : oui 78% non 9%

9 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (5) Groupe Groupe p intervention contrôle (n = 59)(n=59) N réponses 3.23 ± ± exactes pour les 3 sessions Session ± ± Session ± ± Session ± ± 1.33NS

10 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (6) Début atelier Fin atelier p 4 ateliers (n=51) 4.27 ± ± Atelier 1 (n=4) 3.31 ± ± 0.48 NS Atelier 2 (n=11) 3.16 ± ± Atelier 3 (n=15) 7.04 ± ± Atelier 4 (n=16) 2.84 ± ±

11 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (7) Biais de sélection quant à la participation à une session de formation Faible nombre de sujets ANDEM : 4 niveaux dévaluation - Niveau I : niveau de lapplication subjective ; expression des participants - Niveau II : test des connaissances, subjectif ou objectif - Niveau III : changement des pratiques, subjectif ou objectif (audit clinique, revue par les pairs, analyse de cas simulés) - Niveau IV : résultat sur la santé, subjectif ou objectif (audit des données épidémiologiques)

12 SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (8) Evaluer les besoins Résultas négatifs de sessions traditionnelles et brèves sur une journée Peu de répercussions sur la pratique professionnelle de lacquisition de connaissances théoriques

13 EVALUATION PEDAGOGIQUE IMMEDIATE DUNE ACTION DE FMC Peut-on définir une zone acceptable de qualité pédagogique pour un organisme accréditeur? Christian, N Engl J Med 1998;338:1163 session 245, 94 questionnaires 1 conférencier absent : conférence jugée excellente par 1/5 des participants

14 EVALUATION A DISTANCE DUNE ACTION DE FMC Steib, Ann Fr Anesth Réanim 2003;22: organisateurs de 7 séminaires au moins 3 mois après mode exercice : CHU, CHG, PSPH, clinique,…. Activité principale : anesthésie, réa, urgences 6 critères notés de 1 à 10 utilisation post formation du document pédagogique diffusion des informations à des collègues entretien avec responsable hiérarchique modification de procédures de soins application des modifications atteinte de lobjectif de formation

15 EVALUATION A DISTANCE DUNE ACTION DE FMC 5 réponses, 91/239 (38%) 25 CHU, 31 CHG, 27 PSPH anesthésie 83, réa 6, urgences 2 cours mère-enfant 2, SI, 2 respiratoire 1 notes PSPH plus faibles moindre utilisation document pédagogique pour cours mère-enfant

16 EVALUATION A DISTANCE DUNE ACTION DE FMC Utilisation post formation du document : 7 Diffusion des informations à des collègues : 6.8 Entretien avec hiérarchie : 3.6 Décision de modification de procédure : 7.3 Application des modifications décidées : 7.7 Atteint de lobjectif de formation : 8

17 NEWCASTLE ILLING, Medical teacher, 2002;24:67-70 Continuing Professional Development (CPD) for general practice is « a process of lifelong learning for all individuals and teams which enables professionals to expand and fulfil their potential and which also meets the needs of patients and delivers the health and health care priorities of the NHS (1998) » Programme de formation sur 2 ans – durée du travail ½ journée / semaine – management, audit, épidémiologie, projet de recherche – livres de travail : informations, exercices, littérature – 9 réunions d une demi journée

18 NEWCASTLE (2) Etude de 1996 à 1998, 2 1 ères promotions (16) Objectifs :- motifs d inscription - changement dans lannée - bénéfices pour patients et NHS Evaluation de la 1 ère promotion 1 an après la fin de la formation Evaluation de la 2ème promotion au début et à la fin de la formation Questionnaires et interviews (13 par téléphone)

19 NEWCASTLE (3) Satisfaction générale Motifs : - apprendre plus - paraît intéressant Changement de pratiques : - 14/16 - meilleur usage de la bibliographie

20 NEWCASTLE (4) Module de management : le plus utile (questionnaire et interview) «Jai appris limportance de construire une équipe et du leadership, et comment lappliquer en pratique» Module de recherche : apprend à être plus critique et à considérer la recherche comme un challenge et non comme une menace

21 NEWCASTLE (5) Bénéfices pour le patient : - réduction des grossesses chez les adolescentes - éradication H. pylori chez 158 patients Bénéfice pour le NHS : - oui 14/16 - « je nai pas besoin de changer » - « cette formation ma plu mais ne ma pas fait changer ; je suis proche de la retraite »

22 NEWCASTLE (6) Les professionnels apprennent quand leur apprentissage est basé sur leur travail quotidien On peut développer de la théorie à partir de problèmes pratiques et dexpériences personnelles Les besoins personnels, des patients et du système peuvent tous être satisfaits par une détermination soigneuse de ces besoins et une organisation adaptée à la formation

23 ROYAUME-UNI – PEDIATRIE SAIDI, Medical Education 2003;37: RCPCH 2000 : CME -> CPD 3 nouveautés : - plan de développement personnel, prenant en compte les besoins personnels et de lemployeur pour lannée à venir - recueil personnel des activités du CPD 1h = 1 crédit 1250 crédits sur 5 ans CPD interne et externe - Trace écrite de lactivité du CPD

24 ROYAUME-UNI – PEDIATRIE (2) 9 groupes : âge, lieu dexercice Réunions à Londres (déplacement payé) Les questions : - Est-il difficile de suivre un CDP ? - Le PDP a-t-il un rôle facilitateur ? - Le CPD a-t-il entraîné des modifications de vos pratiques cliniques, rôles professionnels, responsabilités académiques ? - Que pensez vous de ce nouveau CPD ? Clarté des recommandations, utilisation aisée des formulaires…

25 ROYAUME-UNI – PEDIATRIE (3) Responsable Rapporteur : rapport en 4 semaines 2 lecteurs indépendants 49 participants / 117 contacts 4 à 7 par groupe

26 ROYAUME-UNI – PEDIATRIE (4) Est il difficile de suivre un CDP ? - oui pour tous les groupes - annulation du RV ; «qui va faire mon travail ?» - financièrement inégal (3-5 j ; £/an) - qualité variable des réunions, notamment internes - nécessité de retourner au cabinet après la formation

27 ROYAUME-UNI – PEDIATRIE (5) Dans quelle mesure le PDP vous a-t-il aidé ? - A identifier des besoins de formation - Antagonisme entre les souhaits personnels et les demandes de linstitution

28 ROYAUME-UNI – PEDIATRIE (6) CPD et changements : – influence positive sur la pratique clinique, après participation à plusieurs réunions – intérêt de la comparaison dexpériences professionnelles – les aspects académiques sont aussi utiles aux médecins des centres non-enseignants, car leurs médecins doivent écrire des protocoles

29 ROYAUME-UNI – PEDIATRIE (7) Documentation : recommandations claires, mais présentation des documents non appréciée quelles activités recueillies ? Comment attribuer les crédits ? Catégoriser les activités ? la « paperasserie » prend du temps… format électronique souhaité, mais accès inégal à un ordinateur

30 ROYAUME-UNI – PEDIATRIE (8) CPD basé sur des objectifs individuels dapprentissage professionnel : Avantages : - pour la pratique clinique du médecin - pour le patient - pour la société Inconvénients - qualité inégales des réunions internes - défaut de financement - manque de temps - charge de travail importante

31 AFRIQUE DU SUD DE VILLIERS, Medical Education 2003, 37: CPD : « Promeut des soins de bonne qualité et actualisés, et offre à tous les cliniciens des possibilités d apprentissage pour maintenir et améliorer leurs compétences pratiques »

32 AFRIQUE DU SUD (2) Modèle classique : - Conférences - Peu dinteraction conférenciers - assistance - Non adapté aux besoins - Trop basé sur l acquisition de points - Peu d impact sur la pratique quotidienne

33 AFRIQUE DU SUD (3) Modèle compétence : - Petits groupes de 12 personnes avec experts - 2 heures/mois 3 mois - 3 programmes en 9 mois par personne

34 AFRIQUE DU SUD (4) Technique nominale de groupe : - introduction : objectifs et déroulement de la technique - 1 à 2 questions, puis réponses individuelles (autant que possible) - génération d item : réponses données à tour de rôle à l expert - classification d item : item similaires ou redondants regroupés - phase de priorisation : chaque participant classe par ordre décroissant ses 5 item les plus importants - vote final

35 AFRIQUE DU SUD (5) 2 réunions pour développer 2 questionnaires : participants experts Comment améliorer lapprentissage en petits groupes ? Quelles sont les forces de la technique petits groupes ? Taux de réponses : global : 38% petits groupes : 47% experts : 66%

36 AFRIQUE DU SUD (6) Age : (40) Sexe : 54% femmes Diplôme : (1989) Aucun impact du caractère obligatoire sur la participation : 53% Conférences mensuelles : 85% Petits groupes : 78%

37 AFRIQUE DU SUD (7) Non participation aux petits groupes : - contraintes de temps (34%) Non participation aux conférences : - préférence pour le petit groupe (19%) - travail (19%) - temps (19%)

38 AFRIQUE DU SUD (8) Intérêts du programme CPD 51 réponses Amélioration des connaissances90% Amélioration des soins 78% Amélioration des performances 63% Renforcement jugement prof55% Contact avec collègues41% Changement dattitude 25% Coupure dans le travail10%

39 AFRIQUE DU SUD (9) Changements : - réunion dintroduction mieux structurée - besoins dapprentissage des participants - contenu - agenda : dates - durée - lieu - formation des experts - 5 réunions par sujet en 5 mois

40 ONTARIO Austin, Am J Pharm Education 2006;70(5),art 117 Evaluation professionnelle de 1500 pharmaciens (15%): - 87% OK - 13% nécessitent une aide : rédaction dun plan déducation écrit précisant les objectifs spécifiques dapprentissage et les indicateurs de suivi

41 ONTARIO (2) Problèmes rencontrés : difficultés à obtenir des informations du patient difficultés à identifier les pb liés au ttt mauvaise utilisation de « référentiels » manque dinformations scientifiques faible aptitude à communiquer méconnaissance des obligations professionnelles concernant la surveillance et le suivi des patients

42 ONTARIO (3) Années dactivité : 34 (10 – 52) Sexe : 66% hommes Officine : 87% Lieu du diplôme : 45% Canada / USA Succès à la recertification : 69%

43 ONTARIO (4) 2002 : OCP Professional Skill Enhancement Workshop 2 ½ journées Références cliniques (mentor) Interactions avec le patient Identifier au plus 3 axes stratégiques Evaluation immédiate, puis à 12 – 18 mois impact sur les pratiques professionnelles

44 ONTARIO (5) Le PSEW m a aidé à mieux comprendre lévaluation des pratiques : 80%, score 3,47/4 Je nai pas perdu mon temps : 91%, score : 3,56/4

45 ONTARIO (6) Depuis le PSEW, je me suis amélioré pour (n=35) : Recueillir les infos : 84% Utiliser les infos sur les ttt : 92% Ecoute active : 40% interview cohérente du patient : 60%

46 ONTARIO (7) Comment évaluez-vousla participation au PSEW pour utiliser les infos ttt : 8.8 interpréter les questions : 7.7 rechercher les références : 8.6 recueillir les infos du patient : 7.2 communiquer avec le patient : 8.6 confiance en mes capacités de P : 7.4

47 CONCLUSION Lévaluation est obligatoire, mais à améliorer Il faut définir les objectifs de chaque FMC, et les vérifier Il faut généraliser le concept dévaluation Il faut toujours innover en FMC


Télécharger ppt "EVALUATION DE LEQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude."

Présentations similaires


Annonces Google