L’EVALUATION DES FACULTES DE MEDECINE PAR LA CIDMEF J.C.ROLLAND Conférence de Ouagadougou juin 2006

2. LES BUTS DE L’ÉVALUATION 3. L’OBJET DE L’ÉVALUATION 1.INTRODUCTION - Evolution des idées - Historique 2. LES BUTS DE L’ÉVALUATION 3. L’OBJET DE L’ÉVALUATION 4. LA DÉMARCHE D’ÉVALUATION - La visite préparatoire - Le recueil des données - L’auto-analyse institutionnelle - La visite d’évaluation - Le rapport d’évaluation - Le calendrier 5. LE SUIVI DE L’ÉVALUATION 6.CONCLUSION

1. INTRODUCTION L’évaluation des Facultés de médecine et plus largement des Universités est en voie de devenir une obligation. Elle doit permettre de vérifier l’adéquation entre les besoins de la société et les objectifs de formation des médecins. Elle doit aussi s’assurer que les programmes d’études (curriculum) et les ressources utiliseés permettent d’atteindre ces objectifs.

Historique L’évaluation des Facultés de médecine est appliquée systématiquement aux USA et au Canada depuis les années 50. Elle permet la validation des diplômes universitaires et la mobilité des médecins.

Au début des années 90, quelques Facultés membres de la CIDMEF se sont prêtées à un exercice d’évaluation : Tunis, Beyrouth (St Joseph) et Louvain (UCL) La conférence a ensuite mandaté un groupe de travail sous la direction de P .POTVIN et J.MATHIEU pour proposer une politique et une procédure d’évaluation des Facultés (Beyrouth, BP 1994).

La conférence a adopté (Hanoï BP 1995) un document intitulé « Cadre méthodologique pour l’évaluation des programmes d’études médicales et des Facultés de médecine » Depuis, 25 évaluations ont eu lieu et 4 sont programmées…

AYANT L’OBJET D’UNE EVALUATION (15.10.2005) FACULTES DE MEDECINE AYANT L’OBJET D’UNE EVALUATION (15.10.2005) Université de Tunis (avril 1993)* Université Catholique de Louvain janvier 1994)* Université Saint-Joseph Beyrouth (octobre 1994)* Université de Nantes (juin 1997) Université Libre de Bruxelles (novembre 1998) Université de Bamako Mali (octobre 1999) Université de Cocody, Abidjan, Côte d’Ivoire (avril 2000) Université de Yaoundé – 1, Cameroun (octobre 2000) Université Mohammed V, Rabat, Maroc (novembre 2000) Université de Sfax, Tunisie (novembre 2000) Université Claude Bernard Lyon –1, Faculté Grange-Blanche (mars 2001) Université Omar Bongo, Libreville, Gabon (juin 2001)

Université d’Oran, Algérie (avril 2002) Université de Cluj-Napoca (novembre 2002) Université du Bénin, Lomé, Togo (novembre 2002 Université Saint-Joseph, Beyrouth, Liban (décembre 2002) Université d’Antananarivo Madagascar (avril 2003) IFMT – Vientiane, Laos (novembre 2003) Université d’Alger (avril 2004) Université de Hochiminhville (CUF) Vietnam(janvier 2004) Université de Cotonou Bénin(juin 2004) Université de Tunis (janvier 2005) Université de Lille (FLM) (Février 2005) Université de Sousse Tunisie (avril 2005) Université de Tours (mai 2005) Université de Chishinaü Moldavie (décembre 2005) Université de Dakar Sénégal (mai 2006) Evaluations prévues : Université de Mahajanga Madagascar Université de Phnom-Penh Cambodge Université de Iasi Roumanie Université de Butaré Rwanda Université de Rouen France Université de Niamey Niger Université de Brazzaville Congo Université de Bujumbura Burundi

2. LES BUTS DE L’EVALUATION La responsabilité sociale de la Faculté de médecine est de former des médecins aptes à satisfaire les besoins de santé de la société où ils exerceront. La Faculté de médecine devrait participer à la définition de ces objectifs. L’évaluation doit d’abord situer la Faculté et son programme d’études médicales, dans son environnement (socio-politique) : - Besoins de la population - Situation sanitaire - Priorités nationales - Main d’œuvre sanitaire, médicale et autres

L’évaluation doit ensuite vérifier la concordance entre : - Les besoins de la société - Les objectifs de formation - Les programmes d’études (contenu, organisation, méthodes pédagogiques et d’éducation, ressources humaines et matériels disponibles)

Cette évaluation est essentiellement formative, - Elle n’a aucun caractère : de sanction de comparaison ni souci d’uniformisation. - Elle vise l’amélioration de la qualité de la formation par une dynamique qui mobilise la Faculté, les enseignants et les étudiants et par le développement d’une culture d’évaluation dans la Faculté. - Elle fournit une rétroaction externe à la Faculté de médecine et à l’Université. - Elle permet de développer et d’entretenir chez les enseignants, les étudiants et les administrateurs un sens critique par la phase d’auto-évaluation.

Dans une stratégie de changement, les recommandations du rapport d’auto-évaluation, appuyées sur celles de l’évaluation externe, constituent un outil très utile pour le Doyen et son équipe. Cette évaluation est faite à la demande de la Faculté de médecine ou de l’Université. L’Université ou la Faculté s’adresse alors à la CIDMEF, directement ou par l’intermédiaire de la Conférence Régionale dont elle fait partie.

3. L’OBJET DE L’EVALUATION Elle porte sur les 3 cycles de la formation médicale. Elle porte surtout sur le 1er et le 2ème cycles des études médicales (le tronc commun). Pour le 3ème cycle elle s’attache à la spécificité de la formation en médecine générale, et aux spécialisations des grandes disciplines cliniques : chirurgie générale, médecine interne, gynécologie-obstétrique, pédiatrie, psychiatrie, santé publique ou communautaire

L’évaluation porte donc essentiellement sur l’adéquation entre, Les autres activités et missions de la Faculté sont examinées et évaluées dans la mesure de leur incidence sur les activités de formation professionnelle en particulier des 1er et 2ème cycles (tronc commun) Ainsi de - La recherche et la formation des chercheurs - La formation médicale continue - La formation des autres professionnels de santé - La coopération internationale L’évaluation porte donc essentiellement sur l’adéquation entre, . Les besoins de la société . Les objectifs institutionnels . Les objectifs des programmes d’études . Les moyens mis en œuvre En fonction de ces objectifs sont évalués : - Le contenu du programme - Les méthodes d’apprentissage - L’évaluation des étudiants et des enseignants - La disponibilité des ressources

4. LA DEMARCHE D’EVALUATION DU PROGRAMME DES ETUDES MEDICALES La visite préparatoire Le recueil de données L’auto-analyse institutionnelle La visite d’évaluation Le rapport d’évaluation Le calendrier

La visite préparatoire Pour une première évaluation, une visite préparatoire faite par 1 ou 2 experts s’impose pour - Expliquer - les buts - Les étapes de la démarche - L’esprit de l’évaluation - Motiver - les enseignants et les étudiants - Répondre aux appréhensions et aux préjugés -S’assurer du concours des responsables académiques et administratifs

Le recueil de données Il consiste à regrouper de façon, systématique et uniforme les informations nécessaires aux 2 étapes suivantes : l’auto-évaluation et l’évaluation externe. Cette première étape est lourde et peut paraître fastidieuse. Elle est indispensable puisque l’évaluation proprement dite s’appuie sur les informations qu’elle fournit. Elle dure au moins 2 mois.

L’auto-analyse institutionnelle C’est l’étape la plus importante, Elle oblige à un examen critique qui implique tous les acteurs de la Faculté : - Administrateurs - Enseignants - Etudiants - Personnels techniques Elle est l’occasion d’interactions entre ces acteurs. Elle permet de dégager un consensus, - Sur les points forts qu’il faut consolider. - Sur les points faibles qu’il faut tenter de corriger

L’évaluation doit comporter des jugements de valeur sur les programmes et les éléments qui les composent. Il ne s’agit : - Ni d’un simple état des lieux - Ni d’une évaluation comparative avec d’autres Facultés L’opération est confiée à une commission de 5 à 10 membres présidée par une personne mandatée par le Doyen

L’auto-analyse institutionnelle comporte 2 étapes : - La 1ère étape est l’examen des principaux secteurs d’activités par des sous commissions dirigées par un responsable en autorité dans ce secteur : - Programme d’études - Personnel enseignant et non enseignant (effectif, qualification..) - Circulation de l’information dans la faculté - Locaux et matériels pédagogiques - Sites de formation clinique - Relations avec la direction de l’Université, la direction des Hôpitaux - Organismes de dispensation des soins - Formation continue - Recherche et formation des chercheurs - Administration et organisation de la Faculté - Relations internationales

- L’analyse et la synthèse des rapports provenant des sous commissions La 2ème étape comprend : - L’analyse et la synthèse des rapports provenant des sous commissions - L’identification des points forts et des points faibles du programme - La discussion du rapport de synthèse à tous les niveaux de la Faculté. Ce rapport doit faire l’objet d’un consensus auprès du personnel enseignant, le Doyen peut adjoindre un rapport personnel - La participation des étudiants à l’auto-analyse est essentielle - en contribuant aux travaux des sous commissions - ensuite et surtout en produisant un rapport qui leur soit propre sur les aspects qui les touchent de près : - Le programme - Les méthodes pédagogiques - L’évaluation - Leur participation aux structures de la Faculté - La vie étudiante

Le rapport des étudiants doit être confidentiel et transmis directement à la commission d’évaluation externe. L’étape d’auto-analyse prend 4 à 6 mois, soit 2 à 3 mois pour chacune des 2 phases.

La visite d’évaluation Le but de la visite par la commission d’évaluation externe est la validation de l’auto-analyse institutionnelle et des jugements portés . Cette visite contribue aussi à promouvoir la motivation des membres de la Facultés et l’objectivité de l’auto-analyse. Elle incite au respect des échéances établies. Deux mois environ avant la date convenue pour la visite, l’ensemble des données et rapports doivent être adressés aux membres de la commission d’évaluation externe : - Données de base - Rapport des sous commissions - Rapport/synthèse d’auto-évaluation - Rapport des étudiants - Rapport éventuel du Doyen - Et tous documents pertinents (annuaire, guide des études…)

La commission d’évaluation externe Elle se compose de 3 à 6 personnes de provenance diverse, proposées par la CIDMEF Elle doit comprendre : - un clinicien - un fondamentaliste - un chercheur. - un Président qui organise et anime les activités de la commission - un Secrétaire responsable de la rédaction du rapport final. - des membres d’organismes intéressés par les processus d’évaluation (OMS, CAMES) peuvent être invités comme observateurs ou membres à part entière. Il est indispensable que chaque membre de la commission d’évaluation externe ait pris connaissance de toute la documentation avant la visite

La visite Programmée par le Président et le Doyen. Elle dure en général 4 jours encadrés par une session de travail la veille du 1er jour et une autre à la fin. Elle comporte : des rencontres avec  - La direction de la Faculté - La commission d’évaluation externe - Les directeurs de départements - Les responsables pédagogiques - Des enseignants de diverses catégories -Des étudiants de différents niveaux des visites - Installations pédagogiques - Bibliothèque, médiathèque - Centre informatique - Des responsables d’hôpitaux et des lieux de stage

Au terme de la visite le Président fait un rapport verbal immédiat, Au Doyen de la Faculté Au Président/Recteur de l’Université Ce rapport préliminaire présente les principales constatations en termes de points forts et de points faibles ainsi que les principales recommandations et suggestions proposées. Ce rapport est imprimé dans les meilleurs délais et transmis au Doyen

Le rapport d’évaluation Le Secrétaire élabore un projet de rapport - avec l’accord du Président - en collaboration avec les autres membres pour commentaires, suggestions, corrections et approbation. Ce projet est confidentiellement transmis au Doyen pour s’assurer de l’absence d’erreurs. Dans un délai de 3 mois le rapport final est adressé au Président/Recteur et au Doyen qui a sollicité l’évaluation. Ce rapport est confidentiel, à l’usage interne de l’Université et de la Faculté. Il est néanmoins souhaitable que la Faculté le diffuse le plus largement auprès des enseignants et des étudiants.

Le Calendrier Recueil de données 2 mois Auto analyse institutionnelle 4 à 6 mois Travail de sous commissions 2-3 mois Rapport de synthèse 2-3 mois Transmission des documents à la commission d’évaluation externe 1-2 mois Visite de la commission externe 4-5 j Production du rapport final 2-3 mois TOTAL 9-12 mois

Coûts de la visite - La CIDMEF assume les frais de déplacement - L’Université hôte assume les frais de séjour - Le travail de la commission n’est pas rétribué

5. LE SUIVI DE L’ÉVALUATION Le plan d’action La Faculté établit un plan d’action réaliste et immédiatement applicable concernant les principaux éléments du rapport d’auto-évaluation et du rapport d’évaluation externe. Une commission du suivi est constituée pour cette mission. Elle doit : - consulter les enseignants, étudiants, personnels par discussions en ateliers ou colloques. - dégager un consensus pour fixer les priorités d’action et déterminer les ressources humaines et matérielles pour les mettre en œuvre.

Le monitorage du plan d’action Les responsables de l’institution : - Organisent la mise en œuvre - Surveillent les progrès - Evaluent les différentes étapes - Informent tous les membres de la Faculté de ces démarches et des résultats

Le rôle de la CIDMEF dans le suivi La Faculté transmet à la CIDMEF son plan d’action et l’échéancier retenu. La CIDMEF peut à terme, à la demande de la Faculté, envoyer une mission d’un ou deux membres pour faire le point sur les progrès réalisés et les difficultés rencontrées . Au terme de 3 à 5 ans, une visite de suivi peut évaluer l’atteinte des objectifs du plan d’action et préparer un nouveau cycle d’évaluation.

6. CONCLUSION Les raisons d’interroger les Facultés de médecine sur la pertinence et l’efficacité de leurs activités et programmes de formation sont nombreuses et de plus en plus pressantes : - Changements sociaux à l’échelle régionale et mondiale Evolution des idées et des concepts concernant la santé -Coût économique des formations - Progrès technologiques -Attentes de la société -Responsabilité sociale et imputabilité des Facultés de médecine.

Les Facultés de médecine ont compris l’ intérêt de solliciter leur évaluation dans un processus codifié comme celui de la CIDMEF conçu et réalisé par des experts universitaires qui se veut une aide dans leur recherche de qualité et de progrès. ________________