MONITORING ET EVALUATION DR. ASHOK SHAH CONSEILLER TECHNIQUE, SIGHTFIRST PROGRAMME, REGION AFRIQUE ANGLOPHONE MONITORING ET EVALUATION

QU’EST-CE QUE LE MONITORING? Le MONITORING, ou suivi en continue de l’exécution d’une activité, établi jusqu’a quels points les intrants, les résultats, le calendrier, correspondent au plan initialement défini

QU’EST-CE QU’UNE EVALUATION? L’EVALUATION est un procédé qui ambitionne de déterminer aussi systématiquement et objectivement que possible l’adéquation, l’effectivité, l’efficacité et l’impact d’activités dans le contexte d’un nombre précis d’objectifs. C’est un puissant outil de collecte d’information et de gestion qui sert l’étape de planification en améliorant a la fois les activités en cours et celles a planifier.

EVALUATION L’évaluation ne sert pas a TROUVER DES FAUTES; Elle ne doit pas être menaçante. Elle devrait être constructive. Elle doit être aussi participative que possible. Les résultats de évaluation peuvent être utiliser comme plaidoyer pour accroître l’investissement et obtenir un plus grand soutien du gouvernement, des ONGs, de la Société Civile et du public en général

M & E dans le contexte de VISION 2020. Mise en oeuvre de VISION 2020. Le DROIT A LA VUE concerne OU VOULONS-NOUS ÊTRE EN 2020 OU EN SOMMES NOUS EN 2008 Le Monitoring nous dit si on est sur la bonne voie L’évaluation nous dit si on est arrivé, comment, et a quel prix intrant HMIS Résulats Calendrier Bénéfice Résultats impact

MESURER C’EST SAVOIR Ne pas mesurer c’est ne pas savoir En l’ absence d’information nous ne pouvons pas et devrions pas assumer ou presumer. DEBARASSONS NOUS DU "SYNDROME DU MERITE ASSUMÉ"

DEFINITIONS Projet – panoplie d’ activités entreprises pour réaliser des objectifs ou résultats spécifiques Programme – panoplie de projets organisés INTRANTS – ressources disponibles pour activité PROCESSUS – transforme les intrants en résultats RESULTAT – produit spécifique que l’activité est sensée délivrée PRODUITS – mesure de la quantité de résultats IMPACT – économique, éducationnel, social etc.

MESURABLE, FACTUEL, VALIDE, VERIFIABLE, SENSIBLE INDICATEURS Un INDICATEUR est une mesure qui est utilisee pour démontrer évolution de produits d’un projet. Lorsque la mesure directe est impossible, des indicateurs indirects ou Proxy peuvent être utilises. INTRANT, PROCESSUS, RESULTAT, PRODUIT, IMPACT MESURABLE, FACTUEL, VALIDE, VERIFIABLE, SENSIBLE

besoins données-ligne de base Évaluation Qu’est-ce qu’une évaluation ? Un outil de gestion destiner a évaluer les accomplissements d’un programme, ex: mesurer les changements besoins données-ligne de base Situation a t = o Programme Cibles Résultats Situation a t + n ? =

Monitoring vs. Evaluation Monitoring: une revue et une surveillance continue de la mise en oeuvre des activités du projet pour être sure que les actions se déroulent selon le plan établi. Evaluation: a processus qui sert a déterminer la/l’/le Relevance Adéquation Progrès Efficacité Effectivité et Impact des activités a la lumière de leurs objectifs (Termes de Référence)

Évaluation Relevance Adéquation ? Ex: “Est-ce que le programme / activité cadre avec la politique de santé et les priorités?” Priorité Programme Adéquation Ex: “est-ce que le programme est approprie ?” Se réfère aux stratégies ?

ÉVALUATION Efficacité expression de la relation entre: les efforts entrepris (ressources humaines et financières, temps, technologie. etc.) et les résultats obtenus a partir d’une activité / programme (Produit) L’évaluation de l’ efficacité est destinée a améliorer la mise en oeuvre

Résultat obtenu (Résultat) Efficacité Résultat obtenu (Résultat) Intrants (HR $ Temps) Haut Bas X Intrant Résultat Haute Efficacité Basse

ÉVALUATION Effectivite Impact Mesure le degré d’obtention des objectives prédéterminés En relation avec: Effectivité des coûts Bénéfices sur les coûts Impact réfère aux effets globaux sur le long-terme d’un programme / activité sur la santé et le développement socio-économique.

Processus en “Spirale”, Element essentiel de tout PoBP Évaluation But de l’évaluation: identifier les faiblesses de façon à renforcer le programme Evaluation Identification de Problèmes Mise en oeuvre Priorités Allocation des Ressources Objectifs Cibles Plan d’action Processus en “Spirale”, Element essentiel de tout PoBP

Basée sur des études de Populations Qualité du Produit Basée sur des études de Populations 22 a 44% d’une population (six études), présente une vision inférieure a 6/60. Ces produits ne sont pas acceptable Causes Erreur Réfractive non-Corrigée (URE) Complication chirurgicale Suivi médiocre

Qualité du Produit La qualité peut être mesurée - Quantitativement – Présentant/une meilleure acuité visuelle après une chirurgie de la cataracte - Qualitativement – Satisfaction des patients, vision et questionnaire de la qualité de vie - % de personnes économiquement réhabilites après chirurgie

QUALITE DU PRODUIT RESTAURATION COMPLETE DE LA VUE QUEL PRODUIT POST-CHIRURGIE EST LA VISION IDEALE? RESTAURATION COMPLETE DE LA VUE PRODUIT CIBLE ADEQUATE POST OP VA PRESENTANT MEILLEURE CORRECTION BONNE 6/6-6/18 > 80% >90% MOYENNE <6/18-6/60 <15% <5% PAUVRE <6/60 <5% <5%

Basée sur des études de Populations Qualité du Produit Basée sur des études de Populations 22 a 44% d’une population (six études), présente une vision inférieure a 6/60. Ces produits ne sont pas acceptable Causes Erreur Réfractive non-Corrigée (URE) Complication chirurgicale Suivi médiocre

Qualité du Produit La prestation de services mène a production Généralement le produit est mesure en nombres La qualité du produit doit être mesurée

Comment améliorer le produit? Qualité du Produit Comment améliorer le produit? Formation Services (amicaux) centres sur le patient Monitoring régulier: Mesurer, c’est savoir Analyse des résultats et dissémination de l’information Complications opératoires Résultat sur la vision Satisfaction des patients – Satisfaction du client

Qualité du Produit Le monitoring routinier de la qualité est important Niveau de qualité de service acceptable Satisfaction du patient/Opinion du client Feed back Actions correctives Amélioration de la qualité de services Amélioration de la satisfaction des patients

C’est peut être un facteur potentiel !!! Est-ce qu’une qualité médiocre est une barrière a franchir pour accepter les services? C’est peut être un facteur potentiel !!!

PÉRENNISATION N’est pas: Un programme quelconque de maintenance après la cessation du support financier C’est: L’augmentation de la capacité pérenne de l'autonomie des personnes de reconnaître, d'analyser et de résoudre leurs problèmes de façon plus efficace, de contrôler et d'utiliser leurs propres ressources internes et externes, en s'appuyant sur les points forts, les ressources, et leurs capacités à résoudre les problèmes déjà présents.

PÉRENNISATION Approches: Approche organisationnelle de bas en haut, Approche organisationnelle de haut en bas Partenariats Approche Communautaire

APPROCHE ORGANISATIONNELLE DE BAS EN HAUT Développement de talents techniques et de gestion de façon a permettre les organismes locaux de mieux planifier, mettre en oeuvre, et évaluer adéquatement les mesures et programmes de santé. La façon dont les stagiaires sont sélectionnes, formés, et leur mise en position d’utiliser les connaissances et techniques récemment acquises est crucial.

APPROCHE ORGANISATIONNELLE DE HAUT EN BAS Restructuration organisationnelle ex: Decentralisation qui peut contribuer au renforcement des capacites locales. Programmes de formation au sein d’organisations Renforcement des ressources non-personnel Systemes d’assurance quality – vision partagee Capacity building efforts focusing only at central to capacity building level may not contribute much Changes in policies and practices

Partenariats Professionnels et “consommateurs” Entre: Groupes communautaires ayant un intérêt commun. Groupes communautaires ayant des relations intérêt Groupes professionnels Groupes professionnels et communautaires Professionnels et “consommateurs”

Approche des Communautés Organisatrices Transformer les individus et les communautés de receveur de services passifs a des participants actifs dans un processus de changement communautaire. Obtenu en élevant les connaissances des personnes, leur, sensibilisation, et talents, leur utilisation de leur propre capacités, de façon a installer un sentiment de confiance en soi qui les rend maître de leur destinées Peut entraîner des demandes et attentes irréalistes

Modèles de Soins Oculaires Pérennes Pérenne dans: Les Ressources Humaines Les Infrastructures Les Services Le Financement/Revenue Si disponible au niveau adéquate le programme est pérenne

Modèles de Soins Oculaires Pérennes Réputation des Instituts Etats de service Qualité de service Position relative sur le marche due a la compétition Structure des prix (abordable)

Modèles de Soins Oculaires Pérennes Petite Unité Un ophtalmologiste Cinq para-médicaux + admin staff de support Plus de 2,000 chirurgies par an 70% des coûts supportes par les revenues Grande Unité 6 Ophtalmologistes 30 Para-médicaux + admin staff de support Plus de 30,000 chirurgies Réalise des profits après amortissements des dépenses

Modèles de Soins Oculaires Pérennes Leçons Utilisation efficace des ressources Qualité du produit Productivité: Grand # de chirurgies (produit) Salaires adéquates, staff motive & de volontaire Hôpital pérenne

Modèles de Soins Oculaires Pérennes Modèles de Haute Qualité et de grand Volume Vitreo Surgery Unit: plus de 3,000 chirurgies par an Aravind Eye Care System: Plus de 200,000 chirurgies par an

Modèles de Soins Oculaires Pérennes Petite Unité Un ophtalmologiste Cinq para-médicaux + admin staff de support Plus de 2,000 chirurgies par an 70% des coûts supportes par les revenues Grande Unité 6 Ophtalmologistes 30 Para-médicaux + admin staff de support Plus de 30,000 chirurgies Réalise des profits après amortissements des dépenses

Challenges de la Mise en Oeuvre du Project VOLONTÉ POLITIQUE & PLAIDOYER

VOLONTÉ POLITIQUE Il s’agit des qualités suivantes. L’ENGAGEMENT A LA CAUSE est vitalement important. L’ENGAGEMENT doit venir de SENSIBILISATION a l’existence d’un problème, CONVICTION que quelque chose peut être fait et la RÉSOLUTION a le faire.

L’ENGAGEMENT DOIT MENER A UNE VISION La VISION doit etre partagee avec tous les membres de votre organisation Dans le programme SightFirst chaque Lion a une opportunité de servir un autre être humain.

RESSOURCES HUMAINES OPHTALMOLOGISTES *** OPHTALMIQUE INFIRMIERS OPHTALMIQUES *** DIRIGEANTS DE CLINIQUES OPHTHALMIQUES *** NON – OPHTHALMIQUE STAFF AUXILIAIRE ** CHAUFFEURS ** DIRIGEANTS SUR LE TERRAIN ** DIRIGEANTS DE CAMPS ET DE SERVICES “OUTREACH” ** STAFF D’ASSISTANCE– NETTOYAGE, ADMINISTRATIF ETC.

FORCE DE TRAVAIL FORMATION / FORCE DE TRAVAIL FORMÉE: OPHTALMOLOGISTES INFIRMIÈRES OPHTHALMIQUES DIRIGEANTS DE CLINIQUES / ASSISTANTS OPTOMETRISTES / OPTICIENS SERVICES D’ASISTANCE: STAFF D’HOPITAL STAFF –ADMINISTRATIF, TECHNIQUE, MÉDICAL NON- OPHTHALMIQUE, ETC.

RAISONS DE REJET DE PROPOSITION DE PROJET FAUSSES PRIORITES TROP COUTEUSE DUPLICATION DE SERVICES PLANNIFICATION DE PROJET DE HAUT EN BAS PAS DES PERSPECTIVE DE PERENNISATION QUALITE CONTROLE DE QUALITE MEDIOCRE TECHNOLOGIE INAPPROPRIEE FORCE DE TRAVAIL QUESTIONNAIRE DE RESOURCES/INADEQUATE/NON DISPONIBLE PAS DE LIONS IMPLIQUES

MEMORANDUM D’ENTENTE MEMORANDUM OF UNDERSTANDING (M.O.U) TYPES OU MODALITES QUI PEUVENT ETRE UTILISES EN TANT QU’ AGREMENTS: M.O.U. AGREMENT DE COOPERATION TECHNIQUE POURQUOI UN MOU EST IMPORTANT AVANT DE COMMENCER UN PROJET?

MOU / AGRÉMENT ENTRE QUI – 2 ET PLUS 1. LIONS CLUB/S, DISTRICT / MD, 2. L.C.I.F. 3. NNGOs 4. INGOs 5. UNIVERSITES 6. GOVERNEMENT / AUTHORITES SANITAIRES 7. HOPITAUX PRIVES OU PUBLICS 8. AUTRES ORGANISATIONS DE SERVICES

QUELQUES EXEMPLES DE M.O.U.s 1. AGREEMENT DE COOPERATION TECHNIQUE ENTRE LE GOVERNEMENT DE LA REPUBLIQUE D’OUGANDA ET LIONS CLUBS INTERNATIONAL – MD 104 NORWAY 2. MEMORANDUM OF UNDERSTANDING ENTRE LIONS CLUBS INTERNATIONAL THE CARTER CENTER 3. MEMORANDUM OF UNDERSTANDING ENTRE LE GOVERNEMENT DU MALAWI LIONS CLUB OF BLANTYRE THE INTERNATIONAL EYE FOUNDATION

EXEMPLES (Suite) MEMORANDUM OF UNDESTANDING ENTRE MOORFIELDS EYE HOSPITAL, NHS FOUNDATION TRUST, UK ET KORLE BU TEACHING HOSPITAL, ACCRA, GHANA, UNIVERSITY OF GHANA MEDICAL SCHOOL, ACCRA, GHANA GHANA DEPARTMENT OF HEALTH, ACCRA, GHANA ET LE COLLEGE OUEST AFRICAIN DES CHIRURGIENS ORGANISATION DE LA SANTE DE L’AFRIQUE DE L’OUEST

CONTENU D’UN M.O.U. PREAMBULE PARTIES SIGNANTS LE MOU NOM DU PROJET, LOCATION ET LICENCES DE COPY RIGHT OBJET DE L’AGREMENT ENGAGEMENTS ET TACHES DE CHAQUE PARTIE - OBLIGATIONS CONDITIONS ADDITIONNELLES – MODIFICATIONS DES PLANS DU PROJET, BUDGETS, PROMOTION ET PUBLICITE CONJOINTE, ACTIVITES CONJOINTES DE LEVEE DE FONDS, CONDITIONS DE TERMINAISON DE AGREMENT / MOU AUTHORISATION DE L’AGREMENT SIGNATAIRES DU MOU – LEUR POSITIONS DANS LEURS ORGANISATIONS RESPECTIVES DATE A LAQUELLE LE MOU EST SIGNE

NOTES ADDITIONNELES D’UN M.O.U. POINTS ADDITIONELS QUI PEUVENT ETRE INCORPORES: HISTORIQUE COURT DES PARTIES SIGNANT LE MOU OBJET DU MEMORANDUM REPRESENTATION / REPRESENTANTS MODIFICATION DU MEMORANDUM QUAND LA LCIF EST L’UN DES SIGNATAIRES ? NOM DU PROJET DOIT ETRE CLAIREMENT ORTHOGRAPHIE PERIODE DE VALIDITE DE L’ AGREMENT PROPOSE ACTION DES LIONS / LCIF ET LOGO SUR LE SITE OBLIGATIONS BONNE FOI ET EQUITE RESOLUTION DES DISPUTES