Session 05 : La performance et le suivi- évaluation 18/04/2017 Session 05 : La performance et le suivi- évaluation Grand Bassam – 20 au 28 novembre2013 Khadidja Kadri Programme des Nations Unies pour le développement

Présentation des modules La mesure de la performance et le choix des indicateurs Le suivi de la performance (mise en œuvre des PAP) et l’évaluation des programmes Novembre 2013 Mesure de la performance et choix des indicateurs

Module 01: La mesure de la performance et le choix des indicateurs 18/04/2017 Module 01: La mesure de la performance et le choix des indicateurs Grand Bassam – 20 au 28 novembre2013 Khadidja Kadri Programme des Nations Unies pour le développement

Présentation des modules La mesure de la performance et ses indicateurs Le suivi de la performance (mise en œuvre des PAP) et l’évaluation des programmes Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Objectifs du module Objectifs Résultats escomptés Se familiariser avec la notion de performance, et les concepts afférents (résultats, indicateurs, cibles, mesure) ; Apprendre à identifier des indicateurs de performance ; Formuler des indicateurs de performances. Expliquer le processus de définition des indicateurs de performance ; Définir des indicateurs de performance. Etablir un cadre de mesure de la performance S’approprier la culture de la performance ; Novembre 2013 Mesure de la performance et choix des indicateurs

Conseils méthodologiques 1 - Préparation de la formation Se référer : Aux lois organiques portant lois de finances pour effectuer du benchmark (Gabon, France, Cameroun, Congo) Au guide didactique de la directive portant loi de finances Guide méthodologique pour la mise en œuvre de la Directive portant loi de finances au sein de l’UEMOA Annexe n°2 : la démarche de performance Au Guide méthodologique pour la mise en œuvre de la Directive portant loi de finances au sein de l’UEMOA - Annexe n°1 : la pluri annualité Au guide didactique de la directive portant TOFE 2 – Conseils méthodologiques Consacrer 1h30 à l’exposé, y compris les questions, réponses et exercices ; Insister sur : les concept de performance, d’indicateurs; La typologie des indicateurs La formulation d’indicateurs Le cadre de mesure de la performance.. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Le cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Qu’est ce que la performance… ? 18/04/2017 Définition: « La performance est tout ce qui, et seulement ce qui, contribue à atteindre les objectifs stratégiques... » Evoquer la performance induit donc que le jugement est porté sur : L’efficacité (ou l’aptitude à atteindre l’objectif) L’économie de coût L’efficience (maximiser par exemple la production à partir de quantités données de ressources, ou de minimiser ces dernières pour une production). la performance est intimement liée à la notion de pilotage stratégique. Le pilotage se définit comme : « un processus de passage à l’action de coordination impliquant d’identifier les leviers pouvant avoir une influence sur la performance ». Novembre 2013 Mesure de la performance et choix des indicateurs

(…) Qu’est ce que la performance ? La performance s’inscrit dans un dispositif de pilotage des administrations pour l’atteinte des résultats prévus Renforcer la transparence pour mieux informer le Parlement et le public sur les objectifs et les résultats obtenus; Améliorer l’efficacité et l’efficience de la dépense publique à un moindre coût et améliorer la qualité; Accroître la responsabilisation des gestionnaires de programmes qui doivent rendre compte de leurs performances et de leurs résultats. Novembre 2013 Mesure de la performance et choix des indicateurs

La performance et la chaîne de résultats Moyens Activités Produits et services obtenus Résultats intermé-diaires (changement de situation – Effet) Résultats finals (Impact) Contrôle de gestion Mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de l’efficience et de l’efficacité 18/04/2017 (Inputs) Intrants Mise en œuvre (Process) Extrants (outputs) (Changement) (Outcome) Effets Les choses sont-elles bien faites ? (Comment ?) Fait-on les bonnes choses ? (Quoi ?) (Pourquoi ?) Input : Ressources matériels, humaines et financières Mise en œuvre (ou process) : Activités, processus d’intervention Output: Produits et services pour les bénéficiaires et les usagers Outcomes: Résultats (effets de changement), impact sur la société La performance c’est faire les bonnes choses et livrer les services attendus Résultats opérationnels Résultats de développement Mesures de la performance Source: Institut de la Gestion Publique et du Développement économique, Pr C. Rochet Mesure de la performance et choix des indicateurs Novembre 2013

La performance. La performance Rendre des comptes au Parlement et au public sur les résultats obtenus ; Améliorer la qualité des programmes ; Contribuer à la cohérence des dépenses avec les objectifs stratégiques. Permettre de rationaliser les allocations budgétaires; Une démarche itérative et permanente = un processus continu d’amélioration Novembre 2013 Mesure de la performance et choix des indicateurs

La mesure de la performance doit être FARCIE . 18/04/2017 Focalisée sur les objectifs prioritaires et la stratégie du programme. Adaptée Pertinente pour une utilisation effective par toutes les parties prenantes (Parlement, le Ministère, le responsable de programmes. Robuste Le système de mesure est objectif, explicite et permanent au-delà des changements de responsables. Comparable Elle permet les analyses comparatives de programme à programme ou sur différentes années et les évaluations ex-post par rapport aux cibles initiales et d’une année / l’autre. Intégrée À la stratégie du ministère, aux modes de gestion, et à son pilotage effectif afin de permettre un pilotage endogène de la performance. Equilibrée Elle doit décrire toutes les dimensions : impact des actions, gestion des ressources, la mise en œuvre et des compétences. Mesure de la performance et choix des indicateurs Novembre 2013

Les indicateurs de performance doivent être intelligents: SMART 18/04/2017 Spécifiques Ils décrivent une valeur-cible de performance pour un objectif précis. Mesurables Ils doivent être explicites, fiables et non-constestables Atteignables À moindre coût dans l’horizon de temps du programme et des Rapports Annuels de Performance. Réalisables L’institution chargée de collecter l’information doit pouvoir le faire et répondre aux besoins en information des gestionnaires (= pertinence). Temporel limité dans le temps - on sait ainsi quand l'objectif, la cible a été atteint(e). Un objectif non défini dans le temps est nul Cela revient à construire des indicateurs de performance pertinents. Mesure de la performance et choix des indicateurs Novembre 2013

Mesure de la performance et choix des indicateurs A vous maintenant ! Exercice 1 : «La mesure de la performance ?» 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Comprendre la notion de performance. Directives : entourer les réponses aux questions. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs. Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Définition Un indicateur est un instrument de mesure significative, relative ou non, utilisé pour apprécier les résultats réels par rapport aux résultats attendus, les ressources utilisées, ou encore l’état d’avancement des travaux ; une variable ayant pour objet de mesurer, de décrire ou d’apprécier totalement ou partiellement un état, une situation et /ou l’évolution d’une activité ou d’un programme ; représente ce qui doit être mesuré pour déterminer si les résultats sont en voie d’être atteints, et dans quelle mesure; permet de répondre à la question « ce résultat est-il atteint? ou en voie d’être atteint? » Novembre 2013 Mesure de la performance et choix des indicateurs

Indicateur : instrument de mesure significative Un instrument de mesure qui permet de mesurer : une grandeur, une quantité, un indice, un état de situation ou un degré de réalisation par rapport à une étape donnée, ou à un résultat attendu; significative… La mesure doit avoir un sens et doit être liée à un objectif à réaliser Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Indicateur : instrument de mesure relative ou non pour apprécier les résultats réels Mesure relative ou non : L’indicateur permet d’exprimer: une mesure simple (nombre) en présentant une seule variable; Une mise en relation de deux ou plusieurs variables (pourcentage, ratio). Pour apprécier : la mesure permet d’évaluer, de juger, de comparer, de suivre la progression, de vérifier, de contrôler. Les résultats réels: ils représentent ce qui est effectivement produit par le ministère…les divers bénéfices à court terme obtenus par les citoyens lorsqu’ils se prévalent des produits et services offerts par les ministères. Ils sont mesurés à l’aide d’indicateurs de performance. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs L’indicateur, un instrument de mesure pour apprécier l’utilisation des ressources et l’état d’avancement des programmes L’utilisation des ressources : dans un contexte de gestion axée sur les résultats, les initiatives entreprises visent à satisfaire les attentes exprimées par les citoyens, à respecter la limite des ressources disponibles. Les indicateurs de performance permettent de suivre l’évolution des dépenses, de vérifier si les budgets alloués sont respectés et d’évaluer si la gestion des ressources est efficiente. L’état d’avancement des programmes : la mesure se prend généralement en cours d’exécution et peut être : une information ponctuelle un rapport d’étape sur la mise en œuvre d’un programme le degré d’évolution vers la cible (ex..80% du résultat attendu) une date limite ou une échéance Novembre 2013 Mesure de la performance et choix des indicateurs

Avantages des indicateurs Moyen efficace de mesurer les progrès accomplis vers la réalisation des résultats Ce moyen permet la comparaison entre services, périodes etc. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Fonctions d’un indicateur de performance 18/04/2017 Il mesure la réalisation des objectifs définis au préalable (quantitatif, qualitatif). Un indicateur est généralement une représentation chiffrée Il permet d’apprécier l’atteinte d’une performance le plus objectivement possible. Il doit être représentatif et rendre compte de manière substantielle du résultat attendu. Indicateurs « statistiques » Indicateurs de performance des programmes ou des projets d’investissement d’un ministère Un indicateur doit être pratique, simple et compréhensible par tous Novembre 2013 18/04/2017 Mesure de la performance et choix des indicateurs

Les indicateurs de performance 18/04/2017 Les indicateurs de performance sont des mesures quantitatives ou qualitatives de résultats développementaux. Indicateurs quantitatifs chiffrés (mesure souvent considérée comme la plus objective) Indicateurs qualitatifs chiffrés (jugement ou perception quantifiable mais plutôt subjectif) Indicateurs non chiffrés (résultats intangibles) Nombre Niveau de satisfaction Date d’entrée en vigueur d’une loi Fréquence Qualité des services fournis Date de livraison % Adéquation entre les outils développés et la capacité d’absorption Ratios perception Novembre 2013 Mesure de la performance et choix des indicateurs

Indicateurs qualitatifs chiffrés 18/04/2017 Exemples Taux d’agents et cadres interrogés satisfaits de la formation reçue ; Niveau de satisfaction des bénéficiaires d’un service rendu (sur une échelle de 1 à 5) ; Perception des hommes vis-à-vis de la participation des femmes dans les cellules d’élaboration des DPPD-PAP et RAP (sur une échelle de 1 à 5). Novembre 2013 Mesure de la performance et choix des indicateurs

Indicateurs non chiffrés 18/04/2017 Exemples Date d’entrée en vigueur d’un nouveau programme ; Date limite de dépôt des programmes ministériels ; Date de réalisation des revues à mi-parcours et finales ; Date de production des rapports de performance ; Opinion des usagers sur les services rendus aux citoyens sur la base de questions fermées (oui/non). Novembre 2013 Mesure de la performance et choix des indicateurs

Exemples d’indicateurs par type… 18/04/2017 Indicateur d’intrant (input) Dépenses engagées, ordonnancées ou payées ; Nombre de postes affectés par rapport au nombre de postes disponibles en début d’année ; Nombre de sessions de formation ; Nombre de vaccins achetés Novembre 2013 Mesure de la performance et choix des indicateurs

Exemples d’indicateurs par type… 18/04/2017 Indicateur d’extrant (output) ou de résultat ) Nombre d’activités réalisées (session de formation) ; Nombre de services offerts (vaccins administrés) ; Nombre d’étudiants inscrits ; Nombre de diplômes obtenus ; Nombre de visites dans les dispensaires ; Nombre de lits disponibles / Temps d’attente des patients ; Montant des investissements réalisés. Novembre 2013 Mesure de la performance et choix des indicateurs

Exemples d’indicateurs par type… 18/04/2017 Indicateur d’effet (outcome)) Nombre de diplômés ; Taux de vaccination de la population ; Nombre de familles vivant dans un logement décent ; Nombre d’emplois créés ; Taux d’augmentation des revenus de la population rurale ; Qualité des installations. Novembre 2013 Mesure de la performance et choix des indicateurs

Exemples d’indicateurs par type… 18/04/2017 Indicateur d’impact Espérance de vie ; Accessibilité de la population à l’eau potable ; Autosuffisance au niveau des produits agricoles de large consommation ; Taux d’emploi des jeunes diplômés ; Ventes à l’exportation des entreprises nationales. Novembre 2013 Mesure de la performance et choix des indicateurs

Le résultat attendu (cible) Le résultat attendu est le niveau de performance qu’un programme compte atteindre pour une activité particulière à un horizon déterminé. Il se traduit par la valeur souhaitée de l’indicateur ; Il est élaboré sur la base de l’indicateur auquel elle se réfère ; Il précise la valeur de l’indicateur et le délai fixé pour y arriver ; Il est généralement quantifiable ; Novembre 2013 Mesure de la performance et choix des indicateurs

Exemple d’indicateurs Objectif: Accès amélioré aux marchés ruraux Choix de l’indicateur : Réduction de la durée moyenne du trajet jusqu’au marché le plus proche ; Définition du résultat attendu : Quantité: La durée moyenne du trajet jusqu’au marché le plus proche est réduite de 15 %/an (année de référence 2013) ; Qualité : ….pendant la saison des pluies…. Groupe cible : ….pour tous les voyageurs disposant d’un véhicule privé…. Location : …dans la région X…. Période : et ce, 3 ans après le démarrage du programme. Novembre 2013 Mesure de la performance et choix des indicateurs

Exemple d’indicateurs Objectif: Améliorer l’offre d’irrigation pour les exploitations agricoles Choix de l’indicateur : Augmentation du taux d’accès à l’eau d’irrigation ; Définition de la cible : Quantité: x km Longueur de canaux construits /an ; Qualité : ….pendant la saison des pluies…. Groupe cible : ….pour tous les exploitations agricoles…. Location : …dans la région X…. Période : et ce, 3 ans après le démarrage du programme. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Le résultat attendu L’écart entre le résultat attendu et le résultat observé conduit à un jugement ou à une évaluation qui peut entraîner une mise à jour de l’analyse de la situation et une correction des objectifs ou des moyens ; Le résultat attendu est défini pendant la planification et la programmation budgétaire et, de ce fait, avant ’exécution du budget. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Exercice 2 : «Comprendre la performance et les indicateurs ?» 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Comprendre les indicateurs et la performance. Directives : entourer les bonnes réponses aux questions. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Répondez aux questions suivantes : Question 1 Un indicateur : est une variable de mesure d’une activité. est un instrument de mesure pour apprécier les résultats obtenus. permet de suivre la mise en œuvre des activités uniquement. s’inscrit sur toute la chaine de résultats. Question 2  Un indicateur : est uniquement un instrument de mesure relative. est un instrument de mesure relative ou absolue. permet de contrôler, seulement, les activités mise en œuvre ex-post. représente ce qui a été effectivement produit. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Répondez aux questions suivantes : Question 3 : Un indicateur peut être : uniquement quantitatif. Uniquement qualitatif. quantitatif et qualitatif. chiffré et non chiffré. Question 4 : Les indicateurs quantitatifs sont : des indicateurs de perception. de jugement. Intangibles. des indicateurs objectifs. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Répondez aux questions suivantes : Question 5 : Les « opinions relatives à la satisfaction de la formation de formateurs » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur qualitatif chiffré. de mesure de la performance. Question 6 : Un résultat est : le niveau de performance d’un programme à atteindre à terme. l’indicateur à renseigner à terme. quantifiable. modifiable durant la période Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 1 : Un indicateur : est une variable de mesure d’une activité. est un instrument de mesure pour apprécier les résultats obtenus. permet de suivre la mise en œuvre des activités uniquement. s’inscrit sur toute la chaine de résultats. Question 2 : Un indicateur : est uniquement un instrument de mesure relative. est un instrument de mesure relative ou absolue. permet de contrôler, seulement, les activités mise en œuvre ex-post. représente ce qui a été effectivement produit. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 3 : Un indicateur peut être : uniquement quantitatif. Uniquement qualitatif. quantitatif et qualitatif. chiffré et non chiffré. Question 4 : Les indicateurs quantitatifs sont : des indicateurs de perception. de jugement. Intangibles. des indicateurs objectifs. (ex: nombre, fréquence, ratios) Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 5 : Les « opinions relatives à la satisfaction de la formation de formateurs » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur qualitatif chiffré. de mesure de la performance. Question 6 : Un résultat est : le niveau de performance d’un programme à atteindre à terme. l’indicateur à renseigner à terme. quantifiable. modifiable durant la période (permet de faire le point à un moment donnée et de rectifier si nécessaire). Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs (critères de sélection) Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Qualités d’un bon indicateur de performance 18/04/2017 Validité : Mesure-t-il le résultat ? Fiabilité : La mesure est-elle uniforme dans le temps ? Simplicité : L’information sera-t-elle facile à recueillir et à analyser ? Utilité : L’information sera-t-elle utile à la prise de décision ? Sensibilité : L'indicateur est-il sensible au changement lorsque le résultat change ? Faisabilité : Le programme a-t-il les moyens de recueillir l’information ? Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs 18/04/2017 Un indicateur ne peut pas fournir toutes les informations relatives à l’atteinte d’un objectif ou d’un résultat d’un programme. Choisir un ou des indicateurs appropriés même s’ils ne donnent qu’une image partielle de la situation Choisir des indicateurs en fonction de leur qualité, de leur spécificité et de leur disponibilité Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Valide : l’indicateur mesure-t-il réellement le résultat ? Exemple de résultat Indicateur valide « utilisation accrue de l’eau potable par la population de la région X » « % des ménages utilisant l’eau potable provenant d’une source propre » Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs (…) 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants Fiable : l’indicateur demeure-t-il uniforme dans le temps? Exemple de résultat Indicateur valide « Accès accru aux services de santé pour la population de la région Y » « % de la population vivant à moins de deux heures de marche d’un centre médical » Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs (…) 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Sensible : l’indicateur est-il sensible aux changements qui pourront se produire ? Exemple de résultat Indicateur valide « Taux de mortalité infantile réduit dans la région Y » « % des enfants de moins de 5 ans vaccinés contre les maladies infantiles (rougeole)» Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs (…) 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Simple : les données sont-elles faciles à recueillir et analyser ? Exemple de résultat Indicateur valide 100% des personnes formées sont compétentes pour l’entretien des puits Nombre de femmes et d’hommes qui ont suivi la formation sur l’entretien des puits Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs (…) 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Utile : l’information sera-t-elle utile à la prise de décision ? à des modifications ? Exemple de résultat Indicateur valide « utilisation accrue de l’eau potable par la population de la région Y » « % des ménages utilisant l’eau potable provenant de source propre » Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs 18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Faisable : a-t-on les moyens de recueillir l’information ? Exemple Peut-on faire des enquêtes auprès des ménages de la région Y sur le degré de satisfaction par ex. au moindre coût ? Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs 18/04/2017 La validation des indicateurs: Les indicateurs doivent être objectivement vérifiables (IOV) Les IOV doivent pouvoir se mesurer de façon objective et à un coût acceptable Les IOV sont S.M.A.R.T Cibles (suivi trimestriel, semestriel ou annuel) Novembre 2013 Mesure de la performance et choix des indicateurs

4. Méthodologie pour définir les indicateurs 18/04/2017 Les indicateurs de performance doivent être bien documentés Aspects des indicateurs à documenter la définition la méthode de calcul la fréquence de collecte le niveau de désagrégation le mode de collecte le mode de reportage La « fiche signalétique » d’indicateurs accompagnant chaque programme Analyser et interpréter la signification des indicateurs Novembre 2013 Mesure de la performance et choix des indicateurs

Exemple de fiche signalétique pour indicateur Source : www.finances.gouv.fr/modefie - contenu élaboré par l’auteur ; Exemple de fiche signalétique -type d’un indicateur proposé Intitulé du programme Service des Urgences – CHU Région X Objectif auquel l’indicateur se rattache Réduction du temps de séjour des patients aux urgences Intitulé de l’indicateur % de séjours de 24h ou plus aux Urgences Définition de l’indicateur Pourcentage des patients déposés par les pompiers dont le séjour est égal ou supérieur à 24h Source et mode de collecte des données Registres des services des Urgences des CHU de la région X Service responsable de la collecte Information et statistiques Provenance géographique CHU, Cliniques et centres de santé Collecte administrative, par enquête, etc. ; Établissements de santé Périodicité trimestrielle et par année fiscale Délais de disponibilité 4semaines après la fin de période d’observation (janvier à mars, disponibilité fin avril) Service responsable de l’analyse et du suivi de l’indicateur ; D.E.P. du Ministère de la Santé Valeur de l’indicateur : Unité de mesure ; Durée moyenne de séjour en service d’urgences Méthode et/ou formule de calcul ; Séjour = (n 24h/n) * 100 n= nombre total de personnes qui ont été accueillies aux urgences n 24h = nombre de personnes ayant occupé un lit pendant 24h ou plus. Fréquence de la mesure ; Trimestrielle Valeur de la cible : Mode de déclinaison  (par exemple par région ; Région X Séries de réalisation disponibles ; De janvier 2011 à janvier 2013. Explications de l’estimation de la cible pour chaque année projection. Pourcentage de séjours de 24h ou plus des patients ne devrait pas excéder 15% Interprétation et limite de l’indicateur : Cet indicateur s’applique à tous les établissements de santé de la région X de 100 lits et plus Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Exercice 2 : « Le bon indicateur ! » 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Comprendre les fonctions d’un indicateur Directives : répondez aux questions et entourer la (les) bonne(s) réponse(s). Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! 18/04/2017 Répondez aux questions suivantes : Question1 : La production de 1000 t de blé est un indicateur  quantitatif qualitatif de risque non chiffré. Question 2 : Une « utilisation plus fréquente du site Web et un accès accru à celui-ci par tous les segments de la population ivoirienne» est un exemple: d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Répondez aux questions suivantes :  Question 3 : Les « opinions relatives aux capacités et aux compétences du personnel pour répondre aux besoins » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Répondez aux questions suivantes :  Question 4 : Un ministère met sur pied un projet qui devrait augmenter l'accessibilité à son site Web. Si l'extrant du projet est « Stratégies ciblées et plan de commercialisation », quel pourrait être l’indicateur ? Stratégies améliorées et plan de commercialisation efficace. Niveau de répercussion que le plan de commercialisation a sur une sensibilisation accrue des clients ciblés. Existence de stratégies d'accès et de commercialisation, où des cas d'inaccessibilité/bas niveaux de sensibilisation sont rapportés. Le nombre d'utilisateurs du site Web. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Exercice 2 : « Le bon indicateur ! » 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Comprendre les fonctions d’un indicateur Directives : répondez aux questions et entourer la (les) bonne(s) réponse(s). Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé 18/04/2017 Question1 : La production de 1000 t de blé est un indicateur  quantitatif qualitatif de risque non chiffré. Question 2 : Une « utilisation plus fréquente du site Web et un accès accru à celui-ci par tous les segments de la population ivoirienne» est un exemple: d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 3 : Les « opinions relatives aux capacités et aux compétences du personnel pour répondre aux besoins » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 4 : Un ministère met sur pied un projet qui devrait augmenter l'accessibilité à son site Web. Si l'extrant du projet est « Stratégies ciblées et plan de commercialisation », quel pourrait être l’indicateur ? Stratégies améliorées et plan de commercialisation efficace. Niveau de répercussion que le plan de commercialisation a sur une sensibilisation accrue des clients ciblés. Existence de stratégies d'accès et de commercialisation, où des cas d'inaccessibilité/bas niveaux de sensibilisation sont rapportés. Le nombre d'utilisateurs du site Web. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Contenu 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

Le cadre de mesure de la performance 18/04/2017 Définition : « Le cadre de mesure de la performance est un outil qui sert à planifier de façon systématique la collecte de données sur le niveau atteint des résultats ». C’est un ensemble des composantes qui permettront aux gestionnaires responsables d’obtenir des informations sur l’atteinte des résultats en relation avec les objectifs définis préalablement - pertinentes - disponibles en temps opportun Informations Novembre 2013 Mesure de la performance et choix des indicateurs

Pourquoi un cadre de mesure de la performance ? 18/04/2017 Pour constituer une base de données qui alimentera le système de suivi de la performance en vue de rendre compte du niveau d’atteinte des résultats des programmes et le RAP ; Pour évaluer l’état d’avancement des résultats au niveau des extrants, des effets et de l’impact ; Pour garantir une collecte de données sur la performance à intervalles réguliers et en temps voulu. Novembre 2013 Mesure de la performance et choix des indicateurs

Les éléments du cadre de performance Sur la base des stratégies ministérielles pluriannuelles , les objectifs sont choisis et il s’agit, alors d’identifier : les résultats (chaines de résultats) les indicateurs les résultats annuels attendus les méthodes de collectes de données les responsables de la collecte des données Mettre en place un système de collecte de données périodique sur la performance est essentiel lors de l’exécution budgétaire et de la reddition des comptes. Novembre 2013 Mesure de la performance et choix des indicateurs

Exemples de méthodes de collecte de données Extraction d’une base de données de gestion ; Enquêtes ; Études ; Système d’information de suivi du programme ; Rapport d’activités ou de suivi ; Données d’instituts statistiques. Novembre 2013 Mesure de la performance et choix des indicateurs

Choix de la fréquence du suivi de la performance La fréquence de suivi doit être précisée pour chaque indicateur. Pour les indicateurs de résultat à court terme, les fréquences seront normalement plus élevées que pour les indicateurs de résultats à moyen ou long terme. Afin de déterminer cette fréquence, il faut tenir compte des processus décisionnels en place, du cycle budgétaire et des coûts du suivi et de la disponibilité des données. Novembre 2013 Mesure de la performance et choix des indicateurs

A quoi sert le processus de suivi de la performance ? 18/04/2017 Assurer le suivi continu de la mise en œuvre des programmes ? Comparer les résultats atteints et les résultats prévisionnels ? Réviser et prendre de nouvelles décisions si nécessaire ; Gestion itérative des programmes. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Exercice  : « Collecte de données sur la performance et rapportage » 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : A quoi sert le suivi-évaluation ? Directives : Répondez aux questions qui vous semblent les plus pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 1 : Lequel des énoncés suivants est vrai ? Les données de base sont l'ensemble des conditions existant au commencement d'un programme/projet. Les données de base sont les données quantitatives recueillies pour créer un profil au début d'un programme. Les données recueillies au cours de votre premier cycle de mesure de la performance ne peuvent pas servir comme données de base. Les données de base sont la différence existant entre un ensemble de conditions du début d'un programme et l'ensemble des conditions de la fin du cycle de vie du programme. Question 2 : Vous savez que votre programme est sur la bonne voie lorsque... Le programme atteint ses résultats de performance annuelles tant au niveau des extrants qu'à des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des extrants. Le programme atteint ses résultats de performance annuelles au niveau des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des résultats finals. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 3 : À la sélection des résultats, vous devriez tenir compte de ceci : les constatations relatives aux résultats des périodes antérieures ayant fait l'objet de rapports ; les résultats obtenus par d'autres programmes ; votre budget ; ce qui suit : la capacité interne ; les principales activités du programme ; les influences externes possibles pouvant avoir des effets sur les résultats futurs ; la capacité de surveillance continue. Question 4 : Les activités de collecte de données qui sont distinctes des rôles et des responsabilités régulières échouent souvent en raison du manque de temps et de ressources pour recueillir les données. Laquelle de ces stratégies aiderait à assurer une collecte de données de haute qualité ? Mettre au point à l'avance les instruments de la collecte des données. Déterminer des cibles réalistes de la performance. Utiliser un plus petit ensemble d'indicateurs. Intégrer, aux fins de la surveillance continue, la collecte des données dans les pratiques globales de gestion, les procédés opérationnels et les activités de la tenue des dossiers. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 5 : Vous avez besoin d'information pour préparer l'échantillonnage d'une enquête. Quelle méthode de collecte des données est la plus appropriée ? Systèmes et dossiers administratifs externes. Étude de la documentation. Systèmes et dossiers administratifs internes. Entrevues. Question 6 : Vous voulez faire l'essai d'un nouveau site Web avant de terminer sa mise en œuvre. Une méthode convenable de collecte des données pourrait être : L'étude de la documentation. Des entrevues. Une enquête. Un groupe de discussion. Les groupes de concertation sont une méthode adéquate pour tester des idées, des services ou des produits nouveaux. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 7 : Les étapes de l'analyse des données sont : Examiner si les données sont précises et cohérentes et les organiser entre les diverses populations. Regrouper et subdiviser les données. Récapituler les données à l'aide de comparaisons, de descriptions, de dénombrements ainsi que de regroupements et de subdivisions. Examiner les données pour leur précision et pour leur cohérence, puis les récapituler et les organiser à l'aide des méthodes appropriées. Question 8 : Une ébauche finale du rapport est envoyée aux intervenants. Les intervenants sont considérablement étonnés des constatations de l'évaluation. Ils disent qu'un certain nombre d'intervenants majeurs n'ont pas été interviewés et que, par conséquent, les constatations ne sont pas crédibles. Quelle grande stratégie de communication deviez-vous utiliser pour éviter cette situation ? Communiquer soigneusement l'information délicate. Mettre au point des méthodes appropriées de collecte de données. Faire participer les intervenants pendant l'évaluation. Diffuser les constatations au stade du rapport final seulement. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Question 1 : Lequel des énoncés suivants est vrai ? Les données de base sont l'ensemble des conditions existant au commencement d'un programme/projet. Les données de base sont les données quantitatives recueillies pour créer un profil au début d'un programme. Les données recueillies au cours de votre premier cycle de mesure de la performance ne peuvent pas servir comme données de base. Les données de base sont la différence existant entre un ensemble de conditions du début d'un programme et l'ensemble des conditions de la fin du cycle de vie du programme. Question 2 : Vous savez que votre programme est sur la bonne voie lorsque... Le programme atteint ses résultats de performance annuelles tant au niveau des extrants qu'à des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des extrants. Le programme atteint ses résultats de performance annuelles au niveau des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des résultats finals. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 3 : À la sélection des résultats, vous devriez tenir compte de ceci : les constatations relatives aux résultats des périodes antérieures ayant fait l'objet de rapports ; les résultats obtenus par d'autres programmes ; votre budget ; ce qui suit : la capacité interne ; les principales activités du programme ; les influences externes possibles pouvant avoir des effets sur les résultats futurs ; la capacité de surveillance continue. Question 4 : Les activités de collecte de données qui sont distinctes des rôles et des responsabilités régulières échouent souvent en raison du manque de temps et de ressources pour recueillir les données. Laquelle de ces stratégies aiderait à assurer une collecte de données de haute qualité ? Mettre au point à l'avance les instruments de la collecte des données. Déterminer des cibles réalistes de la performance. Utiliser un plus petit ensemble d'indicateurs. Intégrer, aux fins de la surveillance continue, la collecte des données dans les pratiques globales de gestion, les procédés opérationnels et les activités de la tenue des dossiers. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 5 : Vous avez besoin d'information pour préparer l'échantillonnage d'une enquête. Quelle méthode de collecte des données est la plus appropriée ? Systèmes et dossiers administratifs externes. Étude de la documentation. Systèmes et dossiers administratifs internes. Entrevues. Question 6 : Vous voulez faire l'essai d'un nouveau site Web avant de terminer sa mise en œuvre. Une méthode convenable de collecte des données pourrait être : L'étude de la documentation. Des entrevues. Une enquête. Un groupe de discussion. Les groupes de concertation sont une méthode adéquate pour tester des idées, des services ou des produits nouveaux. Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Question 7 : Les étapes de l'analyse des données sont : Examiner si les données sont précises et cohérentes et les organiser entre les diverses populations. Regrouper et subdiviser les données. Récapituler les données à l'aide de comparaisons, de descriptions, de dénombrements ainsi que de regroupements et de subdivisions. Examiner les données pour leur précision et pour leur cohérence, puis les récapituler et les organiser à l'aide des méthodes appropriées. Vous devez examiner les données pour leur précision et pour leur cohérence, puis les organiser à l'aide de diverses méthodes. Question 8 : Une ébauche finale du rapport est envoyée aux intervenants. Les intervenants sont considérablement étonnés des constatations de l'évaluation. Ils disent qu'un certain nombre d'intervenants majeurs n'ont pas été interviewés et que, par conséquent, les constatations ne sont pas crédibles. Quelle grande stratégie de communication deviez-vous utiliser pour éviter cette situation ? Communiquer soigneusement l'information délicate. Mettre au point des méthodes appropriées de collecte de données. Faire participer les intervenants pendant l'évaluation. Diffuser les constatations au stade du rapport final seulement. Si vous faites participer les principaux intervenants pendant l'évaluation, vous éviterez les surprises aux stades finals de l'évaluation Novembre 2013 Mesure de la performance et choix des indicateurs

Exemple tableau de bord du cadre de mesure de la performance ? 18/04/2017 Résultats Indicateurs de performance Sources de données Méthode de collecte Fréquence ? Qui ? Impact Effet (outcome) Effet 1 Effet 2 Extrant (output) Extrant 1 Extrant 2 Extrant 3 Ceci est un exemple – utiliser de préférence le même format que dans le PAP. Novembre 2013 Mesure de la performance et choix des indicateurs

Proposition de contenu du RAP 20XX du ministère X 18/04/2017   Présentation générale Résumé des missions du ministère Présentation du contexte général économique et/ou budgétaire d’exécution des programmes Résumé de l’exécution budgétaire du ministère Les rapports annuels de performance des programmes (RAP par programme) Performance du programme 1 : XXX Contexte d’exécution du programme 1 : XXX Rappel des objectifs de performance (PAP) : prévisions Évolution des indicateurs de performance : Réalisations Analyse détaillée et explication des résultats Exécution financière par action/sous-programme Exécution des autorisations d’engagement Exécution des prévisions d’effectifs Performance du programme 2 : XXX : Contexte d’exécution du programme 2 : XXX Etc… Annexes : toute annexe jugée utile Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs Recommandations : 18/04/2017 Toujours préciser les indicateurs de performance tout au long de la chaîne des résultats ; Définir des cibles intermédiaires pour chaque indicateur de performance retenu ; Permettre de mesurer les progrès du début à la fin du processus de livraison des biens et services publics ; Définir des indicateurs respectant la chaîne d’impact ou de résultats (intrants, extrants, effets et impacts).. Novembre 2013 Mesure de la performance et choix des indicateurs

Quels indicateurs choisir? Recommandations… 18/04/2017 Pour le dialogue budgétaire, le Parlement et le Public Pour la gestion interne en général privilégier les Indicateurs de Performance relatifs aux résultats intermédiaires (effets) Toutefois pour le programme d’administration générale : mesure de l’efficience, de la qualité un nombre limité d’indicateurs (ex.:1 à 2 indicateurs par objectif). Indicateurs de performance « déclinés »des Indicateurs de performance du programme + Indicateurs de performance spécifiques ; suivre les dispositions opérationnelles à l’aide d’indicateurs de moyens et produits. Novembre 2013 Mesure de la performance et choix des indicateurs

chaîne de résultats Ressources/ intrants Activités Extrants (outputs) Effets Impact Comment ? Pourquoi ? Quoi ? Moyens matériels, humains & financiers Construire, former, soigner Bâtiment construit, Nb pers. soignés Services santé performants Améliora- tion conditions de vie Novembre 2013 Mesure de la performance et choix des indicateurs

Processus de production des services publics et Dimensions de la performance Résultats socio-économiques finaux Efficacité Objectifs des politiques publiques Résultats socio-économiques intermédiaires Qualité de service Produits (résultats attendus) (services rendus) Activités Efficience Dispositions opérationnelles Situation de référence Moyens Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs A vous maintenant ! Exercice 4 : « Le cadre de mesure de la performance ! » 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Le cadre de mesure de la performance. Directives : Entourer les réponses qui vous semblent pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs : A vous maintenant ! Question 1: Le cadre de performance est : un outil de planification de collecte des données une source d’information sur l’atteinte des résultats est du ressort du responsable de programme est établi une fois pour toute la durée. Question 2 : Un cadre de performance : requiert des données fiables, pertinentes, simples permet l’évaluation des résultats immédiats requiert la collection de données et information à moyen terme Permet, seulement, l’évaluation à terme échu Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs : A vous maintenant ! Question 3 : Un cadre de performance : est essentiel ,uniquement, pendant la phase d’exécution budgétaire est essentiel lors de la phase d’exécution budgétaire est essentiel lors de la reddition des comptes est essentiel ,uniquement, pour la reddition des comptes ; Question 4 : Le cadre de la performance : est nécessaire que pour les indicateurs d’extrants est nécessaire pour chaque indicateur retenu est important uniquement pour les indicateurs d’impact permet de comparer les résultats atteints avec les indicateurs prévisionnels. Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé Exercice 4 : « Le cadre de mesure de la performance ! » 20 mn Travail individuel 10 mn Retour-synthèse 10 mn Objectif : Le cadre de mesure de la performance. Directives : Entourer les réponses qui vous semblent pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

A vous maintenant ! Corrigé : A vous maintenant ! Corrigé Question 1: Le cadre de performance est : un outil de planification de collecte des données une source d’information sur l’atteinte des résultats est du ressort du responsable de programme est établi une fois pour toute la durée. Question 2 : Un cadre de performance : requiert des données fiables, pertinentes, simples permet l’évaluation des résultats immédiats requiert la collection de données et information à moyen terme Permet seulement l’évaluation à terme échu Novembre 2013 Mesure de la performance et choix des indicateurs

Mesure de la performance et choix des indicateurs : A vous maintenant ! Question 3 : Un cadre de performance : est essentiel uniquement pendant la phase d’exécution budgétaire est essentiel lors de la phase d’exécution budgétaire est essentiel lors de la reddition des comptes est essentiel uniquement pour la reddition des comptes ; Question 4 : Le cadre de la performance : est nécessaire que pour les indicateurs d’extrants est nécessaire pour chaque indicateur retenu est important uniquement pour les indicateurs d’impact permet de comparer les résultats atteints avec les indicateurs prévisionnels. Novembre 2013 Mesure de la performance et choix des indicateurs

Merci pour votre aimable attention ! 18/04/2017 Merci pour votre aimable attention ! Novembre 2013 Mesure de la performance et choix des indicateurs