Session 05 : La performance et le suivi- évaluation

Présentation au sujet: "Session 05 : La performance et le suivi- évaluation"— Transcription de la présentation:

1 Session 05 : La performance et le suivi- évaluation
18/04/2017 Session 05 : La performance et le suivi- évaluation Grand Bassam – 20 au 28 novembre2013 Khadidja Kadri Programme des Nations Unies pour le développement

2 Présentation des modules
La mesure de la performance et le choix des indicateurs Le suivi de la performance (mise en œuvre des PAP) et l’évaluation des programmes Novembre 2013 Mesure de la performance et choix des indicateurs

3 Module 01: La mesure de la performance et le choix des indicateurs
18/04/2017 Module 01: La mesure de la performance et le choix des indicateurs Grand Bassam – 20 au 28 novembre2013 Khadidja Kadri Programme des Nations Unies pour le développement

4 Présentation des modules
La mesure de la performance et ses indicateurs Le suivi de la performance (mise en œuvre des PAP) et l’évaluation des programmes Novembre 2013 Mesure de la performance et choix des indicateurs

5 Mesure de la performance et choix des indicateurs
Objectifs du module Objectifs Résultats escomptés Se familiariser avec la notion de performance, et les concepts afférents (résultats, indicateurs, cibles, mesure) ; Apprendre à identifier des indicateurs de performance ; Formuler des indicateurs de performances. Expliquer le processus de définition des indicateurs de performance ; Définir des indicateurs de performance. Etablir un cadre de mesure de la performance S’approprier la culture de la performance ; Novembre 2013 Mesure de la performance et choix des indicateurs

6 Conseils méthodologiques
1 - Préparation de la formation Se référer : Aux lois organiques portant lois de finances pour effectuer du benchmark (Gabon, France, Cameroun, Congo) Au guide didactique de la directive portant loi de finances Guide méthodologique pour la mise en œuvre de la Directive portant loi de finances au sein de l’UEMOA Annexe n°2 : la démarche de performance Au Guide méthodologique pour la mise en œuvre de la Directive portant loi de finances au sein de l’UEMOA - Annexe n°1 : la pluri annualité Au guide didactique de la directive portant TOFE 2 – Conseils méthodologiques Consacrer 1h30 à l’exposé, y compris les questions, réponses et exercices ; Insister sur : les concept de performance, d’indicateurs; La typologie des indicateurs La formulation d’indicateurs Le cadre de mesure de la performance.. Novembre 2013 Mesure de la performance et choix des indicateurs

7 Mesure de la performance et choix des indicateurs
Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Le cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

8 Qu’est ce que la performance… ?
18/04/2017 Définition: « La performance est tout ce qui, et seulement ce qui, contribue à atteindre les objectifs stratégiques... » Evoquer la performance induit donc que le jugement est porté sur : L’efficacité (ou l’aptitude à atteindre l’objectif) L’économie de coût L’efficience (maximiser par exemple la production à partir de quantités données de ressources, ou de minimiser ces dernières pour une production). la performance est intimement liée à la notion de pilotage stratégique. Le pilotage se définit comme : « un processus de passage à l’action de coordination impliquant d’identifier les leviers pouvant avoir une influence sur la performance ». Novembre 2013 Mesure de la performance et choix des indicateurs

9 (…) Qu’est ce que la performance ?
La performance s’inscrit dans un dispositif de pilotage des administrations pour l’atteinte des résultats prévus Renforcer la transparence pour mieux informer le Parlement et le public sur les objectifs et les résultats obtenus; Améliorer l’efficacité et l’efficience de la dépense publique à un moindre coût et améliorer la qualité; Accroître la responsabilisation des gestionnaires de programmes qui doivent rendre compte de leurs performances et de leurs résultats. Novembre 2013 Mesure de la performance et choix des indicateurs

10 La performance et la chaîne de résultats
Moyens Activités Produits et services obtenus Résultats intermé-diaires (changement de situation – Effet) Résultats finals (Impact) Contrôle de gestion Mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

11 Mesure de l’efficience et de l’efficacité
18/04/2017 (Inputs) Intrants Mise en œuvre (Process) Extrants (outputs) (Changement) (Outcome) Effets Les choses sont-elles bien faites ? (Comment ?) Fait-on les bonnes choses ? (Quoi ?) (Pourquoi ?) Input : Ressources matériels, humaines et financières Mise en œuvre (ou process) : Activités, processus d’intervention Output: Produits et services pour les bénéficiaires et les usagers Outcomes: Résultats (effets de changement), impact sur la société La performance c’est faire les bonnes choses et livrer les services attendus Résultats opérationnels Résultats de développement Mesures de la performance Source: Institut de la Gestion Publique et du Développement économique, Pr C. Rochet Mesure de la performance et choix des indicateurs Novembre 2013

12 La performance. La performance Rendre des comptes au Parlement et au public sur les résultats obtenus ; Améliorer la qualité des programmes ; Contribuer à la cohérence des dépenses avec les objectifs stratégiques. Permettre de rationaliser les allocations budgétaires; Une démarche itérative et permanente = un processus continu d’amélioration Novembre 2013 Mesure de la performance et choix des indicateurs

13 La mesure de la performance doit être FARCIE .
18/04/2017 Focalisée sur les objectifs prioritaires et la stratégie du programme. Adaptée Pertinente pour une utilisation effective par toutes les parties prenantes (Parlement, le Ministère, le responsable de programmes. Robuste Le système de mesure est objectif, explicite et permanent au-delà des changements de responsables. Comparable Elle permet les analyses comparatives de programme à programme ou sur différentes années et les évaluations ex-post par rapport aux cibles initiales et d’une année / l’autre. Intégrée À la stratégie du ministère, aux modes de gestion, et à son pilotage effectif afin de permettre un pilotage endogène de la performance. Equilibrée Elle doit décrire toutes les dimensions : impact des actions, gestion des ressources, la mise en œuvre et des compétences. Mesure de la performance et choix des indicateurs Novembre 2013

14 Les indicateurs de performance doivent être intelligents: SMART
18/04/2017 Spécifiques Ils décrivent une valeur-cible de performance pour un objectif précis. Mesurables Ils doivent être explicites, fiables et non-constestables Atteignables À moindre coût dans l’horizon de temps du programme et des Rapports Annuels de Performance. Réalisables L’institution chargée de collecter l’information doit pouvoir le faire et répondre aux besoins en information des gestionnaires (= pertinence). Temporel limité dans le temps - on sait ainsi quand l'objectif, la cible a été atteint(e). Un objectif non défini dans le temps est nul Cela revient à construire des indicateurs de performance pertinents. Mesure de la performance et choix des indicateurs Novembre 2013

15 Mesure de la performance et choix des indicateurs
A vous maintenant ! Exercice 1 : «La mesure de la performance ?» 20 mn Travail individuel mn Retour-synthèse mn Objectif : Comprendre la notion de performance. Directives : entourer les réponses aux questions. Novembre 2013 Mesure de la performance et choix des indicateurs

16 Mesure de la performance et choix des indicateurs
Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs. Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

17 Mesure de la performance et choix des indicateurs
Définition Un indicateur est un instrument de mesure significative, relative ou non, utilisé pour apprécier les résultats réels par rapport aux résultats attendus, les ressources utilisées, ou encore l’état d’avancement des travaux ; une variable ayant pour objet de mesurer, de décrire ou d’apprécier totalement ou partiellement un état, une situation et /ou l’évolution d’une activité ou d’un programme ; représente ce qui doit être mesuré pour déterminer si les résultats sont en voie d’être atteints, et dans quelle mesure; permet de répondre à la question « ce résultat est-il atteint? ou en voie d’être atteint? » Novembre 2013 Mesure de la performance et choix des indicateurs

18 Indicateur : instrument de mesure significative
Un instrument de mesure qui permet de mesurer : une grandeur, une quantité, un indice, un état de situation ou un degré de réalisation par rapport à une étape donnée, ou à un résultat attendu; significative… La mesure doit avoir un sens et doit être liée à un objectif à réaliser Novembre 2013 Mesure de la performance et choix des indicateurs

19 Mesure de la performance et choix des indicateurs
Indicateur : instrument de mesure relative ou non pour apprécier les résultats réels Mesure relative ou non : L’indicateur permet d’exprimer: une mesure simple (nombre) en présentant une seule variable; Une mise en relation de deux ou plusieurs variables (pourcentage, ratio). Pour apprécier : la mesure permet d’évaluer, de juger, de comparer, de suivre la progression, de vérifier, de contrôler. Les résultats réels: ils représentent ce qui est effectivement produit par le ministère…les divers bénéfices à court terme obtenus par les citoyens lorsqu’ils se prévalent des produits et services offerts par les ministères. Ils sont mesurés à l’aide d’indicateurs de performance. Novembre 2013 Mesure de la performance et choix des indicateurs

20 Mesure de la performance et choix des indicateurs
L’indicateur, un instrument de mesure pour apprécier l’utilisation des ressources et l’état d’avancement des programmes L’utilisation des ressources : dans un contexte de gestion axée sur les résultats, les initiatives entreprises visent à satisfaire les attentes exprimées par les citoyens, à respecter la limite des ressources disponibles. Les indicateurs de performance permettent de suivre l’évolution des dépenses, de vérifier si les budgets alloués sont respectés et d’évaluer si la gestion des ressources est efficiente. L’état d’avancement des programmes : la mesure se prend généralement en cours d’exécution et peut être : une information ponctuelle un rapport d’étape sur la mise en œuvre d’un programme le degré d’évolution vers la cible (ex..80% du résultat attendu) une date limite ou une échéance Novembre 2013 Mesure de la performance et choix des indicateurs

21 Avantages des indicateurs
Moyen efficace de mesurer les progrès accomplis vers la réalisation des résultats Ce moyen permet la comparaison entre services, périodes etc. Novembre 2013 Mesure de la performance et choix des indicateurs

22 Mesure de la performance et choix des indicateurs
Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

23 Fonctions d’un indicateur de performance
18/04/2017 Il mesure la réalisation des objectifs définis au préalable (quantitatif, qualitatif). Un indicateur est généralement une représentation chiffrée Il permet d’apprécier l’atteinte d’une performance le plus objectivement possible. Il doit être représentatif et rendre compte de manière substantielle du résultat attendu. Indicateurs « statistiques » Indicateurs de performance des programmes ou des projets d’investissement d’un ministère Un indicateur doit être pratique, simple et compréhensible par tous Novembre 2013 18/04/2017 Mesure de la performance et choix des indicateurs

24 Les indicateurs de performance
18/04/2017 Les indicateurs de performance sont des mesures quantitatives ou qualitatives de résultats développementaux. Indicateurs quantitatifs chiffrés (mesure souvent considérée comme la plus objective) Indicateurs qualitatifs chiffrés (jugement ou perception quantifiable mais plutôt subjectif) Indicateurs non chiffrés (résultats intangibles) Nombre Niveau de satisfaction Date d’entrée en vigueur d’une loi Fréquence Qualité des services fournis Date de livraison % Adéquation entre les outils développés et la capacité d’absorption Ratios perception Novembre 2013 Mesure de la performance et choix des indicateurs

25 Indicateurs qualitatifs chiffrés
18/04/2017 Exemples Taux d’agents et cadres interrogés satisfaits de la formation reçue ; Niveau de satisfaction des bénéficiaires d’un service rendu (sur une échelle de 1 à 5) ; Perception des hommes vis-à-vis de la participation des femmes dans les cellules d’élaboration des DPPD-PAP et RAP (sur une échelle de 1 à 5). Novembre 2013 Mesure de la performance et choix des indicateurs

26 Indicateurs non chiffrés
18/04/2017 Exemples Date d’entrée en vigueur d’un nouveau programme ; Date limite de dépôt des programmes ministériels ; Date de réalisation des revues à mi-parcours et finales ; Date de production des rapports de performance ; Opinion des usagers sur les services rendus aux citoyens sur la base de questions fermées (oui/non). Novembre 2013 Mesure de la performance et choix des indicateurs

27 Exemples d’indicateurs par type…
18/04/2017 Indicateur d’intrant (input) Dépenses engagées, ordonnancées ou payées ; Nombre de postes affectés par rapport au nombre de postes disponibles en début d’année ; Nombre de sessions de formation ; Nombre de vaccins achetés Novembre 2013 Mesure de la performance et choix des indicateurs

28 Exemples d’indicateurs par type…
18/04/2017 Indicateur d’extrant (output) ou de résultat ) Nombre d’activités réalisées (session de formation) ; Nombre de services offerts (vaccins administrés) ; Nombre d’étudiants inscrits ; Nombre de diplômes obtenus ; Nombre de visites dans les dispensaires ; Nombre de lits disponibles / Temps d’attente des patients ; Montant des investissements réalisés. Novembre 2013 Mesure de la performance et choix des indicateurs

29 Exemples d’indicateurs par type…
18/04/2017 Indicateur d’effet (outcome)) Nombre de diplômés ; Taux de vaccination de la population ; Nombre de familles vivant dans un logement décent ; Nombre d’emplois créés ; Taux d’augmentation des revenus de la population rurale ; Qualité des installations. Novembre 2013 Mesure de la performance et choix des indicateurs

30 Exemples d’indicateurs par type…
18/04/2017 Indicateur d’impact Espérance de vie ; Accessibilité de la population à l’eau potable ; Autosuffisance au niveau des produits agricoles de large consommation ; Taux d’emploi des jeunes diplômés ; Ventes à l’exportation des entreprises nationales. Novembre 2013 Mesure de la performance et choix des indicateurs

31 Le résultat attendu (cible)
Le résultat attendu est le niveau de performance qu’un programme compte atteindre pour une activité particulière à un horizon déterminé. Il se traduit par la valeur souhaitée de l’indicateur ; Il est élaboré sur la base de l’indicateur auquel elle se réfère ; Il précise la valeur de l’indicateur et le délai fixé pour y arriver ; Il est généralement quantifiable ; Novembre 2013 Mesure de la performance et choix des indicateurs

32 Exemple d’indicateurs
Objectif: Accès amélioré aux marchés ruraux Choix de l’indicateur : Réduction de la durée moyenne du trajet jusqu’au marché le plus proche ; Définition du résultat attendu : Quantité: La durée moyenne du trajet jusqu’au marché le plus proche est réduite de 15 %/an (année de référence 2013) ; Qualité : ….pendant la saison des pluies…. Groupe cible : ….pour tous les voyageurs disposant d’un véhicule privé…. Location : …dans la région X…. Période : et ce, 3 ans après le démarrage du programme. Novembre 2013 Mesure de la performance et choix des indicateurs

33 Exemple d’indicateurs
Objectif: Améliorer l’offre d’irrigation pour les exploitations agricoles Choix de l’indicateur : Augmentation du taux d’accès à l’eau d’irrigation ; Définition de la cible : Quantité: x km Longueur de canaux construits /an ; Qualité : ….pendant la saison des pluies…. Groupe cible : ….pour tous les exploitations agricoles…. Location : …dans la région X…. Période : et ce, 3 ans après le démarrage du programme. Novembre 2013 Mesure de la performance et choix des indicateurs

34 Mesure de la performance et choix des indicateurs
Le résultat attendu L’écart entre le résultat attendu et le résultat observé conduit à un jugement ou à une évaluation qui peut entraîner une mise à jour de l’analyse de la situation et une correction des objectifs ou des moyens ; Le résultat attendu est défini pendant la planification et la programmation budgétaire et, de ce fait, avant ’exécution du budget. Novembre 2013 Mesure de la performance et choix des indicateurs

35 Mesure de la performance et choix des indicateurs
A vous maintenant ! Exercice 2 : «Comprendre la performance et les indicateurs ?» 20 mn Travail individuel mn Retour-synthèse mn Objectif : Comprendre les indicateurs et la performance. Directives : entourer les bonnes réponses aux questions. Novembre 2013 Mesure de la performance et choix des indicateurs

36 Mesure de la performance et choix des indicateurs
A vous maintenant ! Répondez aux questions suivantes : Question 1 Un indicateur : est une variable de mesure d’une activité. est un instrument de mesure pour apprécier les résultats obtenus. permet de suivre la mise en œuvre des activités uniquement. s’inscrit sur toute la chaine de résultats. Question 2  Un indicateur : est uniquement un instrument de mesure relative. est un instrument de mesure relative ou absolue. permet de contrôler, seulement, les activités mise en œuvre ex-post. représente ce qui a été effectivement produit. Novembre 2013 Mesure de la performance et choix des indicateurs

37 Mesure de la performance et choix des indicateurs
A vous maintenant ! Répondez aux questions suivantes : Question 3 : Un indicateur peut être : uniquement quantitatif. Uniquement qualitatif. quantitatif et qualitatif. chiffré et non chiffré. Question 4 : Les indicateurs quantitatifs sont : des indicateurs de perception. de jugement. Intangibles. des indicateurs objectifs. Novembre 2013 Mesure de la performance et choix des indicateurs

38 Mesure de la performance et choix des indicateurs
A vous maintenant ! Répondez aux questions suivantes : Question 5 : Les « opinions relatives à la satisfaction de la formation de formateurs » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur qualitatif chiffré. de mesure de la performance. Question 6 : Un résultat est : le niveau de performance d’un programme à atteindre à terme. l’indicateur à renseigner à terme. quantifiable. modifiable durant la période Novembre 2013 Mesure de la performance et choix des indicateurs

39 A vous maintenant ! Corrigé
Question 1 : Un indicateur : est une variable de mesure d’une activité. est un instrument de mesure pour apprécier les résultats obtenus. permet de suivre la mise en œuvre des activités uniquement. s’inscrit sur toute la chaine de résultats. Question 2 : Un indicateur : est uniquement un instrument de mesure relative. est un instrument de mesure relative ou absolue. permet de contrôler, seulement, les activités mise en œuvre ex-post. représente ce qui a été effectivement produit. Novembre 2013 Mesure de la performance et choix des indicateurs

40 A vous maintenant ! Corrigé
Question 3 : Un indicateur peut être : uniquement quantitatif. Uniquement qualitatif. quantitatif et qualitatif. chiffré et non chiffré. Question 4 : Les indicateurs quantitatifs sont : des indicateurs de perception. de jugement. Intangibles. des indicateurs objectifs. (ex: nombre, fréquence, ratios) Novembre 2013 Mesure de la performance et choix des indicateurs

41 A vous maintenant ! Corrigé
Question 5 : Les « opinions relatives à la satisfaction de la formation de formateurs » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur qualitatif chiffré. de mesure de la performance. Question 6 : Un résultat est : le niveau de performance d’un programme à atteindre à terme. l’indicateur à renseigner à terme. quantifiable. modifiable durant la période (permet de faire le point à un moment donnée et de rectifier si nécessaire). Novembre 2013 Mesure de la performance et choix des indicateurs

42 Mesure de la performance et choix des indicateurs
Contenu du module 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs (critères de sélection) Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

43 Qualités d’un bon indicateur de performance
18/04/2017 Validité : Mesure-t-il le résultat ? Fiabilité : La mesure est-elle uniforme dans le temps ? Simplicité : L’information sera-t-elle facile à recueillir et à analyser ? Utilité : L’information sera-t-elle utile à la prise de décision ? Sensibilité : L'indicateur est-il sensible au changement lorsque le résultat change ? Faisabilité : Le programme a-t-il les moyens de recueillir l’information ? Novembre 2013 Mesure de la performance et choix des indicateurs

44 4. Méthodologie pour définir les indicateurs
18/04/2017 Un indicateur ne peut pas fournir toutes les informations relatives à l’atteinte d’un objectif ou d’un résultat d’un programme. Choisir un ou des indicateurs appropriés même s’ils ne donnent qu’une image partielle de la situation Choisir des indicateurs en fonction de leur qualité, de leur spécificité et de leur disponibilité Novembre 2013 Mesure de la performance et choix des indicateurs

45 4. Méthodologie pour définir les indicateurs
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Valide : l’indicateur mesure-t-il réellement le résultat ? Exemple de résultat Indicateur valide « utilisation accrue de l’eau potable par la population de la région X » « % des ménages utilisant l’eau potable provenant d’une source propre » Novembre 2013 Mesure de la performance et choix des indicateurs

46 4. Méthodologie pour définir les indicateurs (…)
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants Fiable : l’indicateur demeure-t-il uniforme dans le temps? Exemple de résultat Indicateur valide « Accès accru aux services de santé pour la population de la région Y » « % de la population vivant à moins de deux heures de marche d’un centre médical » Novembre 2013 Mesure de la performance et choix des indicateurs

47 4. Méthodologie pour définir les indicateurs (…)
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Sensible : l’indicateur est-il sensible aux changements qui pourront se produire ? Exemple de résultat Indicateur valide « Taux de mortalité infantile réduit dans la région Y » « % des enfants de moins de 5 ans vaccinés contre les maladies infantiles (rougeole)» Novembre 2013 Mesure de la performance et choix des indicateurs

48 4. Méthodologie pour définir les indicateurs (…)
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Simple : les données sont-elles faciles à recueillir et analyser ? Exemple de résultat Indicateur valide 100% des personnes formées sont compétentes pour l’entretien des puits Nombre de femmes et d’hommes qui ont suivi la formation sur l’entretien des puits Novembre 2013 Mesure de la performance et choix des indicateurs

49 4. Méthodologie pour définir les indicateurs (…)
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Utile : l’information sera-t-elle utile à la prise de décision ? à des modifications ? Exemple de résultat Indicateur valide « utilisation accrue de l’eau potable par la population de la région Y » « % des ménages utilisant l’eau potable provenant de source propre » Novembre 2013 Mesure de la performance et choix des indicateurs

50 4. Méthodologie pour définir les indicateurs
18/04/2017 Les indicateurs de performance doivent respecter les critères suivants : Faisable : a-t-on les moyens de recueillir l’information ? Exemple Peut-on faire des enquêtes auprès des ménages de la région Y sur le degré de satisfaction par ex. au moindre coût ? Novembre 2013 Mesure de la performance et choix des indicateurs

51 4. Méthodologie pour définir les indicateurs
18/04/2017 La validation des indicateurs: Les indicateurs doivent être objectivement vérifiables (IOV) Les IOV doivent pouvoir se mesurer de façon objective et à un coût acceptable Les IOV sont S.M.A.R.T Cibles (suivi trimestriel, semestriel ou annuel) Novembre 2013 Mesure de la performance et choix des indicateurs

52 4. Méthodologie pour définir les indicateurs
18/04/2017 Les indicateurs de performance doivent être bien documentés Aspects des indicateurs à documenter la définition la méthode de calcul la fréquence de collecte le niveau de désagrégation le mode de collecte le mode de reportage La « fiche signalétique » d’indicateurs accompagnant chaque programme Analyser et interpréter la signification des indicateurs Novembre 2013 Mesure de la performance et choix des indicateurs

53 Exemple de fiche signalétique pour indicateur
Source : - contenu élaboré par l’auteur ; Exemple de fiche signalétique -type d’un indicateur proposé Intitulé du programme Service des Urgences – CHU Région X Objectif auquel l’indicateur se rattache Réduction du temps de séjour des patients aux urgences Intitulé de l’indicateur % de séjours de 24h ou plus aux Urgences Définition de l’indicateur Pourcentage des patients déposés par les pompiers dont le séjour est égal ou supérieur à 24h Source et mode de collecte des données Registres des services des Urgences des CHU de la région X Service responsable de la collecte Information et statistiques Provenance géographique CHU, Cliniques et centres de santé Collecte administrative, par enquête, etc. ; Établissements de santé Périodicité trimestrielle et par année fiscale Délais de disponibilité 4semaines après la fin de période d’observation (janvier à mars, disponibilité fin avril) Service responsable de l’analyse et du suivi de l’indicateur ; D.E.P. du Ministère de la Santé Valeur de l’indicateur : Unité de mesure ; Durée moyenne de séjour en service d’urgences Méthode et/ou formule de calcul ; Séjour = (n 24h/n) * 100 n= nombre total de personnes qui ont été accueillies aux urgences n 24h = nombre de personnes ayant occupé un lit pendant 24h ou plus. Fréquence de la mesure ; Trimestrielle Valeur de la cible : Mode de déclinaison  (par exemple par région ; Région X Séries de réalisation disponibles ; De janvier 2011 à janvier 2013. Explications de l’estimation de la cible pour chaque année projection. Pourcentage de séjours de 24h ou plus des patients ne devrait pas excéder 15% Interprétation et limite de l’indicateur : Cet indicateur s’applique à tous les établissements de santé de la région X de 100 lits et plus Novembre 2013 Mesure de la performance et choix des indicateurs

54 Mesure de la performance et choix des indicateurs
A vous maintenant ! Exercice 2 : « Le bon indicateur ! » 20 mn Travail individuel mn Retour-synthèse mn Objectif : Comprendre les fonctions d’un indicateur Directives : répondez aux questions et entourer la (les) bonne(s) réponse(s). Novembre 2013 Mesure de la performance et choix des indicateurs

55 Mesure de la performance et choix des indicateurs
A vous maintenant ! 18/04/2017 Répondez aux questions suivantes : Question1 : La production de 1000 t de blé est un indicateur  quantitatif qualitatif de risque non chiffré. Question 2 : Une « utilisation plus fréquente du site Web et un accès accru à celui-ci par tous les segments de la population ivoirienne» est un exemple: d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

56 Mesure de la performance et choix des indicateurs
A vous maintenant ! Répondez aux questions suivantes :  Question 3 : Les « opinions relatives aux capacités et aux compétences du personnel pour répondre aux besoins » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

57 Mesure de la performance et choix des indicateurs
A vous maintenant ! Répondez aux questions suivantes :  Question 4 : Un ministère met sur pied un projet qui devrait augmenter l'accessibilité à son site Web. Si l'extrant du projet est « Stratégies ciblées et plan de commercialisation », quel pourrait être l’indicateur ? Stratégies améliorées et plan de commercialisation efficace. Niveau de répercussion que le plan de commercialisation a sur une sensibilisation accrue des clients ciblés. Existence de stratégies d'accès et de commercialisation, où des cas d'inaccessibilité/bas niveaux de sensibilisation sont rapportés. Le nombre d'utilisateurs du site Web. Novembre 2013 Mesure de la performance et choix des indicateurs

58 A vous maintenant ! Corrigé
Exercice 2 : « Le bon indicateur ! » 20 mn Travail individuel mn Retour-synthèse mn Objectif : Comprendre les fonctions d’un indicateur Directives : répondez aux questions et entourer la (les) bonne(s) réponse(s). Novembre 2013 Mesure de la performance et choix des indicateurs

59 A vous maintenant ! Corrigé
18/04/2017 Question1 : La production de 1000 t de blé est un indicateur  quantitatif qualitatif de risque non chiffré. Question 2 : Une « utilisation plus fréquente du site Web et un accès accru à celui-ci par tous les segments de la population ivoirienne» est un exemple: d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

60 A vous maintenant ! Corrigé
Question 3 : Les « opinions relatives aux capacités et aux compétences du personnel pour répondre aux besoins » est un exemple : d'indicateur quantitatif. d'indicateur qualitatif. d'indicateur de risque. de mesure de la performance. Novembre 2013 Mesure de la performance et choix des indicateurs

61 A vous maintenant ! Corrigé
Question 4 : Un ministère met sur pied un projet qui devrait augmenter l'accessibilité à son site Web. Si l'extrant du projet est « Stratégies ciblées et plan de commercialisation », quel pourrait être l’indicateur ? Stratégies améliorées et plan de commercialisation efficace. Niveau de répercussion que le plan de commercialisation a sur une sensibilisation accrue des clients ciblés. Existence de stratégies d'accès et de commercialisation, où des cas d'inaccessibilité/bas niveaux de sensibilisation sont rapportés. Le nombre d'utilisateurs du site Web. Novembre 2013 Mesure de la performance et choix des indicateurs

62 Mesure de la performance et choix des indicateurs
Contenu 18/04/2017 La notion de performance Définitions et fonctions des indicateurs de performance Types et classification des indicateurs Méthodologie pour définir les indicateurs Cadre de mesure de la performance Novembre 2013 Mesure de la performance et choix des indicateurs

63 Le cadre de mesure de la performance
18/04/2017 Définition : « Le cadre de mesure de la performance est un outil qui sert à planifier de façon systématique la collecte de données sur le niveau atteint des résultats ». C’est un ensemble des composantes qui permettront aux gestionnaires responsables d’obtenir des informations sur l’atteinte des résultats en relation avec les objectifs définis préalablement - pertinentes - disponibles en temps opportun Informations Novembre 2013 Mesure de la performance et choix des indicateurs

64 Pourquoi un cadre de mesure de la performance ?
18/04/2017 Pour constituer une base de données qui alimentera le système de suivi de la performance en vue de rendre compte du niveau d’atteinte des résultats des programmes et le RAP ; Pour évaluer l’état d’avancement des résultats au niveau des extrants, des effets et de l’impact ; Pour garantir une collecte de données sur la performance à intervalles réguliers et en temps voulu. Novembre 2013 Mesure de la performance et choix des indicateurs

65 Les éléments du cadre de performance
Sur la base des stratégies ministérielles pluriannuelles , les objectifs sont choisis et il s’agit, alors d’identifier : les résultats (chaines de résultats) les indicateurs les résultats annuels attendus les méthodes de collectes de données les responsables de la collecte des données Mettre en place un système de collecte de données périodique sur la performance est essentiel lors de l’exécution budgétaire et de la reddition des comptes. Novembre 2013 Mesure de la performance et choix des indicateurs

66 Exemples de méthodes de collecte de données
Extraction d’une base de données de gestion ; Enquêtes ; Études ; Système d’information de suivi du programme ; Rapport d’activités ou de suivi ; Données d’instituts statistiques. Novembre 2013 Mesure de la performance et choix des indicateurs

67 Choix de la fréquence du suivi de la performance
La fréquence de suivi doit être précisée pour chaque indicateur. Pour les indicateurs de résultat à court terme, les fréquences seront normalement plus élevées que pour les indicateurs de résultats à moyen ou long terme. Afin de déterminer cette fréquence, il faut tenir compte des processus décisionnels en place, du cycle budgétaire et des coûts du suivi et de la disponibilité des données. Novembre 2013 Mesure de la performance et choix des indicateurs

68 A quoi sert le processus de suivi de la performance ?
18/04/2017 Assurer le suivi continu de la mise en œuvre des programmes ? Comparer les résultats atteints et les résultats prévisionnels ? Réviser et prendre de nouvelles décisions si nécessaire ; Gestion itérative des programmes. Novembre 2013 Mesure de la performance et choix des indicateurs

69 Mesure de la performance et choix des indicateurs
A vous maintenant ! Exercice  : « Collecte de données sur la performance et rapportage » 20 mn Travail individuel mn Retour-synthèse mn Objectif : A quoi sert le suivi-évaluation ? Directives : Répondez aux questions qui vous semblent les plus pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

70 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 1 : Lequel des énoncés suivants est vrai ? Les données de base sont l'ensemble des conditions existant au commencement d'un programme/projet. Les données de base sont les données quantitatives recueillies pour créer un profil au début d'un programme. Les données recueillies au cours de votre premier cycle de mesure de la performance ne peuvent pas servir comme données de base. Les données de base sont la différence existant entre un ensemble de conditions du début d'un programme et l'ensemble des conditions de la fin du cycle de vie du programme. Question 2 : Vous savez que votre programme est sur la bonne voie lorsque... Le programme atteint ses résultats de performance annuelles tant au niveau des extrants qu'à des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des extrants. Le programme atteint ses résultats de performance annuelles au niveau des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des résultats finals. Novembre 2013 Mesure de la performance et choix des indicateurs

71 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 3 : À la sélection des résultats, vous devriez tenir compte de ceci : les constatations relatives aux résultats des périodes antérieures ayant fait l'objet de rapports ; les résultats obtenus par d'autres programmes ; votre budget ; ce qui suit : la capacité interne ; les principales activités du programme ; les influences externes possibles pouvant avoir des effets sur les résultats futurs ; la capacité de surveillance continue. Question 4 : Les activités de collecte de données qui sont distinctes des rôles et des responsabilités régulières échouent souvent en raison du manque de temps et de ressources pour recueillir les données. Laquelle de ces stratégies aiderait à assurer une collecte de données de haute qualité ? Mettre au point à l'avance les instruments de la collecte des données. Déterminer des cibles réalistes de la performance. Utiliser un plus petit ensemble d'indicateurs. Intégrer, aux fins de la surveillance continue, la collecte des données dans les pratiques globales de gestion, les procédés opérationnels et les activités de la tenue des dossiers. Novembre 2013 Mesure de la performance et choix des indicateurs

72 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 5 : Vous avez besoin d'information pour préparer l'échantillonnage d'une enquête. Quelle méthode de collecte des données est la plus appropriée ? Systèmes et dossiers administratifs externes. Étude de la documentation. Systèmes et dossiers administratifs internes. Entrevues. Question 6 : Vous voulez faire l'essai d'un nouveau site Web avant de terminer sa mise en œuvre. Une méthode convenable de collecte des données pourrait être : L'étude de la documentation. Des entrevues. Une enquête. Un groupe de discussion. Les groupes de concertation sont une méthode adéquate pour tester des idées, des services ou des produits nouveaux. Novembre 2013 Mesure de la performance et choix des indicateurs

73 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 7 : Les étapes de l'analyse des données sont : Examiner si les données sont précises et cohérentes et les organiser entre les diverses populations. Regrouper et subdiviser les données. Récapituler les données à l'aide de comparaisons, de descriptions, de dénombrements ainsi que de regroupements et de subdivisions. Examiner les données pour leur précision et pour leur cohérence, puis les récapituler et les organiser à l'aide des méthodes appropriées. Question 8 : Une ébauche finale du rapport est envoyée aux intervenants. Les intervenants sont considérablement étonnés des constatations de l'évaluation. Ils disent qu'un certain nombre d'intervenants majeurs n'ont pas été interviewés et que, par conséquent, les constatations ne sont pas crédibles. Quelle grande stratégie de communication deviez-vous utiliser pour éviter cette situation ? Communiquer soigneusement l'information délicate. Mettre au point des méthodes appropriées de collecte de données. Faire participer les intervenants pendant l'évaluation. Diffuser les constatations au stade du rapport final seulement. Novembre 2013 Mesure de la performance et choix des indicateurs

74 A vous maintenant ! Corrigé
Question 1 : Lequel des énoncés suivants est vrai ? Les données de base sont l'ensemble des conditions existant au commencement d'un programme/projet. Les données de base sont les données quantitatives recueillies pour créer un profil au début d'un programme. Les données recueillies au cours de votre premier cycle de mesure de la performance ne peuvent pas servir comme données de base. Les données de base sont la différence existant entre un ensemble de conditions du début d'un programme et l'ensemble des conditions de la fin du cycle de vie du programme. Question 2 : Vous savez que votre programme est sur la bonne voie lorsque... Le programme atteint ses résultats de performance annuelles tant au niveau des extrants qu'à des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des extrants. Le programme atteint ses résultats de performance annuelles au niveau des résultats intermédiaires. Le programme atteint ses résultats de performance annuelles au niveau des résultats finals. Novembre 2013 Mesure de la performance et choix des indicateurs

75 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 3 : À la sélection des résultats, vous devriez tenir compte de ceci : les constatations relatives aux résultats des périodes antérieures ayant fait l'objet de rapports ; les résultats obtenus par d'autres programmes ; votre budget ; ce qui suit : la capacité interne ; les principales activités du programme ; les influences externes possibles pouvant avoir des effets sur les résultats futurs ; la capacité de surveillance continue. Question 4 : Les activités de collecte de données qui sont distinctes des rôles et des responsabilités régulières échouent souvent en raison du manque de temps et de ressources pour recueillir les données. Laquelle de ces stratégies aiderait à assurer une collecte de données de haute qualité ? Mettre au point à l'avance les instruments de la collecte des données. Déterminer des cibles réalistes de la performance. Utiliser un plus petit ensemble d'indicateurs. Intégrer, aux fins de la surveillance continue, la collecte des données dans les pratiques globales de gestion, les procédés opérationnels et les activités de la tenue des dossiers. Novembre 2013 Mesure de la performance et choix des indicateurs

76 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 5 : Vous avez besoin d'information pour préparer l'échantillonnage d'une enquête. Quelle méthode de collecte des données est la plus appropriée ? Systèmes et dossiers administratifs externes. Étude de la documentation. Systèmes et dossiers administratifs internes. Entrevues. Question 6 : Vous voulez faire l'essai d'un nouveau site Web avant de terminer sa mise en œuvre. Une méthode convenable de collecte des données pourrait être : L'étude de la documentation. Des entrevues. Une enquête. Un groupe de discussion. Les groupes de concertation sont une méthode adéquate pour tester des idées, des services ou des produits nouveaux. Novembre 2013 Mesure de la performance et choix des indicateurs

77 Mesure de la performance et choix des indicateurs
A vous maintenant ! Question 7 : Les étapes de l'analyse des données sont : Examiner si les données sont précises et cohérentes et les organiser entre les diverses populations. Regrouper et subdiviser les données. Récapituler les données à l'aide de comparaisons, de descriptions, de dénombrements ainsi que de regroupements et de subdivisions. Examiner les données pour leur précision et pour leur cohérence, puis les récapituler et les organiser à l'aide des méthodes appropriées. Vous devez examiner les données pour leur précision et pour leur cohérence, puis les organiser à l'aide de diverses méthodes. Question 8 : Une ébauche finale du rapport est envoyée aux intervenants. Les intervenants sont considérablement étonnés des constatations de l'évaluation. Ils disent qu'un certain nombre d'intervenants majeurs n'ont pas été interviewés et que, par conséquent, les constatations ne sont pas crédibles. Quelle grande stratégie de communication deviez-vous utiliser pour éviter cette situation ? Communiquer soigneusement l'information délicate. Mettre au point des méthodes appropriées de collecte de données. Faire participer les intervenants pendant l'évaluation. Diffuser les constatations au stade du rapport final seulement. Si vous faites participer les principaux intervenants pendant l'évaluation, vous éviterez les surprises aux stades finals de l'évaluation Novembre 2013 Mesure de la performance et choix des indicateurs

78 Exemple tableau de bord du cadre de mesure de la performance ?
18/04/2017 Résultats Indicateurs de performance Sources de données Méthode de collecte Fréquence ? Qui ? Impact Effet (outcome) Effet 1 Effet 2 Extrant (output) Extrant 1 Extrant 2 Extrant 3 Ceci est un exemple – utiliser de préférence le même format que dans le PAP. Novembre 2013 Mesure de la performance et choix des indicateurs

79 Proposition de contenu du RAP 20XX du ministère X
18/04/2017 Présentation générale Résumé des missions du ministère Présentation du contexte général économique et/ou budgétaire d’exécution des programmes Résumé de l’exécution budgétaire du ministère Les rapports annuels de performance des programmes (RAP par programme) Performance du programme 1 : XXX Contexte d’exécution du programme 1 : XXX Rappel des objectifs de performance (PAP) : prévisions Évolution des indicateurs de performance : Réalisations Analyse détaillée et explication des résultats Exécution financière par action/sous-programme Exécution des autorisations d’engagement Exécution des prévisions d’effectifs Performance du programme 2 : XXX : Contexte d’exécution du programme 2 : XXX Etc… Annexes : toute annexe jugée utile Novembre 2013 Mesure de la performance et choix des indicateurs

80 Mesure de la performance et choix des indicateurs
Recommandations : 18/04/2017 Toujours préciser les indicateurs de performance tout au long de la chaîne des résultats ; Définir des cibles intermédiaires pour chaque indicateur de performance retenu ; Permettre de mesurer les progrès du début à la fin du processus de livraison des biens et services publics ; Définir des indicateurs respectant la chaîne d’impact ou de résultats (intrants, extrants, effets et impacts).. Novembre 2013 Mesure de la performance et choix des indicateurs

81 Quels indicateurs choisir? Recommandations…
18/04/2017 Pour le dialogue budgétaire, le Parlement et le Public Pour la gestion interne en général privilégier les Indicateurs de Performance relatifs aux résultats intermédiaires (effets) Toutefois pour le programme d’administration générale : mesure de l’efficience, de la qualité un nombre limité d’indicateurs (ex.:1 à 2 indicateurs par objectif). Indicateurs de performance « déclinés »des Indicateurs de performance du programme + Indicateurs de performance spécifiques ; suivre les dispositions opérationnelles à l’aide d’indicateurs de moyens et produits. Novembre 2013 Mesure de la performance et choix des indicateurs

82 chaîne de résultats Ressources/ intrants Activités Extrants (outputs)
Effets Impact Comment ? Pourquoi ? Quoi ? Moyens matériels, humains & financiers Construire, former, soigner Bâtiment construit, Nb pers. soignés Services santé performants Améliora- tion conditions de vie Novembre 2013 Mesure de la performance et choix des indicateurs

83 Processus de production des services publics et Dimensions de la performance
Résultats socio-économiques finaux Efficacité Objectifs des politiques publiques Résultats socio-économiques intermédiaires Qualité de service Produits (résultats attendus) (services rendus) Activités Efficience Dispositions opérationnelles Situation de référence Moyens Novembre 2013 Mesure de la performance et choix des indicateurs

84 Mesure de la performance et choix des indicateurs
A vous maintenant ! Exercice 4 : « Le cadre de mesure de la performance ! » 20 mn Travail individuel mn Retour-synthèse mn Objectif : Le cadre de mesure de la performance. Directives : Entourer les réponses qui vous semblent pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

85 Mesure de la performance et choix des indicateurs
: A vous maintenant ! Question 1: Le cadre de performance est : un outil de planification de collecte des données une source d’information sur l’atteinte des résultats est du ressort du responsable de programme est établi une fois pour toute la durée. Question 2 : Un cadre de performance : requiert des données fiables, pertinentes, simples permet l’évaluation des résultats immédiats requiert la collection de données et information à moyen terme Permet, seulement, l’évaluation à terme échu Novembre 2013 Mesure de la performance et choix des indicateurs

86 Mesure de la performance et choix des indicateurs
: A vous maintenant ! Question 3 : Un cadre de performance : est essentiel ,uniquement, pendant la phase d’exécution budgétaire est essentiel lors de la phase d’exécution budgétaire est essentiel lors de la reddition des comptes est essentiel ,uniquement, pour la reddition des comptes ; Question 4 : Le cadre de la performance : est nécessaire que pour les indicateurs d’extrants est nécessaire pour chaque indicateur retenu est important uniquement pour les indicateurs d’impact permet de comparer les résultats atteints avec les indicateurs prévisionnels. Novembre 2013 Mesure de la performance et choix des indicateurs

87 A vous maintenant ! Corrigé
Exercice 4 : « Le cadre de mesure de la performance ! » 20 mn Travail individuel mn Retour-synthèse mn Objectif : Le cadre de mesure de la performance. Directives : Entourer les réponses qui vous semblent pertinentes Novembre 2013 Mesure de la performance et choix des indicateurs

88 A vous maintenant ! Corrigé
: A vous maintenant ! Corrigé Question 1: Le cadre de performance est : un outil de planification de collecte des données une source d’information sur l’atteinte des résultats est du ressort du responsable de programme est établi une fois pour toute la durée. Question 2 : Un cadre de performance : requiert des données fiables, pertinentes, simples permet l’évaluation des résultats immédiats requiert la collection de données et information à moyen terme Permet seulement l’évaluation à terme échu Novembre 2013 Mesure de la performance et choix des indicateurs

89 Mesure de la performance et choix des indicateurs
: A vous maintenant ! Question 3 : Un cadre de performance : est essentiel uniquement pendant la phase d’exécution budgétaire est essentiel lors de la phase d’exécution budgétaire est essentiel lors de la reddition des comptes est essentiel uniquement pour la reddition des comptes ; Question 4 : Le cadre de la performance : est nécessaire que pour les indicateurs d’extrants est nécessaire pour chaque indicateur retenu est important uniquement pour les indicateurs d’impact permet de comparer les résultats atteints avec les indicateurs prévisionnels. Novembre 2013 Mesure de la performance et choix des indicateurs

90 Merci pour votre aimable attention !
18/04/2017 Merci pour votre aimable attention ! Novembre 2013 Mesure de la performance et choix des indicateurs