Gestion axée sur les résultats

GAR - suite Notions fondamentales sur la mesure du rendement dans un contexte de gestion axée sur les résultats

Qu’est ce que le «rendement»? Contexte de la FP canadienne Un modèle logique GAR

1. Qu’est ce que le « rendement »? Le concept de rendement vise à déterminer dans quelle mesure les activités sont bien exécutées : les résultats prévus ont–ils été atteints? ont-ils été atteints dans les limites du budget et de la façon la plus efficace possible? y a-t-il eu des conséquences indues et imprévues? Il vise également à déterminer si le rendement obtenu se poursuivra ou s’améliorera : l’organisation apprend-elle et s’adapte-t-elle? Le concept de rendement vise à déterminer dans quelle mesure les activités sont bien exécutées. Par exemple, établir le rendement des CR consiste non seulement à déterminer le nombre de déclarations qui ont été traitées, mais aussi à déterminer si les déclarations ont été traitées au plus tard aux dates imposées par la loi et ce, de façon exacte, exhaustive et uniforme, et d’une manière qui, à la fois, est la plus économique possible et répond aux attentes des clients. Oui mais la préoccupation évaluation de programme « fait-on les bonnes choses vs fait-on les choses bien »? La mesure du rendement indique au gestionnaire l'importance de l'écart entre : le rendement réel et une norme (p. ex. rapidité ou qualité); le rendement réel par rapport à une attente ou à un engagement prédéfini; le rendement réel au fil du temps (p. ex. tendances antérieures); le rendement réel et une comparaison avec d’autres (p. ex. analyse comparative des bureaux). Il est important de cerner le niveau de rendement actuel d'un programme, mais il est encore plus important de déterminer si le rendement obtenu se poursuivra ou s'améliorera. Y a-t-il un apprentissage ou une adaptation en vue d ’une amélioration continue?

Quels sont les « résultats » du programme? Les résultats du programme sont les produits et les services fournis, ainsi que les avantages et les autres effets qui en découlent Les programmes donnent deux genres de résultats : Extrants – Produits et services Impacts – Avantages et autres effets Il y a deux genres de résultats du programme : Les extrants sont les produits et les services réalisés et livrés. Les impacts sont les avantages et les autres effets découlant des extrants. Exemples d'extrants : publications, séminaires et réponses à des demandes de renseignements. Exemples d’impacts : capacité des CR d'influer sur le ministère des Finances en vue de la mise en œuvre des recommandations relatives aux questions soulevées; capacité des CR de changer le comportement d'inobservation de contribuables en un comportement d'observation volontaire.

Continuum des résultats Moyen terme Long terme Court terme EXTRANTS Produits et services RÉSULTATS IMMÉDIATS RÉSULTATS INTERMÉDIAIRES IMPACTS ULTIMES EFFETS RAPIDES OU TARDIFS Changement de société Santé éco-sociale CONNAISSANCE Sensibilisation Compréhension Compétences ATTITUDES Perceptions Acceptation COMPORTEMENT Participation Observation Action Le continuum des résultats montre comment les extrants tangibles d'un programme donnent lieu à des impacts considérables sur la société ou sur l’environnement (p. ex. protection de la société canadienne et bien-être des Canadiens), ou y contribuent. Les gestionnaires ont plus de contrôle direct sur les extrants que sur les impacts. Cependant, il faut effectuer une attribution pour démontrer la contribution des extrants aux impacts. Il faut du temps pour que les impacts se matérialisent. En outre, ceux-ci peuvent être influencés par des facteurs environnementaux externes sur lesquels les gestionnaires n’ont aucun contrôle (p. ex. situation économique). Les gestionnaires doivent connaître les résultats intermédiaires. Les résultats immédiats et intermédiaires ont tendance à précéder l'impact ultime et sont souvent des résultats intangibles et qualitatifs. Il est important de mesurer toutes les étapes des impacts et d’établir les liens qu’il y a au moyen d’une d'attribution ou de l'analyse comparative. Les tendances défavorables dans les résultats à court ou à moyen terme donnent aux gestionnaires un préavertissement que le résultat à long terme n'aura peut-être pas lieu et qu'un nouveau plan d'action pourra être nécessaire. PLUS DE CONTRÔLE (attribution facile) MOINS DE CONTRÔLE (attribution difficile)

2. Contexte de la FP canadienne Conseil du Trésor Constatations de l’étude du SCT sur le CPRR Le modèle de logique est la nouvelle norme pour les présentations au CT Politique sur le contrôle actif – publiée en juin 2001 Lors de leur récente évaluation de 23 ministères concernant l'observation du CPRR, le SCT et PWC ont constaté que seulement 59 % d’entre eux satisfaisaient aux exigences du CPRR. Parmi les principales constatations, on peut mentionner les suivantes : faible lien entre les extrants, les résultats des secteurs d'activité, et les objectifs, la mission et la vision organisationnels; manque de mesures du rendement par rapport aux stratégies; et attribution des modalités du « système » fondée sur des anecdotes. Recommandation : utiliser le modèle logique pour documenter de façon systématique « les modalités du système » et réunir des données objectives et empiriques. Le modèle logique a été un outil utilisé par les évaluateurs de programmes pour déterminer dans quelle mesure un programme a bien réalisé ses objectifs, traditionnellement après la fin du programme. Au cours des récents mois, le CST a fait la promotion de la visibilité du modèle logique comme outil utile que peuvent utiliser les gestionnaires pour la planification, le contrôle et le compte rendu du rendement de leurs programmes. Planification Le guide pour l'élaboration du Cadre de gestion et de responsabilisation axé sur les résultats (CGRAR), qui a été récemment publié, exige que toutes les nouvelles présentations au CT visant à demander des nouveaux fonds soient faites au moyen d'un modèle logique de programme. Contrôle La nouvelle politique de contrôle actif du SCT (juin 2001) encourage les gestionnaires à contrôler de façon active les pratiques et les mesures de contrôle de gestion pour s'assurer que les programmes et activités sont bien gérés et pour prendre, au besoin, des mesures correctives. Rapports Selon la Loi portant création de l'ADRC, le BVG est chargé d'évaluer la qualité du rapport annuel de l'ADRC. Il a effectué une ébauche d'évaluation au moyen du rapport sur le rendement ministériel de l'année dernière, selon ses cinq critères d'évaluation : pertinence, compréhension, attribution, exactitude et équilibre.

Évaluation par le BVG Pertinent Probant Attribuable Exactitude Le RMR doit offrir un tableau clair et complet du rendement pour permettre au lecteur de déterminer dans quelle mesure l’organisation réalise ses objectifs. Le BVG soulève ce qui suit: Pertinent Probant Attribuable Exactitude Équilibre Pertinent : axé sur les extrants, seuls quelques résultats sont indiqués dans le rapport. Tend à être axé sur les activités des extrants (p. ex. normes de service). Manque de renseignements sur les impacts. Faibles liens entre les extrants et les impacts. Probant : les attentes relatives au rendement ne sont pas fournies. Aucune attente claire et concrète concernant le rendement pour les impacts (p. ex. objectifs législatifs, objectifs d'entreprise (de 3 à 5 ans), objectifs stratégiques (de 5 à 10 ans), vision, mission, accompagnés de délais déterminés) pour permettre au lecteur de tirer une conclusion sur le rendement de l'Agence. Manque de points de référence ou de cibles pour les résultats : il y a des normes de service pour les extrants ou des indicateurs de charge de travail (activités). Attribuable : Le contexte est trop peu consistent pour permettre de faire un compte rendu probant du rendement avec un peu d'explications ou d'analyses des renseignements sont fournies pour permettre d'interpréter leur importance (p. ex. cause à effet). Le RPM montre  l'attribution des activités aux extrants. L'ADRC doit  montrer comment les divers facteurs (p. ex. intrants, activités, extrants, facteurs externes) contribuent à la réalisation des impacts (p. ex. taux d'observation en matière d'impôt sur le revenu, valeur de la contrebande dépistée). Exactitude : aucun élément dans le rapport ne vient appuyer l'exactitude des renseignements. Il faut fournir des éléments d’information pour indiquer au lecteur le niveau de qualité des données (p. ex. ampleur des écarts ou des erreurs). Équilibre : en raison des écarts dans les renseignements fournis dans le rapport, celui-ci est incomplet et déséquilibré. Manque de renseignements sur les problèmes que l'Agence a éprouvés ou sur les aspects du rendement qui pourraient avoir été moins que satisfaisants (p. ex. les renseignements que les parlementaires ont demandés de façon répétée aux organisations de fournir).

Nouvelle orientation axée sur les résultats Orientation actuelle: un système de gestion des extrants qui est réactif Responsabilisation axée sur : L’observation des règles et des processus le suivi des intrants et des extrants Orientation nouvelle: un système de gestion du rendement qui sera proactif et uniforme dans toute l’organisation = Gestion transparente axée sur les résultats Responsabilisation axée sur : l’obtention de résultats la démonstration des résultats obtenus la démonstration du lien entre les fonds et les activités et ces résultats Présenter la FÉÉ comme une nouvelle orientation qui permet de passer : d’un système de gestion des extrants réactif --- où la responsabilisation était fondée sur l'observation, les intrants et les extrants, et sur ce que les employés et les programmes faisaient, à un système de gestion du rendement proactif, --- où la responsabilité est fondée sur l'obtention des résultats, la démonstration des résultats obtenus et la démonstration des liens entre les fonds et les activités et ces résultats. Cette nouvelle orientation, qui est au cœur du changement de l'Agence, est saisie sous l'objectif 4, « Gestion transparente axée sur les résultats », du Plan d'entreprise.

Comment déterminons-nous notre niveau de rendement? 3. Qu’est ce qu’un modèle de logique? Un outil commun de planification, de contrôle et d’établissement de rapports Comment déterminons-nous notre niveau de rendement? COMMENT? QUI? POURQUOI? PORTÉE INTRANTS ACTIVITÉS EXTRANTS IMPACTS Ce que nous utilisons pour notre travail Ce que nous produisons Sur qui nous voulons influer Ce que nous voulons réaliser Le modèle logique est un diagramme montrant le circuit qui va des intrants, des activité et des processus aux extrants, aux impacts à court terme et à long terme. Le modèle logique est un outil servant à aider les gestionnaires à comprendre la relation de cause à effet entre les ressources, les activités et les résultats. Il répond aux questions fréquemment posées par les intervenants : pourquoi le programme ou l'initiative existe-t-elle? quels résultats à court et à moyen terme voulez-vous obtenir au cours de la vie du programme? qui tentez-vous d’atteindre pour exercer une influence ou causer un changement? comment le programme sera-t-il exécuté (activités) et au moyen de quel niveau de ressources? Dans le passé, la mesure du rendement était axé sur le COMMENT (p. ex. compter les intrants, décrire les activités et compter les extrants) et non sur le POURQUOI (p. ex. quelle différence avons-nous fait?). Les éléments de base du modèle logique sont les suivants : les INTRANTS : ce que nous utilisons pour notre travail, comme les dollars, les personnes, les biens corporels et le capital intellectuel; les ACTIVITÉS sont ce que nous faisons, par exemple produire des formulaires, traiter des déclarations de voyageurs et des déclarations de revenus, exécuter des projets; les EXTRANTS sont ce que nous produisons, c’est-à-dire les produits et les services fournis aux partenaires, aux clients ou au public; les IMPACTS : impacts intermédiaires : satisfaction de la clientèle, mesures prises par d'autres niveaux de gouvernement; impacts nets : la différence qu'a fait le programme (p. ex. changements de comportement qui permettent d’obtenir l’observation). Notre travail Orientation actuelle Orientation nouvelle Mesures du rendement

Avantages d’un modèle de logique? Permettre d’établir une fiche d’évaluation équilibrée Aider à faire un compte rendu convainquant du rendement Montrer les limites de la responsabilisation Lier les réalisations aux coûts Montrer les compromis stratégiques Démontrer la valeur ajoutée Crée une chaîne d'activités pour : montrer les interrelations entre les ressources et les résultats, afin d'aider les gestionnaires et les analystes à formuler la théorie de cause à effet pour leurs programmes ou leurs services, et à faire un compte rendu du rendement plus convaincant et plus équilibré; mesurer l'ampleur de la contribution à la réalisation des objectifs stratégiques de l'organisation et démontrer la valeur ajoutée.

Comment déterminons-nous notre niveau de rendement? Exemple d’application Ce que nous utilisons pour notre travail Notre travail Ce que nous produisons Sur qui nous voulons influer Ce que nous voulons réaliser INTRANTS ACTIVITÉS EXTRANTS PORTÉE Comment déterminons-nous notre niveau de rendement? IMPACTS Recherches sur l’observation Prestation de services de renseignements destinés aux contribuables Exécution d’examens, de vérifications et d’enquêtes Service, validation et exécution au niveau international Administration de programmes de stimulants fiscaux Détermination des problèmes d’inobservation Estimation des taux d’inobservation Formulaires, services de renseignements et publications Questions, constatations et recommandations Dépôts et remboursements Canadiens Contribuables Voyageurs Industrie Gouvernements provinciaux et territoriaux SCT/BVG Parlement Employés 1. Satisfaction de la clientèle et conventions de services 2. Consultation et sollicitation continues des clients 3. Clients informés des montants auxquels ils ont droit et de leurs obligations 4. Plus de fonctions à valeur ajoutée (c.-à-d. extension des services, service à la clientèle, exécution) 5. Efficience accrue du traitement grâce à la technologie 6. Effectifs mieux formés et mieux équipés Personnes Argent Temps Investissements Technologies Outils

Continuum des résultats EXTRANTS RÉSULTATS IMMÉDIATS RÉSULTATS INTERMÉDIAIRES IMPACTS ULTIMES CONNAISSANCE ATTITUDES Sensibilisation Compréhension Compétences Perceptions Acceptation COMPORTEMENT Participation Observation Action Produits et services EFFETS RAPIDES ET TARDIFS Changement de société Santé éco-sociale HORIZON TEMPOREL Long terme Court terme Existence de l’autorité législative et de directives Constatations et recommandations Conseils, éducation et programmes d’extension des services Problèmes d’inobservation cernés Satisfaction des clients et employés Confiance du public Acceptation de la législation Observation volontaire Observation assistée Exécution Connaît et comprend l’autorité législative Connaît et comprend le comportement qui constitue de l’inobservation