Lévaluation à RNCan : Renseignements à lintention des gestionnaires de programme Division de l'évaluation stratégique Intégration des sciences et des politiques Juillet 2012

. 2 But Le document vise à donner aux gestionnaires de programme une vue densemble de la fonction dévaluation à RNCan. La nouvelle politique du Secrétariat du Conseil du Trésor (SCT) concernant lévaluation (avril 2009) exige une évaluation quinquennale de toutes les dépenses directes, y compris tous les programmes de subvention et de contribution –la plupart des gestionnaires de programme devront participer à une évaluation à un moment donné

. 3 Quest-ce quune évaluation? l'évaluation est la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer : –la pertinence; –le rendement, et de –trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats. Les évaluations doivent être neutres et fondées sur des preuves. Une évaluation nest pas une vérification. ÉvaluationsVérifications Visent à déterminer si les mesures sont appropriées et à établir à quel point un programme atteint les résultats attendus dans la limite dune saine gestion financière. La vérification interne se penche sur la gestion financière, les processus, les contrôles et les risques. Évaluent la pertinence et le rendement des programmes. Déterminent les forces et les faiblesses du cadre du contrôle de la gestion.

. 4 Pourquoi effectuer des évaluations? Lévaluation a pour objet détablir une base exhaustive et fiable dinformation probante servant à appuyer : –lamélioration des politiques et des programmes; –la gestion des dépenses; –la prise de décisions par le Cabinet; –la responsabilité à l'égard du public. Les évaluations sont souvent demandées pour appuyer les Soumissions au Conseil du Trésor (CT) et les mémoires au Cabinet. Elles représentent aussi une source importante de données qui sert à justifier la réaffectation des ressources dans le cadre des examens stratégiques (le prochain examen aura lieu en 2014).

. 5 Contexte : Intervenants de la fonction dévaluation Sous-ministre (SM) de RNCan Public canadien Gestionnaires de programme SCT Rapports dévaluation Sous-ministres adjoints (SMA) des secteurs Cabinet Examen stratégique Amélioration des politiques et des programmes Gestion des dépenses / Prise de décisions par le Cabinet Parlement Responsabilité / Rapports destinés au public Le défi consiste à combler les différents besoins en information de nombreux intervenants afin de prendre des décisions et de produire des rapports destinés au public en temps opportun.

. 6 Le cycle de lévaluation Planification de lévaluation Approbation / Affichage (de 2 à 3 mois) Examen de lévaluation (de 1 à 3 mois) Rapport et recommandations (de 1 à 4 mois) Mise en œuvre des changements Passation de marchés (de 1 à 2 mois) Travail sur le terrain / Analyse (de 6 à 8 mois) Réponse de la direction (1 mois) En incluant la planification, et les approbations et laffichage, les grandes évaluations prennent en général de 12 à 18 mois à réaliser. Certaines étapes peuvent se chevaucher.

. 7 Planification de lévaluation RNCan doit évaluer toutes les dépenses directes des programmes, y compris les programmes de subvention et de contribution en vigueur, tous les cinq ans. RNCan a élaboré un plan dévaluation quinquennal axé sur les unités de larchitecture des activités de programmes (AAP). Il est mis à jour annuellement et approuvé par le Comité dévaluation. Dans la plupart des cas, lévaluation dun programme en particulier est effectuée dans le cadre dune évaluation plus globale de lunité de lAAP. Le sommaire du plan actuel est affiché sur le site Internet de lévaluation stratégique : fra.php. fra.php

. 8 Étapes de lévaluation 1.Examen de lévaluation (de 1 à 3 mois) –effectuer la recherche et la planification dans le but de comprendre les programmes –rédiger le cadre de référence –obtenir lapprobation du Comité dévaluation 2.Passation de marchés (de 1 à 2 mois) –On embauche souvent des consultants pour compléter le personnel du Ministère. Leurs rôles varient selon le projet. 3.Travail sur le terrain ou collecte de données / Analyse (de 6 à 8 mois) –rédiger un rapport détaillé de la méthodologie –méthodologies : entrevues menées auprès des sources dinformation clés; groupes de consultation; analyses documentaires; sondages; études de cas; analyses de données et analyses économiques –analyser linformation provenant de différentes sources de données afin den tirer des conclusions

. 9 Étapes de lévaluation (suite) 4.Production de rapports et élaboration des recommandations (de 2 à 4 mois) –préparer les résultats préliminaires et en discuter avec les responsables des programmes –rédiger lébauche du rapport –traiter les commentaires et les révisions –élaborer les recommandations 5.Réponse de la direction (1 mois) –obtenir les réponses de la direction et les plans daction découlant des recommandations une fois que ces réponses et ces plans ont été approuvés par le SMA 6.Approbation / Affichage du rapport (de 2 à 3 mois) –recommandation du Comité dévaluation –approbation de la SM –traduction, examen effectué par le secrétariat de laccès à l'information et de la protection des renseignements personnels, infocapsules, diffusion sur Internet

. 10 Questions et enjeux relatifs à lévaluation Les évaluations traitent de la pertinence et du rendement. Les enjeux de la pertinence portent sur : –la nécessité de maintenir le programme; –lharmonisation avec les priorités du gouvernement; –lharmonisation avec les rôles et les responsabilités du gouvernement fédéral. Les enjeux du rendement portent sur lefficacité : –obtention des résultats attendus; –démonstration de lefficacité et de léconomie. Les évaluateurs travaillent avec les gestionnaires de programme afin de rédiger des questions détaillées mieux adaptées à lévaluation de leur programme.

. 11 Rôles et responsabilités Aux termes de la politique du SCT sur lévaluation, les sous-ministres sont responsables de la fonction dévaluation. Le Comité d'évaluation ministériel de RNCan, qui se situe au niveau des SMAs, est présidé par le Sous- ministre. Le Chef des évaluations du Ministère relève du Comité d'évaluation; il est également le DG de Planification, gestion du rendement et production de rapports.

. 12 Le rôle de la Division de lévaluation La Division de l'évaluation stratégique (DES) a comme responsabilité : –de proposer un plan dévaluation quinquennal du Ministère et de le mettre à jour tous les ans; –de gérer et de diriger les études dévaluation, ce qui comprend la gestion des contrats et des résultats lors de lembauche de conseillers, et de produire les rapports en temps opportun. De plus, la DES aide les gestionnaires de programme à élaborer des stratégies de mesure du rendement dans le but dassurer la collecte de données fiables pour appuyer les évaluations dans lavenir. –La Division de lévaluation travaillera avec votre équipe afin mettre au point les objectifs, le modèle logique, le cadre de mesure du rendement et les exigences de lévaluation. La Division de lévaluation stratégique de RNCan a aussi la responsabilité dexaminer les dispositions des documents du Cabinet (mémoires au Cabinet [MC] et présentations au CT) concernant la responsabilisation et le rendement et de formuler des conseils à cet égard.

. 13 Le rôle des gestionnaires de programme Les gestionnaires de programme sont indispensables à la réalisation des évaluations. Ils sont responsables des bases de lévaluation : lélaboration et la mise en œuvre des moyens pris pour mesurer le rendement et la surveillance de cette mise en œuvre. De plus, au cours dune évaluation, ils doivent participer activement : –à lexplication du fonctionnement de leurs programmes; –à la planification des évaluations, y compris lélaboration de questions dévaluation plus détaillées; –à la communication de renseignements sur les mesures de rendement liées aux ressources utilisées, aux activités poursuivies et aux résultats atteints; –à la communication de documents détaillés (voir la prochaine diapositive) et de recommandations concernant les candidats potentiels aux entrevues et les études de cas; –aux activités des groupes de travail liées à lexamen des questionnaires et des résultats préliminaires et à la rédaction de lébauche des rapports dévaluation, etc. –à la mise au point des réponses de la direction et des plans daction destinés à leurs SMA et à la mise en œuvre de ces plans après lévaluation.

. 14 Documents principaux de lévaluation Lors de la préparation dune évaluation, les gestionnaires de programme seront priés de fournir au plus vite les documents principaux suivants : –lois, règlements, MC, présentations au CT –les cadres de gestion et de responsabilisation axés sur les résultats, les cadres de vérification axés sur les risques ou les cadres de mesure du rendement –références dans les budgets, discours du Trône, rapports ministériels sur le rendement, rapports sur les plans et priorités –les notes dinformation et les rapports, y compris les rapports annuels et les rapports sur les projets, les études et les bases de données –sites Internet et produits de communication –le relevé des dépenses sur cinq ans de lunité de lAAP, y compris les dépenses liées aux subventions, aux contributions, au fonctionnement, à lentretien et aux salaires

. 15 Questions et soutien Si vous avez des questions concernant lévaluation, ou si vous voulez laide de la Direction de lévaluation afin de mettre au point de linformation sur les mesures du rendement ou des documents du Cabinet, veuillez consulter : le directeur de lévaluation stratégique (613) Une version électronique de ce document, des rapports dévaluation complets et du mandat du Comité dévaluation sont disponibles en ligne à ladresse suivante :