La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Synthèse de l'évaluation horizontale du Programme sur la qualité de l'air : Synopsis des résultats de l'évaluation disponibles en septembre 2010 Final.

Présentations similaires


Présentation au sujet: "Synthèse de l'évaluation horizontale du Programme sur la qualité de l'air : Synopsis des résultats de l'évaluation disponibles en septembre 2010 Final."— Transcription de la présentation:

1 Synthèse de l'évaluation horizontale du Programme sur la qualité de l'air : Synopsis des résultats de l'évaluation disponibles en septembre 2010 Final Préparé par les Services conseils du gouvernement pour la Direction générale de la vérification et de l'évaluation, Environnement Canada 8 novembre 2010

2 Abréviations ADAPT Thème Adaptation AINC
Affaires indiennes et du Nord Canada ASPC Agence de la santé publique du Canada CCI Comité de coordination interministérielle CCNUCC Convention-cadre des Nations Unies sur les changements climatiques CCRTDG Comité de coordination des responsables des thèmes du directeur général CNRC Conseil national de recherches Canada CT Conseil du Trésor DG Directeur général EC Environnement Canada EP Thème Énergie propre G et R Gestion et responsabilisation GES Gaz à effet de serre IC Industrie Canada INTL Thème Mesures internationales MAECI Affaires étrangères et Commerce international Canada PRQA Programme de réglementation de la qualité de l'air QAI Thème Qualité de l'air intérieur RHDCC Ressources humaines et Développement des compétences Canada RNCan Ressources naturelles Canada SC Santé Canada SCT Secrétariat du Conseil du Trésor SM SMA Sous-ministre Sous-ministre adjoint TC Transports Canada TE Thème Transport écologique

3 Introduction Ce rapport a été préparé en vue de respecter l'engagement de produire une synthèse horizontale des résultats des évaluations menées sur les thèmes et programmes du Programme sur la qualité de l'air (PQA). Cette synthèse vise à aider les ministères et les organismes participants à faire rapport sur leurs résultats du PQA aux parlementaires et à la population canadienne et à prendre des décisions relatives au financement et aux activités du PQA au-delà de 2011. Le rapport comprend quatre sections : Profil du PQA Méthodologie Constatations Observations Remerciements : L'équipe du projet, dirigée par Martine Perrault, sous la direction de Shelley Boris, directrice de la Division de l’évaluation, d’Environnement Canada, comptait également Linda Lee, Gavin Lemieux et Katheryne O’Connor. L'équipe remercie toutes les personnes des organismes suivants qui ont participé au groupe de travail de ce projet et qui ont également contribué à l'élaboration des rapports d'évaluation qui forment la base de cette synthèse horizontale : Environnement Canada (EC) (y compris le Secrétariat de gestion des résultats du Programme sur la qualité de l'air), Affaires étrangères et Commerce international Canada (MAECI), Santé Canada (SC), Affaires indiennes et du Nord Canada (AINC), le Conseil national de recherches Canada (CNRC), Ressources naturelles Canada (RNCan), l'Agence de la santé publique du Canada (ASPC) et Transports Canada (TC). Ce rapport a été préparé pour Environnement Canada par James Coflin des Services conseils du gouvernement (TPSGC).

4 Profil du PQA Cette section donne un aperçu du PQA sous les rubriques suivantes : Contexte Aperçu des thèmes Composantes du programme du PQA Dépenses prévues et réelles par thème Modèle logique du programme Gouvernance

5 Contexte Dans le discours du Trône de 2006, le gouvernement s'est engagé à « prendre des mesures concrètes pour protéger l'environnement, notamment des mesures pour réduire la pollution et les émissions de gaz à effet de serre (GES) ». Dans le budget de 2006, 1,7 milliard de dollars, par la suite augmenté à 2,2 milliards de dollars, ont été affectés au Programme sur la qualité de l'air (PQA) pour la période de quatre ans de à Le PQA comprend : le Programme de réglementation de la qualité de l'air (PRQA), une approche réglementaire intégrée visant à réduire les polluants atmosphériques (oxyde d'azote, oxyde de soufre, composés organiques volatils et les matières particulaires) et les émissions de GES, et une série de mesures de programmes pour : appuyer les mesures prises par les gouvernements, les personnes, les organisations et les entreprises en vue de réduire les émissions de GES et de polluants atmosphériques, et faire face efficacement aux changements climatiques. Le PQA est une initiative horizontale composée de huit thèmes et de 45 programmes. (Remarque : Le PQA a été élargi pour inclure le Dialogue sur l'énergie propre en tant que composante du thème des Mesures internationales en ) Un aperçu tabulaire des huit thèmes est présenté à la page suivante et est suivi des programmes de chaque thème, où sont indiqués les ministères responsables de la prestation de chaque programme. De l'information détaillée sur le PQA et les composantes du programme peut être obtenue dans le Rapport ministériel sur le rendement de d'Environnement Canada, Tableau supplémentaire – Initiatives horizontales :

6 Ministères directeurs
Aperçu des thèmes Thèmes Ministères directeurs Attribution Programme de réglementation de la qualité de l'air (PRQA)a Environnement Canada 347,3 M$ Énergie propre Ressources naturelles Canada 1177,0 M$ Transport écologique Transports Canada 461,7 M$ Qualité de l'air intérieur Santé Canada et Conseil national de recherches Canada 23,0 M$ Adaptation 115,9 M$ Mesures internationales 50,0 M$ Partenariatsb 12,0 M$ Gestion et responsabilisation 5,0 M$ a Ce montant ne comprend pas les fonds additionnels octroyés en vertu d'un report de fonds du PRQA approuvé en 2009. b Remarque : le thème des Partenariats n'a pas été lancé. Source : Environnement Canada, Rapport ministériel sur le rendement de , Renseignements supplémentaires, Tableau – Initiatives horizontales : À moins d'indication contraire, tous les montants répartis au budget présentés dans ce document proviennent de cette source.

7 Composantes du PQA1 Programme de réglementation de la qualité de l'air (EC) Mesures réglementaires du secteur industriel (EC) Mesures réglementaires du secteur des transports (EC, TC er RNCan) Mesures réglementaires relatives aux produits commerciaux et de consommation (EC, RNCan) Mesures de gestion de la qualité de l'air intérieur (SC) Science à l'appui des activités de réglementation et de la responsabilisation (EC, SC) Déclaration des émissions (EC) Système d'échange de droits d'émission (EC) Application de la loi et rapport d'avancement (EC) Analyses de politiques (EC) Énergie propre (RNCan) écoÉNERGIE pour les bâtiments et les habitations (RNCan) écoÉNERGIE Rénovation (RNCan) écoÉNERGIE pour l'industrie (RNCan) écoÉNERGIE pour l'électricité renouvelable (RNCan) écoÉNERGIE pour le chauffage renouvelable (RNCan) écoÉNERGIE sur la technologie (RNCan) écoÉNERGIE pour les collectivités autochtones et nordiques (AINC) Politiques, communications, surveillance et déclaration (RNCan) Mesures internationales (EC) Obligations internationales (EC, MAECI) Négociations internationales (EC, RNCan, MAECI) Partenariat Asie-Pacifique (RNCan, EC, IC) Annexe concernant les matières particulaires (EC) Dialogue sur l'énergie propre (EC, RNCan, MAECI) Partenariats (EC) 1. Partenariats communautaires (EC) Transport écologique (TC) écoMOBILITÉ (TC) écoTECHNOLOGIE pour les véhicules (TC) écoÉNERGIE pour les véhicules personnels (RNCan) écoÉNERGIE pour les parcs de véhicules (RNCan) écoMARCHANDISES partenariats (TC) Initiative nationale d'harmonisation pour l'industrie du camionnage (TC) Fonds de démonstration des technologies de transport des marchandises (TC) Encouragement des technologies de transport des marchandises (TC) Programme d'alimentation à quai des navires (TC) Programme de remise écoAUTO (TC, RHDCC) Programme de mise à la ferraille de véhicules (EC) Soutien analytique et stratégique (TC) Qualité de l'air intérieur (SC/CNRC) Initiative de R-D sur l'air intérieur (CNRC) Stratégie sur le radon (SC) Adaptation (EC) Aider les résidants du Nord à évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier (AINC) Cote air santé à l'échelle nationale et Programme de prévision (SC, EC) Adaptation aux changements climatiques et à leurs conséquences sur la santé dans les communautés nordiques et inuites (SC) Programme amélioré des scénarios sur les changements climatiques (EC) Outils novateurs de gestion des risques Partenariats pour les mesures d'adaptation régionale (RNCan) Alerte et intervention sur le climat et les maladies infectieuses afin de protéger la santé des Canadiens (SC, ASPC) Gestion et responsabilisation (EC)

8 Dépenses prévues et réelles par thème
Dépenses, en millions de dollars a a Thèmes Approuvées Réelles Programme de réglementation de la qualité de l'air 63,8 42,2 76,0 62,6 Énergie propre 101,5 81,6 206,9 202,5 Transport écologique 98,8 92,6 219,4 160,4 Qualité de l'air intérieur 5,5 4,6 6,4 Adaptation 7,3 5,7 26,0 20,3 Mesures internationales 13,2 7,8 10,7 9,7 Partenariats b 3,0 1,0 0,3 Gestion et responsabilisation 1,3 1,2 Total 294,4 236,7 549,7 463,4 Source : Rapport ministériel sur le rendement de et d'Environnement Canada, Tableau supplémentaire – Initiatives horizontales. a Les dépenses rapportées ici peuvent être différentes de celles rapportés par les ministères individuels ou par les thèmes du PQA en raison de différences dans les périodes de référence. b Bien que les activités de programme du thème des Partenariats n‘aient pas été lancées, certaines dépenses ont été encourues au cours de l’étape de planification.

9 Modèle logique du PQA Programme réglementaire Gestion et
v 1 . Des avantages pour la santé, Résultats à long terme l'économie et l’environnement de (Gouvernement du Canada) la population canadienne ont été acquis 1 Les risques pour la santé de Les risques pour les collectivités , la population canadienne et pour les infrastructures et la santé ainsi que l'environnement découlant de pour la sécurité des Canadiens l'exposition à la pollution atmosphérique découlant des changements climatiques ont été réduits 2 ont été réduits 3 Les mouvements Les innovations liées à la réduction de la Les Canadiens et les collectivités La qualité de l'air intérieur Les émissions de polluants pollution atmosphérique et à la prise en Les émissions de ont pris des mesures pour réduire Les tendances internationales transfrontaliers s'est améliorée atmosphériques du Canada ont considération des changements climatiques ont GES émises par le en matière de changements de polluants atmosphériques leurs vulnérabilités aux ont été réduits été réduites maintenu le caractère concurrentiel du Canada Canada ont été réduites et offert des avantages économiques impacts prévus des changements climatiques sont en harmonie . climatiques et s'y sont adaptés avec les intérêts canadiens . 4 5 6 7 8 9 10 Les émissions de GES Les Canadiens Les accords Les mesures de Les secteurs industriels . Les émissions de GES et de polluants Les émissions de et de polluants atmosphériques Les émissions de GES et de Les collectivités canadiennes prennent des mesures internationaux sur la réduction de ciblés ont réduit leurs et les groupes d’utilisateurs Les accords polluants de l'air émissions de atmosphériques ont GES et de polluants ont été réduites, polluants atmosphériques en réponse aux qualité de l'air été réduites, et atmosphériques et la et l'efficacité énergétique ont été réduites emploient des outils et internationaux sur les et de l’information changements climatiques niveaux prévus sont en harmonie intérieur et de GES et de polluants consommation énergétique s'est améliorée, en raison en raison de l'utilisation de qualité de l'air avec les intérêts l'exposition au atmosphériques, l'efficacité énergétique s'est améliorée ont été réduites de l'utilisation de de sources pour évaluer les risques liés sont en harmonie et amélioré leur dans les modes de pratiques et de d'énergie propres et au climat, et prévoir avec les intérêts canadiens radon ont été efficacité énergétique dans les maisons transport produits efficients renouvelables . des stratégies d'adaptation canadiens mises en œuvre et les édifices canadiens et écologiques 11 12 13 14 15 16 17 18 19 20 Résultats intermédiaires (Programme de la qualité de l'air) Programme réglementaire Transport écologique Énergie propre Partenariats Adaptation Qualité de l'air intérieur Scène internationale Gestion et sur la qualité de l'air responsabilisation Résultats des thèmes Règlements, normes, lignes Développement technologique Incitatifs financiers et recherche et développement Recherche Soutien à l’information et aux Conseils stratégiques Partenariats Outils, formation, processus directrices, accords industriels décisions et réseaux et systèmes Résultats du PQA

10 Gouvernance EC est le ministère directeur pour l'ensemble du PQA et est responsable du Secrétariat de gestion des résultats du Programme sur la qualité de l'air. Au total, huit organismes fédéraux (Environnement Canada, Ressources naturelles Canada, Transports Canada, Conseil national de recherches Canada, Affaires indiennes et du Nord Canada, Santé Canada, Agence de la santé publique du Canada et Affaires étrangères et Commerce international Canada) sont responsables des thèmes et/ou des programmes individuels. Deux ministères additionnels (Industrie Canada et Ressources humaines et Développement des compétences Canada) sont partenaires dans des programmes particuliers. La structure de responsabilisation du PQA est composée des comités interministériels suivants : Comité des sous-ministres (SM) Comité directeur des sous-ministres adjoints (SMA) Huit comités de gestion des thèmes des directeurs généraux (DG) Comité de coordination des directeurs généraux responsables des thèmes (CCDGRT) LE CCDGRT est le comité opérationnel principal responsable de la mise en œuvre des éléments du PQA et est composé des responsables de chacun des huit comités de gestion des thèmes des directeurs généraux. Le Secrétariat de gestion des résultats du Programme sur la qualité de l'air est la structure de soutien principale du thème Gestion et responsabilisation du PQA. Ses fonctions clés comprennent : Offrir un soutien et de la coordination à la gestion horizontale du PQA au sein des ministères; Maintenir une base de données de l’information en matière de ressources financières; Analyser l'information financière et non financière pour appuyer une évaluation du rendement au sein du PQA, y compris l'atteinte des résultats et l'utilisation, la répartition et la suffisance des ressources, ainsi que les risques; et Fournir des rapports pertinents, au besoin, à la structure de gouvernance et au SCT.

11 Méthodologie Cette section traite du plan pour l'évaluation du PQA sous les rubriques suivantes : Portée et limites de la couverture Approche et méthodologie Évaluations des thèmes et des programmes utilisées pour la synthèse horizontale Enjeux et questions d'évaluation, et Limites méthodologiques

12 Portée et limites de la couverture
La synthèse répond aux questions d'évaluation (page 15) présentées dans le plan de l'évaluation horizontale 2008. Elle met l'accent sur l'évaluation des résultats des thèmes et des programmes et sur les résultats immédiats (comme rapportés dans les évaluations du PQA et des thèmes) qui contribuent à l'atteinte des résultats intermédiaires du PQA (voir le Modèle logique à la page 9). Les résultats à long terme du PQA n'ont pas été évalués dans le cadre de cette synthèse horizontale, parce que l'on s'attend à ce qu'ils soient réalisés sur une plus longue période. Limites de la couverture La synthèse porte sur 39 (87 %) des 45 composantes du PQA (voir page 14). Le financement combiné des quatre années du programme couvert dans cette synthèse représente environ 95 % (2,1 milliards de dollars) de l'affectation de 2,2 milliards de dollars au PQA (voir page 14). La plupart des évaluations de la synthèse ont été réalisées en ; elles ne portaient donc que sur deux à deux années et demie de mise en œuvre des activités du PQA. Les évaluations qui ne font pas partie de la synthèse actuelle seront présentées séparément lorsqu'elles seront prêtes. La synthèse actuelle a été achevée sans pouvoir tirer partie des composantes manquantes parce que le rapport horizontal devait être présenté en octobre 2010 afin de pouvoir prendre des décisions sur les activités à venir du PQA.

13 Approche et méthodologie
Objet Ce rapport, qui examine la pertinence et le rendement du Programme sur la qualité de l'air, vise à satisfaire les engagements en matière de rapports et à contribuer à l'élaboration continue de politiques sur l'air pur et les changements climatiques. Destinataires La synthèse d'évaluation du PQA vise à aider à satisfaire les besoins d’information de la haute direction des ministères et des organismes qui ont élaboré et exécuté les thèmes du PQA et les composantes du programme, ainsi que le Secrétariat du Conseil du Trésor (SCT). Méthodologie Les données de ce rapport proviennent du contenu de deux rapports de synthèse thématiques et de 14 évaluations de thèmes et de programmes qui étaient accessibles en date du 23 septembre  Cela exclut les évaluations qui ne sont pas encore terminées, comme le précise la page 14. Les méthodes suivantes ont été utilisées dans les 14 évaluations des thèmes et des programmes dont l’information a servi à la rédaction de la présente synthèse : entrevues avec des informateurs clés (14) analyses documentaires (6) examens de la documentation (14) analyses des données sur le rendement (5) analyses des données secondaires (1) études de cas (5) sondages (2) et groupe d'experts (1). Les informations ont été extraites des rapports afin de réaliser des matrices de concordance qui ont schématisé des données équivalentes provenant de plusieurs évaluations de thèmes et de programmes dans des champs définis par les questions d'évaluation du PQA.

14 Évaluations des thèmes et des programmes utilisées pour la synthèse horizontale Légende :✓- L'évaluation de ce thème/programme est incluse dans cette synthèse. X – L'évaluation de ce thème/programme est en cours ou est prévue. Nombre de Attribution Thème ou programme programmes Dirigé par Type Inclus sur quatre ans 1. Programme de réglementation de la qualité de l'air (PRQA)a 9 EC Thématique ü 347,3 M$ 2. Énergie propre 8 RNCan Thématique ü --- 2.1 écoÉNERGIE pour les bâtiments et les habitations RNCan Programme ü 61,0 M$ 2.2 écoÉNERGIE Rénovation RNCan Programme ü 520,0 M$ 2.3 écoÉNERGIE pour l'industrie RNCan Programme ü 18,0 M$ 2.4 écoÉNERGIE pour l'électricité renouvelable RNCan Programme ü 276,0 M$ 2.5 écoÉNERGIE pour le chauffage renouvelable RNCan Programme ü 36,0 M$ 2.6 écoÉNERGIE sur la technologie RNCan Programme ü 226,4 M$ 2.7 écoÉNERGIE pour les collectivités autochtones et nordiques AINC Programme X 15,0 M$ 2.8 Politiques, communications, surveillance et déclaration RNCan Programme b 24,6 M$ 3. Transport écologique 12 TC Thématique ü 461,7 M$ 4. Qualité de l'air intérieur 2 SC Thématique ü 23,0 M$ 5. Adaptation 7 EC Synthèse ü --- 5.1 Aider les résidants du Nord à évaluer la vulnérabilité de leurs collectivités et les possibilités d’y remédier AINC Programme ü 14,0 M$ 5.2 Cote air santé à l'échelle nationale et Programme de prévision EC/SC Programme ü 30,0 M$ 5.3 Adaptation sanitaire des collectivités inuit et du Nord aux changements climatiques SC Programme ü 7,0 M$ 5.4 Programme amélioré des scénarios sur les changements climatiques EC Programme ü 15,0 M$ 5.5 Outils novateurs de gestion des risques RNCan Programme X 35,0 M$ 5.6 Partenariats pour les mesures d'adaptation régionale c 5.7 Alerte et intervention sur le climat et les maladies infectieuses SC/ASPC Programme X 14,9 M$ 6. Mesures internationales 5 EC Thématique ü 50,0 M$ 7. Partenariats (non lancé) 1 EC - - -- 12,0 M$ 8. Gestion et responsabilisation (CHGRR) 1 EC Thématique ü 5,0 M$ a Ces fonds ne comprennent pas les fonds additionnels octroyés en vertu d'un report de fonds du PRQA approuvé en 2009. b - Ce programme n'a pas fait l'objet d'une évaluation distincte conformément au plan d'évaluation de RNCan. c - Ces deux programmes ont prolongé leurs conditions pour un an. Ils prendront fin en Par conséquent, l'évaluation a été repoussée jusqu'à l'hiver 2011.

15 Enjeux et questions d'évaluation
Pertinence – Les activités du PQA sont-elles harmonisées avec les priorités en matière d'air pur du gouvernement fédéral et des besoins environnementaux clés de la population canadienne et contribuent-elles à y répondre? Les activités du PQA sont-elles harmonisées avec les priorités du gouvernement fédéral? Les activités du PQA sont-elles reliées aux besoins environnementaux clés? Réussite – Le PQA a-t-il atteint ses résultats escomptés? Dans quelle mesure le PQA a-t-il atteint ses résultats escomptés? Rentabilité – Est-ce que les moyens les plus rentables et les plus efficaces sont utilisés pour atteindre les résultats? Y a-t-il des moyens plus rentables et plus efficaces pour atteindre les objectifs du PQA? De quelle façon l'efficacité des activités du PQA peut-elle être améliorée? Conception et réalisation – Le PQA est-il conçu et réalisé de la meilleure façon possible? Est-ce que chacune des activités du PQA a été mise en œuvre, ou sont-elles en voie d'être mises en œuvre, comme prévu et dans les délais? Est-ce que la structure de gestion et de responsabilisation du PQA est en place et fonctionne-t-elle comme prévu? Est-ce que des données appropriées sur le rendement sont recueillies, saisies et conservées? Dans l'affirmative, est-ce que ces renseignements sont utilisés pour informer la haute direction/les décideurs? Quelles sont les pratiques exemplaires et les leçons apprises des activités du PQA?

16 Limites méthodologiques
Limites ayant un effet sur la synthèse horizontale Synthèse horizontale par rapport à une évaluation générale : La vaste étendue des activités du PQA (c.-à-d. 2,2 milliards de dollars, 45 programmes et huit ministères) a dicté la conduite de plusieurs évaluations des thèmes et des programmes et une synthèse horizontale subséquente des constatations de ces évaluations plutôt qu'une évaluation générale de l'ensemble du PQA. Maturité du programme : La plupart des sources des évaluations ont été recueillies au début de la mise en œuvre du programme. C'est pourquoi elles s'appuient sur des données en matière de rendement limitées et/ou sur des données mettant l'accent sur les extrants des activités plutôt que sur les résultats. Cependant, des rapports de rendement annuels ont été élaborés pour les deux premières années du PQA. Sources des données : Un grand nombre des évaluations qui ont contribué à ce rapport s'appuyaient fortement sur l'information reçue lors d’entrevues avec des informateurs clés. La synthèse des entrevues ne peut être considérée comme étant très fiable en raison du caractère indéfini des entrevues, de la variation des questions et de l'intérêt personnel d'une majorité de répondants (environ 46 % des 547 entrevues menées l'ont été avec des employées du gouvernement fédéral gérant et/ou réalisant le programme). Niveau d’analyse : Il est difficile de se prononcer sur certaines des questions de l'évaluation du PQA en raison du niveau de détail et d’analyse des évaluations contributives. Plus précisément, les évaluations et les synthèses des thèmes tendent à produire des constatations très générales ou très mitigées qui ne peuvent être quantifiées ou étayées. Limites sous-jacentes Les limites méthodologiques et analytiques suivantes ont été constatées dans plus d'une évaluation des thèmes. (Veuillez prendre note que le nombre entre parenthèses indique le nombre d'évaluations identifiant la limite) : Maturité du programme (4) : Les programmes n'ont pas été entièrement mis en œuvre, et il était trop tôt pour évaluer les résultats. Sources (3) : Seulement deux ou trois sources ont été utilisées. Données en matière de rendement limitées (6) : Les données étaient limitées aux extrants ou aux indicateurs du niveau des activités de programme. Processus d'élaboration de politiques (5) : Il était difficile d'avoir accès/de recueillir des extrants ou des résultats pertinents sur ces processus. Données sur les coûts (4) : Les données financières réelles et/ou suffisamment détaillées des programmes et activités n'étaient pas disponibles.

17 Constatations Cette section résume les constatations et les conclusions des évaluations des programmes et des thèmes qui sont pertinentes à chacune des questions de l'évaluation horizontale.

18 Pertinence 1. Les activités du PQA sont-elles harmonisées avec les priorités du gouvernement fédéral? Éléments probants L'ensemble des activités et des résultats du PQA semble s'harmoniser avec les priorités fédérales présentées dans des documents et des énoncés, notamment : les budgets et les discours du Trône, Prendre le virage, le plan du gouvernement du Canada daté d'avril 2007 pour réduire les gaz à effet de serre et la pollution atmosphérique, les engagements de la CCNUCC, y compris l'engagement en vertu de l'accord de Copenhague à réduire de 17 % les émissions des GES par rapport aux niveaux de 2005, Le rendement du Canada qui identifie « un environnement propre et sain » et « des Canadiens en santé » comme étant deux des 13 secteurs du gouvernement, le Plan sur les changements climatiques aux fins de la Loi de mise en œuvre du Protocole de Kyoto – Mai 2010. Les évaluations ont confirmé que les composantes du programme présentées sont harmonisées avec les priorités ministérielles et l'architecture des activités du programme. Constatation Les activités du PQA sont harmonisées avec les priorités fédérales.

19 Pertinence 2. Les activités du PQA sont-elles reliées aux besoins environnementaux clés?
Éléments probants Le plan d'évaluation du PQA indiquait trois indicateurs pour cette question : démonstration de l’utilité et de la raison d’être des activités du PQA; les programmes du PQA sont toujours pertinents, alors que de nouvelles preuves scientifiques sur la qualité de l'air et les changements climatiques voient le jour; et la preuve que l'architecture du programme du PQA s'est adaptée aux nouvelles preuves et aux modifications apportées aux politiques et priorités gouvernementales. Les évaluations des thèmes et des programmes, à l'exception de l'évaluation du thème Gestion et responsabilisation, ont examiné l’aspect « nécessité » des programmes et des activités pour évaluer leur pertinence. Cependant, l'interprétation de cet aspect et du type de preuves recueillies varie. Certains ont considéré l'opinion des informateurs clés au sujet des charges de travail ou les réponses des bénéficiaires et des intervenants comme étant des preuves de la nécessité des programmes et activités, tandis que d'autres se sont référés aux résultats de recherche et/ou aux sources de données secondaires pour documenter les polluants atmosphériques et les niveaux d'émission des GES. Le rapport du thème de l'Énergie propre démontre la nécessité de plusieurs activités de programme du thème. Trois des évaluations thématiques ont examiné si de nouvelles preuves scientifiques pouvaient remettre en question la pertinence des activités du PQA; aucune n'a été trouvée. Il n'y a eu aucune discussion ou de rapport au sujet de la modification de l'architecture de programme. Constatation Plusieurs des évaluations des thèmes et des programmes ont fourni des preuves pour démontrer que les activités du PQA sont reliées à des besoins environnementaux clés.

20 Réussite 3. Dans quelle mesure le PQA a-t-il atteint ses résultats escomptés?
Approche La synthèse a évalué la portée de chaque résultat intermédiaire du PQA (voir le Modèle logique à la page 9) en examinant la preuve de la « réussite » à partir des évaluations des thèmes qui étaient prévus apporter une contribution majeure à chaque résultat, comme l’indique le tableau qui suit : Résultats intermédiaires du PQA PRQA TE EP ADAPT QAI INTL Les Canadiens prennent des mesures en réponse aux niveaux prévus de la qualité de l'air Les accords internationaux sur la qualité de l'air sont en harmonie avec les intérêts canadiens Les mesures de réduction de polluants de l'air intérieur et de l'exposition au radon ont été mises en œuvre Les secteurs industriels ciblés ont réduit leurs émissions de GES et de polluants atmosphériques et amélioré leur efficacité énergétique Les émissions de GES et de polluants atmosphériques ont été réduites, et l'efficacité énergétique s'est améliorée dans les maisons et les édifices canadiens Les émissions de GES, les polluants atmosphériques et la consommation énergétique des modes de transport ont été réduits Les émissions de GES et les polluants atmosphériques ont été réduits, et l'efficacité énergétique s'est améliorée en raison de l'utilisation de pratiques et de produits efficients et écologiques Les émissions de GES et les polluants atmosphériques ont été réduits en raison de l'utilisation de sources d'énergie propres et renouvelables Les collectivités canadiennes et les groupes d'utilisateurs utilisent des outils et de l'information pour évaluer les risques liés au climat et prévoir des stratégies d'adaptation Les accords internationaux sur les changements climatiques sont en harmonie avec les intérêts canadiens

21 Réussite 3. Dans quelle mesure le PQA a-t-il atteint ses résultats escomptés?
Approche (suite) Pour chaque résultat intermédiaire du PQA, de l'information sur la réussite est présentée sous trois rubriques : Les plans élaborés pour atteindre le résultat, y compris les thèmes ou programmes associés et la nature des interventions – incitatifs, règlements et accords ou renforcement des capacités – qui sont utilisés. Le terme « renforcement des capacités » est ici utilisé en référence aux activités qui comportent l'obtention ou la diffusion d'information dans le but de modifier les comportements personnels ou organisationnels, y compris la recherche, des produits et services pour informer le public, des campagnes de marketing social, de la formation et des activités éducatives et des projets de démonstration. Les éléments probants des évaluations des thèmes et des programmes sur la portée des extrants prévus et l’atteinte des résultats. Les constatations qui peuvent être tirées des éléments probants disponibles. Il est important de souligner ici que les données sur les résultats n'étaient pas disponibles pour la plupart des évaluations des thèmes et des programmes, parce que les programmes n'avaient pas entièrement été mis en œuvre lorsqu'ils ont été évalués ou que l'on s'attendait à ce que leurs extrants ne contribuent aux résultats clés que quelques mois ou quelques années plus tard. Les sections qui suivent sur les constations ne mentionnent pas les lacunes, mais soulignent plutôt les thèmes et programmes pour lesquels il existe des données sur les résultats.

22 Réussite 3. Dans quelle mesure le PQA a-t-il atteint ses résultats escomptés?
Estimation de l'état d'avancement Un indicateur (voir l’exemple ci-dessous) a été élaboré pour fournir une estimation de haut niveau du progrès réalisé en vue de l'atteinte de chacun des résultats intermédiaires du PQA en se basant sur les éléments probants constatés par l'examen des évaluations des thèmes et du programme : Aucun extrant : aucun extrant parce que la mise en œuvre du programme a été retardée ou était terminée. Extrants partiels : des extrants sont produits, mais pas aux niveaux prévus ou les travaux ont été retardés de façon considérable. Extrants produits : la plupart des extrants prévus sont produits, mais il ne s'est pas assez écoulé de temps pour que l'on puisse observer leur contribution aux résultats intermédiaires du PQA. Résultats vraisemblablement obtenus : compte tenu de la portée des extrants produits et de la maturité du programme (c.-à-d. suffisamment de temps s'est écoulé depuis la mise en œuvre du programme) et en assumant que la logique des résultats du PQA est exacte, il est probable que le résultat intermédiaire escompté est atteint. Cependant, aucune donnée n'a été recueillie dans l'évaluation du programme ou du thème pour évaluer si le résultat a été atteint. Résultats atteints : il y a une preuve digne de foi qu'un résultat intermédiaire du PQA a été atteint. Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints

23 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les Canadiens prennent des mesures en réponse aux niveaux prévus de qualité de l'air Le plan Les sept programmes du thème Adaptation ont été conçus pour améliorer la capacité du Canada à réduire les risques pour la santé découlant des changements climatiques et de la pollution atmosphérique et à s'y adapter. Les concepteurs du programme s'attendaient à une augmentation de la capacité qui serait atteinte par la recherche et l'élaboration d'outils, de partenariats et de normes. La recherche et l'élaboration d'outils sont menées directement par les ministères participants et par d'autres organismes appuyés par des contributions de financement. Le thème était axé sur : le Nord, la santé humaine et les infrastructures. Éléments probants Les programmes d'Adaptation, à l'exception d'un, ont été lancés en , et non pas en , la première année du PQA. L'exception est la CAS qui est le prolongement de son programme prédécesseur. L'évaluation du thème, tirant ses conclusions de l’évaluation de quatre programmes, a permis de constater que les programmes étaient mis en œuvre comme prévu, bien que deux d'entre eux puissent présenter une mise en œuvre partielle ou retardée. L’élément probant disponible a démontré que les programmes mis en œuvre commençaient à atteindre des résultats immédiats du thème : capacité accrue de mener des travaux de recherche scientifique; collaboration accrue; et augmentation de la disponibilité et de l'accessibilité des produits. Constatations Il y a quelques éléments probants préliminaires, bien que faibles, qui montrent que le thème Adaptation progresse vers l'atteinte des résultats immédiats du thème qui sont prévus contribuer directement à ce résultat intermédiaire du PQM.

24 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les accords internationaux sur la qualité de l'air sont en harmonie avec les intérêts canadiens Le plan La composante de l'Annexe concernant les matières particulaires (MP) du thème Mesures internationales vise à une négociation de l'ajout d'une annexe à l'Accord sur la qualité de l'air de En vertu d'un tel accord, les É.-U. et le Canada s’engageraient à réduire les émissions de MP et de leurs précurseurs. Les MP comprennent les polluants microscopiques présents dans l'air qui ont des répercussions négatives sur la qualité de l'air, l'environnement et la santé humaine. Éléments probants L'initiative de l'Annexe concernant les MP a deux extrants majeurs : i) partenariats et processus; et ii) consultations officielles et non officielles avec des intervenants nationaux. L'évaluation du thème Mesures internationales rapporte des éléments probants qu'un certain progrès a été atteint dans le développement de partenariats et de processus avec les É.-U. pour l’ajout d’une annexe sur les MP. L'évaluation n'a relevé aucune preuve que les intervenants ont été directement consultés, et il n’était pas clair comment la position du Canada avait été élaborée ou comment les opinions des partenaires et des intervenants nationaux avaient eu de l'influence ou avaient été reflétées de façon satisfaisante. Des modifications à l'orientation et aux positions des politiques sur des enjeux clés, tant au Canada qu'aux É.-U., ont entraîné des retards dans l'élaboration de l‘annexe sur les MP. Constatations Les activités entourant l’élaboration de l‘annexe sur les MP ont produit des extrants reliés aux partenariats et aux processus, mais il existe peu d’éléments probants montrant que les consultations avec les intervenants nationaux ont aidé à orienter le développement de la position du Canada dans les négociations au sujet de l‘annexe sur les MP. De telles consultations sont nécessaires pour s'assurer que l‘annexe sur les MP est en harmonie avec les intérêts canadiens.

25 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les mesures de réduction de polluants de l'air intérieur et de l'exposition au radon ont été mises en œuvre Le plan Il est prévu que le PQA atteigne ce résultat intermédiaire grâce : au thème de la Qualité de l'air intérieur (QAI) qui met l'accent sur les activités en matière de renforcement des capacités, y compris la recherche sur l'amélioration de la ventilation, la distribution et d'autres solutions pour la qualité de l'air intérieur, la construction d'un laboratoire de recherche sur l'air intérieur, la création d'un comité national sur la qualité de l'air intérieur, la cartographie des zones présentant du radon, la mise en œuvre de tests pour détecter les concentrations de radon sur les sites fédéraux et une campagne de sensibilisation du public au sujet du radon, et au thème du PRQA qui a prévu de nouvelles lignes directrices fédérales (règlement) concernant les contaminants de l'air intérieur et une stratégie nationale sur la gestion des risques liés au radon. Éléments probants Parce qu'elle a été réalisée au cours de la troisième année d'un programme de quatre ans et parce que de nombreux résultats ne sont pas prévus avant la fin de la période de quatre ans, l'évaluation du thème de la QAI a examiné les progrès qui ont été réalisés en vertu des deux composantes du thème. L'évaluation a trouvé qu’elles étaient, de façon générale, sur la voie d'atteindre les résultats prévus. Les exceptions importantes sont : les programmes n'ont pas réalisé la campagne prévue de sensibilisation du public au sujet du radon, ni les évaluations des efforts de sensibilisation du public au sujet de la qualité de l'air intérieur en raison de restrictions sur la tenue de recherches sur l'opinion publique; et les tests pour détecter les concentrations de radon dans les installations fédérales sont en retard. L'évaluation du PRQA a permis de constater que les lignes directrices fédérales concernant les concentrations de radon, de monoxyde de carbone et d'ozone dans l’air intérieur ont été publiées dans les délais prévus et que des travaux connexes sont en voie de réalisation. Constatations Les thèmes de la Qualité de l'air intérieur et du PRQA ont produit, ou sont en voie de réaliser, les extrants escomptés pour contribuer à la réalisation des thèmes et des résultats intermédiaires du PQA, mais il est trop tôt pour s'attendre à ce que les résultats aient eu leurs effets escomptés.

26 Aucun extrant Extrants partiels Extrants produits Résultats probables Résultats atteints Résultat intermédiaire du PQA : Les secteurs industriels ciblés ont réduit leurs émissions de GES et de polluants atmosphériques et amélioré leur efficacité énergétique Le plan La composante des règlements industriels du thème du PRQA a été conçue pour élaborer et mettre en œuvre un règlement sur les émissions de GES propre au secteur. Éléments probants L'évaluation du PRQA indique que l'élaboration d’un règlement relatif aux émissions industrielles de gaz à effets de serre ainsi que l’établissement d’un système d'échange et de compensation d'émissions ont été touchés par « des modifications d'orientation des politiques ». Cependant, le programme a entrepris plusieurs des activités prévues (consultations, recherche, ébauche d'instructions), mais d'autres travaux ont été reportés. Constatations Le PRQA n'a pas encore eu la chance de produire les extrants nécessaires pour atteindre les réductions d'émission des GES et de polluants atmosphériques requises pour atteindre ce résultat du PQA.

27 Aucun extrant Extrants partiels Extrants produits Résultats probables Résultats atteints Résultat intermédiaire du PQA : Les émissions de GES et de polluants atmosphériques ont été réduites, et l'efficacité énergétique s'est améliorée dans les habitations et les bâtiments canadiens Le plan Le thème de l'Énergie propre offrait aux propriétaires d'habitations ainsi qu'aux petites et moyennes organisations, des incitatifs pour rénover ou bâtir des habitations ou des bâtiments éconergétiques efficaces grâce à deux programmes : écoÉNERGIE Rénovation (805 M$) et écoÉNERGIE pour les bâtiments et les habitations (61 M$). Éléments probants À la fin des deux premières années ( et ), le programme écoÉNERGIE Rénovation avait déjà atteint 64 à 80 % de sa cible prévue en matière de réductions des GES et d'économie d'énergie. Les éléments probants suggèrent que 84 % des économies d'énergie sont directement attribuables au programme. De plus, les propriétaires d'habitations entreprennent le double des rénovations qu'ils avaient à l'origine prévu entreprendre, et 60 % sont motivés à mettre en œuvre d'autres mesures à l'extérieur du programme. À la fin de ses deux premières années ( et ), le programme pour les bâtiments et les habitations avait atteint 63 à 71 % de ses économiques d'énergie ciblées et 80 % des réductions d'émissions des GES et a efficacement élargi sa portée pour atteindre les programmes d'efficacité énergétiques du RNCan du secteur résidentiel. Le programme a aussi dépassé sa cible de 5000 conseillers professionnels en matière d'énergie pour la construction de nouvelles habitations et de nouveaux bâtiments éconergétiques. Le programme écoENERGIE Rénovation pour les petites et moyennes organisations a atteint ses cibles en matière de réduction des émission de GES et d’économies d'énergie, mais n'avait pas atteint la portée prévue lorsque les cibles du programme ont été établies. De plus, ce progrès ne peut être que partiellement attribué aux incitatifs financiers du programme, puisque certaines entreprises auraient mis en œuvre ces rénovations par elles-mêmes. Pour la plupart, les activités en matière de renforcement des capacités (p. ex., formation et validation de la conception) augmentent la capacité des utilisateurs d'énergie commerciaux/institutionnels à adopter des pratiques exemplaires en matière de gestion de l'énergie et à mettre en œuvre des mesures d'efficacité énergétique. Il en résulte que cela contribue au résultat des économies d'énergie et à la réduction des émissions des GES. Constatations Les éléments probants indiquent que, bien que toutes les cibles prévues n'ont pas été atteintes, les programmes d'énergie propre atteignent des réductions d'émissions des GES et réalisent des améliorations d'efficacité énergétique dans le secteur canadien des habitations et des bâtiments.

28 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les émissions de GES, les polluants atmosphériques et la consommation énergétique des modes de transport ont été réduits Le plan Deux thèmes contribuent à l’augmentation de l'efficacité du carburant et à la réduction des émissions de GES et des polluants atmosphériques dans les secteurs du transport personnel et commercial : le thème du PRQA, qui est axé sur l'élaboration et la mise en œuvre d'une variété de règlements et de produits connexes; et le thème du Transport écologique, qui comprend des programmes en matière de renforcement des capacités et d'incitatifs visant à accroître l'adoption de technologies et de comportements éconergétiques liés aux transports, ainsi que de plans pour établir des accords de réduction des émissions volontaires avec les secteurs de l'industrie du transport aérien, ferroviaire et maritime. Éléments probants L'évaluation du thème du PRQA a permis de constater que l'élaboration de règlements relatifs au transport se déroulait comme prévu et dans les délais prévus. L'évaluation du thème du Transport écologique a permis de constater que, à quelques exceptions près et avec un certain retard, les activités prévues du thème étaient assurées, et les résultats, atteints. L’évaluation a également noté que le programme de Remise écoAUTO, un programme d'incitatifs, avait contribué à accroître l'adoption de technologies écoénergétiques dans le marché des véhicules personnels. Il y a aussi de l’information probante au sujet d’une certaine augmentation de la sensibilisation du public cible aux technologies de transport écoénergétique. En ce qui a trait aux programmes en matière de renforcement des capacités, tant l'évaluation du thème que l'évaluation de la sous-activité du Transport par RNCan ont permis de constater que les extrants requis ont été atteints, mais que les résultats ne pouvaient être évalués en raison du manque données de référence et de données sur les résultats, et de la difficulté d'attribuer à des interventions particulières des modifications du comportement des consommateurs et des entreprises. L'évaluation du thème du Transport écologique a observé que les accords volontaires avec les secteurs du transport aérien et ferroviaire avaient été renouvelés ou maintenus, mais qu’un accord similaire avec le secteur du transport maritime n'avait pas encore été élaboré. Constatations Dans l'ensemble, les activités relatives au transport du PQA ont produit les extrants règlementaires, incitatifs et en matière de renforcement des capacités qui sont attendus pour contribuer à l'atteinte de ce résultat du PQA.

29 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les émissions de GES et les polluants atmosphériques ont été réduits, et l'efficacité énergétique s'est améliorée en raison de l'utilisation de pratiques et de produits efficients et écologiques Le plan Il était prévu que ce résultat serait atteint grâce aux extrants des activités de renforcement des capacités, comme des services d’information publique, la promotion d'une utilisation plus intelligente de l'énergie, le soutien pour le développement et le déploiement de technologies énergétiques propres et la formation axée sur une conduite éconergétique, des thèmes de l'Énergie propre et du Transport écologique, ainsi que par des mesures réglementaires élaborées grâce au thème du PRQA. Éléments probants L'évaluation du thème de l'Énergie propre rapporte que les activités de renforcement des capacités et l'adoption de technologies en vertu du programme écoÉNERGIE pour l'industrie a contribué à réduire les émissions. Au moment de l'évaluation, le programme était à l’intérieur de ses cibles prévues en matière d'économie d'énergie et de réduction des émissions de GES. Elle a cependant permis de constater que pendant que les activités et les programmes financés par l'entremise de l'initiative écoÉNERGIE sur la technologie préparaient le terrain pour augmenter le déploiement de production d'énergie électrique propre, la réduction des émissions découlant de ce programme dépendrait du degré auquel ces technologies seraient déployées à grande échelle. L'évaluation du thème du Transport écologique et l'évaluation de la sous-sous-activité du Transport ont permis de constater que les extrants prévus en matière de renforcement des capacités étaient en cours de réalisation. L'évaluation du thème a aussi fait ressortir la difficulté d’attribuer à des interventions précises de renforcement des capacités les modifications des comportements des consommateurs et des entreprises. En ce qui a trait aux interventions réglementaires, l'évaluation du thème du PRQA a permis de constater que l'élaboration prévue de normes en matière d'efficacité énergétique pour les produits de consommation et de règlements pour réduire les émissions de composés organiques volatils (COV) dans la fabrication et l'utilisation de produits de consommations et commerciaux étaient en bonne voie, mais que les effets des règlements ne pourraient pas être mesurés avant quelques années après leur mise en vigueur. L'évaluation de la programmation de l'équipement par RNCan a indiqué que ses normes en matière de rendement énergétique et son programme d'étiquetage ont contribué à accroître l'efficacité énergétique minimale de l'équipement fabriqué par des fournisseurs et acheté par les consommateurs, contribuant ainsi à réduire l'utilisation d'énergie et les émissions de GES connexes. Constatations Il y a des éléments probants que les thèmes Énergie propre, Transport écologique et PRQA ont produit les résultats en matière de réglementation et de renforcement des capacités conçus pour accroître l'utilisation de pratiques efficaces et sécuritaires et que le résultat intermédiaire du PQA est en train d’être atteint. Cependant, il est trop tôt pour conclure sur la réussite de ce résultat dans le cas de deux des trois thèmes.

30 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les émissions de GES et les polluants atmosphériques ont été réduits en raison de l'utilisation de sources d'énergie propres et renouvelables Le plan Le PQA s'attend à atteindre ce résultat grâce à des incitatifs offerts par deux programmes du thème Énergie propre : écoÉNERGIE pour l'électricité renouvelable (276,0 M$) offre des incitatifs pour la production d'électricité renouvelable (p. ex., à partir de l'énergie éolienne, des centrales hydroélectriques à faible impact, de la biomasse et de l'énergie photovoltaïque solaire), et écoÉNERGIE pour le chauffage renouvelable (36,0 M$) offre des contributions aux utilisateurs commerciaux, industriels et institutionnels pour encourager l'installation de systèmes de chauffage solaire à l’eau chaude ou à l’air chaud. Le prix de ces systèmes devrait chuter lorsqu'un plus grand nombre de ces systèmes auront été installés, et la consommation d'énergie conventionnelle devrait diminuer. Éléments probants En avril 2009, des projets d'électricité renouvelable ayant une capacité totale de 3100 mégawatts avaient été commandés ou étaient en construction : le programme cible environ 4000 mégawatts d'ici le 31 mars 2011. Au cours de ses deux premières années, le programme pour le chauffage renouvelable a appuyé 334 projets de chauffage solaire : sa cible est 700 systèmes d'ici le 31 mars 2011. Constatations L'évaluation du thème de l'Énergie renouvelable de RNCan a conclu que, après deux ans, les programmes d'énergie renouvelable ont produit les extrants prévus et sont sur la voie d'atteindre la plupart de leurs résultats escomptés. De plus, l’équipe d’évaluation exprime l'opinion que de nombreux résultats à long terme des programmes seront atteints, bien qu'il ne soit pas possible d'attribuer directement l'atteinte de ces résultats à long terme aux programmes en raison de facteurs et de considérations en interaction.

31 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les collectivités canadiennes et les groupes d'utilisateurs utilisent des outils et de l'information pour évaluer les risques liés au climat et prévoir des stratégies d'adaptation Le plan Plusieurs programmes du thème Adaptation comprenaient des activités de renforcement des capacité (c.-à-d. élaboration et distribution d'outils et d'information comme des lignes directrices, méthodologies, tableaux de données, modèles et pages Web) pour aider les chercheurs, les ministères et les agences gouvernementales, les entreprises, les groupes communautaires et autres à évaluer les risques et à planifier des mesures d’adaptation. Éléments probants L'évaluation du thème Adaptation a permis de constater que les évaluations terminées de quatre des sept programmes indiquent que les programmes étaient généralement mis en œuvre comme prévu et que les scénarios améliorés relativement aux changements climatiques peuvent ne pas être entièrement mis en œuvre dans les délais prévus du programme. Les renseignements disponibles indiquent que l'information et les produits liés à l'adaptation seront probablement utilisés par des groupes qui ont un intérêt immédiat pour les répercussions des changements climatiques (p. ex., scientifiques ou personnes dont la santé risque d’être touchée). Constatations Les éléments probants montrent une utilisation accrue des outils et de l'information par des groupes qui ont un intérêt marqué pour les produits et l’information d’adaptation ou une motivation pour leur utilisation.

32 Résultats probables Extrants produits Aucun extrant Extrants partiels Résultats atteints Résultat intermédiaire du PQA : Les accords internationaux sur la qualité de l'air sont en harmonie avec les intérêts canadiens Le plan La composante Partenariats et négociations du thème des Mesures internationales est l’élément qui contribue le plus à l'atteinte de ce résultat du PQA. Ses activités visent à favoriser les intérêts environnementaux et économiques de la société canadienne par des négociations internationales. Remarque : Aux fins de l'évaluation, les « intérêts canadiens » sont les buts et les intérêts définis par le gouvernement du Canada dans les instructions des négociations fédérales et les énoncés de politiques officiels. Éléments probants L'évaluation du thème des Mesures internationales a permis de constater que les partenariats internationaux et le programme de négociations ont produit les extrants prévus. L'évaluation a conclu que les intérêts canadiens sont reflétés dans les accords internationaux sur les changements climatiques, bien qu'il soit difficile d'attribuer cela directement aux activités du thème des Mesures internationales. De plus, il y a une preuve claire d'activités de consultation approfondies, mais elles n'ont pas nécessairement entraîné des considérations accrues des intérêts des intervenants pour les positions de la société canadienne. Constatations Il y a des éléments probants que le thème des Mesures internationales a, au moins en partie, atteint le résultat intermédiaire du PQA.

33 Réussite Progrès accomplis dans l’atteinte des résultats : Sommaire
Résultats intermédiaires du PQA Aucun extrant Extrants partiels Extrants produits Résultats probables Résultats atteints Les Canadiens prennent des mesures en réponse aux niveaux de qualité de l'air prévus Les accords internationaux sur la qualité de l'air sont conformes aux intérêts canadiens Les mesures de réduction de polluants de l'air intérieur et de l'exposition au radon ont été mises en œuvre Les secteurs industriels ciblés ont réduit les émissions de GES et de polluants atmosphériques, et amélioré leur efficacité énergétique Les émissions de GES et de polluants atmosphériques ont été réduites, et l'efficacité énergétique s'est améliorée dans les maisons et les édifices canadiens Les émissions de GES, les polluants atmosphériques et la consommation énergétique des modes de transport ont été réduits Les émissions de GES et les polluants atmosphériques ont été réduits, et l'efficacité énergétique s'est améliorée en raison de l'utilisation de pratiques et de produits efficients et écologiques Les émissions de GES et les polluants atmosphériques ont été réduits en raison de l'utilisation de sources d'énergie propres et renouvelables Les collectivités canadiennes et les groupes d'utilisateurs utilisent des outils et de l'information pour évaluer les risques liés au climat, et prévoir des stratégies d'adaptation Les accords internationaux sur les changements climatiques sont en harmonie avec les intérêts canadiens

34 Rentabilité et solutions de rechange 4
Rentabilité et solutions de rechange 4. Y a-t-il des moyens plus rentables et plus efficaces pour atteindre les objectifs du PQA? Éléments probants Opinions au sujet de mesures de remplacement, d’approches plus efficaces : Les informateurs clés étaient soit satisfaits de l’efficacité ou de la plus grande efficacité des modèles du programme actuel par rapport aux solutions de rechange ou ne connaissaient pas de solution de rechange réaliste. Comparaison des activités du PQA à d'autres programmes comparables : Seule l'évaluation du thème du Transport écologique a permis de faire une analyse comparative des résultats. Elle a trouvé que des programmes comparables existent pour les programmes du Transport écologique, mais la disponibilité de l'information sur les coûts des programmes comparables était limitée à l'analyse des programmes de remise écoAUTO et de mise à la ferraille. Le programme de mise à la ferraille semblait plus efficace que les initiatives américaines et du Royaume-Uni basées sur le calcul des coûts des incitatifs par véhicule mis à la ferraille et le coût total par véhicule mis à la ferraille. Une comparaison du programme de remise écoAUTO et du programme américain Cash for Clunkers montre des coûts administratifs similaires. 3 Opinions à savoir si les investissements du PQA utilisent les fonds publics à bon escient : Tandis que les évaluations comprennent les suggestions des informateurs clés pour le perfectionnement et l’ajustement des programmes, la teneur générale de l’élément probant est que le personnel des programmes et les autres intervenants sont généralement satisfaits que les programmes remplissent leur mandat à un coût raisonnable et qu‘il n’existe aucune solution de remplacement réaliste. Réductions des coûts des émissions : L'évaluation du thème du Transport écologique a calculé le coût de réduction par tonne d'émission de GES en se basant sur les réductions des émissions de GES prévues et les budgets du programme d'origine. Les résultats suggèrent que les programmes de mise à la ferraille de véhicules et de remise écoAUTO ne sont pas rentables. Constatation Bien qu'il y ait des éléments probants provenant des informateurs clés et des comparaisons que les activités du PQA sont efficaces, le calcul des coûts par tonne de réduction des émissions des GES suggère que certains programmes, particulièrement les programmes d'incitatifs, ne sont pas rentables.

35 Rentabilité et solutions de rechange : 5
Rentabilité et solutions de rechange : 5. De quelle façon l'efficacité des activités du PQA peu-elle être améliorée? Éléments probants Les évaluations ont cherché à recueillir l'opinion des informateurs clés sur la façon d'améliorer l'efficacité des programmes auxquels ils étaient associés. Les suggestions offertes et rapportées tendent à s’appliquer à des programmes particuliers ou même à des activités particulières. Une comparaison des évaluations n'a pas permis d'identifier des suggestions qui se répétaient d’un thème à l’autre ou d’un programme à l’autre. Au cours des deux premières années du programme, les dépenses réelles du PQA étaient inférieures au budget (voir page 8). Constatation Il n'y avait aucun élément probant de l'amélioration de l'efficacité qui pouvait s’appliquer en général aux activités du PQA.

36 Conception et prestation 6
Conception et prestation 6. Est-ce que chacune des activités du PQA a été mise en œuvre, ou sont-elles en voie d'être mises en œuvre, comme prévu et dans les délais? Éléments probants L'information sur la mise en œuvre de 40 des 45 programmes du PQA est disponible. La majorité des programmes ont été mis en œuvre comme prévu – c'est-à-dire qu'ils produisent les résultats escomptés et, de façon générale, dans les délais prévus. Un programme, le programme écoAUTO du thème du Transport écologique (TE), est terminé, et 29 programmes ont été considérés comme étant en voie de réalisation, produisant leurs résultats comme prévu. Un programme du PQA n'a pas été mis en œuvre comme prévu : c.-à-d. Partenariats communautaires (EC). Le travail sur deux initiatives du PRQA – le Système d'échange de droits d'émission (EC) et les Mesures réglementaires du secteur industrie (EC) – a été reporté. Sept programmes ont rencontré des problèmes, ce qui a entraîné un retard de leur mise en œuvre ou une mise en œuvre partielle : les programmes écoMOBILITÉ de Transport écologique (TE); le Programme d'alimentation à quai des navires (TC); l'Initiative nationale d'harmonisation pour l'industrie du camionnage (TE), et écoMARCHANDISES partenariats (TC) l'Annexe concernant les matières particulaires des Mesures internationales (EC) et le Partenariat Asie-Pacifique(RNCan), et la Stratégie sur le radon (SC). Constatation La majorité (30 des 40) des programmes du PQA évalués ont été mis en œuvre comme prévu, six ont été mis en œuvre avec des modifications importantes au calendrier et/ou aux résultats, deux n'ont pas été mis en œuvre, et deux ont été décrits comme étant retardés.

37 Conception et prestation 7
Conception et prestation 7. Est-ce que la structure de gestion et de responsabilisation du PQA est en place et fonctionne-t-elle comme prévu? Éléments probants La structure de gestion et de responsabilisation du PQA est le sujet d'une évaluation distincte qui a conclu, en partie, que : le thème de Gestion et responsabilisation (G et R) a apporté une cohérence au rapport horizontal des activités et des résultats du PQA et a ressorti comme étant une histoire de réussite, en grande partie en raison du Secrétariat de la gestion des résultats du Programme sur la qualité de l'air. Des représentants de l'organisme central ont indiqué qu'il s'agissait d'un modèle clé qu'il faut suivre pour communiquer les initiatives horizontales. Les rôles et les responsabilités de la gestion du PQA ont été définis de façon claire, les processus pour appuyer la prise de décision et la coordination ont été établis, et les résultats sont communiqués au Parlement et à la société canadienne d'une façon transparente. Cependant, il y a peu d’éléments probants d'ajustement des politiques et des programmes dans les structures horizontales de prise de décision du PQA. Au besoin, une collaboration horizontale a eu lieu par d'autres canaux plus flexibles. La teneur générale des résultats de l'évaluation du thème de la Gestion et de la responsabilisation tend à valider la conclusion de l'évaluation : les structures horizontales de gestion ont été mises en œuvre et jouent un rôle important en matière de communication, mais ont des rôles limités dans la prise de décision du programme et des politiques, en partie en raison des interdépendances limitées entre les thèmes (voir page 20). La prise de décision fonctionne plutôt en fonction de hiérarchies verticales de responsabilisation, et lorsqu’il existe des interdépendances entre les programmes, une planification bilatérale et des solutions de coordinations sont utilisées. Constatation Les structures horizontales du programme et du thème ont été mises en œuvre comme prévu. Leur fonctionnement, relativement aux responsabilités de communication des résultats du PQA, dépasse les attentes, mais elles n‘ont pas joué de rôle important dans la prise de décision.

38 Conception et prestation 8
Conception et prestation 8. Est-ce que des données appropriées sur le rendement sont recueillies, saisies et conservées? Dans l'affirmative, est-ce que ces renseignements sont utilisés pour informer la haute direction/les décideurs? Éléments probants Le plan d'évaluation du PQA indiquait trois indicateurs pour cette question : Systèmes de données sur le rendement : Les informateurs clés et les éléments probants des examens de la documentation rapportés par les évaluations des thèmes et des programmes suggèrent que les programmes satisfont aux exigences de base ministérielles et horizontales en matière de rapport. Les évaluations ne contiennent pas suffisamment d'information précise pour réaliser une analyse programme par programme, mais prises comme un tout, leurs observations suggèrent qu'une minorité de programmes disposent de systèmes entièrement opérationnels. Les problèmes les plus fréquemment identifiés étaient : l’absence d'un système structuré et maintenu de façon adéquate, des processus ou des systèmes axés sur les activités et les extrants qui manquent de résultats clés, et des indicateurs qui ne sont pas pertinents ou appropriés. Six des neuf évaluations qui ont examiné les questions sur les données sur le rendement ont recommandé des améliorations aux données sur le rendement. Décisions fondées sur l'information sur le rendement : Seulement deux évaluations ont traité de l'utilisation de données sur le rendement dans la prise de décision : l'évaluation des Mesures internationales a permis de constater qu'elles étaient utilisées pour les rapports ministériels, mais à faible échelle, tandis que l'examen de la documentation du Transport écologique et les entrevues avec les informateurs clés ont soulevé des exemples de l'utilisation de telles données dans la prise de décision de la gestion de programme ainsi que l'établissement de rapports. Données de base : Seulement quelques programmes ont recueilli ou pourront recueillir des données de base. Par conséquent, il sera difficile, sinon impossible, d'évaluer l'atteinte des résultats intermédiaires et à long terme, de savoir si les extrants comportaient des incitatifs, des activités de renforcement des capacités ou des règlements. Constatation Il semblerait que les programmes du PQA ont établi des systèmes ou des processus pour recueillir et conserver les données sur les activités et les extrants qui appuient la gestion de programme, mais certains ne recueillent pas les données de base ni les données sur les résultats nécessaires pour mesurer et évaluer le rendement.

39 Conception et prestation 9
Conception et prestation 9. Quelles sont les pratiques exemplaires et les leçons apprises des activités du PQA? Éléments probants Les pratiques exemplaires et les leçons apprises suivantes sont celles au niveau du programme que l'on retrouve dans plusieurs thèmes ou programmes du PQA. D'autres pratiques exemplaires et leçons apprises se retrouvent dans les rapports d'évaluation des thèmes et du programme du PQA. Pratiques exemplaires : Une pratique exemplaire est une façon de procéder ou une méthode de travail qui a été démontrée comme atteignant des résultats supérieurs. Les évaluations ont présenté plusieurs pratiques exemplaires, mais n'ont souvent pas réussi à donner des éléments probants pour démontrer que l'activité décrite était une solution supérieure. Les pratiques exemplaires au niveau du programme présentées par l'évaluation de la Gestion et de la responsabilisation étaient : L'approbation nécessaire des rapports sur le rendement du PQA par les SM ou les ministères partenaires et les agences avant que les rapports ne soient soumis au SCT La charte détaillée et la mise en œuvre du mandat de la charte par le Secrétariat de la gestion des résultats du Programme sur la qualité de l'air L'approche du Secrétariat de la gestion des résultats du Programme sur la qualité de l'air pour s'assurer de recueillir des données financières et sur le rendement efficaces, pour les compiler et les déclarer (reconnu par le SCT comme étant un modèle de déclaration d'une initiative horizontale). Leçons apprises : Une leçon apprise décrit un aspect d'un projet ou d'un programme qui a bien ou moins bien fonctionné et identifie les risques de ne pas tenir compte de la leçon. En tout, six des évaluations ont présenté un total de 19 « leçons apprises ». Les évaluations tendaient à fournir une brève description de la leçon sans en donner le contexte ou identifier le risque. Bien que les leçons tendent à être propres à un programme ou une activité particulière, il est toutefois important de mentionner que quatre des évaluations (PRQA, Adaptation, Énergie renouvelable et QAI) ont présenté neuf leçons apprises qui requéraient une communication proactive et un engagement d'intervenant externes, y compris les communautés et les individus. Constatation Les processus pour compiler et présenter des données financières et sur le rendement du Secrétariat de la gestion des résultats du Programme sur la qualité de l'air représentent une pratique exemplaire pour les initiatives horizontales.

40 Observations générales
Cette section présente deux types d’observations : Observations du programme : observations reliées à la pertinence et au rendement de l'ensemble du PQA Observations de l'évaluation : observations reliées aux aspects techniques des évaluations horizontales

41 Observations du programme
Pertinence Les programmes du PQA sont harmonisés avec les priorités gouvernementales et sont liés aux besoins environnementaux clés. Atteintes des résultats Des données préliminaires indiquent qu'une grande majorité des activités prévues sont mises en œuvre et réalisées. Comme reconnus dans le plan d'évaluation horizontal du PQA 2008 et dans les évaluations des thèmes et du programme, les effets de la plupart des programmes du PQA ne seront pas ressentis ou mesurés avant quelque temps, même si le programme a entièrement été mis en œuvre. Certains résultats des programmes d'incitatifs (écoENERGIE Rénovation, Énergie renouvelable, écoAUTO et mise à la ferraille de véhicules) suggèrent une augmentation croissante de produits et services d'efficacité énergétique, de technologies écoénergétiques et de sources d'énergie propre, mais il existe aussi d'importantes difficultés d'attribution. À l'exception des programmes Énergie propre, il n’y a principalement que des preuves empiriques des effets possibles des activités de renforcement des capacités du PQA, et sans données de référence et à cause des restrictions imposées aux sondages, il sera difficile d'évaluer de façon fiable ces effets à l'avenir. Les analyses de la documentation ont trouvé des preuves internationales de l'efficacité des interventions réglementaires, mais les évaluations de la réglementation en matière de la qualité de l'air n'ont pas encore été menées. Rapport coût-efficacité Il y a des données préliminaires montrant que les programmes d'incitatifs, comme le programme de remise écoAUTO et le programme de mise à la ferraille de véhicules, peuvent ne pas être rentables lorsqu'ils sont mesurés en termes de réductions d'émissions. Conception et prestation Les structures de gestion horizontales du PQA ont permis des rapports horizontaux réussis, mais ont eu une utilité limitée pour la prise de décisions relatives aux programmes et aux politiques à cause du peu d’interdépendances des thèmes du PQA et du maintien des lignes hiérarchiques de responsabilisation ministérielle.

42 Observations de l'évaluation
Cadres de travail de l'évaluation horizontale L'élaboration du plan d'évaluation horizontal a fourni un certain degré de cohérence entre les évaluations des thèmes et des programmes, mais pas suffisamment pour permettre une synthèse solide des résultats. Une planification de l'évaluation horizontale future pourrait tirer profit de l'établissement des exigences pour toutes les évaluations des thèmes et des programmes afin d'aborder un petit nombre de questions d'ordre général, avec des indicateurs bien définis et des sources de données comparables et équivalentes. Mesure du rendement La majorité des évaluations des thèmes et des programmes a permis de constater qu'elles ont fait face à des problèmes, parce qu’elles ne comportaient que des résultats limités. Dans de nombreux cas, la raison était que le programme n'avait pas atteint l'étape de la mise en œuvre et que des résultats ne pouvaient pas être mesurés en raison de problèmes méthodologiques comme les restrictions sur les sondages. Cependant, dans d'autres cas, la raison pouvait être que les gestionnaires de programme n'avaient pas recueilli et mis à jour les résultats. La planification de l'évaluation tirerait avantage de prévoir tôt des examens des cadres de travail de mesure du rendement des programmes et de leur mise en œuvre. Terminologie courante La synthèse des résultats des évaluations des thèmes et des programmes a été compliquée par différentes interprétations de certains concepts et termes comme besoins (ou nécessité), utilité (justification), résultat non prévu, pratique exemplaire et leçons apprises. Bien que les variations d'interprétation et de compréhension de ces termes sont courantes et ne représentent généralement pas un problème avec une seule évaluation, un plan d'évaluation horizontal tirerait profit de l'ajout d'un lexique pour obtenir des éléments probants cohérents en provenance de plusieurs unités d'évaluation et de plusieurs évaluateurs.

43 Notes en fin de texte Les descriptions de chacune des composantes du programme du PQA sont incluses dans le Rapport ministériel sur le rendement d'Environnement Canada, Tableau supplémentaire : Initiatives horizontales. Le tableau supplémentaire est accessible à l'adresse Les sources d'information primaires pour la synthèse de cette évaluation étaient les rapports d'évaluation des programmes et des thèmes suivants : PRQA : Évaluation du Programme de réglementation de la qualité de l'air – Ébauche (14 juin 2010), Direction générale de la vérification et de l'évaluation, Environnement Canada. PRQA : Évaluation de la sous-sous-activités – Ébauche du rapport final (28 juin 2010), RNCan, Division de l'évaluation stratégique. (Remarque : Cette évaluation porte sur le programme des normes en matière de rendement énergétique et son programme d'étiquetage, qui est une sous-composante du PRQA en vertu du programme des Mesures réglementaires relatives aux produits commerciaux et de consommation.) Énergie propre : Rapport thématique sur l'Énergie propre de RNCan (septembre 2010), RNCan, Division de l'évaluation stratégique. Énergie propre : Évaluation de l'Énergie renouvelable – Rapport final (juillet 2010), RNCan, Division de l'évaluation stratégique. Énergie propre : Évaluation de la Production d'électricité propre (PEP) sous-sous-activité de S et T (PAA ) – Rapport d'évaluation final. (17 septembre 2010), RNCan, Division de l'évaluation stratégique. Énergie propre : Évaluation de la sous-sous-activités sur le pétrole et les gaz. Rapport préliminaire (22 septembre 2010), RNCan, Division de l'évaluation stratégique. Énergie propre : Évaluation de l'efficacité énergétique pour l'industrie, les habitations et les bâtiments – Rapport préliminaire (15 septembre 2010), RNCan, Division de l'évaluation stratégique. Transport écologique : Services conseils du gouvernement, Rapport sur l'évaluation du thème du Transport propre et du Programme sur la qualité de l'air (juillet 2010), Transports Canada. (Remarque : Ce rapport porte sur les programmes du thème du Transport écologique fournis par Transports Canada et Environnement Canada.) Transport écologique : Évaluation de la sous-sous-activité du Transport – Rapport final (6 juillet 2010), RNCan, Division de l'évaluation stratégique. (Remarque : Cette évaluation porte sur la participation de RNCan aux mesures réglementaires du secteur du transport et à six programmes, dont deux font partie du thème du Transport écologique.) Qualité de l'air intérieur : Services conseils du gouvernement, Évaluation du thème de la Qualité de l'air intérieur du Programme sur la qualité de l'air (juin 2010), Santé Canada et Conseil national de recherches Canada. Adaptation : Évaluation du thème Adaptation du Programme sur la qualité de l'air : Examen de l'évaluation du Programme et des constatations des mesures de rendement – Ébauche (juillet 2010). Direction générale de la vérification et de l'évaluation, Environnement Canada Adaptation : Évaluation du Programme national de la Cote air santé (février 2010), Direction générale de la vérification et de l'évaluation, Environnement Canada. Adaptation : Évaluation du Programme amélioré des scénarios sur les changements climatiques – Ébauche du rapport final (juin 2010), Direction générale de la vérification et de l'évaluation, Environnement Canada. Mesures internationales : Évaluation du thème des Mesures internationales du Programme sur la qualité de l'air – Ébauche du rapport final (juin 2010), Direction générale de la vérification et de l'évaluation, Environnement Canada. Mesures internationales : Marbek|Stratos. Évaluation du Dialogue sur l'énergie propre entre le Canada et les É.-U. – Rapport préliminaire, Direction générale de la vérification et de l'évaluation, Environnement Canada. Gestion et responsabilisation : Évaluation du thème Gestion et responsabilisation du Programme sur la qualité de l'air – Ébauche (révisé le 13 juillet 2010), Direction générale de la vérification et de l'évaluation, Environnement Canada.

44 Notes de fin Il est important de noter que les programmes des États-Unis ont été adoptés pour des raisons qui stimulent l'économie plutôt que pour réduire les émissions dues au transport. L'évaluation de la sous-sous-activité de l'Équipement de RNCan (contribuant au thème du PRQA) a effectué des calculs similaires pour les deux programmes non PQA qu'elle a présentés (des données équivalentes pour les programmes du PQA n'étaient pas disponibles) : (page 42) Il était prévu que le Programme accéléré de normes pour les équipements réduise les émissions de GES de 2,8 tonnes par années en Au total, 28,4 M$ ont été dépensés en vertu du Programme accéléré de normes pour les équipements. À cet effet, si le Programme accéléré de normes pour les équipements atteint les réductions des émissions de GES estimées, il en résulterait en 2010 une réduction des émissions de GES qui reviendrait à 10,14 $ la tonne d'émission réduite, et les réductions continueraient au-delà de 2010. Il était prévu qu’ÉnerGuide pour l'Industrie réduise les émissions de GES de 1,4 tonne par année en Au total, 2 M$ ont été dépensés en vertu d’ÉnerGuide pour l'Industrie. À cet effet, si ÉnerGuide pour l'Industrie atteint les réductions d’émissions de GES prévues, cela reviendrait en 2010 à 1,43 $ la tonne d'émission réduite, et les réductions continueraient au-delà de 2010.


Télécharger ppt "Synthèse de l'évaluation horizontale du Programme sur la qualité de l'air : Synopsis des résultats de l'évaluation disponibles en septembre 2010 Final."

Présentations similaires


Annonces Google