Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions Comment s’est déroulée une évaluation de programme.

Présentation au sujet: "Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions Comment s’est déroulée une évaluation de programme."— Transcription de la présentation:

1 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions Comment s’est déroulée une évaluation de programme à laquelle vous avez collaboré ? Évaluation des interventions en innovation et en économie du savoir à Développement économique Canada Daniel Otis Direction Qualité et examen Développement économique Canada Présentation au colloque de la SQEP 29 octobre 2004

2 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 2 Objectifs de la présentation Décrire les contraintes qui «déterminent» le choix d’une stratégie d’évaluation L’utilité de faire un «post mortem» de toute démarche d’évaluation –Permettre de tirer des enseignements pour le futur

3 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 3 Plan de présentation Brève présentation de l’agence –Direction Qualité et examen Contexte de l’évaluation Mandat d’évaluation Étapes de planification de l’évaluation –Élaboration d’un devis d’évaluation Étapes de réalisation de l’évaluation Post mortem –Utilité des résultats –Efficacité et efficience du processus

4 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 4 À propos de Développement économique Canada Mandat : Promouvoir le développement régional au Québec Budget annuel : environ 350 millions $ Nombre d'employés : environ 400 14 bureaux d'affaires, un siège social à Montréal et un bureau de liaison situé à Gatineau

5 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 5 À propos de Développement économique Canada Clientèle principale visée : PME Principaux services offerts : –Aide financière (contributions et subventions) –renseignements, références, avis et accompagnement pour la réalisation de projets de développement

6 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 6

7 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 7 Direction Qualité et examen Regroupe les fonctions de mesure du rendement, d’évaluation, de vérification et de Qualité (ISO 9001) –Une quinzaine d’ETP, dont 5,5 ETP en évaluation Principales responsabilités de l’équipe : –Supervision des projets d’évaluation Selon les exigences du Conseil du trésor Selon les demandes ad hoc –Rédaction du rapport ministériel sur le rendement –Services-conseils en mesure du rendement (annexe E) et en évaluation de projets auprès des bureaux d’affaires

8 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 8 Contexte de l’évaluation En juin 2001, le Conseil du Trésor approuvait le transfert, B l’agence, du solde du budget de 177,2 M$ du Fonds du Canada pour la création d’emplois (FCCE) pour lui permettre d’intensifier ses interventions en matière d’innovation, avec un effort accru dans les régions qui éprouvent des difficultés à s’adapter au nouveau contexte économique.

9 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 9 Contexte de l’évaluation Avant 2001 Agence intervenait déjà en innovation –Programme IDÉE-PME (1994) : L’innovation / R-D était l’un des trois axes d’intervention –Programme IRS (1997) : Accroître la capacité technologique des régions pour favoriser l’utilisation des technologies les plus appropriées et leur adaptation par la PME

10 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 10 Contexte de l’évaluation Novembre 2001, –Le secrétaire d’État responsable de l’agence annonce que l’axe innovation du programme IDÉE-PME serait élargi –Inclusion d’un nouvel axe Innovation et productivité dans le but d’améliorer la performance des PME québécoises en matière d’innovation et de productivité –Deux volets Volet 1 : Innovation –Sous-volet : Essais et expérimentations / ressources naturelles Volet 2 : Productivité –Sous-volet : Affaires électroniques

11 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 11 Mandat d’évaluation L’évaluation doit répondre B deux grandes préoccupations –… une exigence externe : celle du Conseil du Trésor Le CT dans sa décision du 7 juin 2001 (CT 829053) exige que l’agence « procède à une évaluation des programmes démontrant les résultats des activités liées à l’innovation et à l’économie du savoir financées par les crédits transférés du Fonds du Canada pour la création d’emplois avant juin 2004».

12 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 12 Mandat d’évaluation –… des préoccupations internes : L’agence est B l’étape de la planification des travaux entourant : –le renouvellement de sa programmation dont l’échéance est 2005-2006. »L’évaluation, comme fonction de gestion, contribue au cycle de gestion de l’agence en permettant notamment de tirer des enseignements pour l’avenir des interventions réalisées –Le renouvellement des fonds FCCE (juin 2004)

13 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 13 Étapes de la planification (1) Étapes d’élaboration d’un devis d’évaluation Été 2003 Consultation des directions sur leurs préoccupations à l’égard de l’évaluation Revue de la documentation / recension des écrits / données disponibles à l’interne Rédaction d’un devis d’évaluation Septembre 2003 Composition du comité d’évaluation Approbation du devis d’évaluation Octobre 2003 Début de la phase de réalisation

14 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 14 Étapes de planification (1) Première étape : rédaction d’un devis d’évaluation Description de la logique d’intervention de l’agence en innovation / économie du savoir Avoir une compréhension commune sur : –les intentions et le rationnel (raison d’être, cibles et objectifs) –l’intervention et ses effets (dynamique interne liée à la gestion et la mise en œuvre des interventions et de leurs effets et répercussions) Étape importante compte tenu de la nature des interventions de l’agence –Diversité des interventions (programmes / types d’intervention / clientèles) rappel cadre d’intervention stratégique

15 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 15 Étapes de planification (2) Défis méthodologiques et organisationnels –Défis méthodologiques: Comment mesurer les effets pour les entreprises ? –Groupe contrôle / faisabilité ? Comment mesurer les effets pour les projets «organismes» / les régions ? Comment faire la démonstration de l’intensification des interventions de l’agence ?

16 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 16 Étapes de la planification (3) Défis organisationnels –Nos consultations à l’interne ont permis de dégager certaines préoccupations et aussi identifier certaines réticences à l’égard d’enjeux d’évaluation. Par exemple : Avoir un «regard» prospectif pas uniquement rétrospectif Certaines réticences à intégrer l’enjeu de la mise en oeuvre Contraintes «logistiques» –Échéancier de réalisation (avant juin 2004) –Budget :  100K$

17 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 17 Étapes de la planification (3) Pour la version finale du devis, nous avons tenu compte de certaines des préoccupations et effectué certains choix méthodologiques Enjeux d’évaluation –Intégration de la dimension prospective –Maintien de l’enjeu de la mise en oeuvre Respect de l’échéancier –Utilisation de plusieurs firmes pour réaliser en parallèle les différents travaux –Études de cas – organismes / régions Respect du budget –Travaux réalisés à l’interne

18 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 18 Enjeux d’évaluation L’évaluation a porté sur quatre grands enjeux, soit : –Enjeu de la pertinence A-t-on fait les bonnes choses ? –Enjeu de la mise en œuvre A-t-on bien fait les choses ? –Enjeu des effets et répercussions Quels sont les résultats ? –Enjeu des perspectives d’intervention Comment devrions-nous intervenir ?

19 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 19 Enjeu – Pertinence de l’intervention (1) Objectif : –Procéder à l’examen de la logique d’intervention: le maintien ou non de la pertinence des cibles, des objectifs et de la nature de l’intervention Les questions s’articulent autour des thPmes suivants : – la conception de l’approche d’intervention – l’adéquation aux besoins – la cohérence de l’approche d’intervention

20 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 20 Enjeu – Pertinence de l’intervention (2) Méthodologie : –Revue de la documentation interne –Entrevues auprès des directeurs des bureaux d’affaires (n=14) /Entrevues avec des partenaires fédéraux (protocole d’entente) (n=5) –Enquête intranet auprès des conseillers de l’agence (54 / 95) –Enquête téléphonique auprès des entreprises –Études de cas – régions / organismes

21 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 21 Enjeu – Mise en oeuvre (1) Objectif : –Vérifier si la mise en œuvre des interventions s’est déroulée telle que prévue / problèmes rencontrés Les questions s’articulent autour des thèmes suivants : –La planification de la mise en oeuvre des interventions –l’utilisation des ressources humaines et financières (intrants) –le suivi de la mise en oeuvre –Le bilan des interventions (extrants) –A-t-on intensifié nos interventions depuis juin 2001 ?

22 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 22 Enjeu – Mise en oeuvre (2) Méthodologie : –Entrevues auprès des directeurs des bureaux d’affaires (n=14) –Entrevues avec des partenaires fédéraux (protocole d’entente) (n=5) –Enquête intranet auprès des conseillers de l’agence (54 / 95) –Analyse de la base de données HERMÈS (extrants) –Enquête téléphonique auprès des entreprises –Études de cas – régions / organismes

23 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 23 Enjeu – Effets et répercussions (1) Objectif : –Déterminer les effets et répercussions des projets en innovation et économie du savoir Les questions s’articulent autour des thèmes suivants : –les effets immédiats et intermédiaires sur les entreprises –Ex. Commercialisation / transferts de technologies –mais aussi les effets et répercussions sur les milieux régionaux –Système régional d’innovation / capacités technologiques des régions

24 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 24 Enjeu – Effets et répercussions (2) Résultats attendus : –Quels sont les résultats «bruts» de nos interventions auprès : des entreprises –accroissement des ventes / réduction des coûts de production, etc.) des organismes / régions –Contribution à la mise en place d’un système régional d’innovation

25 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 25 Enjeu – Effets et répercussions (3) Méthodologie : –Enquête téléphonique auprès des clients entreprises (404/740) –Études de cas Organismes (8) Régions (3)

26 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 26 Enjeu – Perspectives d’intervention (1) Objectifs : –Dégager les grandes tendances d’intervention dans le domaine de l’innovation et du développement régional –Décrire comment d’autres organismes interviennent en innovation

27 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 27 Enjeu – Perspectives d’intervention (2) Les questions s’articulent autour des thèmes suivants : –Quel est rôle de L’État / des agences en innovation ? –Quels sont les instruments d’intervention les plus efficaces, etc. ? –Quelles sont les approches d’intervention utilisées par d’autres organismes ?

28 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 28 Enjeu – Perspectives d’intervention (3) Résultats attendus : –Identification des tendances lourdes d’intervention en innovation, les instruments d’intervention les plus efficaces, etc. –Positionner l’intervention de l’intervention par rapport à d’autres organismes

29 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 29 Enjeu – Perspectives d’intervention (4) Méthodologie : –Consultation téléphonique de 14 experts internationaux en innovation / développement régional Une adaptation de la méthode DELPHI –Étalonnage de 7 organismes qui interviennent en innovation / développement régional Positionnement de l’intervention de l’agence par rapport à ses organismes

30 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 30 Sources et méthodes de collecte de données PertinenceMise en oeuvre Effets et répercussions Prospectif Les clients ayant reçu une aide financière de l’agence (enquête) YYY Études de cas (organismes / régions) YYY Gestionnaires et conseillers de l’agence (entrevues/enquête) YY Partenaires fédéraux (entrevues) YY Experts (DELPHI) YY Organismes en innovation / développement régional (Étalonnage) YYY

31 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 31 Étapes de réalisation (1) Octobre 2003 Constitution des groupes de travail Octobre 2003 / mars 2004 Firme A Enquête téléphonique auprès des clients entreprises Enquête intranet auprès des conseillers Entrevues auprès des directeurs / partenaires Janvier 2004 Firme B Étalonnage et Delphi Huit (8) firmes Études de cas (régions / organismes) Avril/ mai 2004 Dépôt des rapports préliminaires Juin 2004 Présentation au comité d’évaluation (une journée)

32 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 32 Étapes de réalisation (2) Gestion de l’évaluation Une équipe d’évaluation (3) –2 personnes responsables du projet – DQE Élaboration des termes de référence –1 personne – DGPP - impliquée dans le volet – perspectives d’intervention Un comité de suivi de l’évaluation –Représentants des différentes directions de l’agence –Deux experts externes en évaluation et en innovation

33 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 33 Étapes de réalisation (3) Principales responsabilités du comité d’évaluation /groupes de travail Approuver : –le devis final d’évaluation (automne 2003) –les différents outils de collecte de données (hiver 2004) –le rapport final Soutien à l’équipe d’évaluation: –Définir les critères pour la sélection des études de cas –Identifier les experts québécois, canadiens et internationaux (groupe de discussion et enquête DELPHI) –Commenter les différents biens livrables (présentations, rapports intérimaires, rapports finaux, recommandations)

34 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 34 Étapes de réalisation (4) Différentes firmes ont été impliquées dans la réalisation des différents travaux en raison de l’échéancier de réalisation –Rédaction d’un rapport par chacune des firmes impliquées –Rapport-synthèse rédigé par la DQE Les différents rapports deviennent des annexes

35 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 35 Post mortem (1) Utilité –Utilisation des rapports préliminaires pour fins de présentation dans le cadre du renouvellement des orientations stratégiques Comité de gestion ministérielle (juin) Secteur Planification et politiques (août) Secteur des opérations (septembre) –Renouvellement du FCCE Préparation d’une synthèse des principaux résultats pour le Conseil du trésor (novembre)

36 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 36 Post mortem (2) Efficacité et efficience du processus –Gestion de l’évaluation Équipe d’évaluation –Répartition des tâches de supervision entre les membres de l’équipe d’évaluation Comité d’évaluation / groupes de travail –À améliorer Méthodologie –Organismes – mesure des effets (enquête ?) –Étalonnage Synthèse des rapports (en cours) –À partir des enjeux et questions d’évaluation du devis –Plus compliqué pour les études de cas

37 Développement économique Canada pour les régions du Québec Canada Economic Development for Quebec Regions 37 Post mortem (3) Respect du budget Développer un outil pour évaluer les coûts des études de cas Travaux réalisés à l’interne –Bilan des interventions / Rapport-synthèse Respect des échéanciers –Partiellement Oui, pour le dépôt des rapports préliminaires Modification de l’échéancier –Changement de gouvernement / élections Utilisation de plusieurs firmes afin de respecter l’échéancier