30/07/2010 4:11 PM Une approche intégrée à la mesure du rendement pour le Programme d'établissement de CIC Présenté à la conférence de l'Association des Agences au Service des immigrants de la région Atlantique (AASIRA) 22 septembre 2010

Objectif de la présentation L'objectif de cette présentation est de: 1.Donner un aperçu du cadre intégré de mesure du rendement pour le programme d’établissement de CIC. 2.Faire un bref compte rendu des travaux du Groupe consultatif de mesure du rendement (GCMR) 3.Recueillir vos commentaires et suggestions quant aux différentes méthodes de collecte de données 2

3 Vision Ensemble, nous faisons une différence dans l’établissement et l’intégration des nouveaux arrivants Nous pouvons mesurer et évaluer l’impact de nos actions Nous agissons en fonction de l’information obtenue pour améliorer de façon constante les services

Le continuum programme-politique Contrôle Développement Politiques/Programmes Mesures du rendement Recherche & Évaluation Rapports & Planification Niveau de programme Extrants Résultats Rétroaction des clients Sondage d’opinion public sur les performances Planification ministérielle & rapports du rendement Revue stratégique Objectifs Résultats planifiés Améliorations Conception & livraison Mise en œuvre Activités Financiers Opérations Système Contexte général Impact, efficience, efficacité, & solutions possibles Évaluations périodiques Prise de décisions fondée sur des preuves 4 La mesure du rendement a un rôle unique et complémentaires dans le continuum programme-politique

5 Qu’est-ce que la mesure du rendement?  Il s'agit de la collecte systématique d'éléments probants concernant les extrants (produits et services) et les résultats d'un programme ou d’une politique  Il s'agit d'un processus cyclique de mesure, de collecte, d'analyse et de rapports d'information pour évaluer les résultats d'un programme ou d’une politique et pour faciliter la prise de décision éclairée. Elle répond aux questions clés: Que voulons-nous accomplir sur la durée du programme? Comment saurons-nous dans quelle mesure le programme est efficient? Quelle preuve existe pour soutenir l'existence du programme? Qu’est-ce qui doit être entrepris pour améliorer le programme?

Mesure du rendement Collecte d'information continue quant aux résultats de programme (extrants et résultats) pour guider la prise de décision et permettre de faire rapports sur les résultats du programme Programme d’établissement Modèle logique et résultats attendus Modalités Financement Services d’établissement Fondés sur les priorités pour les services et la programmation et les directives pour gérer les accords de contribution (côté gauche du modèle logique) Extrants Résultats immédiats Résultats intermédiaires Résultats finaux Contrôle Activités financières et opérationnelles exercées par les agents d'établissement sur les accords de contribution des FS. Cadre d’imputabilité, de risques et de vérification (CIRV) 6 Audit Pour déterminer si la stratégie du Ministère et les pratiques liées à la gestion des risques, de contrôle et de gouvernance sont adéquats. Évaluation La collecte et l'analyse continue de l’efficacité du programme dans le but de vérifier sa pertinence, ses progrès, son succès et sa rentabilité afin d'éclairer des décisions futures sur sa conception et sa mise en œuvre. Représentation visuelle de l'interaction entre les éléments du CIRV de juin 2008 liés à la mesure du rendement du programme d‘établissement de CIC.

7 Extrants Les extrants sont les produits ou services directs offerts en vertu d'une politique, d’un programme ou d’une initiative, qui servent à obtenir des résultats pour un groupe ou une population cible. La responsabilité de la collecte de données: Les fournisseurs de services (FS) sont chargés de fournir les extrants du programme de CIC Les données sont saisies par le biais de ces sources: iSMRP (Système de mesure pour la reddition des comptes concernant les programmes de contributions de l’immigration): recueillir des données quantitatives sur la plupart des services d'établissement ARS (Système automatique de réservation): recueillir des données auprès des fournisseurs de services de l'Ontario sur les services de langue, qui est transféré à l'iSMRP Outils de collecte de données pour les Cours de langue de niveau avancé: recueillir des données sur le programme de Cours de langue de niveau avancé Rapports annuels de la Colombie-Britannique, du Manitoba et du Québec Autres méthodes qui pourraient être utilisées: La rétroaction initiée par des FS pour obtenir les opinions des clients et autres stratégies de collecte de données Visites de site Web et publications produites et distribuées

Les résultats immédiats représentent les résultats immédiats obtenus, et souvent observables pendant ou immédiatement après l'achèvement d'une activité; ils sont directement attribuables à des interventions. 8 Résultats immédiats La responsabilité de la collecte de données: La responsabilité incombe principalement aux FS, puisque les résultats immédiats sont liés à des projets Les données sont saisies par le biais de ces sources: Rapports narratifs: pour faire rapport sur les résultats des projets à des fins de contrôle et de mesure du rendement qui ont été indiqués à l'annexe 1 des accords de contribution. Les rapports narratifs permettent de spécifier les résultats du projet et d'identifier les liens des résultats du programme Sondage auprès des clients à la suite des cours de langue de niveau avancé : évaluer les résultats des cours de langue de niveau avancé Rapports annuels de la Colombie-Britannique, du Manitoba et du Québec Autres méthodes qui pourraient être utilisées: La rétroaction initiée par des FS pour obtenir les opinions des clients et autres stratégies de collecte de données –Les formulaires de rétroaction des clients (distribué au moment de la prestation de services) Enquête de satisfaction initié par CIC auprès des clients –Sondage auprès des clients en général (téléphone, en ligne) Enquête après les interventions Test de connaissances et de compétences

Les résultats intermédiaires sont logiquement attendus une fois que l'un ou plusieurs résultats immédiats ont été atteints. Leurs effets s'étendent au-delà des participants au programme. 9 Résultats intermédiaires La responsabilité de la collecte de données: CIC est responsable de la collecte de données et de mesurer les résultats intermédiaires Les données sont saisies par le biais de ces sources: Sondage auprès des clients de cours de langue de niveau avancé Autres méthodes qui pourraient être utilisées: Enquêtes auprès des clients: recueillir des informations auprès des clients sur les résultats intermédiaires à la suite de la réception de services La recherche sur l'opinion publique: Vaste enquête sur des clients et le grand public Suivi des enquêtes Essai auprès de groupes cibles

Les résultats finaux sont ceux obtenus au plus haut niveau et qui peuvent être raisonnablement attribués à une politique, un programme ou une initiative de façon naturelle, et sont la conséquence de la réalisation d'un ou de plusieurs résultats intermédiaires. 10 Résultats finaux La responsabilité de la collecte de données: CIC est responsable de faire la collecte de données à partir des sources de données existantes Les données sont saisies par le biais de ces sources: Les sources de données: les données de Statistique Canada, les études longitudinales, enquêtes, etc. But: Pour mesurer les résultats à long terme des nouveaux arrivants au Canada Défi: Difficile d'attribuer directement les résultats finaux au Programme d'établissement Les résultats finaux devraient être utilisés comme point de comparaison

Le GCMR a été créé en février 2010 à la réunion du Conseil mixte des politiques et du programme en matière d’établissement et d’intégration Le mandat : Fournir à CIC des conseils sur l'élaboration de sa stratégie de mesure du rendement Le groupe inclut : Des représentants des fournisseurs de services de partout au Canada et le personnel de CIC (Régions et l'AC) 11 Montrer l’impact de nos actions sur l’établissement et l’intégration des clients Groupe conseil de mesure de rendement (GCMR) Note: Ce groupe peut également être appelé à donner des conseils sur l'élaboration et la mise en œuvre de méthodes pour la saisie de données. Livrables et les échéances Recommander des indicateurs pour évaluer les résultats - Juin 2010 Recommander des extrants - Septembre 2010 Améliorer les pratiques de gestion et la prestation de services et raffiner les méthodes pour recueillir les extrants et des résultats immédiats (rapports narratifs, rétroaction de la clientèle)

Vous faites partie du succès... Nous avons besoin de votre contribution pour avancer Avez-vous des exemples d'instruments de collecte de données / mécanismes que vous utilisez actuellement qui montrent des résultats des programmes d'établissement? Quels types de rapport vous sont utiles? Pas utiles? Quel type d'information voulez-vous partager quant à vos projets / services? Comment pouvons-nous améliorer sur la collecte de données sur les extrants et les résultats immédiats? 12

Discussion

Prochaines étapes Continuer le travail avec les GCMR, en tenant compte de vos commentaires Consulter des méthodologistes pour confirmer l'approche proposée pour la collecte de données pour: –Les extrants –Les résultats Finaliser et appliquer la stratégie de mesure du rendement Recueillir des données et les analyser et rapporter sur les extrants et les résultats 14