CaDEA atelier 2 Input Brad cousins, university of ottawa Bienvenue, introductions Conceptualisation de la problématique évaluative Intérêts des parties prenantes Processus divergent et convergent Questions d’évaluation Cadre logique de programme Cadre d’évaluation

Cadre logique de programme Parties prenantes de programme (non- évaluative) Individuels, groupes ou organismes avec intérêts en programme ou son évaluation Considérations de structure de programme et de contexte Age, théorie de programme, organisation attitude vers le changement, consensus parmi les parties prenantes, micro politiques

Conceptualisation de la problématique évaluative Évaluateur-Partie prenante relations Évaluation externe, évaluation interne et évaluation collaborative (Collab, Partic, Emp) Relations parmi parties prenantes accès au pouvoir, connaissance, expertise Les valeurs en conflit Considérations des ressources : fiscal, humaine, expertise (logique d’évaluation, théorie de programme), les temps.

Types de parties prenantes Décideurs politiques – sponsors Développeurs de programme Gestionnaires de programme /managers Les responsables pour mis en ouvre de programme Bénéficiaires visés de programme Groupes à intérêts spécials Autres QUI? SES INTÉRÊTS? CE QUI INTÉRÊSTS COMPTE?

Phase Divergent Identifier les raisons pour installer l’évaluation, questions de intérêts Identifier les conditions contextuelles: micro politique, asessement d’ évaluabilité Lister parties prenantes et spécifier leur intérêt importance relative Identifier dimensions de performance (critère) et les normes Décrire l’objet d’évaluation Considérer multiple sources: Parties prenantes , modèles/cadres, littérature, normes professionnel, consultants experte, professionnel jugement.

Phase Divergent Information utile chez parties prenantes Perception du programme Buts ou objectives de programme Théorie de programme Concernés Questions évaluatives Utilisation visée d’évaluation Autres parties prenantes et ses intérêts

Stratégies Convergent pour planification d’évaluation Identifier les ‘utilisateurs primaires’ et autre parties prenantes et ses intérêts principale, questions. Représentation initiale de le problématique des utilisateurs primaires. Le perception des autres parties prenantes de le problématique. Générer un liste des questions ordré. Attention chez utiles potentielle et règles des décision. Identifier contraintes et modifier questions évaluative à accorder.

Formuler questions évaluative De stratégies convergents, identifier et déterminer l’importance relative d’une liste faisable des questions Évaluation de mise en œuvre Le programme est –il mis en ouvre comme prévu? Pourquoi? Pourquoi pas? Évaluation de processus Quelles aspects ou éléments de programme sont plus à même d’apporter les impacts désirable? Évaluation d’impact Le programme a-t-il atteint son ou ses objectives? Lesquelles effets pas visé de le programme on peut observer?

Cadre logique de programme “une outil pour: décrire la théorie du programme, guider la mesure de programme, faire le suivi et le management » Rossi et al.

Cadre logique de programme Besoins: Raison d’être du programme. Le problème sociale à résoudre. Ressources: humaine, fiscal et autres ressources (e.g., partenaires, infrastructures) requis pour couvrir le programme Activités: toutes les démarches requis à produire extrants de programme Extrants: les produits et services générés par le programme (conditions nécessaires mais pas suffisant à réaliser les résultats du programme; on peut les compter) Résultats: connectés aux objectifs du programme; court-terme ou immédiat, intermédiaire, long terme (changements observé)

Cadre logique de programme Resultats Extrants Activités Ressources Besoins

‘Results Chain’ Logic Model Area of Control Internal to the Organization Area of Influence External to the Organization Immediate Outcomes (Direct) Inputs (Resources) Intermediate Outcomes (Indirect) FINAL OUTCOME Activities Outputs External Factors Efficiency Effectiveness

Cadre logique de programme Activités (plan d’utilisation de service): Recrutement Induction Livraison Activités de programme régulières Assignement des groupes Activités supplément Réalisation

Cadre Évaluative Matrices que associé les questions évaluative avec les méthodes Éléments (colonnes) Questions d’évaluation Indicateurs (comment on a le connaissance?) Sources de donné (de qui à collecté le donné) Méthodes (comment le donné sera collecter) Base pour la comparaison (comment bon est assez bon?)

Cadre Évaluative Questions Indicateurs Sources de données Méthodes Base de comparaison Mis en ouvre comme visé? Activités enseignement Scope & séquence -enseigneurs -gestionnaires Observation Focus group Entrevue Documents PLM Plans de course Objectives atteint? Apprentissage des étudiantes -étudiantes -pre-posttest -entrevues -Baseline -norm externe. -group de comparaison