L’évaluation de programmes

Évaluation de programmes Vue d’ensemble et discussion : Questions concernant les évaluations de programmes Bourses d’évaluation de programmes – plan de restructuration 2008

Pourquoi évaluer? Pour améliorer la connaissance et la compréhension du programme évalué Pour identifier les problèmes et besoins spécifiques, ainsi que les pratiques efficaces Pour développer la capacité d’évaluation et d’amélioration continues L’évaluation a peu de valeur à moins qu’elle n’aboutisse à des décisions et des activités relatives à l’amélioration des programmes

Pourquoi évaluer? Par le passé... La plupart du temps, l’accent était mis sur ce que les agences faisaient, combien de clients on y voyait, combien d’heures de travail clinique étaient effectuées, combien de séances étaient fournies. Maintenant... On met de plus en plus l’accent sur ce qui se passe quand les agences fournissent des services, quels changements se produisent, ce qui est amélioré pour le client.

Questions épineuses en matière d’évaluation de programmes ????????????

Coûts et ressources humaines Acceptation à tous les niveaux Modèles logiques qui défient la logique (trop ambitieux) Processus versus résultats/impacts Choisir les bons indicateurs/mesures Passer des données à l’action

Étape 1 – Obtenir le soutien et l’acceptation Il faut, dès le départ, obtenir le soutien et l’acceptation concernant l’évaluation, de la part du personnel et des partenaires concernés Organiser des réunions préliminaires Clarifier les rôles et responsabilités touchant à l’évaluation Déterminer pourquoi l’évaluation est effectuée; clarifier toutes les incompréhensions; rassurer les gens Identifier qui sera l’utilisateur final Se mettre d’accord sur ce qui sera évalué Déterminer si les gens sont prêts à l’évaluation

Les modèles logiques « Et voici notre nouveau modèle logique » Rester aussi simple et centré que possible!

Évaluation des processus Questions clés Prestation des services – dans quelle mesure les composantes du programme sont-elles fournies comme planifiées? Couverture – l’étendue de la participation de la population cible au programme Biais – dans quelle mesure les sous-groupes de la population cible désignée participent-ils (ou ne participent-ils pas)?

Les évaluations des processus – points forts et points faibles Points forts : Mesure si le programme répond bien aux besoins du client Mesure le niveau auquel le programme a été mis en vigueur comme prévu Garantit un programme dicté par les consommateurs Facile et peu coûteux Points faibles : Biais oPeu de participants insatisfaits remplissent les questionnaires oLes clients pourraient signaler des niveaux exagérés de satisfaction

Évaluation des résultats Focus : résultat des programmes, efficacité des programmes Exemples de résultats 1.Changements au niveau des circonstances 2.Changements au niveau de la compréhension/connaissance 3.Changements au niveau de l’attitude 4.Changements au niveau du comportement

Citez quelques-uns de vos résultats Comment les mesurez-vous? ????????????

Résultat Indicateur(s) Source des données (dossiers, clients, soignants, etc.) Méthode de collecte des données et fréquence Qui collecte les données Quand les données sont collectées EXEMPLE : Acquisition de connaissances pratiques – autogestion, adaptation Augmentation des scores au test psychométrique administré, sondage auprès du soignant Soignants, mesures psychométriques Tests pré et post- administrés, sondages Chercheur chargé de l’évaluation Au début et à la fin du programme et six mois après la fin du programme Indicateurs et mesures – Stratégie de mesure

Passer des données à l’action Utiliser les résultats Élaborer des plans d’action pour améliorer l’efficacité du programme Élaborer des plans pour diffuser et partager les résultats – soyez innovateur! Des plans devraient être élaborés dès le début et continuer tout au long Des liens et des partenariats sont élaborés pendant les étapes initiales de l’évaluation formant la base des plans de partage des informations

Les bourses d’évaluation de programmes 175 bourses d’évaluation de programmes administrées par le Centre sur deux ans D’excellents rapports Certaines agences ont besoin de direction pour améliorer leur capacité d’évaluation et leurs compétences dans ce domaine L’échéancier d’introduction d’une évaluation bien conçue est trop court

Bourses d’évaluation de programmes Deux volets séparés de financement : bourse de développement de la capacité en évaluation et bourse de mise en vigueur des évaluations Le financement est basé sur le degré démontré de préparation, les partenariats établis ainsi que les niveaux de compétence et de capacité, plutôt que sur le mérite d’une seule proposition de bourse

Bourses d’évaluation de programmes Améliorer l’efficacité et la portée Réviser les attentes des agences Fournir un soutien et une formation nécessaires Forger des liens avec d’autres agences partenaires de toute la province

Développer la capacité en évaluation de programmes Objectif des nouvelles subventions d’évaluation : fournir un soutien et une direction aux agences au fil de la période couverte par la subvention, pour qu’elles puissent développer les connaissances et la capacité nécessaires pour effectuer des évaluations régulièrement, afin de garantir l’efficacité de leurs programmes.

Développer la capacité en évaluation de programmes Comment le Centre peut-il améliorer la capacité des agences en matière d’évaluation? a. Quels services/soutiens le Centre peut-il fournir pour développer la capacité en matière d’évaluation? b. Les conseillers externes ont-ils un rôle à jouer pour contribuer au développement de la capacité en évaluation?

Étape de pré-demande – Degré de préparation Obtenir dès le départ le soutien et l’acceptation de l’évaluation Étude de la bibliographie révisée par les pairs et des meilleures pratiques Développer des partenariats avec des partenaires internes et externes est un objectif formulé explicitement. Les agences partagent des expériences et des connaissances avec les partenaires pendant la période couverte par la bourse

Étape de la demande Les agences contactent le Centre pour clarifier quel volet de financement est le plus approprié pour répondre à leurs besoins. Les agences doivent démontrer dans quelle mesure elles ont répondu à chacun des critères.

Bourse de développement de la capacité en évaluation 7 mois, $ Travailler étroitement avec le Centre à développer un cadre d’évaluation spécifique pour un programme existant. Focus – processus et résultats Développer un modèle logique de programme, identifier les résultats espérés, les indicateurs et les mesures.

Bourse de mise en vigueur de l’évaluation 1 an, $ Mettre en vigueur le cadre existant pour évaluer les processus et les résultats. Le Centre fournit le soutien et la direction nécessaires. Les dépenses externes de consultation sont limitées à un maximum de $ – l’accent est mis sur le développement de la capacité au sein de l’agence.

Échange des connaissances Utiliser les résultats $ réservés à l’échange des connaissances à la fin de la période En consultation avec le Centre, les agences formulent des plans d’action pour utiliser les résultats dans le but d’améliorer l’efficacité des programmes et de diffuser les résultats de manières innovatrices Tirer parti des liens et des partenariats forgés pendant les étapes initiales de l’évaluation

Résultats anticipés Les agences développent la capacité et la compétence en matière d’évaluation continuelle Les agences formulent un cadre d’évaluation abordant les processus et l’évaluation des résultats Les agences identifient les questions d’évaluation reliées aux résultats mesurables Des mesures psychométriques sont utilisées pour mesurer les résultats Les connaissances et les informations sont partagées avec les agences partenaires, ce qui étend la portée du Centre et rehausse les pratiques axées sur la collaboration

Bourses d’évaluation de programmes -Discussion et commentaires

Communautés de pratiques – Triple P Neuf agences – contacts clés pour le Triple P en Ontario Développer une approche commune à l’évaluation – mesurer les mêmes ensembles de résultats avec des mesures communes Faciliter l’introduction provinciale des données Triple P

Communautés de pratique – Triple P Qu’est-ce qui permet le succès? -Objectif clairement identifié -Désir de travailler ensemble -Réunions face-à-face à des moments stratégiques -Portail de communication pour faciliter l’apprentissage actif et le partage des idées -Le Centre comme facilitateur

Évaluation de programmes Information pour les contacts Susan Kasprzak Adjointe de recherche , poste 3320

Visitez notre site Web pour obtenir de plus amples informations :