L’évaluation de programme : Un acte professionnel Marthe Hurteau Gilles Raîche Université du Québec à Montréal http://www.er.uqam.ca/nobel/r17165/RECHERCHE\COMMUNICATIONS\

Plan de la présentation

Ce qu’est l’évaluation, incluant l’approche des indicateurs de performance Les modalités d’encadrement de la pratique Le positionnement de l’évaluation en recherche En conclusion : les défis et avenues

L’évaluation : Une activité à la fois professionnelle et complexe…

Définition  sur:  les intrants  les processus   Définition   L'ÉVALUATION:  une collecte d'information systématique  sur:  les intrants  les processus  les extrants:  produits    résultats  impacts  à l'intention de groupes d'intérêts concernés- parties prenantes (stakeholders)  pour:  mieux comprendre ce que l'on fait et mieux agir;  confirmer ce que l’on fait;  décider si on continue ou non;  etc.

Toute évaluation exige (Logique de l’évaluation) : D’établir les critères et les standards : Caractéristiques de l’objet d’étude sur lesquelles portera le jugement (critères) et le niveau de performance attendu pour chacune d’elles (standard); 2. De mesurer la performance à l’aide de méthodes et techniques appropriées; 3. De comparer les résultats obtenus avec les standards établis à l’étape. 4. De porter un jugement de valeur sur la performance du programme.

Ainsi : Une démarche sans critère – standard- ne permet pas de déterminer l’ écart et porter un jugement. La démarche devient alors la description d’un phénomène et non une évaluation.

LOGIQUE DE L’ÉVALUATION Pour y parvenir : LOGIQUE DE L’ÉVALUATION Choix stratégiques Choix méthodologiques Relations avec le client

Plus spécifiquement : Choix stratégiques : Choix méthodologiques : Pourquoi faire l’évaluation La question de l’évaluation L’objet de l’évaluation Le choix des critères spécifiques à la démarche Choix méthodologiques : Quelle information? Auprès de qui? Comment? Relation avec le client : Leader dans la démarche? participatif? Empowerment? Etc.

Les indicateurs de performance : Indicateurs quantitatifs portant sur les différents aspects d’un programme en vue d’en assurer le monitoring Ressources Résultats Productivité Efficacité Efficience Qualité des services Effets

Illustration : Résultats Cibles Prise en charge des jeunes: Aspirations positives des jeunes en regard de leur avenir % d’enfants dont le comportement demeure stable après un an de la fin de l’intervention Consolidation des familles Développement de habiletés parentales 3 000 parents vont améliorer leurs habiletés suite à l’intervention Satisfaction de la clientèle Interventions Résultats obtenus 80% des parents se prononcent au moins satisfaits

Les indicateurs de performance : 2. Ne peuvent se substituer aux autres formes d’évaluation parce qu’ils ne sont pas en mesure de répondre aux questions concernant : Le comment? Le pourquoi? Poister, T.H. (2004) Performance Monitoring

Des modalités d’encadrement de la pratique

Standards de pratique L’utilité (l’évaluation fournit l’information requise aux utilisateurs de l’évaluation) La faisabilité (l’évaluation est réaliste, prudente et diplomatique) La propriété (l’évaluation est conduite de façon légale, éthique et elle garantie le bien-être des personnes impliquées) L’exactitude, la précision (l’évaluation fournit de l’information précise et exacte afin qu’un jugement de valeur puisse être émis) 30 standards de pratique ont été établis

Lignes directives en éthique Les principes de base : La compétence (Les évaluateurs doivent faire preuve de compétence dans la prestation de leurs services) L’intégrité (Les évaluateurs doivent agir avec intégrité dans leurs relations avec tous les intervenants) L’imputabilité (Les évaluateurs doivent être garants de leur rendement et de leur produit). 11 lignes directives en découlent

Les revues scientifiques Sur le continent américain uniquement : La revue canadienne en évaluation de programme The American Journal of Evaluation Evaluation New Directions for Evaluation Mesure et évaluation en éducation

La formation professionnelle Les compétences essentielles (SCÉ) Comprendre l’évaluation Planifier une évaluation Améliorer la performance d’un programme Évaluer les résultats Congrès et ateliers nationaux, provinciaux et internationaux Formation offerte par des organismes privés

Les formations universitaires Au Québec : La maîtrise en évaluation de programmes à l’École nationale d’administration publique (ÉNAP) Le programme court en évaluation de programmes de formation à l’Université du Québec à Montréal (UQAM)

Le positionnement de l’évaluation de programme en recherche au Québec et au Canada

La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (1) ORGANISME PROJETS (n) $ % du $ Université de Montréal 2 177 837 10 Université de Sherbrooke 289 360 17 UQAM 154 291 9 UQAT UQO UQTR 1 9 984 McGill 105 910 6 Laval 4 429 645 25 Non universitaire 553 078 32 Total 16 1 720 105 100

La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (2) DISCIPLINE PROJETS (n) % Anthropologie 1 6 Éducation 2 12 Géographie Histoire Psychologie 7 41 Sciences sociales et humaines Sciences de la santé 3 18 Sociologie Total 171 100 1. Un projet s’applique à deux disciplines

La recherche financée au Canada Recherche fondamentale Modélisations Méthodologie Indicateurs nationaux et internationaux

Conclusion

Les défis Depuis 40 ans, on fait le même constat à tous les 10 ans : L’évaluation – ou ce qu’on en fait- ne répond pas aux attentes des clients (jugements émis, recommandations…)

Avenues? Mettre l’accent sur la logique de l’évaluation plutôt que sur des méthodologies et des approches « à la mode »;

Critères et standards Observations Standards Jugement

Avenues? Outiller adéquatement les intervenants dans les différents milieux.

Afin que l’évaluation soit perçue et vécue…

démarche qui ÉCLAIRE MERCI … Comme une démarche qui ÉCLAIRE l’action! MERCI