L’évaluation de programme : Un acte professionnel

Présentation au sujet: "L’évaluation de programme : Un acte professionnel"— Transcription de la présentation:

1 L’évaluation de programme : Un acte professionnel
Marthe Hurteau Gilles Raîche Université du Québec à Montréal

2 Plan de la présentation

3 Ce qu’est l’évaluation, incluant l’approche des indicateurs de performance
Les modalités d’encadrement de la pratique Le positionnement de l’évaluation en recherche En conclusion : les défis et avenues

4 L’évaluation : Une activité à la fois professionnelle et complexe…

5 Définition  sur:  les intrants  les processus
Définition L'ÉVALUATION:  une collecte d'information systématique  sur:  les intrants  les processus  les extrants:  produits    résultats  impacts  à l'intention de groupes d'intérêts concernés- parties prenantes (stakeholders)  pour:  mieux comprendre ce que l'on fait et mieux agir;  confirmer ce que l’on fait;  décider si on continue ou non;  etc.

6 Toute évaluation exige (Logique de l’évaluation) :
D’établir les critères et les standards : Caractéristiques de l’objet d’étude sur lesquelles portera le jugement (critères) et le niveau de performance attendu pour chacune d’elles (standard); 2. De mesurer la performance à l’aide de méthodes et techniques appropriées; 3. De comparer les résultats obtenus avec les standards établis à l’étape. 4. De porter un jugement de valeur sur la performance du programme.

7 Ainsi : Une démarche sans critère – standard- ne permet pas de déterminer l’ écart et porter un jugement. La démarche devient alors la description d’un phénomène et non une évaluation.

8 LOGIQUE DE L’ÉVALUATION
Pour y parvenir : LOGIQUE DE L’ÉVALUATION Choix stratégiques Choix méthodologiques Relations avec le client

9 Plus spécifiquement : Choix stratégiques : Choix méthodologiques :
Pourquoi faire l’évaluation La question de l’évaluation L’objet de l’évaluation Le choix des critères spécifiques à la démarche Choix méthodologiques : Quelle information? Auprès de qui? Comment? Relation avec le client : Leader dans la démarche? participatif? Empowerment? Etc.

10 Les indicateurs de performance :
Indicateurs quantitatifs portant sur les différents aspects d’un programme en vue d’en assurer le monitoring Ressources Résultats Productivité Efficacité Efficience Qualité des services Effets

11 Illustration : Résultats Cibles Prise en charge des jeunes:
Aspirations positives des jeunes en regard de leur avenir % d’enfants dont le comportement demeure stable après un an de la fin de l’intervention Consolidation des familles Développement de habiletés parentales 3 000 parents vont améliorer leurs habiletés suite à l’intervention Satisfaction de la clientèle Interventions Résultats obtenus 80% des parents se prononcent au moins satisfaits

12 Les indicateurs de performance :
2. Ne peuvent se substituer aux autres formes d’évaluation parce qu’ils ne sont pas en mesure de répondre aux questions concernant : Le comment? Le pourquoi? Poister, T.H. (2004) Performance Monitoring

13 Des modalités d’encadrement de la pratique

14 Standards de pratique L’utilité (l’évaluation fournit l’information requise aux utilisateurs de l’évaluation) La faisabilité (l’évaluation est réaliste, prudente et diplomatique) La propriété (l’évaluation est conduite de façon légale, éthique et elle garantie le bien-être des personnes impliquées) L’exactitude, la précision (l’évaluation fournit de l’information précise et exacte afin qu’un jugement de valeur puisse être émis) 30 standards de pratique ont été établis

15 Lignes directives en éthique
Les principes de base : La compétence (Les évaluateurs doivent faire preuve de compétence dans la prestation de leurs services) L’intégrité (Les évaluateurs doivent agir avec intégrité dans leurs relations avec tous les intervenants) L’imputabilité (Les évaluateurs doivent être garants de leur rendement et de leur produit). 11 lignes directives en découlent

16 Les revues scientifiques
Sur le continent américain uniquement : La revue canadienne en évaluation de programme The American Journal of Evaluation Evaluation New Directions for Evaluation Mesure et évaluation en éducation

17 La formation professionnelle
Les compétences essentielles (SCÉ) Comprendre l’évaluation Planifier une évaluation Améliorer la performance d’un programme Évaluer les résultats Congrès et ateliers nationaux, provinciaux et internationaux Formation offerte par des organismes privés

18 Les formations universitaires
Au Québec : La maîtrise en évaluation de programmes à l’École nationale d’administration publique (ÉNAP) Le programme court en évaluation de programmes de formation à l’Université du Québec à Montréal (UQAM)

19 Le positionnement de l’évaluation de programme en recherche au Québec et au Canada

20 La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (1)
ORGANISME PROJETS (n) $ % du $ Université de Montréal 2 10 Université de Sherbrooke 17 UQAM 9 UQAT UQO UQTR 1 9 984 McGill 6 Laval 4 25 Non universitaire 32 Total 16 100

21 La recherche financée par le FQRSC en 2001-2002 en évaluation de programme (2)
DISCIPLINE PROJETS (n) % Anthropologie 1 6 Éducation 2 12 Géographie Histoire Psychologie 7 41 Sciences sociales et humaines Sciences de la santé 3 18 Sociologie Total 171 100 1. Un projet s’applique à deux disciplines

22 La recherche financée au Canada
Recherche fondamentale Modélisations Méthodologie Indicateurs nationaux et internationaux

23 Conclusion

24 Les défis Depuis 40 ans, on fait le même constat à tous les 10 ans :
L’évaluation – ou ce qu’on en fait- ne répond pas aux attentes des clients (jugements émis, recommandations…)

25 Avenues? Mettre l’accent sur la logique de l’évaluation plutôt que sur des méthodologies et des approches « à la mode »;

26 Critères et standards Observations Standards Jugement

27 Avenues? Outiller adéquatement les intervenants dans les différents milieux.

28 Afin que l’évaluation soit perçue et vécue…

29 démarche qui ÉCLAIRE MERCI
… Comme une démarche qui ÉCLAIRE l’action! MERCI