Des indicateurs de performance pertinents et adéquats Marthe Hurteau, UQAM Gilles Raîche, UQAM

Plan de la présentation Objectifs Distinction et définitions Des critères pertinents Des critères adéquats Les « apprentissages » tirés de l’expérience

Objectifs Présenter un processus d’élaboration d’indicateurs, expérimenté par des gens du milieu collégial; Présenter certains enjeux méthodologiques; Présenter certains « apprentissages» tirés de la mise en application du processus.

Des indicateurs pertinents… …Parce qu’on sait: Pourquoi ils ont été retenus À quoi ils vont servir Pour qui ils vont servir…

Des indicateurs adéquats… …Parce qu’ils: Mesurent ce qu’ils doivent mesurer Sont stables dans le temps Sont interprétables …

… Ce qui les rend ainsi UTILES!

Distinction / définitions

Indicateurs de performance / Évaluation de programme Indicateurs: assurent le suivi du programme (système d’information) Évaluation de programme: identifie les problèmes, porte un jugement et formule des recommandations

Les indicateurs de performance Sont quantitatifs (chiffre brut - volume, moyenne, rapport - ratio, cote, index, taux, pourcentage) Documentent les différentes composantes d’un programme (ressources, activités, résultats obtenus, etc.) Considèrent l’efficacité comme primordiale

Offrent différents niveaux de surveillance : Veille Alerte COMMENT?

Par les CIBLES! Indiquent où on veut s’en aller par rapport à la performance, le niveau visé. Par exemple : Au moins 60% de la clientèle obtient son diplôme

Des indicateurs pertinents

Processus d’élaboration 2. Enquête 4. Information critique 6. Choix des Indicateurs 5. Recherche 1. Modèle logique 3. Besoins d’information 7. Établissement Des cibles

Indicateurs / critères = nombre de téléphones effectués pour placer les étudiants (ATE) = INDICATEUR Planification Services = nombre de stagiaires placés= INDICATEUR Rapport planification / services = RENDEMENT: n. de téléphones/ n. de stagiaires = CRITÈRE DE PERFORMANCE

Planification et organisation Qualité du service Satisfaction Du client Résultats Planification et organisation Activités services Besoins Problèmes Efficacité Ress. humaines Efficience Ress. matérielles Ress. monétaires Coût/efficacité Charge de travail Productivité Rendement RESSOURCES

Des indicateurs adéquats

Validité Apparente De contenu De construit Prédictive De conséquences

Précision Les indicateurs sont-ils fiables? Obtiendrait-on les mêmes valeurs à un autre moment? Sont-ils constants? Une autre personne obtiendrait-elle les mêmes valeurs? Peut-on obtenir un indicateur de la précision de chacun des indicateurs, ou du moins la documenter?

Documentation Il faut bien documenter nos indicateurs : Ce qu’ils signifient Leurs limites Le contexte de leur obtention Etc.

Généralisation Les valeurs obtenues sont: Généralisables à… d’autres années ou sessions une population bien définie Obtenues d’un échantillon représentatif d’une population En fait, il faut bien circonscrire l’univers de généralisation

Signification Les valeurs obtenues : Sont interprétables Permettent, le plus possible, un jugement absolue Permettent d’assurer des comparaisons Permettent des mesures équivalentes Exemple de l’histoire du mètre

« Apprentissages »

Démarche qui permet de savoir: Pourquoi on retient certains indicateurs Ce que l’on va faire avec À qui ils sont destinés Comment on va leur présenter

Les indicateurs doivent être peu nombreux mais « parlants » Les cibles: Soulèvent des résistances: Difficiles à établir –références- Confusion entre standards et cibles Les ressources ne suivent pas toujours Processus pour les établir est aussi important que les cibles retenus

Importance d’élaborer un lexique pour documenter les indicateurs; Les intérêts diversifiés des différents auditoires cibles impliquent un triage plutôt que l’élimination de certains indicateurs

Conseils d’administration Critères Professeurs Directions Conseils d’administration Efficacité  Satisfaction Qualité Rendement

Finalement, ils s’avèrent très utiles dans le contexte des évaluations de programme