Comment évaluer les projets? Valérie Pattyn Institut de la Gestion publique, K.U. Leuven Semaine de la Sécurité intégrale - 27 juin 2011

2 1.Qu’entend-on (ou non) par évaluation de la politique? 2.Pourquoi évaluer et quand? 3.Anticiper une évaluation de projet: Conditions connexes pour l’évaluabilité  Questions et critères d’évaluation  Théorie politique  Infrastructure de monitoring  Capacité / Culture Objectif de la présentation

3 “La détermination de la valeur (‘mérite’) de l’objet de l’évaluation” (M. Scriven) Evaluation informelle versus formelle. Processus structuré/systématique – Mise en œuvre de méthodes et techniques: –Question d’évaluation + Critère d’évaluation –Collecte des données –Analyse des données –Evaluation Evaluat° de la politique – qqs caractéristiques

4 “Politique” = ? Mesure Train de mesures Projet (exemple: Projet s’attaquant au vol de vélos) Programme Evaluation de la politique PréventionOter la cause structurelle du vol - Améliorat° des possibilités de stationnement cycliste - En promouvoir l’utilisation PréparationPréparation à la lutte contre le vol - Gravure de vélos RépressionLe vol est sanctionné- Encourager la déclaration - Contrôle et maintien

5 Evaluation de la politique: délimitation (Widmer, 2005) A l’égard d’autres fonctions appuyant la politique et la gestion

6 MOTIFS pour évaluer une politique: Soutenir le planning stratégique Améliorer la mise en œuvre de la politique et contribuer au développement institutionnel des organisations concernées Assumer la responsabilité par rapport aux résultats de la politique et aux moyens déployés Apprentissage politique: la réponse à la question de savoir pourquoi et comment la politique est réussie ou non “The purpose of an evaluation conditions the use that can be expected of it” (Chelimsky, 1997) Pourquoi évaluer?

7 Wanneer evalueren? Quand évaluer? Tôt dans le projet Projet en vitesse de croisière Fin du projet Résoudre les "maladies infantiles" Identifier à temps les gros problèmes et les éliminer (avant que le projet n’atteigne sa vitesse de croisière) Examiner et résoudre l’insatisfaction chez les intéressés (surtout le groupe cible) Vérifier la qualité de la mise en œuvre Réaliser des améliorations à long terme Voir dans quelle mesure il est possible de déjà détecter des effets Examiner quels sont les effets possibles et/ou réalisés du projet Résoudre les problèmes Résoudre les problèmes/assumer la responsabilité/apprendre Assumer la responsabilité/apprendre

Test sur l’évaluabilité: “Evaluability Assessment” –Attention accordée à l’évaluabilité organisationnelle et sur le fond de la question d’évaluation –“Est-il possible (cf. conditions connexes) de suivre et d’évaluer la politique (ex ante / intermédiaire / ex post)?” –= forme particulière d’évaluation ex ante  Lancer l’évaluation? Oui/Non  Portée de l’évaluation? Anticiperen op een projectevaluatie Anticiper une évaluation de projet

Evaluabilité: conditions connexes 9 1.Consensus questions d’évaluation / critères d’évaluation? 2.Théorie politique? 3.Indicateurs fiables et valides? 4.Capacité d’évaluation et culture d’évaluation?

(1) Consensus questions/critères d’évaluation Consensus des questions d’évaluation entre les différentes parties prenantes? Nature des questions (description, prédiction,...)? Une bonne question d’évaluation ne comprend qu’un seul critère d’évaluation. 10

11 Critères d’évaluation (traduction des termes NL: voir au bas de cette dia, dans la zone des commentaires)

(2) Théorie politique Explicitation de la théorie politique comme point de départ pour le ‘scopage’ de l’évaluation. Théorie politique? –Logique du projet –L’ensemble des présomptions que les décideurs suivent en élaborant et en mettant en œuvre une initiative politique concrète –Souvent des raisonnements implicites, non exprimés. “Pourquoi ce projet-ci, en fait? Comment concevons-nous que ce projet-ci en particulier peut générer des résultats dans la société?” 12

(2) Théorie politique –Une description, sur le fond, de l’initiative politique et de la manière dont celle-ci va atteindre des objectifs précis ou générera des effets (“Comment fonctionne la stratégie?”) = “Modèle causal du changement” –Un jugement porté sur ce qui doit être fait pour réaliser ces objectifs (“Que doit-il se passer concrètement?”)  à la fois descriptif et prescriptif (Chen, 2005) 13

14 Présomptions descriptives: –Mécanismes causaux à la base d’un problème sociétal –Processus causaux grâce auxquels la politique fonctionne et le changement social visé s’accomplit –Les déterminants: facteurs pertinents sur lesquels la politique doit se focaliser pour produire les effets escomptés  Modèle du changement derrière la politique Evaluation axée sur la théorie politique

15 Théorie politique: Modèle du changement derrière une initiative de projet modèle du changement variable modératrice action politique objectif opérationnel objectif stratégique résultat politique effet variable intermédiaire déterminant levier

16 Théorie politique reconstituée: Exemple Promotion online de la brochure “Vacances sans souci” Diminution des cambriolages pendant la période des vacances Changement d’attitude des citoyens Moins de nonchalance en quittant l’habitation Variables modératrices: Age du citoyen/ Accès à Internet Variable modératrice: bande de voleurs mise sous les verrous

(2) Théorie politique Un raisonnement solide derrière la politique augmente les chances de réussite. Objet de l’évaluation (“la politique est-elle mûrement réfléchie?”) et Reconstitution de la théorie politique comme véhicule pour poser les jalons de l’évaluation. –Attention accordée aux déterminants sur lesquels la politique peut agir. –Attention consacrée aux éventuels effets secondaires. –Gestion de la sélection des indicateurs pour le monitoring et techniques adaptées pour la collecte de données. 17

(3) Monitoring et évaluation de la politique Relation monitoring et évaluation de la politique:  Tandem Importance d’un système de monitoring adéquat Fonction des indicateurs = Indications de réalité = Représentation quantitative de la qualité/quantité de l’objet du mesurage = Descriptive, pas explicative!

Règles essentielles en établissant les indicateurs Faites usage de la théorie politique Cherchez des pratiques de mesurage existantes Impliquez les parties prenantes Principe “SMART”: –Spécificité: Indicateur a une relation de 1 sur 1 avec ce qui est mesuré –Mesurable –Acceptable = convenu: consensus les entre parties prenantes –Réaliste: cf. la pertinence –Temporel: inscrit dans le temps (mais stable!) Analyse coûts-avantages de la collecte de données Importance du mesurage initial! Fiabilité et validité

Fiabilité Garanties du mesurage en termes d’objectivité et de reproductibilité Faites une fiche comprenant des méta-infos sur l’indicateur 20 Description de l’indicateur (exemple en NL) Nom de l’indicateur Brève définition Observations DONNEE Nom Source des données & fournisseur Echelle Fiabilité Coût Comparabilité dans le temps Comparabilité dans l’espace Périodicité Actualisation NUMERATEUR

21 Pièges lors de l’exploitation des indicateurs Validité: “Sait-on ce que l’on veut mesurer?” On estime à tort que l’indicateur recouvre la totalité de l’objet du mesurage Trop peu d’attention accordée aux aspects plus difficilement mesurables de l’objet du mesurage Réduction: on adapte l’objet du mesurage ou le concept à l’indicateur, au lieu de faire l’inverse

Sortes d’indicateurs Cf. Composantes ds schéma cycle de gestion Input: nombre de patrouilles de police déployées; nbre d’h p/pers.; Nombre de personnes présentes aux sessions d’info “sécurisation des habitations” Processus: les “temps de mesurement” Output: nombre de fermetures d’immeubles utilisés par des dealers; PV traités; nombre de demandes de primes de sécurisation anti- intrusion Effet: diminution de l’abus de drogue dans une partie donnée de la ville; nombre de tentatives de cambriolage échouées Impact: long terme. Effet durable? Sentiment de sécurité des habitants Efficacité: input/output Effectivité: effet/output Coût-efficacité: effet/input

(4) Capacité / Culture d’évaluation Capacité: –Evaluation interne versus évaluation externe –Coût relatif de l’évaluation en fonction du coût du projet Culture d’évaluation 23

Valérie Pattyn Institut de la Gestion publique 24 Plus d’informations?