Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 1 Lévaluation des CUCS RésO Villes Rennes, le 7 mars 2008 Présentation du 7 mars 2008 RésO Villes

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 2 SOMMAIRE Éléments de cadrage > Le développement irréversible de lévaluation mais des freins encore puissants > Lévaluation un outil stratégique > Des pièges à éviter Repères méthodologiques > La nécessité dun référentiel > Le déroulement de lévaluation Cahier des charges

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 3 Éléments de cadrage

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 4 Le développement irréversible de lévaluation Grandes organisations daide au développement Introduite en France dans les années 90 > M Rocard (rapport Viveret en 1989) Union européenne > évaluation de programmes financés sur fonds structurels de lÉtat (règlement de 1993) La LOLF > 1ier août 2000 Politique de la ville > Circulaires du 31 août 1998 pour les contrats 94/99 et des 24 mais & 15 septembre 2006 pour les contras 2007/2012 Secrétariat dÉtat > en charge de la prospective et de lévaluation des politiques publiques (E Besson)

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 5 Un contexte favorable La complexité croissante du contexte > Les interdépendances sont multiples (économique, sociales…) > Les choix sont multiples, décider devient plus difficile Des acteurs nombreux et des partenariats systématiques > Leurs logiques respectives, les arbitrages sont nécessaires Des ressources rares > Les besoins se diversifient et augmentent, la priorité doit être donnée aux choix les plus efficaces

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 6 Des freins encore puissants Méconnaissance > On lui reproche dêtre trop lourde, trop coûteuse Un facteur de perturbation politique > Perçu comme un jugement critique car le débat a tendance, par nature, à se focaliser plus sur ce qui fâche que sur ce qui est consensuel La culture de lhabitude > Logique de moyens et non de résultats Corporatisme > Différentes sphères qui ne souhaitent pas forcément établir des passerelles entre elles

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 7 Lévaluation, un outil stratégique Ne pas confondre le « suivi » et lévaluation > Suivi conformité > Évaluation jugement / remise en cause Des potentialités considérables > Lieu de rapprochement entre sciences et action > Support de la mémoire collective et de construction dune culture commune > Outil de démocratie locale > Processus dapprentissage dans laction > Levier de changement

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 8 Pas de one best way mais un « art de faire » Faire à chaque fois du « sur mesure » Il en faut pour tous les «goûts » Rarement dans le champ de lanalyse mais dans lexigence absolu de la synthèse La capacité à avancer dans le terrain miné ; des intérêts contradictoires La capacité à déchiffrer le langage des acteurs

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 9 Évaluer cest juger Les pièges à éviter Un jugement de valeur = un pouvoir et un risque Des principes de base à respecter pour une évaluation > Principes de compétence > Principe de distanciation > Principe de pluralité > Principe de responsabilité > Principe dopportunité > Principe de respect des personnes > Principes de transparence

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 10 Repères méthodologiques

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 11 La nécessité dun « référentiel » La (re)constitution de larbre logique Lidentification dindicateurs Le système dacteurs

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 12 La gestion du cycle du projet

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 13 Lidentification dindicateurs Évaluer par rapport à quoi ? > État des lieu au démarrage du projet temps « T0 » > Dispositif dobservation et de recueil de données Type dindicateurs (mesure du quantitatif) > De suivi : réalisation / résultats > Deffets ou dimpact > De contexte pour établir des comparaison Choix des « bons indicateurs > Disponibilité > Précision > Utilité

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 14 Le système dacteurs Financeurs Bénéficiaires Opérateurs Fonctionnement souhaitable ? Type de relations attendues, partenariats ?

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 15 Le déroulement de lévaluation Phase de lancement (évaluer pourquoi ?) Rédaction du cahier des charges Phase de constat (évaluer quoi ?) Modalités de recueil des données Phase de jugement (évaluer par rapport à quoi ?) Questions évaluatives Phase de restitution évaluer pour produire quoi ?) Recommandations

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 16 Conditions de réussite La qualité de la commande Implication des destinataires de létude La pertinence des méthodes

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 17 La phase de lancement rédaction du cahier des charges Le type de démarche souhaitée et le dispositif de suivi de lévaluation La temporalité de lévaluation ; à quel étapes du cycle du projet ? Les champs de lévaluation & les questions évaluatives

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 18 Type de dispositif Les élus > Leur donner la 1ière place, celle de la décision Les techniciens > Ne pas se priver de leur expertise Les habitants > Il est important de pouvoir prendre en compte leur point de vue « décalé »

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 19 temporalité Évaluer quand ?

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 20 Champs de lévaluation Choisir des priorités

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 21 La phase de constat Modalités de recueil de données Lexploitation documentaire Lobservation directe Lenquête : repérer les tendance Les entretiens individuels : recueillir des ressentis Les réunions collectives ; entretiens pied dimmeuble ; micro-trottoir ; entretien-charade » : repérer des réseaux Le focus-group : repérer des opinion collective Létude de cas : comprendre des effets Le suivi de cohorte : comprendre des évolutions

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 22 La phase de jugement Les grands critères dévaluation

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 23 La phase de restitution formulation de recommandations A partir des résultats, comprendre pourquoi et comment cela a été possible Pour proposer des améliorations de laction publique Idéalement à cette étape, le commanditaire prend des décision

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 24 Merci pour votre attention Magistère de sciences sociales Paris V - Sorbonne 14 décembre 2007 Présentation du 14/12/2007 Paris V - Sorbonne

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 25 Cahier des charges dune évaluation (1)

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 26 Cahier des charges dune évaluation (2)

Éléments de méthode sur lévaluation Présentation du 7/03/2008 RésO Villes 27 Cahier des charges dune évaluation (3)