En quoi l’évaluation dans le champ social est spécifique Groupe de travail SFE – L’évaluation des politiques d’action sociale 8 décembre 2017 Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

1- SCHEMA-TYPE d’une évaluation de politique publique L’AMONT 1 1- SCHEMA-TYPE d’une évaluation de politique publique EVALUER - POURQUOI ? ENJEUX STRATEGIQUES de la politique évaluée Enjeux de l’évaluation = Effets attendus Préciser les « Effets attendus » de cette politique de l’évaluation 2 EVALUER - QUOI ? Choisir les « objets à évaluer , » parmi : -> les priorités stratégiques -> les pratiques partenariales -> les actions emblématiques 3 Poser le cadre : REFERENTIEL d’EVALUATION Décliner un arbre d’objectifs Afin de rendre évaluables les objets choisis Expliciter les impacts attendus 4 4 bis Définir les METHODES et Définir des INDICATEURS DEMARCHES EVALUATIVES - de moyens (tableaux de suivi) Adaptées à chaque «objet à évaluer» - de réalisation Cohérentes avec les « effets - d’impacts (= résultats attendus) attendus » de l’évaluation L’EVALUATION mise en œuvre de l’évaluation 5 RESTITUTION et REORIENTATIONS STRATEGIQUES pour la suite de la politique publique

Pourquoi évaluer les politiques d’action sociale 1. Production de connaissance sur une intervention publique : lisibilité sur les publics concernés, les réalisations, l’organisation, la mise en œuvre Analyse documentaire, Données d’activité Enquêtes quantitatives ET qualitatives Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Pourquoi évaluer les politiques d’action sociale Production de connaissance sur une intervention publique mobiliser les données disponibles et aller chercher celles qui manquent Faiblesse des systèmes d’information des acteurs sociaux ( associations , établissements, services) Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Pourquoi évaluer les politiques d’action sociale 2. Apprécier la valeur de l’intervention publique Porter un jugement sur la valeur de l’intervention Estimer les impacts de l’intervention difficultés méthodologiques de l’analyse des impacts en matière de travail social nécessité d’avoir tous les points de vue des parties prenantes et notamment des bénéficiaires Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Pourquoi évaluer les politiques d’action sociale 3. Aider à la décision Sur la base des constats, émettre des préconisations … qui devront être reprises dans les modalités de contractualisation avec les opérateurs … voire interpeller les directions d’administration centrale Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Pourquoi évaluer les politiques d’action sociale 4. Améliorer la gestion publique Optimisation des ressources publiques : efficacité et efficience, en référence aux besoins d’un territoire le coût d’une politique sociale est toujours quelque chose de relatif par rapport aux coûts « evités », sur le plan implicite ou explicite, en référence à une éthique – très peu d’études les besoins d’un territoire sont très souvent flous sur le plan social – notion de schéma, de programmation Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Quand évaluer Anticiper le besoin d’évaluation : Nécessité dans le domaine social d’introduire dans les conventions de financement des modalités d’évaluation (… et les suivre) Prévoir les modalités d’évaluation d’un schéma dès sa conception Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Quand évaluer Une évaluation se déclenche au moment opportun : bien apprécier le contexte politique de la politique sociale évaluée pour savoir si les préconisations auront des chances d’être mises en oeuvre Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

L’analyse des besoins Une évaluation suppose la réalisation d’un diagnostic initial Relocaliser les interventions sociales publiques dans un territoire et les relier les unes aux autres Evaluer les besoins en quantité et en qualité Identifier les actions pertinentes : bonnes pratiques Importance d’associer les usagers dès cette phase de conception Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

L’analyse des besoins Des techniques adaptées aux politiques sociales ? Matrice Atouts Forces Opportunités Menaces (AFOM – SWOT en anglais) Enquête par questionnaire qui doit utiliser des modalités de recueil spécifique et adaptées aux populations vulnérables Entretiens individuels ou collectifs : quelles méthodes Parcours usagers: retracer l’ensemble de l’expérience sur une thématique précise pour identifier les obstacles et les difficultés Notion de « personas » : profils types d’usager Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

LA COMMANDE La (re)définition des objectifs du programme, du dispositif ou de l’action est un préalable à la réalisation de l’évaluation Définition des objectifs opérationnels : les objectifs d’un dispositif social sont très souvent implicites et peu connus des acteurs Notion de référentiel dans le domaine social : RBPP ANESM… mais peu de choses sinon Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Identifier les parties prenantes UTILISATEURS Décideurs et financeurs : les politiques sociales sont multipartenariales - aller vers des co-évaluations avec les collectivités territoriales ? Opérateurs : associations, et établissements, qui ont des fonctionnement spécifiques (conseil d’administration, projet associatif, valeurs d’engagement..) Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Identifier les parties prenantes Pluralité des points de vue Place de chacun: le département chef de file de l’action sociale ? Et le citoyen non usager ? En matière d’action sociale, importance de l’engagement personnel de tel ou tel professionnel Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Les indicateurs d’évaluation dans le domaine social Les indicateurs quantitatifs doivent recouvrir plusieurs réalités : Indicateurs de contexte et de moyens associés aux résultats indicateurs de la qualité : notion de constat, mais aussi notion de maîtrise ou de gestion des risques Nécessité d’associer des indicateurs qualitatifs Bien vérifier les sources et la fiabilité des données …. Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

La définition des questions évaluatives On interroge la pertinence, la cohérence interne et externe, l’efficacité, l’efficience, et l’utilité c’est-à-dire par les impacts Méthodologie d’évaluation des impacts ? Intervention de quadrant conseil : différentes méthodes d’évaluation des impacts ( JFE) Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

la pertinence la cohérence l’effectivité la conformité l’efficacité Les 8 registres d’un QUESTIONNEMENT EVALUATIF reprennent les critères classiques d’évaluation L’évaluation de la stratégie « politique» = le Pourquoi la pertinence la cohérence l’effectivité la conformité l’efficacité la faisabilité l’efficience l’utilité sociale L’évaluation de la performance = le Quoi , = le Combien = le Comment Elus Experts Elus Citoyens TECHNICIENS L’évaluation de la stratégie « sociétale » = le Pour Qui g2c.conseil@orange.fr

Le recueil des données Recueillir le point de vue de l’usager : quelle méthode choisir ? Enquête individuelle, enquête par questionnaire, entretien collectif Le choix dépend des objectifs poursuivis, de l’avantages et des points de vigilance de chaque méthode Du point de vue des personnes vulnérables, toutes les méthodes ne sont pas équivalentes. Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Elaborer des constats et des préconisations Co- construire des préconisations avec toutes les parties prenantes, dont les bénéficiaires : ateliers collaboratifs pour mettre en débat les résultats de l’évaluation et imaginer des actions à mettre en œuvre utiliser le design de politiques publiques : prototypage pour permettre une expérimentation et une amélioration des solutions envisagées, utilisation d’outils visuels… Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie

Définir et mettre en œuvre le plan d’action Définir un plan d’action avec le commanditaire : Constituer une instance de mise en œuvre du plan d’action (au sein du territoire ? Avec les usagers ?) Anne SADOULET - responsable inspection contrôle evaluation – DRJSCS Occitanie