Deux définitions Evaluer une politique, c’est « apprécier son efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre » (décret du 18/11/1998) Evaluer une politique, c’est « apprécier son efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre » (décret du 18/11/1998) « L'évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le but de permettre aux citoyens d'en apprécier la valeur et d'aider les décideurs à en améliorer la pertinence, l'efficacité, l'efficience, la cohérence et les impacts » (Charte de la SFE) « L'évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le but de permettre aux citoyens d'en apprécier la valeur et d'aider les décideurs à en améliorer la pertinence, l'efficacité, l'efficience, la cohérence et les impacts » (Charte de la SFE)

Caractéristiques de l’évaluation Activité d’étude et d’analyse portant sur la mise en œuvre et les résultats d’une action publique Activité d’étude et d’analyse portant sur la mise en œuvre et les résultats d’une action publique Menée dans un cadre méthodologique et institutionnel (plus ou moins) formalisé Menée dans un cadre méthodologique et institutionnel (plus ou moins) formalisé Dans le but de rendre des comptes et/ou d’améliorer cette action Dans le but de rendre des comptes et/ou d’améliorer cette action

Différents types d'actions Politiques Politiques Programmes Programmes Projets Projets Normes, réglementation (lois, décrets) Normes, réglementation (lois, décrets) Procédures Procédures Dispositifs Dispositifs Fonctions Fonctions Pratiques Pratiques

Evaluation et audit (1) Caractéristiques de l'audit : Critères préfixés Indépendance Vérifie la régularité et la responsabilité au regard de résultats attendus Priorité à l'utilisation des ressources et aux problèmes organisationnels Priorité à l'obligation de rendre des comptes Vise à fournir une assurance au commanditaire Exigence de rapidité Porte principalement sur les structures (organismes, services, établissements, fonctions).

Evaluation et audit (2) Caractéristiques de l'évaluation : Critères complexes et soumis à débat Critères complexes et soumis à débat S'intéresse principalement aux effets externes (sur la société) de l'action publique S'intéresse principalement aux effets externes (sur la société) de l'action publique Prend en compte la pluralité des acteurs et des porteurs d'enjeux Prend en compte la pluralité des acteurs et des porteurs d'enjeux Prend en compte la diversité des besoins Prend en compte la diversité des besoins Cherche à comprendre autant qu'à mesurer Cherche à comprendre autant qu'à mesurer Recherche le consensus Recherche le consensus Concerne les actions plus que les structures Concerne les actions plus que les structures

Finalités de l’évaluation Rendre des comptes sur le « bon usage des fonds publics » (accountability) Décider sur une base plus rationnelle   stratégie (lien avec la prospective)   optimisation de l’usage des ressources Apprendre, se mobiliser, donner du sens à l’action, renforcer la “capacité d'agir” (empowerment) Partager des informations, faire converger des représentations

Les défis de l’action publique Nouvelles demandes sociales/ complexité Nouvelles demandes sociales/ complexité Resserrement de la contrainte budgétaire Resserrement de la contrainte budgétaire Crise des idéologies et de l’autorité (déficit de légitimité de l’action publique Crise des idéologies et de l’autorité (déficit de légitimité de l’action publique Nouvelles formes de gouvernance et de régulation (globalisation, Europe, décentralisation, partenariat, passer du faire au « faire faire ») Nouvelles formes de gouvernance et de régulation (globalisation, Europe, décentralisation, partenariat, passer du faire au « faire faire ») Crise du management public, demande de « sens » dans le travail Crise du management public, demande de « sens » dans le travail

Des usages potentiels aux usages réels Une faible contribution au débat public Une faible contribution au débat public Des usages budgétaires plutôt rares, du moins en France Des usages budgétaires plutôt rares, du moins en France La place de l’évaluation dans la gouvernance mondiale (UE, Banque mondiale…) La place de l’évaluation dans la gouvernance mondiale (UE, Banque mondiale…) Une aide réelle au pilotage des politiques Une aide réelle au pilotage des politiques L’importance de la dimension « formative » L’importance de la dimension « formative » L’apport à l’élaboration de visions partagées L’apport à l’élaboration de visions partagées Des effets le plus souvent différés et indirects Des effets le plus souvent différés et indirects

Les origines américaines Des interventions fédérales contestées Des interventions fédérales contestées Des programmes sociaux peu légitimes Des programmes sociaux peu légitimes Democratie = Accountability Democratie = Accountability L’orientation empiriste des sciences sociales L’orientation empiriste des sciences sociales La visée d’une “politique fondée sur des preuves” (Evidence-based policies) La visée d’une “politique fondée sur des preuves” (Evidence-based policies)

Points forts de l’évaluation dans le monde anglophone  Une réelle intégration de l’évaluation au processus budgétaire  Le caractère programmatique de l ’action publique  Le rôle actif du parlement et de la Cour des comptes  l’orientation empiriste des sciences sociales  La professionnalisation des évaluateurs

Étapes d’une évaluation Lettre de mandat Lettre de mandat Élaboration d’un projet d’évaluation Élaboration d’un projet d’évaluation Constitution d’une instance d’évaluation, qui valide le projet Constitution d’une instance d’évaluation, qui valide le projet Lancement d’un programme d’étude Lancement d’un programme d’étude Suivi et validation des études Suivi et validation des études Rédaction et validation du rapport Rédaction et validation du rapport Suivi et valorisation des conclusions Suivi et valorisation des conclusions

Une pluralité d'acteurs dans le domaine sanitaire et social Services ministériels (DARES, DREES) Services ministériels (DARES, DREES) Établissements à caractère scientifique (centre d'étude de l'emploi...) Établissements à caractère scientifique (centre d'étude de l'emploi...) Conseil national de l'évaluation sociale et médico- sociale (loi du 2 janvier 2002) Conseil national de l'évaluation sociale et médico- sociale (loi du 2 janvier 2002) Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux (décret du 8 mars 2007) Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux (décret du 8 mars 2007) Haute autorité de santé (HAS) Haute autorité de santé (HAS) Haut Conseil de la santé publique Haut Conseil de la santé publique Observatoires Observatoires

LE PROJET D'EVALUATION Contexte, enjeux Délimitation des actions à évaluer, critères d’évaluation (référentiel – termes de référence) diagnostic et hypothèses Questionnement (agenda analytique) Bilan informationnel Programme d’étude (enquêtes, recherches) Choix des opérateurs

Rôle de l’instance d ’évaluation Elaborer une grille de questionnement sur la base du mandat Elaborer une grille de questionnement sur la base du mandat Choisir une (des) méthode(s) Choisir une (des) méthode(s) Rassembler des informations et documents pertinents Rassembler des informations et documents pertinents Procéder à des auditions Procéder à des auditions Organiser et piloter les enquêtes Organiser et piloter les enquêtes Synthétiser et interpréter leurs résultats Synthétiser et interpréter leurs résultats Rédiger le rapport d’évaluation Rédiger le rapport d’évaluation Communiquer, expliquer, diffuser Communiquer, expliquer, diffuser

Limites et difficultés de l’expérimentation Usage limité à certains types de programmes (effets spécifiques et ciblés et spécifiques, existence d’un « contrefactuel ») Usage limité à certains types de programmes (effets spécifiques et ciblés et spécifiques, existence d’un « contrefactuel ») Obstacles éthiques/ pratiques Obstacles éthiques/ pratiques Coûts, délais Coûts, délais Les résultats sont-ils généralisables ? Les résultats sont-ils généralisables ?

La Charte de la SFE Principes de : Principes de :  Pluralité  Distanciation  Compétence  Respect des personnes  Transparence  Opportunité  Responsabilité

Un exemple : la Loi de santé publique (2004) Un ensemble de dispositions institutionnelles (veille sanitaire, situations d'urgence, réorganisation des structures et organismes en charge de la santé publique : HCSP, HAS, INVES, INPES...) Un ensemble de dispositions institutionnelles (veille sanitaire, situations d'urgence, réorganisation des structures et organismes en charge de la santé publique : HCSP, HAS, INVES, INPES...) 5 plans de santé publique (PNSE, cancer, maladies rares, maladies chroniques, violence) 5 plans de santé publique (PNSE, cancer, maladies rares, maladies chroniques, violence) Une annexe consacrée aux objectifs de la politique de santé Une annexe consacrée aux objectifs de la politique de santé

Les objectifs de la santé publique (2004) 100 objectifs élémentaires, 100 objectifs élémentaires, 8 « Principes de la politique de santé publique » (quasi objectifs : efficacité économique, réduction des inégalités, concertation, évaluation...), 8 « Principes de la politique de santé publique » (quasi objectifs : efficacité économique, réduction des inégalités, concertation, évaluation...), Un méta objectif, l' « état de santé de la population », objectivé à travers plusieurs « indicateurs synthétiques » (espérance de vie, mortalité prématurée, AVAI...). Un méta objectif, l' « état de santé de la population », objectivé à travers plusieurs « indicateurs synthétiques » (espérance de vie, mortalité prématurée, AVAI...).

Les 100 objectifs Modification des comportements (alcool, tabac, nutrition, exercice physique) Modification des comportements (alcool, tabac, nutrition, exercice physique) Environnement (air, eau, exposition aux substances chimiques nocives, santé au travail) Environnement (air, eau, exposition aux substances chimiques nocives, santé au travail) Dépistage Dépistage Objectifs par pathologie Objectifs par pathologie  Cancer,  maladies cardio-vasculaires,  Affections neuropsychiatriques, etc Autres entrées Autres entrées  Iatrogénie, douleur  Précarité, jeunes, personnes âgées

Le mandat du HCSP en matière d'évaluation Évaluer la loi de santé publique : Contribuer au suivi de la mise en oeuvre Contribuer au suivi de la mise en oeuvre Évaluer la réalisation des 100 objectifs Évaluer la réalisation des 100 objectifs Évaluer les programmes de santé publique Évaluer les programmes de santé publique Évaluation d'ensemble (cohérence, pertinence) Évaluation d'ensemble (cohérence, pertinence)

Les enjeux de l'évaluation Rendre compte au Parlement et à l'opinion Préparer le renouvellement de la loi : Proposer de nouveaux objectifs à la lumière de l'évaluation des objectifs de la loi actuelle Se prononcer sur la pertinence des instruments politico- administratifs (plans et programmes, liste d'objectifs prioritaires...) Faire des propositions en vue d'améliorer la cohérence des politiques de santé (y compris l'organisation du système de soin et le financement de la consommation médicale) Contribuer à la connaissance des problèmes de santé et à l'amélioration des systèmes d'information

Évaluation de la réalisation des objectifs Évaluation légère exhaustive (fiches de synthèse) Évaluation approfondie par groupe d'objectifs ou pour certains objectifs : Comment expliquer les évolutions constatées ? Quelles sont les actions susceptibles d'améliorer la situation constatée Faut-il maintenir cet objectif parmi les objectifs prioritaires ?

Contenu des fiches de synthèse Éléments quantitatifs d'ensemble (indicateurs commentés, jugement sur l'atteinte de l'objectif) Données sur les inégalités territoriales et sociales Données internationales disponibles et position relative de la France Plans et actions correspondants + autres facteurs connus influençant l'objectif Conclusions et préconisations

Démarche d'évaluation des plans de santé Un groupe projet restreint présidé par une personnalité extérieure à l'administration Comprenant essentiellement des experts, dont au moins un expert proche du milieu associatif concerné L'administration participe, mais ne contrôle pas le processus Deux ou trois réunions en formation élargie (membres du HCSP, associations...) à des moments clefs de l'évaluation (examen du cahier des charges, discussion du projet de rapport).

Évaluation de la loi Un rapport de suivi est élaboré chaque année par le ministère, Le HCSP est chargé de procéder à une évaluer d'ensemble de la loi En s'appuyant sur l'évaluation des objectifs et sur l'évaluation des plans et programmes Et sur une évaluation sommaire des dispositions institutionnelles contenues dans la loi

Un évaluation en terme de cohérence et de pertinence Cohérence d'ensemble des dispositions institutionnelles (faisabilité, cohérence avec les autres politiques publiques) Pertinence des objectifs (choix et hiérarchisation des objectifs au regard des indicateurs transversaux de santé : mortalité, morbidité, AVAI ) Cohérence avec les neuf « principes de la politique de santé publique » (connaissance, réduction des inégalités, parité, protection de la jeunesse, précocité, efficacité économique, intersectorialité, concertation, évaluation