BIEN SE PREPARER A L’EVALUATION EXTERNE ARS – CG 24 et 27 juin 2013 NB : version avec les commentaires qui complètent les diapositives.

L’évaluation, un processus formalisé mais pas totalement nouveau Les finalités de l’évaluation : un processus de connaissance, d’analyse et d’appréciation pour améliorer le service rendu. L’évaluation renvoie à des pratiques multiples : Rapport d’activité ; Projet institutionnel, projet de vie ; Étude de situation… Des pratiques à articuler avec la commande publique issue de la loi 2002.2. En résumé, l’évaluation n’est pas une pratique totalement étrangère aux pratiques. Dans chaque exemple cité, l’on regarde ce qui s’est passé (connaissance), on l’analyse pour porter une appréciation (avons-nous fiat comme on voulait, pouvions nous faire autrement…) afin d’améliorer l’action. Pierre Savignat ~Directions ~ 2012

I) Les quatre objectifs de l’évaluation externe (décret du 15 mai 2007) BIEN SE PREPARER A L’EVALUATION EXTERNE

Porter une appréciation globale (Les quatre objectifs de l’évaluation externe, ¼) ► Fournir des éléments synthétiques : Adéquation du projet aux missions ; Cohérence des objectifs ; Adaptation des moyens aux objectifs ; Efficience des actions et adaptation de l’organisation Pertinence des dispositifs de gestion et de suivi ; Atteinte des objectifs et effets sur les usagers ; Impact des pratiques des intervenants sur les effets observés ; IMPORTANT : l’évaluation ne vise pas à l’exhaustivité. L’objectif est donc de permettre d’apprécier : comment la structure répond aux missions, aux besoins des usagers et à leurs évolutions ; quels sont les modes d’organisation et de fonctionnement mis en œuvre pour cela ; quels en sont les effets pour les usagers. CELA VEUT DIRE : que l’on ne peut en rester seulement à regarder l’effectivité ou à de seules descriptions. Les référentiels construits sur la base de cotations (type A, B, C et D) peuvent aider mais ils sont insuffisants. Par exemple, la seule existence d’un contrat de séjour, d’une procédure d’accueil, d’un CVS, ne nous dit rien sur l’efficacité et l’utilité des outils ni sur leurs impacts tant sur les pratiques professionnelles que pour les usagers. Pour porter une appréciation, l’on a besoin d’analyses et de mises en débat des éléments qui ressortent de l’évaluation proprement dite et donc d’un regard critique sur le contenu de ce que l’on fait.

Organisation, fonctionnement, management, Missions Commande publique PROJET Stratégie Objectifs Organisation, fonctionnement, management, pratiques professionnelles Actions Activités et prestations L’évaluation conduit à analyser les écarts au sein d’un triptyque : objectifs - actions – effets Ce constat d’écarts conduit à interroger les trois niveaux. Autrement dit, l’évaluation conduit à interroger : les objectifs (le projet) voire la formulation des missions ; la qualité (ou les qualités) des actions déployées ; leurs effets sur la situation des usagers. D’où : différence essentielle avec contrôle et audit /certification pour lesquelles l’on s’appuie sur une norme non interrogée (cette norme peut être un texte législatif ou réglementaire, un ensemble de règles, un référentiel de certification…) L’évaluation prend en compte le fait que les établissements et services sont des systèmes complexes traversés par des tensions et des jeux multiples d’acteurs. Effets sur la situation des usagers 5 5

Suites réservées aux résultats de l’évaluation interne (Les quatre objectifs de l’évaluation externe, 2/4) ► Quatre questions : Le déroulement de l’évaluation interne ; Les modes d’implication des acteurs ; Les mesures d’amélioration mises en œuvre et leur suivi ; La dynamique générale d’amélioration continue. L’évaluation est un processus itératif. Aucune des évaluations ne peut être exhaustive, de plus les modalités doivent être adaptées à chaque structure, à chaque situation. Il n’y a pas de « bonne » ou de « mauvaise » évaluation. La question est celle de l’utilité de toute évaluation qui s’apprécie autour de quatre grands critères : la dynamique évaluative, c’est-à-dire la capacité des structures et des équipes à porter, régulièrement, un regard critique sur le travail réalisé pour améliorer le service rendu ; le degré d’implication des usagers au-delà de simples consultations formelles ; -les pistes d’action qui en découlent et la capacité de la structure à les mettre en œuvre ; - les améliorations réellement apportées. Reste que ce qu’une évaluation n’a pas abordé, la suivant le fera et ainsi de suite.

Focus : la question de l’évaluation interne dans les textes (1/2) L’article 312-8 : « Les résultats de l'évaluation sont communiqués tous les cinq ans à l'autorité ayant délivré l'autorisation. » (Selon une périodicité fixée à 5 ans par le décret du 3 novembre 2010). Le décret du 3 novembre 2010 : Les évaluations reposent sur une démarche continue retracée chaque année dans le rapport d’activité des établissements et services concernés. Pour les établissements et services ayant conclu un contrat pluriannuel, les résultats de ces évaluations sont communiqués lors de la révision du contrat. En clair, la loi ne fait pas obligation d’une évaluation interne tous les cinq ans mais de rendre, tous les cinq ans, un rapport synthétisant les travaux évaluatifs, qui peuvent porter sur des questions très partielles. C’est le sens de la notion de « démarche continue » (décret du 3/11/2010) qui signifie que la pratique évaluative (réflexions collectives critiques sur des façons de faire pour améliorer le service rendu) doit devenir un exercice intégré dans la vie de l’établissement ou du service, compte tenu de sa situation et pas forcément un travail exceptionnel, plus ou moins consommateur de temps et lourd. Lorsqu’il y a le renouvellement d’une convention tripartite, d’un Cpom ou de tout autre contrat, l’évaluation interne porte en priorité sur l’évaluation des objectifs fixés, de leurs degrés de réalisation, de leurs impacts sur l’amélioration du service rendu et sur la situation des usagers. Cela peut se faire aussi dans le cadre d’une démarche qualité, en évaluant ses effets, en termes de réalisation des objectifs, d’impacts sur les pratiques professionnelles, le fonctionnement, l’organisation et d’effets pour les usagers. 7

Focus : la question de l’évaluation interne dans les textes (2/2) La circulaire du 21 octobre 2011 les ESSMS sont libres de choisir leurs outils d’évaluation interne parmi ceux déjà existants, de les adapter ou même de les créer. Les domaines incontournables : la promotion de la qualité de vie, de l’autonomie, de la santé et de la participation sociale ; la personnalisation de l’accompagnement ; la garantie des droits et la participation des usagers ; la protection et la prévention des risques inhérents à la situation de vulnérabilité des usagers. Si l’on regarde de près les quatre domaines incontournables, de façon générale, tous les établissements ou services ont travaillé dessus, sous une forme ou sous une autre, et mis en place des modes opératoires qui leur font écho. Donc chaque structure peut, lors de la phase de pré-diagnostic, se poser la question de savoir ce qui, dans le fonctionnement, l’organisation, les pratiques professionnelles collectives, renvoie à chacun de ces domaines. L’on remarquera que ces quatre domaines concernent uniquement les modes d’accompagnement des usagers. Pierre Savignat ~Directions ~ 2012 8 8

Examiner certaines thématiques et registres spécifiques (Les quatre objectifs de l’évaluation externe, 3/4) Deux thèmes centraux : Droits des usagers et projet personnalisé ; Ouverture sur l’environnement. 15 points spécifiques à examiner « en prenant en compte les particularités de la structure » : Missions, stratégie et objectifs; organisation, fonctionnement, actions ; Pratiques professionnelles collectives ; Réponses aux besoins et effets sur les usagers Ces points ne sont pas à traiter de façon systématique. Outre que cela doit « prendre en compte les particularités de la structures »(décret du 15 mai 2007) deux éléments : 1) Il convient de les classer autour du triptyque missions et stratégie – actions (incluant les pratiques professionnelles collectives) – effets et réponses aux besoins. 2) c’est dans la phase d’analyse que ces thématiques seront reprises en fonction des informations issues de l’évaluation elle-même.

Formuler des propositions et préconisations (Les quatre objectifs de l’évaluation externe, 4/4) Objectif : améliorer le service rendu : Plan d’amélioration visant une meilleur qualité de service ; Modification des modes d’organisation, de fonctionnement et de management ; Réactualisation du projet d’établissement ; Continuer à bien faire ce qui fonctionne bien. 1- les propositions/préconisations peuvent être celles formulées par l’évaluateur mais aussi celles issues des paroles d’acteurs 2- les propositions/préconisations doivent tenir compte des moyens disponibles, ce qui veut dire : pas de propositions « idéales » ou hors de portée, principe de réalité ;

II) Mettre en oeuvre l’évaluation externe (décret du 15 mai 2007) BIEN SE PREPARER A L’EVALUATION EXTERNE 11

La préparation (les étapes de l’évaluation externe ¼) L’initiative appartient à l’établissement ou au service Le pré-diagnostic : Une nécessité : savoir d’où l’on part ; Des premières hypothèses, points forts, points de fragilité. Le document de mise en concurrence : Fixe le cadre général de l’évaluation ; Fondement de la relation contractuelle avec l’évaluateur externe. L’information préalable aux parties prenantes Pré-diagnostic : phase essentielle relecture du projet ; évolution de la situation des usagers et de leurs besoins ; ce que l’on peut dire des processus évaluatifs ; ce qui fonctionne bien a priori et les points de fragilités ; ce que l’on veut évaluer. Ce travail relève de l’équipe de direction qui formule des hypothèse sur ce qui va bien et ce qui va moins bien.

Focus : le document de mise en concurrence (cahier des charges) Présentation de la structure ; Projet, contrat, évaluation interne, démarches d’amélioration… ; Premières hypothèses et questions évaluatives ; Modalités de concertation initiales (parties prenantes) ; Modalités de suivi (pilotage) ; Le contexte et les éventuelles contraintes ; Les conditions d’accès à l’information ; Les modalités d’élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités financières. NB : pour les établissements publics, procédure de marché adaptée (MAPA) si seuil inférieur à 15.000 euros, sinon appel d’offre. Ce document est essentiel car il sera la base du contrat passé avec l’organisme chargé de l’évaluation. C’est un véritable cahier des charges qui va encadrer le processus évaluatif. Il est de la seule responsabilité du commanditaire. Son élaboration doit être soignée. 13

Le choix de l’évaluateur (les étapes de l’évaluation externe 2/4) Qu’est ce que l’habilitation ? ; Une double procédure, écrite et orale. Les critères de choix : Un ou plusieurs ? Les compétences requises ; La capacité à comprendre les besoins de la structure ; La qualité des conseils méthodologiques. La contractualisation. RAPPEL : si c’est des organismes qui sont habilités, c’est des personnes physiques qui vont évaluer. Donc l’essentiel est dans le choix des évaluateurs. L’on peut avoir une procédure en deux temps : envoi du document de mise en concurrence à plusieurs d’organismes (10 voire plus), puis sélection de deux ou trois pour lesquels il faut rencontrer les personnes qui vont évaluer et pas simplement un responsable de l’organisme. Plutôt un binôme qu’un seul évaluateur (mais cela ne veut pas dire qu’ils soient toujours là en même temps). Attention aux profils professionnels, et bien choisir leurs profils en fonction de ce que l’on veut exactement. Bien regarder les cv pour vérifier que l’évaluateur dispose des compétences fixées par le décret du 15 mai 2007 et notamment une réelle expérience professionnelle dans le secteur et une compétence en matière d’évaluation (et/ou de conduite de projet). Demander des références et vérifier. Vérifier aussi la capacité des candidats à comprendre la structure et votre vision de l’évaluation. Attention à la présence d’un médecin dans l’équipe. Ce n’est en aucun cas obligatoire ni même conseillé. Bien mesurer les risques de débordement vers les pratiques médicales, ce qui peut entraîner des problèmes, voire des conflits avec les praticiens concernés. L’évaluation « loi 2002.2 » n’est pas l’outil ad hoc pour cela. Attention aux évaluateurs dits « certifiés ». Il n’y a pas, en France, de certification officielle d’un métier d’évaluateur. Mais certains organismes de formation « s’auto-certifient ». Cette « certification » ne garantit en rien une compétence ou une qualité de travail (ceci ne signifie pas que les formations concernées ne sont pas pertinente mais juste qu’il ne faut pas s’arrêter à une étiquette). Pour les établissements publics : attention aux seuils notamment en cas d’une mise en concurrence collective (marché à procédure adaptée jusqu’à 15.000 euros hors taxes, procédure souple, appel d’offre formalisé au dessus, procédure lourde).

La phase opérationnelle (les étapes de l’évaluation externe 3/4) Le projet évaluatif : Le questionnement évaluatif ; Les références mobilisées. La méthode de travail : Des modalités et des outils adaptés ; L’implication des parties prenantes ; Le mode de pilotage ; La temporalité. Il convient de choisir une méthode adaptée à la situation de l’établissement ou du service et de bien expliquer son choix Exemples de domaines de questionnement : la procédure d’accueil, les modes de personnalisation de l’accompagnement, la gestion des tensions sécurité/liberté ou personnalisation et règles collectives (en hébergement), projet individualisé et partenariat (à domicile par exemple)… Le recueil de la parole des professionnels et des usagers est indispensable. Celle des usagers est une source irremplaçable d’information pour apprécier les effets des actions conduites sur leurs situations.

Focus : un exemple de mode de pilotage, le comité de suivi L’objectif: Favoriser l’appropriation ; Garantir la transparence ; Valider les différentes étapes du processus. La composition: Direction ; Evaluateur(s) externe(s) ; Représentants du personnel ; Représentant des usagers ; Autres représentants. 16

(répartis sur 2 exercices ?) Focus : la temporalité Importance du temps : Pour impliquer les parties prenantes, il faut des temps de respirations entre deux journées d’intervention permettant des aller/retour et une appropriation à chaque étape ce que ne permet pas une évaluation concentrée sur deux ou trois jours. Exemple : Journées sur site (entre 4,5 et 5,5 j. réparties sur plusieurs semaines) : Bouclage du projet et présentation : ½ j Recueil de l’information : de 3 à 4 j. (par exemple une toutes les 3 ou 4 semaines)) ; Échanges sur le pré-rapport : de 2h à 1/2j; Finalisation : de 2h à 1/2j. Déroulement d’une journée sur site : Matin : entretiens (usagers, bénévoles), visites… Après midi : groupe de travail, comité de suivi, rencontre des familles. Journées hors site (2 à 3 j.): Analyse documentaire, rapport… Durée totale : 6,5 à 8.5 jours sur 4 à 5 mois (répartis sur 2 exercices ?)

La finalisation (les étapes de l’évaluation externe 4/4) De la collecte de l’information à la synthèse et à l’analyse : Le pré-rapport et sa mise en débat ; Le rapport final ; L’abrégé ; La transmission et la propriété du rapport. La synthèse et l’analyse relèvent de la responsabilité de l’évaluateur. Mais l’on doit discuter de la méthode qui sera employée lors de la conclusion du contrat. C’est dans cette phase que s’opère le lien entre ce qui a été évalué (procédure d’accueil, démarche qualité, modes de personnalisation…) et les thématiques et registres spécifiques. Cela nécessite, pour l’évaluateur, de croiser ces informations avec de l’observation et de l’analyse documentaire.

L’évaluation externe n’est pas une évaluation extérieure (1/2) Le rôle du commanditaire ; Document de mise en concurrence ; Choix de l’évaluateur ; Garant du bon déroulement du processus et du respect des textes ; Les responsabilités partagées commanditaire et évaluateur ; Le contrat ; Les principes méthodologiques ;

L’évaluation externe n’est pas une évaluation extérieure (2/2) Les responsabilités propres de l’évaluateur : Les méthodes ; La liberté d’accès à l’information et de rencontres ; La rédaction du pré-rapport, du rapport et de l’abrégé L’implication des parties prenantes : Information ; Entretiens, groupes de travail, comité de suivi... Les dimensions participatives et pluralistes sont l’une des principales différences entre l’audit ou la certification et l’évaluation. C’est d’abord une question d’efficacité car la parole des acteurs est une source capitale d’information et de contribution à l’appréciation. On peut difficilement répondre à cette exigence avec des évaluations concentrées en deux ou trois jours. (voir diapositive n°17) Pierre Savignat ~Directions ~ 2012

En conclusion… Des enjeux au-delà du renouvellement de l’autorisation : Renforcer les dynamiques internes ; Améliorer le service rendu ; Conforter le dialogue avec les pouvoirs publics. Un processus collectif qui s’inscrit dans les pratiques…

Les textes de références Décret n°2012-147du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux Circulaire n° DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médicosociaux   Décret n°2010-1319 du 3 novembre 2010 relatif aux calendriers des évaluations et aux modalités de restitution des résultats des évaluations des établissements sociaux et médico-sociaux Décret n°2007-975 du 15 mai 2007 fixant le contenu du cahier des charges relatif aux évaluations externes   L’article L.312-1 du CASF : "Établissements et services sociaux et médico-sociaux" ;   L’article L.312-8 du CASF : "Évaluation et systèmes d’information" ;   L’article L.313-5 du CASF : renouvellement de l’autorisation et résultats de l’évaluation externe Disponibles sur le site : www.anesm.sante.gouv.fr (rubrique : outils/textes de références).

PROJET CONTRÔLE AUDIT SUIVI Bilan d’activité DEMARCHE Q. EVALUATION CERTIFICATION SUIVI Bilan d’activité DEMARCHE Q. EVALUATION Base Missions, histoire, culture Lois, règlements, normes Objectifs et réalisations Référentiel, objectifs, plan d’amélioration qualité Questionnement : Objectifs-actions effets Mode opératoire Réflexion et élaboration Inspection Vérification Analyse des écarts Analyse des écarts, relecture des objectifs Approche systémique Domaine Institution Variable Plans d’action, activités, organisation, fonctionnement. Organisation, fonctionnement et pratiques professionnelles Processus structurants Résultat Stratégie, principes d’action et objectifs Mise à jour des écarts, sanction Constat, mesure des écarts et actions correctrices Diagnostic, analyse, objectifs d’amélioration qualité Connaissance, analyse, appréciation et aide à la décision Mot clef Construire Vérifier Corriger Améliorer Comprendre