Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social

Programme de la rencontre Principes et repères pour une mise en œuvre efficace Maika Berrouet – Chef de projets CCECQA Les outils de l’évaluation externe François-Emmanuel FAURE – Consultant (secteur enfance et adultes handicapés) Retours d’expérience Secteur enfance et adultes handicapés Delphine Saint-Hubert – Chef de service - ADAPEI 33 Secteur personnes âgées Laure ESPINASSE – Responsable qualité - CH Saint-Sever

Interactivité Retours d’expérience Questionnements Echanges Remarques Difficultés

Repères pour une mise en œuvre efficace de l’évaluation externe

Présentation Guide pratique et outils concrets pour accompagner les établissements dans … La mise en œuvre de leur évaluation externe L’amélioration continue de cette démarche

Réalisation du guide Entre janvier et avril 2014, par des méthodologistes, des qualiticiens et des professionnels du secteur personnes âgées, secteur enfance handicapée et adultes handicapés Il s’appuie sur : La bibliographie faisant référence dans le domaine de l’évaluation externe et dans le domaine du management par la qualité L’expérience de professionnels de terrain Base d’une campagne de sensibilisation coordonnée par le CCECQA. Organisation de deux ateliers d’une demi-journée : Mont-de-Marsan le 4 avril Bordeaux le 8 avril

Articulation du guide Trois pivots Un plan en trois parties Rappel du contexte réglementaire de l’évaluation externe, Réaffirmation des objectifs et enjeux, Déclinaison opérationnelle des cinq étapes à réaliser pour mener une évaluation externe  Des messages clés et concis  Des outils  Fiches méthodes Documents opérationnels directement utilisables et adaptables par les professionnels des structures Ce guide ainsi que les outils proposés n’ont pas vocation à être opposables !

Articulation du guide (suite) Des outils Exemple de cahier des charges Grille de choix et de sélection d’un organisme habilité Eléments de preuve Formulaire d’observations Grille de lecture d’un pré-rapport Grille d’évaluation et de satisfaction de la démarche et de la prestation Des fiches méthodes Rédiger son cahier des charges Choisir son organisme habilité Contractualiser avec l’organisme habilité Communiquer des observations sur le pré-rapport de l’évaluation externe

Une réglementation sur une dizaine d’années… Loi n°2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale Loi n°2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires Décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements médico-sociaux Décret n° 2012-147 du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux  Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux

Pour réaffirmer quelques principes… Obligation d’évaluation pour les établissements et services sociaux et médico-sociaux Porte de manière privilégiée sur la pertinence, l’impact et la cohérence des actions déployées par les établissements et services, au regard d’une part, des missions imparties et d’autre part des besoins et attentes des populations accueillies Les champs des évaluations externe et interne sont les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu

L’article 312-8 du CASF « Les établissements et services procèdent à des évaluations de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées par l’ANESM… »

Des objectifs à atteindre Dans le cadre de ses missions, les prestations proposées par l’établissement ou le service sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées ? L’évaluation externe devra porter une appréciation globale sur : la cohérence et l’adéquation du projet institutionnel par rapport aux besoins des usagers le niveau de réalisation des engagements la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatées la pertinence des activités déployées au regard des effets pour les usagers les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie… les suites réservées à l’évaluation interne

Des objectifs à atteindre L’évaluation externe évalue un système mais en aucun cas le personnel ou les usagers !

Les enjeux de l’évaluation externe L’enjeu officiel : le renouvellement d’autorisation Les modalités de renouvellement de l’autorisation sont définies dans l’article L.313-1 du CASF : « Le renouvellement, total ou partiel de l’autorisation, est exclusivement subordonné aux résultats de l’évaluation externe mentionnée au deuxième alinéa de l’article L.312-8 »

Les enjeux de l’évaluation externe (1) L’enjeu principal : une opportunité de valorisation Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ; Photographie de l’existant ; Implication des ESMS dans une démarche envisagée à la fois sous l’angle d’une évaluation des pratiques et d’une évaluation des résultats. L’établissement doit apporter la preuve qu’il maîtrise l’ensemble des dispositifs garants du respect des droits des usagers 

En synthèse

En synthèse (1) Elle s’appuie sur : Une organisation en mode projet : pilotage, planification, définition d’objectifs  ; Une démarche collective, participative et co-construite ; Des outils de collecte, d’analyse et de suivi des informations ; Des compétences spécifiques et un processus maîtrisé

En synthèse (2) Evaluer, c’est comprendre ! Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l’action sociale et service rendu L’évaluation n’est pas une fin en soi ! Démarche d’amélioration continue à poursuivre PAQ à suivre

Les étapes de la mise en œuvre Pour rendre efficace et efficiente la démarche d’évaluation, il est nécessaire de: Définir son projet Respecter les règles établies Appliquer le rythme et la tonalité fixés Suivre les cinq étapes identifiées

Les étapes de la mise en œuvre Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l’organisation de chacun

1. Réunir les conditions nécessaires Engagement dans le processus = moment stratégique S’assurer pour l’ESMS qu’il est prêt à réaliser un examen tel que défini réglementairement par le décret du 15 mai 2007 Mise en place d’un système d’enregistrements d’éléments de preuves Participation collective volontaire et pluridisciplinaire Processus-clés Satisfaction aux exigences réglementaires et aux RBPP Satisfaction aux conditions de mise en œuvre de l’évaluation externe Choix du bon moment pour engager la procédure

2. Elaborer les documents de mise en concurrence « La sélection de l’organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics ». Elaboration du cahier des charges   Processus-clés Outil Exemple de cahier des charges Présentation de l’ESMS Formulation des questions ou des hypothèses à soumettre Précision sur les éléments de réponse attendus

Quoi ? La présentation de l’établissement ou du service ; L’articulation avec le projet d’établissement ou de service, l’évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ; Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d’être posées ; Les modalités de concertation ; Les modalités de suivi de l’évaluation externe ; Le contexte et les contraintes liées à l’organisation ou aux particularités des activités ; Les conditions d’accès à l’information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ; Les modalités concrètes d’élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités de facturation.  

Comment ? Prendre en compte la spécificité de sa structure (nombre d’établissements à évaluer..) ; Consulter la liste des organismes habilités (site ANESM) ; Publier éventuellement l’annonce sur un site officiel ; Sélectionner au préalable 5 à 6 organismes habilités par l’ANESM ; Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ; Demander aux organismes un dossier de réponse contenant : Première note synthétique , Présentation d’une première trame d’un déroulé d’évaluation , Eléments d’information sur l’organisme , Références récentes d’interventions, Cv des personnes chargées de l‘évaluation ; les conditions habituelles de tarification.  

Exemple de cahier des charges

3. Choisir l’organisme habilité Réalisé à partir d’une analyse des offres reçues Caractère objectif de l’analyse Nécessité de repérer en amont les dimensions et critères de sélection Plusieurs dimensions à prendre en compte Contrat fixant les obligations des deux parties élaboré au terme de la procédure Processus-clés Outils Grille de priorisation et de sélection Pré-sélection des organismes habilités sur dossier Organisation des entretiens Choix de l’organisme habilité Rédaction du contrat de prestation

Comment ? En questionnant quatre dimensions à cotation variable : Qualification et compétences des évaluateurs Une expérience professionnelle dans le champ social ou médico-social Une formation aux méthodes évaluatives Une expérience de l’évaluation dans le secteur social ou médico-social Une pluridisciplinarité des évaluateurs Qualité technique de l’offre Clarté et précision du plan d’intervention Cohérence du plan d’intervention au regard des hypothèses évaluatives de la structure Capacité de l’évaluateur à se situer dans une logique d’écoute Garantie d’un examen contradictoire des points  

Comment (suite) ? Modalités de réalisation Modalités financières Nombre de journées sur place Nombre de journées au total Nombre d’évaluateurs sur le terrain Modalités financières Garanties Coût  

Outil : grille de priorisation et de sélection

Focus sur le contrat avec l’organisme habilité 5 parties généralement prévues dans le contrat : Description du projet évaluatif Composition de l’équipe d’évaluateurs (vigilance : modification de la composition de l’équipe des évaluateurs) Description précise du contenu du rapport d’évaluation externe (vigilance : contenu en adéquation avec le décret du 15 mai 2007) Modalités de facturation (vigilance : pénalités de retard si rapport non remis dans les délais ; exonération de paiement si contenu du rapport non réglementaire) Annexes au contrat (déclarations sur l’honneur)  

4. Veiller au bon déroulement de l’évaluation externe Mise en place d’un comité de suivi de l’évaluation Accessibilité facilitée pour les évaluateurs à toute l’information nécessaire Attitude des évaluateurs : l’évaluation n’est pas un contrôle Etape qui sera développée lors des retours d’expérience Outils Documents de preuve Exemple de questionnement évaluatif Processus-clés Organisation et animation d’un comité de suivi Organisation et préparation du recueil de données Contrôle de la posture des évaluateurs ; communication

Outil : Eléments de preuve Exemple de questionnement évaluatif

5. Communiquer des observations sur le pré-rapport d’évaluation externe Rapport : élément de sortie du processus évaluatif ESMS « gardien» de la qualité du rapport qui sera transmis sur deux critères d’appréciation Possibilité pour l’ESMS de faire part de ses réserves à l’autorité de tarification Outils Grille de lecture du pré-rapport Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation Processus-clés Réception et lecture du pré-rapport Navette jusqu’à entente avec l’organisme Envoi du rapport final à l’autorité de tarification Modification du PAQ et mise en œuvre d’actions d’amélioration

Quoi ? Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer : De l'objectivité des constats ; Du respect des attendus énoncés dans le cahier des charges ; Du respect du Décret n°2012-147 du 30 janvier 2012 ; De la clarté des observations formulées.  

Focus sur les critères Le COPIL procède à la relecture du pré rapport en s’assurant du respect d’un certain nombre de critères : La lisibilité du rapport L’exactitude des éléments administratifs relatifs à l’établissement La qualité de l’analyse Le niveau de documentation de l’analyse Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l’évaluation interne La qualité et la faisabilité des préconisations Les propositions d’axes de travail susceptibles d’apporter des améliorations dans la prise en compte des besoins des usagers  

Comment ? Étape Qui ? Quoi ? 1 Chef de projet Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire. Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation. 2 Chaque lecteur Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l’argumentation. 3 Colliger l’ensemble des fiches d’observations et réunir le COPIL. 4 COPIL Passer en revue l’ensemble des observations et valider celles qui seront retenues. 5 Vérifier que le contenu du pré rapport respecte le décret n°2012-147 du 30 janvier 2012 (cf. outil "Grille de lecture"). 6 Valider les commentaires touchant aussi bien le fond que la forme du pré-rapport. Réunir les éléments de preuves nécessaires (copies ou scans). 7 Envoyer à l’organisme évaluateur la grille de lecture complété, les fiches d’observation définitives accompagnées des éléments de preuves idoines. 8 Valider la prise en compte des observations par l’organisme évaluateur.

Outil : Grille de lecture Formulaire des observations

Focus sur l’évaluation et la satisfaction de la démarche et de la prestation 2 questionnaires de retour d’expérience sur la thématique de l’évaluation externe envoyés en mars 2014 : Aux ESMS de la région Aquitaine : 1419 contacts, 103 retours sans relance, soit 8 % Dont : 50 % s. adultes handicapés, 22 % s. enfance handicapée, 28 % s. personnes âgées 40 % ont terminé leur évaluation externe 17 % en cours de réalisation Aux organismes habilités de la région Aquitaine : 104 contacts, 19 retours, soit 12 %  

Versus établissements (40 ESMS) 95 % ont utilisé cahier des charges (dont 12 base de l’UNAPEI) + de 50 % des ESMS : de 4 à 10 mois pour sélectionner leur organisme Critères de sélection les plus cités : Expérience des évaluateurs Coût Compétences Qualité méthodologique Difficultés rencontrées lors de la préparation: Implication des professionnels Implication de la direction Craintes des professionnels Difficultés organisationnelles Communication Manque de recul  

Versus établissements (40 ESMS) 100 % répondants : expression libre des parties prenantes Etat d’esprit des professionnels Adhésion (12) Crainte (22) Pression + (6) Appréhension (5) Curiosité (4) Négatif (4) Difficultés rencontrées phase de réalisation Respect du calendrier Disponibilité de l’évaluateur Difficultés de planification Limites des modalités de réalisation Délai de réception du pré-rapport : pour 50 %, de 2 sem à 1 mois  

Versus établissements (40 ESMS) Difficultés rencontrées phase de validation pré-rapport Désaccords avec évaluateurs externes Non transmission de l’abrégé Corrections sur la forme Chronophage Longueur du rapport Forme très négative + de 90 % très satisfaits / satisfaits de : Disponibilité Écoute Professionnalisme  

Versus établissements (40 ESMS) + de 82 % très satisfaits / satisfaits de : Rapport qualité / prix Délais de réalisation Qualité du pré-rapport Déroulement de l’évaluation externe Respect du cahier des charges Globalement : 51 % très satisfaits 36 % satisfaits  

Versus organismes (18) Nombre d’évaluateurs sur site de 1 à 5 10 à 20 documents demandés la majorité du temps Réalisation systématique d’entretiens avec : Professionnels Usagers Familles Qualité méthodologique Ces entretiens sont : Rarement réalisés en présence d’un responsable Avec des réponses non préparées Et qui reflètent les pratiques habituelles Pour 1/3 des répondants, délai de restitution du pré-rapport d’un mois  

Versus organismes (18) 17 répondants : Ces entretiens sont : Proposent une amélioration du PAQ Aident à la priorisation des actions d’amélioration Ces entretiens sont : Rarement réalisés en présence d’un responsable Avec des réponses non préparées Et qui reflètent les pratiques habituelles 7 organismes seulement distribuent un questionnaire de satisfaction en fin de prestation….  

Versus organismes (18) Les difficultés rencontrées : Expression orale et écrite de certains professionnels Culture du soin trop dominante Crainte des professionnels Problèmes de gestion documentaire Méconnaissance de la réglementation Absence de culture d’évaluation Disponibilité des professionnels Structuration de la démarche Préparation logistique Restitution des résultats  

Regards croisés sur les points forts Analyse des pratiques selon une méthode objective Valorisation des pratiques Identification d’axes d’amélioration Regard extérieur Prise en compte du point de vue de toutes les parties prenantes, notamment des usagers Démarche formative et participative Prise de recul Favorise le développement de la culture d’amélioration de la qualité Apport de connaissances Dédramatisation de l’évaluation État des lieux Confirmation résultats de l’EI  

Regards croisés sur les limites Aspects chronophages et financiers Absence de retour sur l’impact de la démarche d’évaluation externe Absence de référentiel unique Complexité de la demande Inquiétude des professionnels Calendrier réglementaire Incompétence de certains organismes Doutes sur les bénéfices en termes de changement et d’apports  

Des leviers à actionner !!! Pour les établissements : Compétences de terrain des évaluateurs Anticipation du recueil des éléments de preuve Bonne définition du cahier des charges Planification Evaluation de la charge de travail Communication Disponibilité Cadrage de la démarche Inscription dans une démarche d’amélioration continue de la qualité Vigilance lors de la relecture du pré-rapport  

Des leviers à actionner !!! Pour les organismes : Bonne communication Implication de l’ensemble des parties prenantes Démarche structurée Préparation de la démarche (documents..) Climat de confiance Inscription dans une démarche d’amélioration continue de la qualité Soutien de l’encadrement Compétences méthodologiques des évaluateurs  

Pour finaliser cette étape… Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation  

MERCI POUR VOTRE ATTENTION