« Evaluation interne: Enjeux et perspectives « Evaluation interne: Enjeux et perspectives. Place des professionnels et des personnes accueillies » 26 novembre 2010 Rouen

Sommaire Les fondements de l’évaluation Le processus général de l’évaluation du secteur social Les champs évaluatifs recommandés Comment utiliser un référentiel et l’adapter? Les recommandations de bonnes pratiques professionnelles. Comment les intégrer? L’évaluation externe Le calendrier de l’évaluation interne et externe (décret du 3 novembre 2010)

Les fondements de l’évaluation Connaître et comprendre Logique d’intervention et d’aide à la décision Apprécier les impacts Diagnostic de l’efficience au regard du contexte Ni audit, ni contrôle, ni certification

Un cycle évaluation/amélioration: Le processus général d’évaluation du secteur social Un cycle évaluation/amélioration:

Les champs évaluatifs recommandés 4 champs prioritaires (ANESM): la promotion de l’autonomie et de la qualité de vie des personnes ; la personnalisation de leur accompagnement ; la garantie de leurs droits et de leur participation ; la protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité. (ANESM: Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux)

Comment utiliser un référentiel et l’adapter Quelques généralités sur les référentiels Les établissements et services s’évaluent au regard notamment de références (L 312.1): qui dit références dit référentiel Un référentiel d’évaluation est un ensemble de propositions (affirmatives ou interrogatives) permettant aux acteurs d’un ou plusieurs établissement ou service : d’évaluer collectivement un niveau de satisfaction à des exigences : qualité du service rendu, objectifs à atteindre, conformité à des processus ou à des pratiques professionnelle recommandées, conformité par rapport à des normes de fonder une appréciation sur l’existant (point forts/points faibles) de définir des axes d’amélioration.

Comment utiliser un référentiel et l’adapter Ces propositions ou interrogations puisent : dans les valeurs, les missions, les projets, les attentes des personnes accueillies, les attentes légales et réglementaires, les recommandations. Elles s’expriment sous la forme de références et de critères : Référence 21 : Le CHRS veille à offrir des conditions d’accueil de qualité Critère 211 : Le lieu d’accueil est confortable et chaleureux Critère 212 : Le lieu d’accueil permet de préserver la sécurité et l’intégrité des personnes accueillies Critère 213 : Le lieu d’accueil est aménagé pour permettre des entretiens confidentiels

Comment utiliser un référentiel et l’adapter Un référentiel intègre un système de réponses pour aider les évaluateurs à mesurer la qualité à dégager les points forts et les points faibles pour chaque référence, voire pour chaque critère : cotation, (1 à 4 et non applicable) Réponse oui/non Exemple de référentiels d’évaluation : CHRS +, CADA+ , 115+

Comment évaluer avec un référentiel ? L’utilisation d’un référentiel par le groupe d’évaluation et son animateur : 7 étapes à considérer et à articuler 1-L’exposition et la compréhension de la question évaluative : à quelle référence ou à quel critère voulons nous répondre, que comprenons-nous de sa formulation (mots clés), sommes nous d’accord sur son interprétation ? 2-L’identification et le recueil de données disponibles pour l’évaluation De quelles données, informations disposons-nous pour répondre à la référence ou au critère : projet, bilan d’activité, convention, protocole, procédure, relevé de décision, notre d’orientation, note service, compte rendu de réunion… ? En quoi ces données disponibles sont-elle pertinentes par rapport à la référence ou au critère ? Sont-elles suffisantes pour évaluer ?

Comment évaluer avec un référentiel ? 3-La production de données complémentaires à l’appui de l’évaluation Si les données disponibles sont insuffisantes de quelles informations complémentaires avons-nous besoin pour évaluer ? Qui s’occupe de les collecter, comment et auprès de qui ? Qui les présentera au groupe d’évaluation et dans quel délai (exemple : enquête auprès des usagers) 4-L’exploitation des résultats du recueil de données consolidées L’examen des données disponibles et des résultats des données recueillies en complément apporte t-il suffisamment d’éléments pertinents pour l’appréciation ? 5-L’appréciation du degré de satisfaction à la référence ou aux critères Si oui quelle est l’évaluation portée par le groupe d’évaluateur ? Quelle appréciation formule t-il ? O/N, cotation, +/-

Comment évaluer avec un référentiel ? 6-La formulation des propositions d’amélioration Que pourrions-nous faire mieux répondre à la référence ou au critère ? 7-La consolidation des résultats et leur appréciation Quel jugement pouvons-nous porter à l’échelle d’un domaine de références et quelles préconisations serait-il judicieux de faire ?

Les étapes de l’utilisation du référentiel d’évaluation Référence 2-1: Le CHRS veille à offrir des conditions d’accueil de qualité L’exposition et la compréhension de la question évaluative Critère 21-1 : Le lieu d’accueil est confortable et chaleureux L’identification et le recueil de données disponibles venant à l’appui de l’évaluation Projet d’établissement (nov 05) Procédure d’accueil en CHRS (3/10/05) La production de données complémentaires venant à l’appui de l’évaluation Grille d’observation de l’espace accueil (état général des équipements, revues à disposition …) Questionnaire auprès des usagers et des professionnels sur ce qu’ils pensent que devrait être « un accueil confortable et chaleureux » Les résultats du recueil de données Sur 16 personnes accueillies : -13 d’entre elles trouvent le lieu d’accueil de confortable à très confortable. Un lieu confortable, c’est en priorité un lieu calme et où ça sent bon. -14 d’entre elles trouvent le lieu d’accueil de chaleureux à très chaleureux. Un lieu chaleureux, c’est un lieu où le personnel est souriant, accueillant et où l’on se sent bien. Appréciation (0/N, cotation, commentaires) La perception du lieu d’accueil par les salariés et les personnes accueillies est différente. Cependant, elle reste satisfaisante. = Cotation 2 Les propositions d’amélioration Mener une réflexion sur les propositions apportées par l’enquête (fontaine eau/café, siège plus confortable et plantes vertes)

Les étapes de l’utilisation du référentiel d’évaluation Référence 2-2: Le personnel de l’accueil est-il chargé de l’accueil et de l’orientation est formé et compétent L’exposition et la compréhension de la question évaluative Critère 22-1 : Lors du premier contact, au moins un membre du personnel du CHRS est attaché à la fonction « accueil orientation » L’identification et le recueil de données disponibles venant à l’appui de l’évaluation Projet d’établissement (nov 05) point 12-1-1 : L’accueil individuel Document relatif à l’accueil réception La production de données complémentaires venant à l’appui de l’évaluation Examen des pratiques des professionnels en matière d’accueil orientation : -planning 1er accueil du 1er semestre 07 avec indication des noms des intervenants -agenda 1er accueil, carte de rdv , tableau de suivi des 1er accueil Les résultats du recueil de données point 12-1-1 : « cette étape se déroule dans le cadre d’une permanence d’accueil tenue à tour de rôle par chaque membre de l’équipe psychosociale … » Une référente du processus d’accueil est désignée Chacun des membres de l’équipe CHRS a réalise des 1er accueils  La continuité de cet accueil a été assuré e à 100% sur la période étudiée Appréciation (0/N, cotation, commentaires) Cotation 1 Les propositions d’amélioration Formaliser le rôle du référent accueil-orientation

Comment adapter un référentiel ? Les principales raisons d’adapter un référentiel : il n’intègre pas suffisamment : les questions évaluatives permettant d’apprécier la pertinence, la cohérence, l’impact, l’efficacité et l’efficience les questions relatives aux domaines «recommandés » de l’évaluation interne que sont la promotion de l’autonomie et de la qualité de vie des personnes ; la personnalisation de leur accompagnement ; la garantie de leurs droits et de leur participation ; la protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité. Les repères de recommandations de bonnes pratiques validées et publiées par l’ANESM

Comment adapter un référentiel ? il ne rend pas assez compte des activités produites par l’établissement (processus absent ou processus ne présentant pas de pertinence par rapport à la mission) Comment l’adapter ? En supprimant des questions évaluatives inutiles (références ou domaines de références) En intégrant de nouvelles questions sous forme de références et de critères dans un domaine ou plusieurs domaines de références existants (exemple : expression participation) En créant un nouveau domaine de références (exemple : les attentes de la personne et le projet personnalisé)

Les recommandations de bonnes pratiques professionnelles Les établissements et services s’évaluent au regard notamment de recommandations de bonnes pratiques professionnelles validées, ou, en cas de carence, élaborées par l’ANESM (L 312.1)   Quelle est la portée d’une recommandation ? pas opposable juridiquement mais techniquement dans le cadre de l’évaluation externe pas d’injonction d’exhaustivité, elle est là pour aider les professionnels et les personnes accueillies à évaluer les interventions (choisir un nombre d’items qui font sens dans la démarche d’évaluation ou qui constituent un enjeu fort)

Comment intégrer les recommandations de bonnes pratiques Prendre connaissance des recommandations publiées applicables à notre secteur Sélectionner des repères pertinents à intégrer par rapport à la démarche d’évaluation et qui ne sont pas déjà exprimés par le référentiel existant, Formuler les principes et repères retenus sous forme de références et de critères Evaluer sur la base de ces nouvelles références et critères

Référentiels et recommandations Référentiels et recommandation, sont 2 notions distinctes et complémentaires, support à l’évaluation sociale et médico-sociale Référentiel d’évaluation Recommandation de bonnes pratiques Initiative Professionnels ANESM Elaboration Professionnels et acteurs associés Groupe experts et professionnels constitué par l’ANESM Validation Contenu Références et critères Système de cotation Principes et repères communs pouvant être déclinés en références et critères Sources Internes ou externes Externes Portée légale et réglementaire Non opposable, mais les références sont mentionnées dans la loi comme moyen de s’évaluer Mentionnée dans la loi de façon non exclusive, indirectement opposable du fait de l’évaluation externe

L’évaluation externe Les établissements et services font procéder à l'évaluation de leurs activités et de la qualité des prestations qu'ils délivrent par un organisme extérieur. Les organismes habilités doivent respecter un cahier des charges fixé par décret (n° 2007-975 du 15 mai 2007). La liste de ces organismes est établie par l'Anesm. (577 organismes habilités actuellement) Le champ des évaluations interne et externe doivent être les mêmes afin d’assurer la complémentarité des analyses portées par un établissement ou service et de fait, pour apprécier les évolutions et les effets des mesures pries pour l’amélioration continue du service rendu.

L’évaluation externe L’évaluation externe doit composer 2 volets: Un volet relatif à l’effectivité des droits des usagers: conditions de participation et implication des personnes bénéficiaires des prises en charge, les mesures nécessaires au respect du choix de vie, des relations affectives, de l’intimité, de la confidentialité…… Un volet plus particulièrement adapté à l’établissement et au service: logiques d’action et axes de travail. Cette analyse retient notamment: l’accompagnement au développement personnel, à l’autonomie selon la personnalité, les limitations d’activités ou la fragilité de chaque individu; La sensibilisation au risque d’isolement affectif et social; La prise en compte des interactions avec les proches et l’environnement; L’inscription des actions dans la continuité des choix de l’individu Le travail mené sur l’accès aux droits.

Les objectifs de l'évaluation externe Porter une appréciation globale Sur l’adéquation des objectifs du projet d’établissement par rapport aux besoins des acteurs concernés, l’adaptation aux objectifs des moyens humains et financiers…… Examiner les suites réservées aux résultats issus de l’évaluation interne Apprécier les priorités et les modalités de mise en œuvre de l’évaluation; la communication et la diffusion des propositions d’amélioration; la mise en œuvre des mesures d’amélioration (suivi, bilan périodique…) Elaborer des propositions et/ou des recommandations Porte sur les aspects stratégiques en premier lieu et les éléments opérationnels en second lieu.

Les étapes de l’évaluation externe   Elaboration du cahier des charges de l’appel d’offres; Sélection de plusieurs organismes évaluateurs susceptibles d’intervenir et envoi du cahier des charges de l’évaluation externe ; Analyse des propositions et sélection d’un organisme évaluateur; Elaboration conjointe du projet d’évaluation externe et planification des dates avec l’organisme ; Préparation de l’établissement avant la visite ; Conduite de l’évaluation externe par les consultants de l’organisme ; Réception du pré-rapport, analyse, ajustement éventuel de certains éléments avec l’organisme gestionnaire puis validation ; Définitions d’éventuelles nouvelles actions d’amélioration à intégrer dans un plan d’action ; Envoi du rapport de synthèse aux autorités ayant délivré l’autorisation de fonctionnement ; Mise en œuvre du plan d’action.

La sélection de l’organisme habilité Le décret fixe quelques modalités concernant le choix de l’organisme évaluateur : Celui-ci doit figurer dans la liste des organismes agréés par l’ANESM (voir sur le site anesm.org) ; Il doit être indépendant de l’établissement. Il doit notamment n’entretenir aucun lien financier avec l’établissement autre que ceux liés à la facturation des actions d’évaluation externe; Les évaluateurs doivent posséder une compétence dans les domaines qu’ils évaluent (regarder leurs publications); L’organisme évaluateur doit présenter une méthode d’évaluation, c’est-à-dire un processus de recueil et de structuration de l’information ; Il doit se situer dans un rapport qualité/prix conforme aux usages de la profession.(attention de ne pas prendre systématiquement le moins cher)

Le rapport final Dans un délai d’un à deux mois, les évaluateurs envoient un pré- rapport. Celui-ci doit en effet être validé par la direction et le CA avant d’acquérir le statut de rapport d’évaluation externe. Le rapport comporte les éléments suivants : Une présentation générale de : L’institution ; La méthode d’évaluation mise en œuvre. Un diagnostic qui comprend au moins trois volets : Une appréciation sur l’évaluation interne ; Une appréciation sur le fonctionnement et les pratiques, notamment  au regard des objectifs généraux de l’évaluation externe; Une appréciation sur le contexte et les interactions. Une conclusion qui met en évidence : -Les points forts et les points faibles de l’institution ; -Des recommandations

Calendrier évaluation interne (décret du 3 novembre 2010) Principe évaluation interne : les résultats de l’évaluation interne reposent sur une démarche continue, retracée chaque année dans le rapport d’activité Communiqués tous les 5 ans à l’autorité qui a délivré l’autorisation (ou lors de la révision du contrat pluriannuel) ESMS ouverts avant le 22/07/09 (loi HPST) : 1 évaluation interne au plus tard 3 ans avant renouvellement Par dérogation : au plus tard le 22/07/2014 pour établ. mettant en œuvre mesures éducatives à l’égard d’enfants délinquants ou en danger, ou majeurs de – de 21 ans Au + tard 2 ans après renouvellement de l’autorisation dans secteur addictologie, LHSS, ACT…

Calendrier évaluation externe (décret du 3 novembre 2010) Principe évaluation externe : Procéder à 2 évaluations externes entre autorisation et renouvellement La 1ère au + tard 7 ans après la date de l’autorisation La 2nde au + tard 2 ans avant la date de renouvellement Le renouvellement tous les 15 ans de l’autorisation est dorénavant subordonnée aux résultats de cette évaluation externe. 2002 + 15 ans = 2017 – 2 ans = 2015 Au 1er janvier 2015, les EMSM qui étaient autorisés en 2002 devront transmettre le rapport d’évaluation externe (donc évaluation externe sur 2014) Suppose de commencer l’évaluation interne en 2011

Les Fiches pratiques FNARS Evaluations interne et externe Le Groupe national Evaluation de la FNARS a travaillé plusieurs années pour produire: Un guide d’analyse des pratiques en vue de l’évaluation interne et externe (non publié mais accessible sur le site fnars.org rubrique Evaluation) Fiches pratiques: évaluations internes et externe (publié en avril 2010, accessible également sur le site de la FNARS) MERCI POUR VOTRE ECOUTE