Un levier pour le changement Evaluation Externe Un levier pour le changement Delphine SAINT-HUBERT – Chef de service Projet-Evaluation- Qualité

Le contexte de l’ADAPEI de la Gironde

Le contexte de l’ADAPEI de la Gironde Un calendrier associatif qui doit conjuguer toutes les exigences 36 autorisations soumises à l’évaluation externe dont 21 avant le 3 janvier 2015 mais aussi une logique de complexes (ESAT/STP/UH…) visant à une optimisation des coûts et de l’organisation 18 sites (soit 29 autorisations) à faire évaluer avant le 3 janvier 2015 Face au risque « d’embouteillage » Dès 2011, 3 sites (soit 5 autorisations) ont inauguré le processus (ESAT Villambis, ESAT/STP/FH Gujan Mestras, IME Taussat) 2012: 4 sites (8 autorisations), 2013: 4 sites (6 autorisations), 2014: 7 sites (10 autorisations) 1 cas épineux: le FO/FAM de St Michel de Rieuffret autorisé avant HPST mais ouvert après (nov 2013)… Autorisation du CG pour le FO (51 places) en date du 29 avril 2008 Autorisation conjointe du CG et de l’ARS pour le FAM (17 places) en date du 2 aout 2010  des calendriers d’évaluations différents  éval interne du FO avant 29 avril 2013 soit avant l’ouverture  éval externe du FO avant 29 avril 2015

Les Objectifs de l’évaluation Externe : Porter une appréciation globale sur l’établissement sur la pertinence, l’impact, la cohérence et l’efficience des actions déployées par les établissements et services, au regard des missions imparties et des besoins et attentes des populations accueillies .  Examiner les suites réservées aux résultats issus de l’évaluation interne: Apprécier la dynamique générale de la démarche d’amélioration continue de la qualité des prestations Examiner certaines thématiques et des registres spécifiques (construction du questionnement évaluatif) Restituée dans un rapport, une synthèse, un abrégé… S’approprier ces outils (décret n° 2007-975 du 15 mai 2007)

Les enjeux: De l’évaluation interne à l’évaluation externe : un processus continu d’amélioration des activités et de la qualité des prestations. Porter un regard sur pertinence, cohérence, efficacité, effectivité: Produire de la connaissance Former un jugement Etre dans une logique d’aide à la décision Promouvoir une appropriation collective et critique des recommandations des bonnes pratiques de l’ANESM Valoriser le rapport d’évaluation interne Faire du rapport d’évaluation externe un levier de changement et d’amélioration continue Permettre le renouvellement de l’autorisation

L’évaluation externe : un marché 652 organismes habilités (au 15/12/2010) Document de mise en concurrence Eté 2010: Rédaction sur la base du décret du 15 mai 2007 et peaufiné par la suite avec le modèle UNAPEI Présélection de plusieurs organismes Automne 2010: 38 contactés (principalement Aquitaine) 18 réponses dont 7 présélectionnées Sur critères : maîtrise du décret, méthodologie, expérience du médico-social Appel d’Offres Janv. 2011: 6 réponses-5 reçus en entretien, 3 retenus Renouvelé janv. 2012: 7 réponses (dont 5 nouveaux), 3 retenus (dont 1 nouveaux) Sur critères : compétences (droit de regard sur les CV détaillés), expérience, coût Pour composer l’équipe d’évaluateurs, l’organisme s’adjoint les compétences spécifiques nécessaires à l’évaluation de chacune des prestations déployées (médicale, sociale, sociologique, éducative) au sein de l’établissement. (avis n°2009-23  du conseil scientifique de l’ANESM). Pôle Adultes Pôle Enfance Pôle Travail et Hébergements

L’évaluation externe : un marché 652 organismes habilités (au 15/12/2010) Contrat d’engagement entre l’organisme gestionnaire et l’organisme habilité Obligations réciproques Conditions d’exécution (contractualisation des délais et de la composition de l’équipe d’évaluateurs) J-6 semaines: remise des documents institutionnels J-2 semaines: projet évaluatif validé J+4 semaines: pré-rapport J+6 semaines: rapport final nd d'évaluateurs ds équipe nb jours hommes facturés (dont sur site) ttc Rapport d'Activité ANESM 2012 IME 2,2 6,5 7337   ESAT 5,5 6011 MAS/FAM 2,3 5,8 6121 ADAPEI de la Gironde IME (4) 2 9,5 (5) 8680 ESAT (7) 8,07 (4) 9177 MAS/FAM (3) 8,5 (4) 8044

La préparation Une planification anticipée Collecte documentaire Préparer l’établissement bien en amont de l’évaluation proprement dite pour l’appropriation de la démarche par l’institution. Programmer notre action et donner de la clarté dans l’organisation de cette évaluation Collecte documentaire Photo de l’établissement et de son organisation Trace de sa dynamique Les risques Lourdeur de réalisation du document préparatoire Vouloir tout refaire pour bien présenter Communiquer des documents qui ne sont pas connus, pas utilisés

Le cadrage de la démarche Le projet évaluatif a défini pour chaque thématique: Les priorités évaluatives Le constat suite à l’analyse des documents par les évaluateurs Les éléments de réponse complémentaires recherchés Les modalités de recueil de chacun des éléments de réponses et notamment en termes d’évaluation de l’impact. Les critères en liens avec la législation et les recommandations de bonnes pratiques professionnelles. Prévoit les modalités de participation des usagers/entourage, des professionnels, des partenaires Rester vigilant Un projet évaluatif co-construit avec modération Organise précisément les étapes du calendrier des visites en prenant en compte les impératifs de fonctionnement (présences de certains professionnels, disponibilité des familles, perturbations minimisées des activités)

La participation: pour un diagnostique partagé Méthodologie du recueil d’informations auprès des usagers Réunion avec les représentants des personnes accueillies et les représentants des familles (CVS). Réunion avec les personnes accueillies. Réunion avec les familles et représentants légaux. Enquête de satisfaction préalable… Une implication claire de l’équipe de direction L’évaluation externe vue comme une étape du plan d’amélioration global Volonté d’un positionnent assumé du regard extérieur

La participation: pour un diagnostique partagé Modalités d’implication des équipes Comité de pilotage interface privilégiée et impliquée (validation projet évaluatif, échanges contradictoires, relecture du pré-rapport) Organisation en amont (réunion de cadrage) du plan de communication. Présentation liminaire de la démarche aux professionnels. Audition de la majeure partie des professionnels en groupe. Des entretiens formels mais aussi des rencontres informelles, des visites… Débriefings quotidiens avec la direction pendant les visites sur site et débriefing avec le comité de pilotage le dernier jour des visites sur site. Réflexion contradictoire sur la base d’un pré rapport lors d’une réunion Restitution des résultats aux professionnels. Modalités d’implication des partenaires Cibler des partenariats structurants avec des objectifs partagés

La visite Les leviers pour une visite fructueuse Les freins potentiels Un climat propice à une expression libre des personnes auditées et de disponibilité de tous les acteurs. Une coopération des responsables de l’établissement et des professionnels entière permettant d’obtenir les réponses aux questions posées. Le calendrier de la visite respecté. Les entretiens avec les parents et/ou représentants légaux déroulés comme convenu dans le projet évaluatif. Les évaluateurs ont eu facilement accès aux documents identifiés dans le questionnement évaluatif ou complémentaires identifiés lors des entretiens. La quasi-totalité des professionnels rencontrés au cours des différents entretiens. Les freins potentiels Malaise ressenti par certains personnels interviewés (aspect remise en cause ou questionnement « éloigné » de leurs pratiques quotidiennes) Respect exigent du planning serré des entretiens communiqué par tous les acteurs Indisponibilité au dernier moment d’acteurs extérieurs (familles, partenaires) Une équipe d’évaluateurs qui ne maîtriserait pas les enjeux, us et coutumes de la typologie de l’établissement (temps passé, incompréhensions, interprétations)

Les échanges contradictoires Le débriefing à chaud Les débriefings ont été riches en échange. Lors de la rencontre contradictoire, nos remarques ont été entendues. Les restitutions des observations et des préconisations ont été étayées d’explications. L’analyse du pré-rapport Le pré-rapport a été discuté lors d’une réunion dédiée en présence du Copil Apport d’éléments de preuves.

Les suites …. Les conclusions et les préconisations Risques Encourageantes (valorisation des points forts qui deviennent un appui à l’adhésion) Pertinentes Conformes à la perception que nous avions de l’établissement. Issues d’un diagnostique partagé facilitant l’adhésion Certaines préconisations sont inscrites aux plans d’actions de l’évaluation interne ou au plan directeur du projet d’établissement, Certaines autres vont venir enrichir les projets d’amélioration de la qualité . Légitimer les actions en cours et à venir (aide à la décision , appui au management). Des préconisations concrètes simples à mettre en œuvre avec un effet visible immédiatement, d’autres plus stratégiques Risques Des conclusions plates ou superficielles Des préconisations pauvres Non priorisées L’organisme n’a pas pris en compte l’intégralité de l’établissement, et s’est contenté de lister l’existant sans en vérifier l’opérationnalité. Discontinuité du comité de pilotage dans sa mission de suivi du plan directeur Ne pas relier les préconisations du rapport à la dynamique d’évolution globale de l’établissement au sein du projet associatif (logique de plan directeur global).

Les précos …. En moyenne 30 à 40 préconisations classées selon les champs de l’abrégé La démarche d'évaluation interne "​Garantir la participation des usagers et de leur entourage à l'évaluation interne" "​Soutenir et valoriser la dynamique d'amélioration en procédant à l'état des lieux des changements engagés et tracer les avancements (évaluation d'impacts, d'atteinte des objectifs)" "​​Aborder l'évaluation interne comme une démarche globale intégrant également les EPP, les audits, les évaluations des risques professionnels." La garantie des droits et la politique de prévention et de gestion des risques "​​Garantir l'utilisation de la procédure de gestion des évènements indésirables. Procéder à l'évaluation de sa mise en œuvre. Communiquer auprès des usagers et familles sur ces modalités." "​Améliorer le bâti pour garantir l'accès aux droits et la protection (hygiène des offices, de la gestion du linge, isolation phonique, intimité....)" La prise en compte des RBPP publiées par l'ANESM "​Etablir un plan d’intégration"  L'expression et la participation individuelle et collective des usagers "​Développer des livrets d'accueil/documents/internet adaptés aux capacités de compréhension (sensibiliser à la prolongation au quotidien de l'effort d'information de manière circonstanciée et adaptée à chaque usager)" "​​Information et formation des membres du Conseil sur l'ensemble des prérogatives qui peuvent entrer dans le champ de ses compétences. "

Les précos …. Personnalisation de l'accompagnement Les conditions d'élaboration, de mise en œuvre et d'actualisation du PE ou de service et l'organisation de la qualité de la prise en charge ou de l'accompagnement des usagers « Elaborer un PE conforme à la recommendation de l'ANESM, décrivant de manière explicite, structurée et détaillée l'offre de service." "​Articuler et valoriser les compétences professionnelles en clarifiant la répartition des rôles en fonction de la technicité des métiers (linge sur les maisons, préparation des repas par les encadrants, AMP versus AS...)" "​Développer les prestations d'éducation à la santé, de promotion de la santé et de l'accès aux soins" L'ouverture de l'établissement ou du service sur son environnement institutionnel, géographique, socioculturel et économique "​Formaliser les partenariats récurrents et/ou nécessitant d'être valorisé (y compris ceux concernant les usagers individuellement) et les objectifs partagés" "​Développer une démarche d'évaluation des partenariats (indicateurs, enquêtes de satisfaction des partenaires, bilans des actions mises en œuvre)" Personnalisation de l'accompagnement "​Informatiser la gestion des PP (traçabilité, optimisation de l'organisation, objectivation de l'évaluation ...)" "​​Favoriser la participation des bénéficiaires et de leur famille aux différentes étapes du PP"

En somme, l’évaluation externe Points forts Mise à plat du fonctionnement Regard extérieur Rappel du cadre réglementaire de nos missions, des attentes au regard des politiques publiques Sur le plan managérial : l’évaluation est un levier pour conduire les changements et les améliorations à mettre en place Sur le plan de la direction de l’établissement, c’est un outil stratégique d’aide à la décision, qui met en valeur les points forts et points à améliorer. Pour les équipes, cela permet une mise en dynamique et une prise de conscience (si besoin est) des enjeux liés à la Qualité. C’est également un vecteur de professionnalisation, mais aussi de reconnaissance du travail réalisé.  Vigilance Anticipation des programmations Identification des acteurs Information des professionnels, des usagers, des parents et des partenaires Choix de l’organisme évaluateur au regard de sa connaissance du secteur Faire vivre la démarche dans le temps …