L’évaluation interne à l’UDAF d’Indre et Loire 2011-2012

Le contexte de l’UDAF d’Indre et Loire En juin 2010, délivrance d’une autorisation de création d’un service mandataire judiciaire à la protection des majeurs et d’un service délégué aux prestations familiales à l’UDAF d’Indre et Loire pour une durée de 15 ans. Cette habilitation concerne l’exercice de mesures de protection et de mesures judiciaires d’aide à la gestion du budget familial.

Plan de l’intervention 3 points: 1. la démarche 2. les biais et limites 3. les perspectives

La démarche Pourquoi maintenant ? Une opportunité à saisir En 2012, le projet associatif et le projet de service arrivent à échéance But : tirer profit des résultats de l’évaluation interne et de la consultation des usagers pour leur révision

La démarche Le temps de la préparation : une étape essentielle sensibiliser et mobiliser les administrateurs et les salariés autour des enjeux s’assurer de leur participation active créer une dynamique collective plurielle (implication des différents acteurs et composantes de l’UDAF 37) Décision prise dès 2010 de l’engagement dans la démarche d’évaluation interne avec l’idée de consacrer du temps à la phase de préparation pour sensibiliser les administrateurs et le personnel à l’importance de la démarche et s’assurer de leur participation.

La démarche Janvier 2011 : conférence sur les enjeux de l’évaluation pour les administrateurs et salariés Avril – mai 2011 : formation à l’évaluation interne Juin – juillet 2011 : auto formation groupe projet Constitution d’un comité de pilotage (6 personnes :cadre responsable évaluation, administrateur, délégué, assistant, comptable, représentant du personnel) Groupe projet 12 personnes) Comité de pilotage : 8 personnes : direction, administrateur, responsable évaluation, cadre service, délégué, assistant, comptable Le comité de pilotage définit, de manière concertée, à la fois les conditions générales de l’évaluation (calendrier de l’évaluation, objectifs, modalités de pilotage,…). Il a la responsabilité de la conduite de l’évaluation et de la production des résultats. Le comité de pilotage travaille en concertation avec un groupe technique ou groupe projet, en charge de coordonner l’organisation et la mise en œuvre opérationnelle de l’évaluation. Cette instance est plurielle et collégiale, garantissant l’implication de l’ensemble des acteurs (l’ensemble des catégories professionnelles, les bénévoles). Sa composition est le fruit d’un compromis entre efficacité (petit nombre de personnes) et représentativité.

La démarche La construction et le choix des outils : Le référentiel d’évaluation UNAF-AFNOR a été le support de l’évaluation interne à l’UDAF d’Indre et Loire. L’évaluation ne peut se faire sans des outils permettant à la fois d’identifier ce que l’on cherche précisément à apprécier et de se doter d’un cadre structurant, permettant de recueillir des informations pertinentes (en particulier pour ne pas diluer l’évaluation dans une masse d’informations qui serait par la suite difficilement exploitable).

Le référentiel d’évaluation interne 4 parties 41 chapitres 296 critères ou indicateurs : La gouvernance associative Les usagers des services mandataires à la protection juridique des majeurs au cœur de l’intervention et des projets Les usagers des services délégués aux prestations familiales au cœur de l’intervention et des projets L’organisation et la gestion des ressources humaines et financières

La mise en œuvre Le recueil des données (octobre-décembre 2011) : par groupes de travail en impliquant l’ensemble des salariés Cinq groupes: gouvernance associative : 20 personnes (10 administrateurs – 10 salariés) les usagers des services PJM : 30 à 40 personnes les usagers des services DPF : 30 à 40 personnes organisation et gestion des ressources : 30 personnes + groupe consultation des usagers ( 15 personnes) Travail en sous-groupes en se répartissant l’évaluation des critères à partir des questions pour une même thématique

Analyse et restitution Janvier à février 2012 La validation des résultats de l’analyse par le groupe d’évaluateurs et le comité de pilotage Mars 2012 Restitution en réunion générale à l’ensemble des salariés et administrateurs : une présentation collective des résultats de l’évaluation et de la consultation des usagers

Le rapport d’évaluation Un document de référence Mis à disposition de l’ensemble des acteurs ayant participé à l’exercice. Un résumé a été rédigé, à des fins de diffusion –interne ou externe (bilan d’activités) – mettant en exergue les points forts, les points faibles et les marges de progrès à investir. Pour autant, il ne constitue pas un document de communication

Conclusion Une démarche mobilisatrice à entretenir Un diagnostic partagé pour des plans d’action acceptés par tous La complémentarité avec la consultation des usagers, et l’appropriation des recommandations de l’ANESM, indispensable pour mesurer les effets des pratiques professionnelles Éviter de considérer l’évaluation comme une séquence de la vie des services

Biais et limites Les résultats de cette première évaluation prennent en compte les biais et les limites inhérents à cette démarche.  La confrontation d’ une démarche théorique avec l’épreuve des faits : une analyse a posteriori Des éléments de preuves manquants et des constats à étayer La gestion du temps par les groupes de travail Les limites du référentiel L’absence de consultation des partenaires Il est à noter par exemple un manque de rigueur méthodologique qui s’est traduit par une objectivation partielle des réponses faute de constats étayés et d’éléments de preuve pour confirmer les cotations réalisées.

Perspectives L’évaluation interne doit permettre de nourrir une démarche d’amélioration continue des pratiques, des activités et de la qualité des prestations ; en ce sens, elle doit être suivie par des décisions concrètes et des plans d’action, permettant d’engager les évolutions nécessaires. Une fois la démarche engagée, ces évolutions font l’objet d’attentes de la part des salariés.

Perspectives Des projets à court terme Les échéances liées à la révision du projet associatif et du projet de service en 2012 permettront d’y intégrer les résultats de l’évaluation interne et de la consultation des usagers Observatoire sur la perception du rôle et des missions de l’UDAF par nos partenaires (enrichissement dans la conception de l’exercice des mesures, en y incluant par exemple, les recommandations de bonnes pratiques professionnelles) et les procédures permettant une amélioration des points faibles.

Perspectives En regardant plus loin La prise en compte des exigences de l’évaluation externe L’engagement dans la démarche qualité ; sa formalisation à travers les Plans d’amélioration de la qualité La participation des usagers : des pratiques innovantes à mettre en œuvre (enrichissement dans la conception de l’exercice des mesures, en y incluant par exemple, les recommandations de bonnes pratiques professionnelles) et les procédures permettant une amélioration des points faibles.

Conclusion L’évaluation interne, telle qu’elle a été développée à l’UDAF d’Indre et Loire, a permis une photographie des réponses aux interrogations suivantes : Quelle est la légitimité de l’UDAF en tant qu’association pour répondre aux besoins et attentes du public concerné par les mesures? en tant qu’entité juridique par rapport à ses missions en lien avec ses valeurs Est-ce que sa gouvernance associative favorise le développement et la bonne marche des services ?

Conclusion Est-ce que les pratiques professionnelles des services MJPM et DPF de l’UDAF sont respectueuses des droits des usagers, garantissent leur participation et la personnalisation de l’intervention tout en assurant la protection des personnes et des biens ? Est-ce que les modes d’organisation et la gestion des ressources humaines et financières garantissent aux usagers la qualité de l’intervention (personnel formé, complémentarité des tâches, formalisation des procédures, analyse des pratiques, management, respect des règles comptables et informatiques…) ? Elle a permis de se mettre en marche dans la dynamique suivante :

Renouvellement autorisation Auditeur informatique Qualiticien Décret n° 2010-1319 du 3 novembre 2010 relatif au calendrier des évaluations et aux modalités de restitution des résultats des évaluations des établissements sociaux et médico-sociaux Restitution officielle évaluation interne . Evaluation interne . Consultation des usagers Renouvellement autorisation 2012/2013 2017 2025 2011/2012 2015, Puis 2020 Et 2025 2023 1ère évaluation externe . Mise à jour projet de service . Mise en place démarche d’amélioration continue de la qualité . Formulation « Projet d’Amélioration de la Qualité » 2ème évaluation externe Mise en œuvre, évaluation, mise à jour et restitution « PAQ » Tous les ans : compte-rendu de la démarche via le bilan d’activités Participation des salariés (installation de groupes thématiques par unités)