La conduite de l’évaluation interne

Présentation au sujet: "La conduite de l’évaluation interne"— Transcription de la présentation:

1 La conduite de l’évaluation interne
Enjeux, étapes et méthodologie de l’évaluation interne Laetitia Maginot Évaluatrice interne des organisations sociales Certifiée AFNOR - juillet 2011

2 Au programme Mission de l’éval.int. & sources de l’évaluation
Contexte et enjeux L’évaluation, une démarche qualité : définitions Les échéances légales Etapes et chronologie de la démarche L’approche évaluative de l’adimc74 Les champs d’évaluation à balayer Présentation des outils de l’évaluation Les instances à mettre en place : le comité de pilotage et les groupes de travail Formations proposées aux volontaires Intro au référentil et grille d’évaluation

3 Missions de l’évaluatrice interne
Rattachée au directeur Communication interne et animation Coordination et suivi du processus et du calendrier Formation à l’utilisation et la construction d’outils Appui-conseil sur la méthodologie

4 Sources de l’approche et de la méthodologie présentée
L’approche et la méthodologie présentées se réfèrent à des sources multiples : au cadre légal et règlementaire aux recommandations de l’ANESM relatives à la conduite et la mise en œuvre de l’évaluation interne dans les éts et serv. visés à l’art L312.1 du CASF à divers documents issus de la FNARS, de RH organisation, d’autres éléments de bibliographie (L’évaluation interne de JB Le Nagard, Laforcade), etc ainsi qu’à l’approche AFNOR proposée dans le cadre de ma formation à l’évaluation interne.

5 Contexte et enjeux Contexte
L’évaluation s’inscrit dans le cadre de la Loi qui impose à tous les éts et serv. visés à l’art L312.1 de CASF une évaluation interne et une évaluation externe. Art. L312-8 du CASF (modifié par la loi ° du 21 juillet 2009) « Les établissements et services mentionnés à l'article L procèdent à des évaluations de leurs activités et de la qualité des prestations qu'ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées, selon les catégories d'établissements ou de services, par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux. Les résultats des évaluations sont communiqués à l'autorité ayant délivré l'autorisation. Les établissements et services rendent compte de la démarche d'évaluation interne engagée. Le rythme des évaluations et les modalités de restitution de la démarche d'évaluation sont fixés par décret. En outre : « Les établissements et services mentionnés à l'article L sont tenus de procéder à deux évaluations externes entre la date de l'autorisation et le renouvellement de celle-ci. Le calendrier de ces évaluations est fixé par décret. »  Sachant par ailleurs (Article L du CASF) que « l’autorisation est accordée pour une durée de quinze ans et son renouvellement, total ou partiel, est exclusivement subordonné aux résultats de l’évaluation externe. »

6 Les enjeux OBLIGATION LEGALE PREALABLE A L’EVALUATION EXTERNE
SOCLE DE REFERENCE PRODUCTION DE CONNAISSANCE PRIORITE D’ACTION D’AMELIORATION CONTINUE DES PRATIQUES REPENSER SA PRATIQUE PROFESSIONNELLE OUTIL DE CONCEPTUALISAT° DES BONNES PRATIQUES OUTIL D’AIDE A LA DECISION

7 L’évaluation, une démarche qualité : éléments de définition
Définition du concept d’évaluation L'évaluation est d’origine terminologique dans la valeur. Si sa conception inclut la notion de mesure des écarts entre des objectifs voulus et des résultats atteints, elle dépasse cette notion en creusant dans le pourquoi des résultats obtenus. L’évaluation consiste à interpréter des données pour en construire un jugement sur la valeur et les effets. (Pourquoi c’est bien, pourquoi, c’est mal?) Définition du concept de qualité Il existe une multitude de définitions, on en retiendra une : Laforcade et Ducalet : la qualité est l’aptitude d’une organisation à répondre aux besoins exprimés, implicites et potentiels de l’usager, de sa famille et des acteurs avec lesquels elle est en coopération, en vue de maintenir ou d’améliorer sa santé (au sens bio-psycho-social), son autonomie sociale et sa dignité d’être humain.

8 Les échéances 1ière évaluation interne à remettre à l’autorité ayant délivrée l’autorisation avant le 31/12/2013 puis tous les 5 ans 1ière évaluation externe à remettre à l’autorité ayant délivrée l’autorisation avant le 31/12/2014 puis tous les 7 ans Pour les projets ouverts à des périodes différentes l’évaluation peut être rendue en même temps par souci d’uniformisation du processus. L’amplitude de 5 ans est un maximum. Il est possible de réaliser des évaluations à échéances plus rapprochées.

9 Les étapes de la démarche évaluation INTERNE
Lancement de la démarche Elaborat° référentiel Réalisation de l’évaluation interne) Analyse des résultats Elaboration du plan d’améliorat° continue) Réactualisat° du projet et mise en œuvre Communicat° des résultats de l’évaluation interne aux autorités

10 Les étapes de la démarche évaluatiOn EXTERNE
Recherche d’un évaluateur externe et établissement d’un contrat Communicat° des résultats de l’évaluation interne et des pièces techniques à l’évaluateur externe Evaluation externe (vérification des 15 points prioritaires) Rédaction d’un rapport d’évaluation Transmission du rapport aux autorités ayant délivré l’autorisation

11 Chronologie 2 1 3 ACTIONS sep oct nov déc jan fev mar avr mai jui aou dec Le personnel de tous les éts et serv est informé de l'évaluation interne, des enjeux de la méthode retenue et du calendrier Elaboration des référentiels par ajustement et définition des priorités du cadre évaluatif Mise en test des référentiels Validation définitive des référentiels Chaque éts et serv. procède sur base de son référentiel à l’évaluation interne proprement dite Les groupes en charge de l’évaluation transmettent chaque mois leurs résultats au copileval pour analyse des écarts de résultats Priorisation des actions à mettre en œuvre et élaboration du plan d'amélioration quinquennal Rédaction des rapports d'évaluation pour chaque établissement Validation des rapports Envoi des rapports aux autorités compétentes Réunion de comité de pilotage 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

12 L’approche évaluative de l’ADIMC 74
L’approche choisie s’inspire du courant participatif, pluraliste et co produit… L’ensemble des établissements et service du groupement sont concernés... L’ensemble des acteurs sont impliqués Le référentiel qualité ESAT dont s’inspireront les autres référentiels est créé selon une méthodologie innovante prenant en compte aussi bien la parole de l’usager et que celle des professionnels.

13 Qu’est ce qu’on évalue ? : Les 4 champs à évaluer en priorité
Le droit et la participation des usagers, la personnalisation des prestations Le projet d’établissement ou de serv. et ses modalités de mise en oeuvre. L’organisation de l’établissement ou du service et ses ressources L’établissement ou service dans son environnement

14 Les 4 champs à évaluer dans le cadre de l’évaluation interne
1 / Le droit et la participation des usagers, la personnalisation des prestations (Art L CASF Garantit à toute personne prise en charge par les ETS et Serv. l’exercice des droits et libertés individuels) Respect de la dignité, intégrité, vie privée, intimité et sécurité Le libre choix des prestations adaptées qui sont offertes à l’usager Prise en charge et accompagnement individualisé consenti Confidentialité des informations la concernant L’accès à l’information Information sur ses droits fondamentaux et voies de recours (affichage de la liste des personne qualifiée : obligatoire) Participation directe ou avec l’aide de son représentant légal à la conception et à la mise en œuvre du projet d’accueil et d’accompagnement. 4 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche Bientraitance : définition et repères pour la mise en œuvre Les attentes de la personne et le projet personnalisé Le questionnement éthique dans les établissements et services sociaux et médico-sociaux Mission du responsable de service et rôle de l’encadrement dans la prévention et le traitement de la maltraitance à domicile

15 Nature du projet au regard des besoins identifiés
2 / Le projet d’établissement ou de serv. et ses modalités de mise en oeuvre. Nature du projet au regard des besoins identifiés Cohérence du projet à l’égard des missions de l’éts ou serv autorisé Activités et prestations Continuité des interventions Le PE/PS est construit avec les professionnels(participation) Le PE/PS est évalué et réactualisé par une instance de suivi et d’animation 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche Elaboration, rédaction et animation du projet d’établissement ou de service Bientraitance (instaurer des modes d’encadrement respectueux des personnes et garants de la bientraitance)

16 3 / L’organisation de l’établissement ou du service et ses ressources
Les ressources matérielles  Les ressources humaines : la gestion des RH La communication dans l’Ets/le service Les ressources budgétaires  Les autres ressources externes à l’établissement 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche Bientraitance (accueillir le nouveau prof. et lui donner les moyens de comprendre et s’adapter aux usagers qu’il accompagne, soutenir les prof., promouvoir la réflexion éthique…) Mise en œuvre d’une stratégie d’adaptation à l’emploi des personnels au regard des populations accompagnées.

17 4/ L’établissement/service dans son environnement
L’insertion de l’établissement/service dans le contexte territorial La place du projet dans son organisation institutionnelle L’ouverture de l’établissement ou service sur son environnement L’accessibilité de l’établissement/service La reconnaissance de l’Ets/S par l’environnement La reconnaissance de ses compétences et l’utilisation qu’en font les partenaires Le réseau de compétence : les compétences humaines disponibles dans l’environnement Systèmes d’échanges (mutualisations de moyens, échanges non monétaires…) 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche Bientraitance (travailler avec l’entourage et respecter les relations de l’usager avec ses proches, articulation avec les ressources extérieures, promotion de l’expression et de l’échange des perspectives, ouverture à l’évaluation et à la recherche L’ouverture de l’établissement à et sur son environnement

18 15 Champs de l’évaluation externe Décret n°2007-975 du 15 mai 2007
Capacité à évaluer besoins et attentes de l’usager la personnalisation de l’écoute et de la réponse téléphonique, Les conditions d’élaboration du projet personnalisé L’effectivité du projet de l’établissement La réponse aux attentes exprimées par les usagers. Capacité à valoriser l’expression et la participation des usagers. La capacité à observer les changements et adapter son organisation. La prise en compte des recommandations de bonnes pratiques La prise en compte des facteurs de risque Capacité à assurer cohérence et continuité des actions et interventions. Le respect des critères énoncés par la réglementation en vigueur Les formes de mobilisation des professionnels Dispositifs d’alerte et de formation de mesure de la fatigue professionnelle. Rôle de l’éts ou du service au regard des missions confiées par les autorités publiques L’inscription de l’établissement ou du service dans un territoire donné

19 Méthodologie Mise en place de différentes instances : un comité de pilotage et différents groupes de travail Création d’un outil fondamental pour l’évaluation : le référentiel qualité Capitalisation d’une base documentaire Conception d’autres outils pour l’évaluation : guide d’entretiens pour la construction des autres référentiels, questionnaires pour les enquêtes de satisfaction etc…. Formation de tous les acteurs impliqués dans les groupes de travail

20 Le comité de pilotage Ses missions
Le comité de pilotage de l’évaluation interne est l’instance qui avec l’appui et les conseils de l’évaluatrice interne est chargé : De définir le cadre évaluatif (champs d’action et limites) De faire des choix méthodologiques De proposer un calendrier ou valider la planification proposée de mise en œuvre de l’évaluation De définir la composition des groupes de travail De procéder à l’analyse des résultats D’Elaborer des propositions d’amélioration continue de la qualité du plan d’action.

21 Uniformisation de la démarche par la mise en place d’un seul copileval
Le comité de pilotage Sa composition l’ANESM préconise que le comité de pilotage soit constitué d’environ 10% du personnel de l’ensemble des éts et serv du groupement. Uniformisation de la démarche par la mise en place d’un seul copileval Ensemble des directions et chefs de service Volontaires parmi les autres membres du personnel représentatifs des différents établissements et services Usagers (facultatif) En outre les membres du copiléval sont nécessairement : disposés à aller au bout de la démarche et pouvant se rendre disponible pour les réunions constructifs et facilitateurs, ayant la capacité de distanciation capables de faire des propositions Pouvant garantir transparence et objectivité Ayant des capacités à communiquer voire à écrire

22 Schéma simplifié du copileval
COMITE DE PILOTAGE 10% GOELAND SAVS FH ESAT Services supports

23 Groupes de travail Les groupes de travail Rédacteurs
Construction référentiel Évaluation interne Analyse des résultats/amélioration thématique Rédacteurs

24 Composition des GT et COPILEVAL par éts et serv
GT REF(4) GT EVAL (4) GT ANALYSE GT REDAC COPILEVAL (4) GT REF (4) GT REDAC (1) GT REF (2) GT EVAl (2) COPILEVAL (1) SAVS GOELAND ESAT FH

25 Formations proposées par l’évaluatrice interne pour le copileval et les GT
Formation aux missions et rôle des membres du copiléval (09/11) Formation à l’analyse des résultats de l’évaluation et à la priorisation des résultats (09/12) L’ensemble du copiléval Comité de pilotage Formation à la construction du référentiel ou à son ajustement Octobre/novembre 2011  1 groupe par éts ou serv de max 4 personnes soit 16 pers max Groupe de travail référentiel Formation à la méthodologie de l’évaluation interne Soit en même temps que la formation construction du réf. oct/nov 2011, avant de procéder à l’évaluation en juin 2012 1 groupe par éts ou serv de max 4 personnes soit 16 pers max Groupe de travail évaluation Formation à l’analyse des résultats et priorisation des actions Septembre 2012 Tout ou partie du copileval.. (à décider) L’analyse peut ensuite ou parallèlement amener à la création de groupes de rech. Théma. Groupe de travail analyse des résultats Formation à l’écriture du rapport de synthèse de l’évaluation interne (à décider) Mai 2013  1personne par éts ou serv , soit 4 personnes. groupe de travail rédacteurs

26 Quelques mots sur le référentiel qualité
LE REFERENTIEL EST UNE SORTE D’INVENTAIRE D’EXIGENCES ou REFERENCES DEFINIES PAR L’ETS OU LE SERV. SERVANT ENSUITE A L’EVALUATION, GRACE A DES CRITERES (moyens de satisfaire les exigences qu’on s’est fixé) ET DES INDICATEURS (Informations permettant de mesurer le niveau d’atteinte d’un résultat) FIXES POUR CHACUNE DE CES REFERENCES/EXIGENCES IMPORTANT DE PRENDRE DU TEMPS POUR LE CONSTRUIRE = BASE DU TRAVAIL D’EVALUATION IL DOIT ETRE SIMPLE ET ACCESSIBLE A TOUS IL DOIT REFLETER VOS PRATIQUES, VOS ACTIVITES (SPECIFICITES)

27 Articulation du référentiel
Le droit et la participation des usagers, la personnalisation des prestations Le projet d’établissement ou de serv. et ses modalités de mise en oeuvre. L’organisation de l’établissement ou du service et ses ressources L’établissement ou service dans son environnement Il PEUT ETRE DECOUPE SELON LES 4 DOMAINES SUIVANTS OU SELON LE PARCOURS DE L’USAGER AUQUEL ON AJOUTE LES ACTIVITES TRANSVERSALES SECU RH FIN ENV.

28 Exemple de présentation d’un référentiel avec indicateurs de résultats
Domaine/exigence : Le projet des travailleurs de l’ESAT est co construit, personnel, mis en œuvre et évalué

29

30 Modèle de grille d’évaluation avec indicateurs PDCA

31 FAQ Puis-je participer à la fois au copiléval et à un ou plusieurs groupes de travail ? Si je ne participe à aucune de ces instances, à quel(s) niveau(x), vais-je pouvoir m’impliquer dans l’évaluation? Comment serais-je informé(e) de l’état d’avancement de l’évaluation dans mon établissement ou service ? Combien de temps cela va-t-il me prendre si je m’engage dans une instance de travail ? Comment allons-nous procéder concrètement pour réaliser l’évaluation interne ? Y aura-t-il des réunions en plus de nos réunions habituelles ? Comment les usagers ou leur entourage vont-ils être impliqué s dans l’évaluation interne ? Pourra-t-on faire des propositions de changement lorsque l’on constatera des dysfonctionnement dans nos pratiques lors de l’évaluation ? Est-ce que l’évaluatrice interne pourra nous aider dans notre organisation ?

32 Des questions ? Suggestions ? Commentaires ? Observations ?

33 MErCI DE VoTRE AtTeNTIoN THaNK YOU FoR YOuR ATTeNTION
MuCHaS GRAcIAS DE Su ATeNCION DAnK U VOoR UW AANdACHT