La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social.

Présentations similaires


Présentation au sujet: "Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social."— Transcription de la présentation:

1 Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social

2 Programme de la rencontre  Principes et repères pour une mise en œuvre efficace  Maika Berrouet – Chef de projets CCECQA  Les outils de l’évaluation externe  François-Emmanuel FAURE – Consultant (secteur enfance et adultes handicapés)  Retours d’expérience  Secteur enfance et adultes handicapés  Delphine Saint-Hubert – Chef de service - ADAPEI 33  Secteur personnes âgées  Laure ESPINASSE – Responsable qualité - CH Saint-Sever 2

3 3

4 Repères pour une mise en œuvre efficace de l’évaluation externe

5 Présentation  Guide pratique et outils concrets pour accompagner les établissements dans …  La mise en œuvre de leur évaluation externe  L’amélioration continue de cette démarche 5

6 Réalisation du guide  Entre janvier et avril 2014, par des méthodologistes, des qualiticiens et des professionnels du secteur personnes âgées, secteur enfance handicapée et adultes handicapés  Il s’appuie sur :  La bibliographie faisant référence dans le domaine de l’évaluation externe et dans le domaine du management par la qualité  L’expérience de professionnels de terrain  Base d’une campagne de sensibilisation coordonnée par le CCECQA.  Organisation de deux ateliers d’une demi-journée :  Mont-de-Marsan le 4 avril  Bordeaux le 8 avril 6

7 Articulation du guide  Trois pivots  Un plan en trois parties 1)Rappel du contexte réglementaire de l’évaluation externe, 2)Réaffirmation des objectifs et enjeux, 3)Déclinaison opérationnelle des cinq étapes à réaliser pour mener une évaluation externe  Des messages clés et concis  Des outils  Fiches méthodes Fiches méthodes  Documents opérationnels directement utilisables et adaptables par les professionnels des structures Documents opérationnels utilisables 7 Ce guide ainsi que les outils proposés n’ont pas vocation à être opposables !

8 Articulation du guide (suite)  Des outils  Exemple de cahier des charges  Grille de choix et de sélection d’un organisme habilité  Eléments de preuve  Formulaire d’observations  Grille de lecture d’un pré-rapport  Grille d’évaluation et de satisfaction de la démarche et de la prestation  Des fiches méthodes  Rédiger son cahier des charges  Choisir son organisme habilité  Contractualiser avec l’organisme habilité  Communiquer des observations sur le pré-rapport de l’évaluation externe 8

9 Une réglementation sur une dizaine d’années…  Loi n° du 2 janvier 2002 rénovant l’action sociale et médico- sociale  Loi n° du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires  Décret n° du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements médico-sociaux  Décret n° du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux  Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux 9

10 Pour réaffirmer quelques principes…  Obligation d’évaluation pour les établissements et services sociaux et médico-sociaux  Porte de manière privilégiée sur la pertinence, l’impact et la cohérence des actions déployées par les établissements et services, au regard d’une part, des missions imparties et d’autre part des besoins et attentes des populations accueillies  Les champs des évaluations externe et interne sont les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu 10

11  L’article du CASF « Les établissements et services procèdent à des évaluations de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées par l’ANESM… » 11

12 Des objectifs à atteindre 12 Dans le cadre de ses missions, les prestations proposées par l’établissement ou le service sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées ? L’évaluation externe devra porter une appréciation globale sur :  la cohérence et l’adéquation du projet institutionnel par rapport aux besoins des usagers  le niveau de réalisation des engagements  la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatées  la pertinence des activités déployées au regard des effets pour les usagers  les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie…  les suites réservées à l’évaluation interne

13 Des objectifs à atteindre 13 L’évaluation externe évalue un système mais en aucun cas le personnel ou les usagers !

14 Les enjeux de l’évaluation externe 14  L’enjeu officiel : le renouvellement d’autorisation  Les modalités de renouvellement de l’autorisation sont définies dans l’article L du CASF : « Le renouvellement, total ou partiel de l’autorisation, est exclusivement subordonné aux résultats de l’évaluation externe mentionnée au deuxième alinéa de l’article L »

15 Les enjeux de l’évaluation externe (1) 15  L’enjeu principal : une opportunité de valorisation  Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ;  Photographie de l’existant ;  Implication des ESMS dans une démarche envisagée à la fois sous l’angle d’une évaluation des pratiques et d’une évaluation des résultats. L’établissement doit apporter la preuve qu’il maîtrise l’ensemble des dispositifs garants du respect des droits des usagers

16 En synthèse 16

17 En synthèse (1) 17  Elle s’appuie sur :  Une organisation en mode projet : pilotage, planification, définition d’objectifs ;  Une démarche collective, participative et co-construite ;  Des outils de collecte, d’analyse et de suivi des informations ;  Des compétences spécifiques et un processus maîtrisé

18 En synthèse (2) Evaluer, c’est comprendre !  Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l’action sociale et service rendu  L’évaluation n’est pas une fin en soi !  Démarche d’amélioration continue à poursuivre  PAQ à suivre 18

19 Les étapes de la mise en œuvre  Pour rendre efficace et efficiente la démarche d’évaluation, il est nécessaire de:  Définir son projet  Respecter les règles établies  Appliquer le rythme et la tonalité fixés  Suivre les cinq étapes identifiées 19

20 Les étapes de la mise en œuvre Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l’organisation de chacun 20

21 1. Réunir les conditions nécessaires  Engagement dans le processus = moment stratégique  S’assurer pour l’ESMS qu’il est prêt à réaliser un examen tel que défini réglementairement par le décret du 15 mai 2007  Mise en place d’un système d’enregistrements d’éléments de preuves  Participation collective volontaire et pluridisciplinaire Processus-clés 21 Satisfaction aux conditions de mise en œuvre de l’évaluation externe Choix du bon moment pour engager la procédure Satisfaction aux exigences réglementaires et aux RBPP

22 2. Elaborer les documents de mise en concurrence « La sélection de l’organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics ».  Elaboration du cahier des charges Processus-clés 22 Outil  Exemple de cahier des charges Présentation de l’ESMS Formulation des questions ou des hypothèses à soumettre Précision sur les éléments de réponse attendus

23 Quoi ?  La présentation de l’établissement ou du service ;  L’articulation avec le projet d’établissement ou de service, l’évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ;  Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d’être posées ;  Les modalités de concertation ;  Les modalités de suivi de l’évaluation externe ;  Le contexte et les contraintes liées à l’organisation ou aux particularités des activités ;  Les conditions d’accès à l’information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ;  Les modalités concrètes d’élaboration et de rendu du rapport ;  Le temps nécessaire et le calendrier ;  Les modalités de facturation. 23

24 Comment ?  Prendre en compte la spécificité de sa structure (nombre d’établissements à évaluer..) ;  Consulter la liste des organismes habilités (site ANESM) ;  Publier éventuellement l’annonce sur un site officiel ;  Sélectionner au préalable 5 à 6 organismes habilités par l’ANESM ;  Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ;  Demander aux organismes un dossier de réponse contenant :  Première note synthétique,  Présentation d’une première trame d’un déroulé d’évaluation,  Eléments d’information sur l’organisme,  Références récentes d’interventions,  Cv des personnes chargées de l‘évaluation ; les conditions habituelles de tarification. 24

25 Exemple de cahier des charges 25

26 3. Choisir l’organisme habilité  Réalisé à partir d’une analyse des offres reçues  Caractère objectif de l’analyse  Nécessité de repérer en amont les dimensions et critères de sélection  Plusieurs dimensions à prendre en compte  Contrat fixant les obligations des deux parties élaboré au terme de la procédure Processus-clés Outils  Grille de priorisation et de sélection 26 Pré-sélection des organismes habilités sur dossier Choix de l’organisme habilité Organisation des entretiens Rédaction du contrat de prestation

27 Comment ?  En questionnant quatre dimensions à cotation variable :  Qualification et compétences des évaluateurs  Une expérience professionnelle dans le champ social ou médico- social  Une formation aux méthodes évaluatives  Une expérience de l’évaluation dans le secteur social ou médico- social  Une pluridisciplinarité des évaluateurs  Qualité technique de l’offre  Clarté et précision du plan d’intervention  Cohérence du plan d’intervention au regard des hypothèses évaluatives de la structure  Capacité de l’évaluateur à se situer dans une logique d’écoute  Garantie d’un examen contradictoire des points 27

28 Comment (suite) ?  Modalités de réalisation  Nombre de journées sur place  Nombre de journées au total  Nombre d’évaluateurs sur le terrain  Modalités financières  Garanties  Coût 28

29 Outil : grille de priorisation et de sélection 29

30 Focus sur le contrat avec l’organisme habilité  5 parties généralement prévues dans le contrat :  Description du projet évaluatif  Composition de l’équipe d’évaluateurs (vigilance : modification de la composition de l’équipe des évaluateurs)  Description précise du contenu du rapport d’évaluation externe (vigilance : contenu en adéquation avec le décret du 15 mai 2007)  Modalités de facturation (vigilance : pénalités de retard si rapport non remis dans les délais ; exonération de paiement si contenu du rapport non réglementaire)  Annexes au contrat (déclarations sur l’honneur) 30

31 4. Veiller au bon déroulement de l’évaluation externe  Mise en place d’un comité de suivi de l’évaluation  Accessibilité facilitée pour les évaluateurs à toute l’information nécessaire  Attitude des évaluateurs : l’évaluation n’est pas un contrôle  Etape qui sera développée lors des retours d’expérience Processus-clés Outils  Documents de preuve  Exemple de questionnement évaluatif 31 Organisation et animation d’un comité de suivi Organisation et préparation du recueil de données Contrôle de la posture des évaluateurs ; communication

32 Outil : Eléments de preuve Exemple de questionnement évaluatif 32

33 5. Communiquer des observations sur le pré- rapport d’évaluation externe  Rapport : élément de sortie du processus évaluatif  ESMS « gardien» de la qualité du rapport qui sera transmis sur deux critères d’appréciation  Possibilité pour l’ESMS de faire part de ses réserves à l’autorité de tarification Processus-clés Outils  Grille de lecture du pré-rapport  Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation 33 Réception et lecture du pré-rapport Navette jusqu’à entente avec l’organisme Envoi du rapport final à l’autorité de tarification Modification du PAQ et mise en œuvre d’actions d’amélioration

34 Quoi ? Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer :  De l'objectivité des constats ;  Du respect des attendus énoncés dans le cahier des charges ;  Du respect du Décret n° du 30 janvier 2012 ;  De la clarté des observations formulées. 34

35 Focus sur les critères Le COPIL procède à la relecture du pré rapport en s’assurant du respect d’un certain nombre de critères :  La lisibilité du rapport  L’exactitude des éléments administratifs relatifs à l’établissement  La qualité de l’analyse  Le niveau de documentation de l’analyse  Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l’évaluation interne  La qualité et la faisabilité des préconisations  Les propositions d’axes de travail susceptibles d’apporter des améliorations dans la prise en compte des besoins des usagers 35

36 Comment ? 36 ÉtapeQui ?Quoi ? 1 Chef de projet Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire. Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation. 2 Chaque lecteur Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l’argumentation. 3 Chef de projet Colliger l’ensemble des fiches d’observations et réunir le COPIL. 4COPIL Passer en revue l’ensemble des observations et valider celles qui seront retenues. 5COPIL Vérifier que le contenu du pré rapport respecte le décret n° du 30 janvier 2012 (cf. outil "Grille de lecture"). 6COPIL Valider les commentaires touchant aussi bien le fond que la forme du pré- rapport. Réunir les éléments de preuves nécessaires (copies ou scans). 7 Chef de projet Envoyer à l’organisme évaluateur la grille de lecture complété, les fiches d’observation définitives accompagnées des éléments de preuves idoines. 8COPILValider la prise en compte des observations par l’organisme évaluateur.

37 Outil : Grille de lecture Formulaire des observations 37

38 Focus sur l’évaluation et la satisfaction de la démarche et de la prestation 38  2 questionnaires de retour d’expérience sur la thématique de l’évaluation externe envoyés en mars 2014 :  Aux ESMS de la région Aquitaine : 1419 contacts, 103 retours sans relance, soit 8 %  Dont : 50 % s. adultes handicapés, 22 % s. enfance handicapée, 28 % s. personnes âgées  40 % ont terminé leur évaluation externe  17 % en cours de réalisation  Aux organismes habilités de la région Aquitaine : 104 contacts, 19 retours, soit 12 %

39 Versus établissements (40 ESMS) 39  95 % ont utilisé cahier des charges (dont 12 base de l’UNAPEI)  + de 50 % des ESMS : de 4 à 10 mois pour sélectionner leur organisme  Critères de sélection les plus cités :  Expérience des évaluateurs  Coût  Compétences  Qualité méthodologique  Difficultés rencontrées lors de la préparation:  Implication des professionnels  Implication de la direction  Craintes des professionnels  Difficultés organisationnelles  Communication  Manque de recul

40 Versus établissements (40 ESMS) 40  100 % répondants : expression libre des parties prenantes  Etat d’esprit des professionnels Adhésion (12)Crainte (22) Pression + (6)Appréhension (5) Curiosité (4)Négatif (4)  Difficultés rencontrées phase de réalisation  Respect du calendrier  Disponibilité de l’évaluateur  Difficultés de planification  Limites des modalités de réalisation  Délai de réception du pré-rapport : pour 50 %, de 2 sem à 1 mois

41 Versus établissements (40 ESMS) 41  Difficultés rencontrées phase de validation pré-rapport  Désaccords avec évaluateurs externes  Non transmission de l’abrégé  Corrections sur la forme  Chronophage  Longueur du rapport  Forme très négative  + de 90 % très satisfaits / satisfaits de :  Disponibilité  Écoute  Professionnalisme

42 Versus établissements (40 ESMS) 42  + de 82 % très satisfaits / satisfaits de :  Rapport qualité / prix  Délais de réalisation  Qualité du pré-rapport  Déroulement de l’évaluation externe  Respect du cahier des charges Globalement :  51 % très satisfaits  36 % satisfaits

43 Versus organismes (18) 43  Nombre d’évaluateurs sur site de 1 à 5  10 à 20 documents demandés la majorité du temps  Réalisation systématique d’entretiens avec :  Professionnels  Usagers  Familles  Qualité méthodologique  Ces entretiens sont :  Rarement réalisés en présence d’un responsable  Avec des réponses non préparées  Et qui reflètent les pratiques habituelles  Pour 1/3 des répondants, délai de restitution du pré-rapport d’un mois

44 Versus organismes (18) 44  17 répondants :  Proposent une amélioration du PAQ  Aident à la priorisation des actions d’amélioration  Ces entretiens sont :  Rarement réalisés en présence d’un responsable  Avec des réponses non préparées  Et qui reflètent les pratiques habituelles  7 organismes seulement distribuent un questionnaire de satisfaction en fin de prestation….

45 Versus organismes (18) 45  Les difficultés rencontrées :  Expression orale et écrite de certains professionnels  Culture du soin trop dominante  Crainte des professionnels  Problèmes de gestion documentaire  Méconnaissance de la réglementation  Absence de culture d’évaluation  Disponibilité des professionnels  Structuration de la démarche  Préparation logistique  Restitution des résultats

46 Regards croisés sur les points forts 46  Analyse des pratiques selon une méthode objective  Valorisation des pratiques  Identification d’axes d’amélioration  Regard extérieur  Prise en compte du point de vue de toutes les parties prenantes, notamment des usagers  Démarche formative et participative  Prise de recul  Favorise le développement de la culture d’amélioration de la qualité  Apport de connaissances  Dédramatisation de l’évaluation  État des lieux  Confirmation résultats de l’EI

47 Regards croisés sur les limites 47  Aspects chronophages et financiers  Absence de retour sur l’impact de la démarche d’évaluation externe  Absence de référentiel unique  Complexité de la demande  Inquiétude des professionnels  Calendrier réglementaire  Incompétence de certains organismes  Doutes sur les bénéfices en termes de changement et d’apports

48 Des leviers à actionner !!! 48  Pour les établissements :  Compétences de terrain des évaluateurs  Anticipation du recueil des éléments de preuve  Bonne définition du cahier des charges  Planification  Evaluation de la charge de travail  Communication  Disponibilité  Cadrage de la démarche  Inscription dans une démarche d’amélioration continue de la qualité  Vigilance lors de la relecture du pré-rapport

49 Des leviers à actionner !!! 49  Pour les organismes :  Bonne communication  Implication de l’ensemble des parties prenantes  Démarche structurée  Préparation de la démarche (documents..)  Climat de confiance  Inscription dans une démarche d’amélioration continue de la qualité  Soutien de l’encadrement  Compétences méthodologiques des évaluateurs

50 Pour finaliser cette étape… 50 Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation

51 MERCI POUR VOTRE ATTENTION 51


Télécharger ppt "Rencontres départementales sur l’évaluation externe dans le secteur social et médico-social."

Présentations similaires


Annonces Google