LE REFERENTIEL D’EVALUATION INTERNE Formation donnée auprès des membres du personnel de l’ADIMC74 dans le cadre de l’évaluation interne Laetitia Maginot Evaluatrice interne des organisations sociales certifiée AFNOR Novembre 2011

Au programme de la formation Objectifs et enjeux de la formation Contenu du référentiel sur le fond et sur la forme -Les attendus du référentiel en terme de contenu -La structuration du référentiel Comment adapter un référentiel existant à la spécificité de son éts ou service ? L’appropriation et l’utilisation du référentiel Un exemple de structuration de référentiel

Comprendre les enjeux de la formation Permettre aux groupes de travail de proposer un référentiel spécifique à chaque éts et service en intégrant bien tous les tenants et aboutissants S’approprier l’outil pour mieux l’expliciter aux équipes et pour faciliter son utilisation ultérieure Faciliter la validation de l’outil par le copiléval grâce au respect des recommandations énoncées

LE CONTENU DU REFERENTIEL - SUR LE FOND - SUR LA FORME

Comprendre les attendus sur le fond du référentiel En matière sociale et médico sociale : Pas de modèle unique de référentiel Mais des recommandations minimales A partir d’une articulation logique qui se décline en : Domaines (champs d’activité) Références Critères Indicateurs

Définitions de cette déclinaison Domaines = les grandes missions de l’association, ses champs d’activités, les thèmes sur lesquelles l’évaluation va porter. Ex = l’accompagnement professionnel des travailleurs handicapés s’effectue dans un environnement bien traitant Références = exigences, dispositions qui sont imposées par la loi, les recommandations et les objectifs que l’on se donne dans notre PE ou PS, nos valeurs. Ex = Chaque travailleur dispose d’un projet professionnel personnalisé Critères = caractéristiques, propriétés et contenu de la référence, de l’exigence ou du résultat souhaité, ils indiquent comment s’appliquent les références et quels sont les moyens et actions choisis pour répondre à l’exigence, la référence. Ex : formation adaptée, adaptation du poste, activités médico-sociales, promotion. Indicateurs = informations quantitatives ou qualitatives qui permettent de mesurer des actions, des pratiques, des faits pour objectiver la réponse au critère. Certains indicateurs sont spécifiques à un critère d’autres, peuvent être communs à plusieurs critères voire à plusieurs références. Ex =Taux de promotion des TH sur 10 ans

Les domaines/champs que doit intégrer le référentiel Le droit et la participation des usagers, la personnalisation des prestations Le projet d’établissement ou de serv. et ses modalités de mise en oeuvre. L’organisation de l’établissement ou du service et ses ressources L’établissement ou service dans son environnement Les groupes de travail éts et serv. adaptent ce champ Champs à relire mais à ne pas retravailler Le groupe de travail serv. Support adapte ce champ

Les 4 domaines de l’évaluation interne concernant le volet effectivité des droits et personnalisation de l’accueil 1° la promotion de la qualité de vie, de l’autonomie, de la santé et de la participation sociale Intégration des différentes composantes professionnelles pour réaliser les objectifs principaux Promotion de la santé et de l’accès au soin Diagnostic et exploitation des ressources de l’environnement Adaptation en continu des compétences internes et externes 2° la personnalisation de l’accompagnement Evaluation en continu des besoins et attentes Elaboration et actualisation du projet personnalisé Articulation, circulation de l’information autour du projet personnalisé 3° la garantie des droits et la participation des usagers Effectivité de la mise en oeuvre des droits dans le fonctionnement quotidien Processus permettant la prise en compte de l’expression collective Organisation concrète d’intégration des proches et représentants légaux 4° la protection et la prévention des risques inhérents à la situation de vulnérabilité des usagers Identification des risques individuels et collectifs Processus de prévention Processus de recueil, de traitement et d’analyse des incidents et plaintes Formation des professionnels à la prévention des risques

Respect de la dignité, intégrité, vie privée, intimité et sécurité 7 points à faire impérativement apparaître dans le référentiel pour le domaine Effectivité des droits et personnalisation de l’accompagnement Respect de la dignité, intégrité, vie privée, intimité et sécurité Le libre choix des prestations adaptées qui sont offertes à l’usager Prise en charge et accompagnement individualisé consenti (au risque de faire annuler un contrat / 3 vices de consentements) Confidentialité des informations la concernant L’accès à l’information Information sur ses droits fondamentaux et voies de recours (affichage de la liste des personne qualifiée : obligatoire) Participation directe ou avec l’aide de son représentant légal à la conception et à la mise en œuvre du projet d’accueil et d’accompagnement.

Les points à retenir et à faire apparaître dans le référentiel pour le domaine : organisation de l’établissement et ressources (non exhaustif) Les ressources matérielles  Implantation du service ou de l’éts Architecture et aménagement / conformité par rapport à la réglementation équipement mobilier et matériel de bureau : recensement des besoins, mise en place de procédures claires d’octroi du matériel ou mobilier Les ressources humaines : la gestion des RH Effectifs/qualifications/compétences/disponibilités/… Politique de formation et d’évolution de carrière Prise en compte du personnel vieillissant et de la problématique de l’usure professionnelle L’accompagnement adapté des personnels au travail La communication dans l’Ets/le service Les outils de communication Les instances de dialogue Participation des salariés dans l’organisation du travail Les ressources budgétaires : les procédures d’élaboration des budgets les ressources sont adaptées aux besoins/à la mission et évoluent

Identifier les domaines d’activités à évaluer PROJET ASSOCIATIF PROJET ETAB OU SERVICE. DOMAINE D’ACTIVITE 1 ex : accueil Activités : cadre et condition d’accueil physique et tél. Activités : gestion des préadmissions Activités : gestion des admissionss DOMAINE D’ACTIVITES 2 ex: accompagnement Activités : accompagnement social Activités : accompagnement professionnel Activités : accompagnement médical DOMAINE D’ACTIVITE 3 ex : sortie/orientation Activités : orientation SAVS Activités : orientation EPHAD Activités : milieu ordinaire ou autre ESAT PROCESSUS

Les références à inscrire dans le référentiel

Recommandations de bonnes pratiques ANESM prendre en compte dans les champs à travailler La bientraitance : définition et repère pour la mettre en œuvre Les attentes de la personne et le projet personnalisé Mission du responsable de service et rôle de l’encadrement dans la prévention et le traitement de la maltraitance à domicile L’éthique Stratégie d’adaptation à l’emploi des personnels au regard des populations accompagnés Recommandation sur la conduite de l'évaluation interne dans les services à domicile au bénéfice des publics adultes«  EHPAD : de l’accueil à l’accompagnement (volet 1) et qualité de vie (volet 2)

Le cadre législatif et règlementaire Application des Lois 2002-2 et 2005-102, décret 2007. PE/PS Règlement de fonctionnement Livret d’accueil Charte de la personne accueillie Contrat de séjour Projet personnalisé Contrat d’aide et de soutien par le travail Conseil de la vie sociale Personne qualifiée Bientraitance (fiche de signalement de la maltraitance/ registre des plaintes Évaluation interne / externe (démarche qualité)

Les indicateurs

Les indicateurs de qualité Ils permettent d’évaluer la performance du système qualité en mesurant l’atteinte des objectifs que l’on se fixe. On peut en mettre plusieurs pour un même critère pour objectiver au maximum la rép. Référence : l’éts prend en compte l’usure professionnelle du personnel accompagnant Critère : le personnel bénéficie de conditions dans lesquelles il peut s’exprimer sur ses pratiques et ses conditions de travail Indicateur 1 = taux d’absentéisme annuel des professionnels après 5 ans d’ancienneté est <10% Indicateur 2 = taux de turn-over sur les postes les plus pénibles 100% Indicateur 3 = taux de participation du personnel aux séances de supervision (80%) Interprétation : Si taux d’abs. = 3% / an et turn-over de plus de 50 % (Plus d’une personne sur deux ayant des taches très pénibles a pu accéder à un autre poste pendant quelques mois pour souffler) on peut poser que la prise en compte de l’usure professionnelle est réelle et que des actions sont mises en place pour l’éviter. Si taux d’abs= 30 %/ an et taux de turn over de moins de 10%, on peut poser que la prise en compte de l’usure professionnelle n’est pas suffisante = actions à mettre en place. Si taux d’absentéisme = 30 %, turn over 50%, participation supervision 90% = il faut poser que seuls le turn-over et les supervisions ne suffisent pas = ll faut chercher d’où vient cette absentéisme (démotivation liée aux salaires ? à la violence ? à l’ambiance, au cadre de travail ?).

Les indicateurs de satisfaction Ils permettent de mesurer la satisfaction des usagers ou des partenaires et sont donc représentatifs de la qualité perçue. Il pourrait être pertinent de prévoir de mesurer la satisfaction des professionnels, en vue notamment de l’amélioration des processus de gestion des RH (condition de travail, politique salariale, formation, dynamique d’équipe) Ex : l’éts fournit des repas adaptés aux besoins diététiques des travailleurs de l’ESAT Indicateur de satisfaction = 10 % des usagers considèrent que les repas pris à l’ESAT ne sont pas adaptés à leurs besoins. Indicateur de qualité = 100 % des prescriptions alimentaires des usagers sont respectées par l’ESAT

Choix des indicateurs Il est recommandé de choisir un nombre restreint d’indicateurs. Un indicateur est une information choisie qui permet d’observer périodiquement les évolutions d’une situation au regard d’objectifs définis, une variable qui aide à prendre la mesure des changements. Cette information doit être documentée et objectivée sur les bases de données qualitatives et quantitatives. Elle ne prend sens qu’accompagnée d’éléments d’analyse. Le choix des indicateurs doit découler des objectifs à atteindre. Un indicateur contribue à éclairer une question, il donne une information incomplète mais utile sur une situation ou un dysfonctionnement. Pour exemple, une évolution de la fréquence des manifestations comportementales de la population indiquera tout aussi bien l’évolution du public accueilli qu’une modification dans la qualité de l’accompagnement. Cette information ne prend donc sens qu’associée à d’autres éléments d’analyse.

Comment assurer la qualité d’un indicateur lors de sa construction ?

Exemples d’indicateurs quantitatifs Taux = de violence, de chute, d’absentéisme, de turn over, de plaintes, de CDD/CDI; de dossiers complets, pannes des véhicules, de remplacement des ordinateurs, du mobilier, de participation aux réunions de CVS, taux de plaintes des partenaires, des familles, de fréquentation.. Durée/délai = liste d’attente, de réalisation des PEI, d’attente d’un rendez vous, de contrat de travail, durée de travail sur un même poste… Nombre = nombre d’usagers pour lesquels le projet personnalisé n’est pas formalisé dans les 6 mois de son admission, nombre de poste de travail sur le nombre d’usagers…… statistiques Remarques : il peut y avoir des indicateurs qualitatifs qui décrivent une situation (mais on sait qu’une description reste très indicative donc subjective). Pour garder une plus grande objectivité, il est préférable d’utiliser des indicateurs quantitatifs...

ADAPTER UN REFERENTIEL QUELQUES REGLES GENERALES…..

Règles à respecter pour la structuration du référentiel Conserver la structure du référentiel de base Organiser le référentiel par domaines, références et critères Homogénéiser la formalisation de ses composantes. Si le référentiel est présenté sous forme de question, on poursuit avec des questions…si le référentiel est présenté sous forme de phrases affirmatives, on poursuit avec des affirmations. Ex : l’éts dispose t-il d’un dossier unique de l’usager ? Ou l’éts dispose d’un dossier unique de l’usager Eviter les formalisations imprécises (l’éts pense, prévoit..) Utiliser une terminologie proche de celle employée par les professionnels et les partenaires, c’est la garantie d’être mieux compris. Eventuellement établir un glossaire des termes qui nécessitent une explicitation

Règles à respecter pour le contenu du référentiel Vérifier que le référentiel de base déjà élaboré continent les domaines incontournables de l’évaluation Compléter le référentiel avec les activités clés de son projet ou de son service. Pour chacune des activités sélectionnées, interroger la qualité, c’est-à-dire les exigences auxquelles l’activité devrait répondre pour satisfaire aux besoins explicites ou implicites de ses bénéficiaires. il s’agit donc de reformuler ces activités en références (objectifs du projet) puis de les décliner en critères (description des pratiques et des processus), puis de choisir des indicateurs pertinents.

Interroger la qualité des activités

Reformuler l’activités en terme de références et de critères Une référence = traduction de l’activité en terme d’exigence à satisfaire Un critère = déclinaison de la référence en actions concrètes Pour répondre aux exigences de la référence, quelles actions concrètes l’éts ou le serv. devrait il mettre en œuvre ? EX= Référence : les lieux d’hébergement répondent aux besoins d’hygiène et d’entretien des usagers Critères 1 : l’éts met en place différents moyens de façon à ce que les usagers puissent assurer l’entretien de leur chambre Critères 2 : l’éts fournit aux usagers le linge de literie et de toilette et leur donne les moyens d’en assurer l’entretien Critère 3 : l’éts assure l’entretien des locaux communs des lieux d’hébergement

EXTRAIT SIMPLIFIE D’UN REFERENTIEL AVEC INDICATEUR Domaine : PERSONNALISATION DE L’ACCOMPAGNEMENT

Composantes d’un référentiel d’évaluation Les questions peuvent être posées sous forme interrogative ou affirmative Évaluation de l’équipe à la question en indiquant les points forts et les points à améliorer Il s’agit de quantifier le degré de satisfaction à la référence afin de repérer plus aisément les actions d’amélioration à mettre en place Il s’agit d’indiquer les éléments factuels justifiant l’évaluation, les éléments de preuve sur lesquels s’appuient la réponse à la question Il s’agit de formuler des pistes d’amélioration qui seront retravaillées ultérieurement et traduites en un plan d’action. Zone de questionnement Zone de réponse Zone de cotation Zone de preuves Zone d’amélioration

Zone de cotation Cette zone fait intégralement partie du référentiel d’évaluation et est importante pour prioriser les actions d’amélioration. 5 degrés croissants de maturité fondent l’évaluation quantitative d’une pratique professionnelle. E : la pratique « orale et empirique », difficile donc d’être transmise de manière objective. Ou la pratique est inexistante. Valeur 0 point. D : la pratique écrite ou connue mais pas forcément mise en œuvre. Valeur 25 points. C : la pratique est écrite, connue, mise en œuvre en équipe pluridisciplinaire mais n’est jamais évaluée. Valeur 50 points B : la pratique est écrite, connue, mise en œuvre et évaluée régulièrement et comparée. Valeur 75 points. A : la pratique est écrite, connue, mise en œuvre, évaluée fait l’objet d’amélioration et de révision systématique quant aux versions précédentes. Valeur 100 points.

Exemple de référentiel d’évaluation DOMAINE : L’ets ou le service place la personne accueillie au centre de son action et développe un environnement bientraitant Référence 1 : l’établissement ou le service favorise l’expression et la participation des personnes accueillies ou question évaluative : en quoi l’établissement contribue t-il à l’expression et la participation des personnes accueillies Critère 1 Indicateurs qualité Les réclamations des personnes accueillies sont recueillies et traitées Délais de traitement des plaintes inférieur à 10 jours Nbre de plaintes déposées/nbre d’actions mises en œuvre = 100 % Période d’ouverture du bureau de recueil des plaintes 7/7 Zone de réponse Documents supports/preuve Quel résultat a-t-il été atteint ? Procédure de recueil et dépôt de plainte Classeurs de plaintes Programmes annuels des achats et travaux Enquête de satisfaction usager Pour l’usager : il a la possibilité de déposer sa plainte 5j/7 et de manière confidentielle et sa plainte est traitée dans les 10 jours Pour le professionnel : certains professionnels connaissent la procédure de recueil des plaintes et peuvent prendre les plaintes lorsqu’ils sont présents.  Résultats de l’évaluation de la référence Propos. de pistes d’amélioration (à faire valider par le Comité de pilotage) Points forts/potentiels/opportunités Points à améliorer/points faibles/menaces - Les usagers sont satisfaits de la manière dont leur plainte est recueillie et traitée - Il existe une procédure écrite et connue - Les plaintes recueillies sont traitées Permettre aux usagers de déposer une plainte 7j/7 Les professionnels ne sont pas tous formés au recueil des plaintes et ne connaissent pas tous la procédure Difficulté pour certains usagers de déposer une plainte (pb d’expression..) Diffuser la procédure dès l’arrivée d’un nouveau collaborateur Permettre le dépôt de plaintes 7 jours /7 en formant tous les professionnels Envisager une enquête auprès des usagers permettant de vérifier l’existence et la nature d’éventuelles résistances à déposer une plainte. Cotation de la pratique B ou 75% (le critère est satisfait globalement mais il peut être amélioré)

Travail à faire par les groupes de travail référentiel 1) Actualiser votre base documentaire dans un support informatique (tous les documents qui vont vous servir de supports et de preuve, identifier toutes vos procédures écrites et la législation qui cadre votre travail) 2) Décrire ce qui fait la spécificité de votre établissement ou service (quelles sont vos missions spécifiques et les activités qui en découlent) 3) Réfléchissez à la manière dont elles pourraient être déclinées en tenant compte de certaines « priorités maison ». 4) Procéder à des entretiens avec les usagers et les professionnels (selon méthodologie croix rouge, c’est-à-dire en imaginant une dizaine de questions pertinentes à leur poser) 5) Faire ensuite une proposition d’adaptation des références et des critères correspondant à votre établissement ou service qui tient compte de tout ce qui précède. 6) Communiquer vos propositions aux équipes 7) Adapter les propositions 8) communiquer votre version finale au comité de pilotage pour validation.