Les référentiels d’évaluation interne Sandrine Domecq Chargée de projet – Statisticienne, CCECQA

Le référentiel d’auto-évaluation Définition Ensemble d’éléments écrits Questionnement sur une activité, un fonctionnement, un établissement, un service Photographie des écarts existants entre une situation observée à un moment donné et la situation projetée Etabli à partir de textes réglementaires Structure Chapitres (domaines) Références (attentes) Critères (moyens)

Le référentiel d’auto-évaluation Exemple

Dans le cadre de l’évaluation interne C’est une véritable « feuille de route » Contractualisation entre les différentes parties prenantes Autour d’un modèle préalablement établi Pour définir des orientations réalistes Ce n’est pas… Une simple description des modalités de fonctionnement de la structure Un référentiel de bonnes pratiques exclusivement ciblé sur une prise en charge Un référentiel de labellisation « service qualité »

Dans le cadre de l’évaluation interne Le référentiel doit… Répondre aux spécificités de chaque structure Faire l’objet d’une appropriation par tous les acteurs Collecter de l’information pour aider à prioriser des actions Permettre de mesurer périodiquement la mise en œuvre des actions « En amont, il est essentiel de s’assurer de l'appropriation du référentiel pour faciliter son utilisation et amener les correctifs nécessaires à une adéquation optimale avec les spécificités de la structure et les particularités des populations accueillies » « Langage peu utilisé par les professionnels au premier abord, le référentiel apparaît ensuite comme un bon outil de questionnement sur les pratiques des professionnels et sur les attentes des usagers dans leur prise en charge globale »  « Faire une évaluation interne et utiliser un référentiel cela demande un investissement. Il faut s'approprier l'outil, ensuite, cela devient plus "facile" ! »  

Les étapes clés Réalisées par le comité de pilotage (COPIL) Recenser les recommandations générales et spécifiques à l’activité de la structure Choisir parmi 3 options Choisir un référentiel existant Adapter un référentiel Créer un référentiel Mettre en forme le référentiel Tester et valider le référentiel

Mettre en forme le référentiel Choisir le mode de cotation binaire vs échelle de niveau Trame de remplissage

Choix du référentiel Questions a minima* Au regard de l’usager et de sa prise en charge le référentiel s’adresse-t-il à la population accueillie dans la structure ? le référentiel évalue-t-il le respect des droits et libertés des usagers ? Au regard de la gestion des ressources humaines le référentiel évalue-t-il l’adéquation qualitative et quantitative du personnel aux missions du service ? Au regard du projet établissement le référentiel évalue-t-il les processus spécifiques de la structure ? le référentiel évalue-t-il les projets de la structure ? Au regard de la communication le référentiel évalue-t-il le niveau de satisfaction et de participation des usagers ? * Bonnet C. Le choix d’un référentiel adapté, une condition nécessaire pour conduire l’évaluation interne dans un SSIAD. EHESP, 2008.

Dans le guide, deux fiches méthode

Aide au choix du référentiel Outil « Grille comparative des référentiels » Synthèse d’informations descriptives 2 sources d’information Informations techniques internet et/ou concepteur Informations sur l’utilisation enquête de retour d’expérience 20 référentiels présentés Liste non exhaustive Représentative des différents secteurs Accessibilité

réf. ESAT URIOPSS-FEHAP Nom du référentiel PERICLES ADAPT – ASEI – OVE - APF Réf. Interassociatif Qualit'Eval ANGELIQUE Réf. GERIAPA Réf. Qualité EHPAD Référentiel FHF ARSENE Réf. interne SSIAD ARS UNASSI PROMAP Quali-Eval Réf. APAJH réf. ESAT DDASS 24&33 réf. ESAT URIOPSS-FEHAP réf. ESAT Croix-Rouge réf. MAS ARCOLAN réf. CAMSP Réf. FNH Réf. AFR Dernière version 2010 2011 2012 2004 2013 2008 2007 Cible ESMS EHPAD EHPA SSIAD Sect Handicap. ESAT MAS CAMSP Sect Insert. Sociale CAARUD Concepteur ANCREAI Quali cercle Pyréweb ministère GERIAPA ARS DT24 FHF CREAHI Aqui. ARS Limousin UNAPEI FEGAPEI Fédé. APAJH DDASS24 DDASS33 URIOPSS FEHAP CRF local CH Dax FNH AFR Forme   > Guide d’utilisation  X > Solution informatisée > Synthèse automatisée > PAQ intégré > Pré-rapport Modalités d’accès > Gratuit NR NR  > Libre accès sur demande  NR sur demande Structuration > Nombre de chapitres 13 3 8 4 7 5 14 6 9 > Nombre de références 41 - 34 11 20 33 25 27 23 40 43 26 46 63 37 > Nombre de critères 164 64 250 331 448 123 329 155 79 133 254 305 568 110 311 170 141 259 347 Mode de cotation > Binaire > Echelle de niveaux Retours d’expérience > Nombre de répondants 1 17 10 NA > Type d'établissements répondants SESSAD IME ITEP SAMSAH IME SESSAD SESSAD IME ESAT FAM MAS MAS CMPP IEM IME PAQ – Plan d’amélioration qualité ESMS – tous les établissements et services médico-sociaux NR – Non Renseigné NA – Non Applicable

3 référentiels pour tout type de structure

5 pour EHPAD, 2 pour SSIAD

3 pour secteur handicapé - Adulte & Enfance 3 spécifiques ESAT, 1 pour MAS, 1 pour CAMSP

2 référentiels pour le secteur Insertion Sociale

En annexes du guide

Retours d’expérience… 103 répondants Quelques préconisations Favoriser les référentiels existants S’informer auprès des instances de la diffusion d’un référentiel au sein de l’association ou du groupe S’assurer que le référentiel couvre l’ensemble des activités de la structure S’assurer de la mise à jour du référentiel par rapport aux dernières recommandations S’assurer de la souplesse d’adaptation du référentiel à la structure S’approprier de façon globale le référentiel choisi avant de démarrer la collecte des données et la cotation S’assurer de la compréhension des critères du référentiel auprès des acteurs impliqués S’assurer que le mode de cotation est adapté à l’évaluation

Retours d’expérience… 103 répondants Paroles de professionnels « Elaboration du référentiel : nous avons choisi de réaliser nos propres items, la démarche pour poser les bonnes questions n'est pas évidente mais nous avons été guidés » « Attention à ne pas confondre référentiel et logiciel  » « Le référentiel doit être réadapté à chaque établissement selon le fonctionnement de chaque établissement » « La 1ère adaptation faisait apparaître un référentiel très lourd, pas toujours compréhensible pour l’ensemble des agents. Une simplification du référentiel a été réalisée lors de la 2ème évaluation » « Elaboration d'un référentiel adapté à la structure : problème de participation du personnel (pas de temps dédié) » « en 2008/2009 peu d’élément, de repères pour aider au choix, à la création ou à l’adaptation du référentiel » « Un référentiel transversal à plusieurs types d’établissements ou de services semble parfois trop généraliste. »

MERCI POUR VOTRE ATTENTION

Retours d’expérience… 103 répondants 113 structures représentées 53 EHPAD, 19 SSIAD… 7 IME, 5 SESSAD… 7 MAS, 5 FAM… 2 CSPAP, 1 CAARUD…