Journée d’information pour les organismes candidats à l’habilitation

Slides:



Advertisements
Présentations similaires
Projet d’établissement
Advertisements

Délégation à l’Emploi et aux Formations
Assemblée Générale de l’AFEH 10 octobre 2008
Évaluations interne et externe
Caractéristiques auxquelles doivent répondre les programmes dévaluation des pratiques professionnelles proposés à la SFLS La thématique du programme dévaluation.
MAISON DE SANTE PLURIDISCIPLINAIRE CUSSAC
1 LA PRESCRIPTION en cas de validation partielle.
La démarche qualité.
Projet d’établissement
Evaluation et suivi sont deux outils de management:
Direction générale de la santé Mo VII-5-1 Des résultats évalués : vers un tableau de bord de la santé en France Lévaluation.
Mission Régionale VAE. Mission Régionale VAE Objectifs de lAtelier-Projet.
définition L’évaluation :
THEME DE LA 2ème TABLE RONDE : "Missions de soins de premier recours : quelle articulation entre le secteur ambulatoire et le secteur médico-social ?"
PROJET DE SERVICE VIE SCOLAIRE
ANALYSE COMMUNALE DES BESOINS SOCIAUX
Activités de Biologie médicale Certification des établissements de santé et accréditation des LBM Nom de l’intervenant : Dominique FERREOL.
B.O.E.N. n° 17 du 23 avril 2009 NOR : MENE A
Le Programme Personnalisé de Réussite Éducative. Le PPRE est proposé aux élèves de lécole élémentaire qui éprouvent des difficultés résistant à la « différenciation.
BIEN SE PREPARER A L’EVALUATION EXTERNE
La démarche clinique infirmière
5 rue Pleyel – Bâtiment Euterpe – Saint-Denis Tél. : – Fax : La procédure dhabilitation des.
Du point de vue des associations membres du groupe de travail Guide qualité Journée du 23 octobre 2009.
Modèles pour lévaluation des compétences en formation technique : Le défi dune instrumentation appropriée.
L’évaluation interne à l’UDAF d’Indre et Loire
OBSERVATOIRE NATIONAL DE L'EMPLOI ET DE LA FORMATION
L’Ingénierie de la Formation Continue Session I : Méthodologie d’élaboration d’un plan de Formation
La RBPP sur l’adaptation à l’emploi Du point de vue de l’Anesm
La RBPP sur les Attentes de la personne et le projet personnalisé Du point de vue de l’Anesm 1.
Présentation de l’Anesm
Intervention atelier n°4 : Intervention atelier n°4 : Mesurer la performance qualitative : quels outils ? Colloque du Jeudi 18 Novembre 2010 Jeudi 18 Novembre.
Projet Personnalisé de Scolarisation
Outil dauto-diagnostic Elaborer un référentiel de compétences stratégiques.
Les recommandations de bonnes pratiques professionnelles Enjeux et mise en œuvre 1.
DPC et APP en 2014 : les nouveaux fondamentaux pratiques
DEMARCHE D’EVALUATION
Journées départementales qualité en Bourgogne -mai 2011 PROGRAMME REGIONAL QUALITE ET GESTION DES RISQUES DE LARS DE BOURGOGNE ASPECTS MEDICO-SOCIAUX DEMARCHES.
1 Rénovation du BPA Rénovation BPA – Session daccompagnement – Toulouse – Janvier 2007 Cadre réglementaire : Quelles exigences pour le dossier dhabilitation.
LA DEMARCHE D ’EVALUATION DE LA QUALITE DANS LE SECTEUR MEDICO SOCIAL
Plus de maîtres que de classes
LES EXPERIMENTATIONS DANS L ’ACADEMIE DE LYON
Page 1 / Titre / Auteur / Date / Confidentiel D? LA DEMARCHE COLLEGES METIER.
SEMINAIRE DE CONTACT novembre 2008 Outils de gestion de projet.
Martinique , Le 18 mai 2010 Marie-Françoise EMONIDE CHRONE
EVALUATION EXTERNE, IMPACT SUR LES ETABLISSEMENTS MEDICO SOCIAUX
Le dispositif de l’évaluation
INTERVENANT RESPONSABLE qualité / gestion des risques
PRESENTATION PROJET D’ECOLE mars 2012
Les perspectives d’organisation de la Santé de proximité en Bretagne
Priorités d’actions La mise en place et l’accompagnement des PPRE au cycle des apprentissages fondamentaux et pour les élèves « redoublants.
CUCS Source : les Cahiers de l’AVISE N°5 : Evaluer l’utilité sociale de son activité - conduire une démarche d’auto-évaluation DÉVELOPPER UNE.
UE 3.2 S2 Sciences et techniques infirmières fondements et méthodes
Présentation de l’Anesm
Assises Régionales du Dispositif Local d’Accompagnement 25 septembre 2009 Innovation sociale Cohésion sociale Economie solidaire Proximité Création d’emplois.
Intervention du 29/03/2012 PLS Amiens
PROJET DE SOCLE COMMUN DE CONNAISSANCES, DE COMPÉTENCES ET DE CULTURE
Spécialités Gestion et Finance Ressources humaines et communication
LE DIAGNOSTIC SOCIAL TERRITORIAL
l’action sociale et médico-sociale
PROJET D’ECOLE Réunion des directeurs du 14 mai 2009.
Martine Miny - MPInstitut - Référentiels et métiers de management de projet - Mastère IESTO - 9 février 2004 Référentiels et métiers de management de projet.
Atelier Régional de renforcement des capacités en matière de collecte et d’utilisation des données sur les migrations pour le développement Système d’Information.
Mise en place des dispositions de La loi du 2 Janvier 2002
Définition de la qualité dans le secteur médico-social
Journée régionale Fnars Présentation du guide d’utilisation du RNP.
Optionnel Santé publique pratique 26 janvier 2012.
Dispositif de prévention et dépistage des cancers Un projet partenarial à destination des personnes handicapées Journée Santé URAPEI-ARS 9 février 2016.
Référentiel d’évaluation des centres de santé Haute Autorité de santé
Journée des maîtres auxiliaires ESPE NC Avril 2016.
Académie de Bordeaux Inspection académique de la Gironde
Transcription de la présentation:

Journée d’information pour les organismes candidats à l’habilitation Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux Journée d’information pour les organismes candidats à l’habilitation 23 juin 2009

Sommaire L’agence, ses missions Le cahier des charges de l’évaluation - le cadre légal - les objectifs de l’évaluation externe Méthodologie de l’évaluation Rapports d’évaluation et d’activité 1 2 3 4 Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Objet de l’Anesm Créée par la loi de financement de la sécurité sociale de 2007 ; Elle intervient en appui des établissements et services dans la démarche d’amélioration continue de la qualité ; Accompagne les établissements et services sociaux et médico-sociaux dans la mise en œuvre de l’évaluation interne et externe instituée par la loi du 2 janvier 2002. Créée par la loi de financement de la sécurité sociale de 2007, l’Anesm accompagne les établissements sociaux dans la mise en œuvre de l’évaluation interne et externe instituée par la loi du 2 janvier 2002 Elle intervient en appui des établissements et services dans la démarche c’amélioration continue de la qualité. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Principales missions Habiliter les organismes extérieurs qui procèdent à l’évaluation externe des activités et de la qualité des prestations des établissements visés par l’article L.312.1 et en dresser la liste ; Déterminer les principes fondamentaux garantissant la qualité des procédures suivies en matière d’évaluation interne et externe et assurant leur articulation et complémentarité ; Concevoir et exploiter un système d’information renseignant d’une part la mise en œuvre et le suivi des évaluations dans les établissements et services et d’autre part la publicité des habilitations des organismes d’évaluation ; Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

(convention constitutive du GIP Anesm du 17 juillet 2007) Principales missions Valider, élaborer ou actualiser des procédures, références et recommandations de bonnes pratiques professionnelles ; Contribuer à l’évaluation des établissements et services à caractère expérimental ; Proposer aux pouvoirs publics les évolutions législatives ou réglementaires de nature à favoriser le développement de la qualité dans le secteur social et médico-social. (convention constitutive du GIP Anesm du 17 juillet 2007) Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Le cahier des charges de l’évaluation - Le cadre légal - Les objectifs de l’évaluation externe 2 Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Cadre légal de l’évaluation : l’évaluation interne (art. L.312-8 CASF) Les établissements et services mentionnés à l’article L.312-1 du CASF procèdent à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou élaborées par l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux. Les résultats de l’évaluation doivent être communiqués à l’autorité ayant délivré l’autorisation. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Cadre légal de l’évaluation : l’évaluation externe (art. L.312-8 CASF) Les établissements et services font procéder à l'évaluation de leurs activités et de la qualité des prestations qu'ils délivrent par un organisme extérieur. Les résultats de cette évaluation sont également communiqués à l'autorité ayant délivré l'autorisation. Les organismes habilités doivent respecter un cahier des charges fixé par décret (n° 2007-975 du 15 mai 2007). La liste de ces organismes est établie par l'Anesm. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Le décret n° 2007-975 du 15 mai 2007 Chapitre I principes généraux Fixe le cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux : Chapitre I principes généraux Chapitre II objectifs de l’évaluation externe Chapitre III engagement de la procédure d’évaluation externe Chapitre IV étapes de la procédure Chapitre V résultats de l’évaluation externe Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les objectifs de l’évaluation externe Chapitre I Section 1 : fondements de l’évaluation Viser à la production de connaissance et d’analyse (…) dans une logique d’intervention et d’aide à la décision Mieux connaître et comprendre les processus Apprécier les impacts produits au regard des objectifs Interroger la mise en œuvre, la pertinence, des effets prévus et imprévus, l’efficience au regard du contexte Élaborer un cadre d’évaluation spécifique en vue d’un diagnostic partagé Promouvoir des outils de mesure adaptés Ni audit, ni contrôle, ni certification Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les objectifs de l’évaluation externe Chapitre I Section 2 : : conditions particulières Les domaines explorés sont déterminés par les orientations des politiques sociales et médico-sociales en référence aux fondements de l’action sociale et médico-sociale L’action sociale et médico-sociale « tend à promouvoir, dans un cadre interministériel, l'autonomie et la protection des personnes, la cohésion sociale, l'exercice de la citoyenneté, à prévenir les exclusions et à en corriger les effets. Elle repose sur une évaluation continue des besoins et des attentes des membres de tous les groupes sociaux, en particulier des personnes handicapées et des personnes âgées, des personnes et des familles vulnérables, en situation de précarité ou de pauvreté, et sur la mise à leur disposition de prestations en espèces ou en nature ». Le champ des évaluations interne et externe doivent être les mêmes Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les objectifs de l’évaluation externe Chapitre I Section 2 : : conditions particulières Chapitre II section 1 : objectifs de l’évaluation externe Ces évaluations portent sur les activités et la qualité des prestations délivrées Elle s’appuie sur l’observation des pratiques sur le terrain Porter une appréciation globale sur l’adéquation des objectifs par rapport aux besoins et aux missions l’atteinte des objectifs, la production des effets attendus et non prévus les conditions d’efficience de l’action, l’impact des pratiques la réactualisation régulière de l’organisation Les suites réservées à l’évaluation interne Ses résultats sont pris en compte pour le renouvellement de l'autorisation de l'établissement Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Etapes de la procédure d’évaluation externe : le cadre évaluatif Chapitre IV section 1 : observation et description Identifier les missions, les orientations de l’organisme gestionnaire, le contexte et le territoire où se déploie les activités et ses évolutions Rappeler les repères de bonnes pratiques concernant spécifiquement l’établissement ou le service inclus dans les recommandations de l’Anesm Caractériser le profil de la population effectivement accompagnée et son évolution Spécifier les objectifs de l’accompagnement notamment ceux relatifs à la : Promotion de l’autonomie et de la qualité de vie Personnalisation de l’accompagnement Garantie des droits et de la participation Prévention et gestion de risques inhérents à la situation des usagers Adapter le question-nement évaluatif à chaque établissement ou service Identifier les informations nécessaires à l’évaluation : éléments de structure, déploiement effectif des activités et processus structurants, effets pour les usagers, leur disponibilité et les moyens et outils pour les recueillir et les actualiser Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Etapes de la procédure d’évaluation externe : le recueil des informations Chapitre IV section 1 : observation et description ; section 2 : étude et analyse L’analyse s’appuie sur une observation des pratiques collectives à des moments clé Visites et entretiens individuels ou collectifs des professionnels, des usagers et de leur proche Méthodes et outils de l’observation Adapter les modalités de recueil de perspective des usagers aux difficultés spécifiques de communication Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Etapes de la procédure d’évaluation externe : l’analyse Chapitre IV section 2 et 3 : étude et analyse, synthèse Apprécier la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatées Apprécier la pertinence des activités déployées au regard des effets pour les usagers Décrire le niveau de réalisation des objectifs principaux Porter un avis sur les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations et coordination interne et externe, cadre de vie… Confronter la situation observée au cadre de référence défini Les résultats sont transmis avec des propositions et/ou préconisations Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Méthodologie de l’évaluation 3 Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Introduction La partie méthodologique est consacrée : à un rappel des objectifs propres à la démarche d’évaluation et des principes et exigences de méthode qui en découlent ; au rôle de l’évaluation externe dans la dynamique d’amélioration de la qualité des prestations des ESSMS. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les principes généraux Les principes généraux énoncés par le décret du 15 mai 2007 stipulent que l’évaluation permet de : viser à la production de connaissance et d’analyse (…) dans une logique d’intervention et d’aide à la décision ; mieux connaître et comprendre les processus ; apprécier les impacts produits au regard des objectifs ; promouvoir des outils de mesure adaptés. La démarche d’évaluation externe contribue à l’objectif général d’amélioration de la qualité des activités des ESSMS à travers notamment : une appréciation globale de celles-ci ; un examen les suites réservées à l’évaluation interne. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Des caractéristiques communes à l’accompagnement en ESSMS L’évaluation des activités déployées dans les ESSMS exige de bien identifier et prendre en compte leurs particularités ; Les évaluateurs auront à préciser les objectifs de chaque type d’accompagnement dans son contexte pour porter une appréciation sur sa mise en œuvre ; Il est à noter qu’un certain nombre d’enjeux sont communs à toutes les situations d’accompagnement : ils sont à prendre en compte car ils conditionnent fortement la qualité des prestations. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Des caractéristiques communes à l’accompagnement en ESSMS L’identification des besoins et attentes La nécessité et la difficulté d’appréhender les besoins et attentes des usagers  La pluri-dimensionnalité de l’accompagnement Le nécessaire concours de différentes compétences (santé, social, éducatif, psychologique, pédagogique) pour un accompagnement adapté La complexité de l’organisation des articulations et des coordinations L’inscription dans le parcours des usagers La nécessité d’intégrer les ressources du territoire et au-delà du passage dans la structure  Le contexte évolutif de déploiement des activités des établissements et services (population, cadre réglementaire, ressources internes et externes). Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les conséquences pour l’évaluation Caractérisation : Pour analyser l’adéquation des réponses apportées, il est nécessaire d’identifier précisément à qui elles sont proposées ; La caractérisation du profil de la population effectivement accompagnée, l’analyse de ses besoins et attentes et les évolutions éventuelles, sont préalables à la démarche d’évaluation ; Elles permettent de définir de manière spécifique les objectifs de l’accompagnement, les effets attendus et la manière dont ils seront observés et analysés. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les conséquences pour l’évaluation Pluri-dimensionnalité, coordination, intégration : la qualité de l’accompagnement est directement tributaire de la capacité d’intégrer simultanément et de manière cohérente les différentes compétences (santé, social, éducatif, psychologique, pédagogique) inhérentes à toute intervention sociale ou médico-sociale. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Des caractéristiques communes à l’accompagnement en ESSMS L’évaluation s’inscrit dans une perspective dynamique de l’ESSMS inscrit dans un projet d’accompagnement d’un parcours de la personne : la prise en considération des activités des ESSMS doit être faite dans la perspective de sa contribution à un parcours des usagers : en quoi les activités déployées permettent-elles un changement dans la situation des usagers considérée dans le temps et sur un territoire d’où la nécessité d’organiser les coordinations, d’intégrer les ressources locales, d’articuler l’ensemble des interventions : l’évaluation doit porter sur les articulations qui permettent le déploiement du cœur de métier ; dans un contexte mouvant sur les plans réglementaires, partenariaux, de la mobilisation des ressources humaines et matérielles dont il faut prendre en compte les incidences. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Un questionnement évaluatif à décliner Les textes cadre du dispositif d’évaluation et d’amélioration de la qualité des prestations délivrées par les ESSMS ont pour objet de centrer la visée évaluative sur la pertinence de la réponse aux besoins et attentes des usagers comme socle et finalité des interventions, dans le cadre des missions imparties.  Ce qui revient à énoncer le questionnement évaluatif suivant : Dans le cadre des missions imparties, les prestations proposées sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées ? Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Structuration de la démarche évaluative La qualité et la pertinence des activités procèdent de l’adaptation des objectifs aux spécificités de population particulière. La démarche évaluative proprement dite porte sur le cœur de mission des ESSMS : les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accompagnées Elle repose sur : la caractérisation du profil de la population la spécification des objectifs d’accompagnement le recueil de données sur la structure, les processus mis en œuvre et les effets l’analyse des conditions de faisabilité Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Structuration de la démarche évaluative Le regard extérieur de l’organisme habilité présente un intérêt particulier dans l’ensemble du dispositif prévu par le législateur. Il permet notamment d’apporter un regard extérieur sur la question de l’adéquation des objectifs aux profils des populations et à l’intégration des ressources. L’évaluation externe n’est pas une évaluation pour elle-même, elle va s’inscrire dans la démarche globale d’amélioration de la qualité, elle est au service de établissements et services. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Structuration de la démarche évaluative Sa qualité procède donc également de la façon dont elle va alimenter la démarche d’amélioration continue de la qualité des ESSMS. Sont donc tout à fait important : accessibilité et transparence des principaux résultats ; accessibilité et transparence du choix des préconisations ; accessibilité et transparence des méthodes et données utilisées. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Structuration de la démarche évaluative L’évaluation porte sur : les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accompagnées Elle repose sur : la caractérisation du profil de la population la spécification des objectifs d’accompagnement le recueil de données sur la structure, les processus mis en œuvre et les effets l’analyse des conditions de faisabilité Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Rôle de l’évaluation dans l’amélioration de la qualité Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Rappel L’évaluation est à distinguer des démarches d’audit, certification et contrôle Elle constitue bien une démarche de meilleure compréhension d’un établissement ou service dans toute sa complexité et permet de concevoir des pistes de progrès dans le souci d’améliorer les pratiques et la qualité des prestations au regard des besoins et attentes des usagers. Une définition simple et généralement admise d’évaluer un objet (politique, programme, dispositif ou activités d’un organisme), c'est ‘juger’ de sa valeur au regard de critères explicites et sur la base d'informations spécialement rassemblées et analysées. Sur le plan méthodologique, toutes les approches de l’évaluation associent trois dimensions : L’élaboration des critères d’évaluation par : la mise en évidence du problème à traiter, des objectifs poursuivis, des publics-cibles, des résultats attendus ; La collecte d’informations systématiques et diversifiées sur le programme, les activités ; Une appréciation critique portée en référence aux critères et des préconisations en vue d’une décision. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les étapes de l’évaluation 1. Définir le cadre évaluatif mettre en évidence les missions, les caractéristiques des profils populations accompagnées, les objectifs poursuivis et les résultats attendus (niveau de mise en œuvre et effets pour les usagers)  2. Recueillir et analyser des informations fiables et pertinentes choisir puis analyser les informations pertinentes porter un avis sur la pertinence des activités déployées (répondent-elles aux besoins et attentes ?) qui fonde la qualité des prestations 3. Réaliser la synthèse Elaborer des préconisations Rédiger le rapport d’évaluation Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

1. Définir le cadre évaluatif Identifier les missions, contexte et objectifs généraux Recenser les repères de bonnes pratiques professionnelles Méthode : à partir des éléments contenus dans les documents disponibles concernant l’établissement ou le service, (le projet de l’organisme gestionnaire, le projet d’établissement ou de service, l’autorisation, les rapports d’activité…) Caractériser le profil de la population effectivement accompagnée et son évolution Quelles sont les caractéristiques principales de la population accompagnée? Quelles données sur les personnes, sur leur environnement et leur entourage, sur leur parcours Méthode : à partir des éléments contenus dans les projets de vie, projets personnalisés, le recueil des besoins (la nature des accompagnements nécessaires, les fragilités ou risques) et attentes des usagers, analyse de l’ESSMS complété de votre propre exploration si données incomplètes ou à actualiser. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

1. Définir le cadre évaluatif Préciser les objectifs de l’accompagnement Quel est l’impact de ces caractéristiques sur la déclinaison des objectifs principaux ? Quels constats sur les évolutions au cours des cinq dernières années ? Méthode : en répondant aux questions suivantes à l’aide des documents, de la consultation des professionnels et des usagers. Que signifie concrètement promouvoir l’autonomie ou accompagner sa perte, la qualité de vie et la santé, l’insertion sociale Que doit permettre une personnalisation adaptée de l’accompagnement dans le contexte d’exercice ? Qu’est ce que rendre les droits effectifs et favoriser la participation dans telle situation, (usagers et mode d’accompagnement) Quels risques spécifiques pour les usagers sont à prévenir dans cet établissement ou service? Quels sont les effets attendus et recherchés pour les personnes accompagnées ? Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

2. Recueillir des informations fiables et pertinentes Identifier les sources de données Recueillir les informations qualitatives et quantitatives portant sur les principales activités Recueillir la perspective des usagers et des professionnels Méthode : Sur le plan méthodologique, recueillir les informations qualitatives et quantitatives est un passage obligé et les moyens doivent être adaptés à chaque situation Certaines informations sont contenues dans des documents existants et l’évaluation comprend une appréciation de leur validité. Certaines informations sont à actualiser ou à constituer. Les informations portant sur les principales activités sont de nature différentes : Données sur les ressources réglementaires, humaines, matérielles, les références internes ; Données sur les réalisations, et la mise en œuvre, les coordinations ; Données sur les évolutions et les changements constatés, les effets pour les usagers. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

3. Réaliser la synthèse Structurer l’analyse : Les données recueillies permettent d'établir des réponses argumentées, notamment aux questions suivantes : Les activités déployées répondent-elles aux besoins et attentes des usagers ? Quels sont les effets observés, attendus et inattendus, pour les usagers ? Quel est le niveau de réalisation des objectifs ? L’autonomie, la qualité de vie et la santé sont-elles promues ? La personnalisation est-elle effective ? Les droits sont-ils garantis ? Quels sont les résultats obtenus  par les actions de prévention des risques ? Quelle analyse porter sur l’inscription de l’établissement ou du service dans son environnement, sur le projet de l’établissement ou du service ? Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

3. Réaliser la synthèse Cette analyse permet d’identifier des causes singulières ou communes aux écarts et les marges de progression ; les points forts de l’organisation ou les pratiques qui produisent des effets positifs et qui sont à relayer ou généraliser Rédiger le rapport d’évaluation décrire le niveau de réalisation des objectifs principaux ; apprécier la capacité d’adaptation de l’établissement ou du service au regard des évolutions ; apprécier la pertinence des activités déployées au regard des effets pour les usagers ; porter un avis sur les conditions de réalisation ; proposer des pistes d’amélioration et des préconisations. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Le rapport d’activité rendu à l’Anesm par les organismes habilités 4 Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Le décret n°2007-975 du 15 mai 2007 Parmi ses missions et en application du décret précité, l’Anesm assure le suivi de la mise en œuvre de l’évaluation interne et externe. Pour cela, l’Anesm s’appuie sur les rapports d’activité que les organismes habilités en charge de l’évaluation externe devront lui transmettre. Le suivi des résultats de l’évaluation est inscrit au programme de travail 2009 de l’Agence. L’ensemble s’inscrit dans un processus global qui vise à garantir le respect des critères de l’habilitation par les organismes, la qualité des procédures des différentes évaluations, la remontée des informations indispensables à l’exercice des missions de l’Anesm. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Le décret n°2007-975 du 15 mai 2007 Art.D.312-202 : les organismes habilités rendent à l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux, selon les formes et une périodicité qu’elle détermine (…) un rapport d’activité qui permet notamment d’examiner le respect du présent cahier des charges et des critères d’habilitation. NOTA BENE Le rapport d’évaluation est le rapport adressé par les organismes habilités à l’ESSMS évalué qui par la suite le transmet à l’autorité. Le rapport d’activité est le rapport adressé par les organismes habilités à l’Anesm. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Les attendus de l’Anesm S’assurer du respect des exigences du cahier des charges par les organismes habilités (décret n°2007-975 du 15 mai 2007) Disposer d’informations sur les principaux champs couverts et la méthodologie employée Disposer d’éléments de synthèse sur les résultats des évaluations (interne et externe) et la dynamique d’amélioration de la qualité dans le secteur social et médico-social. Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Structuration du rapport Afin de répondre à ces objectifs, une structuration du format de la synthèse adressée à l’Anesm est proposée : Synthèse rédigée à l’issue de chaque mission d’évaluation, construite autour de cinq thématiques principales 1. Identification de l’organisme habilité et du commanditaire de l’évaluation externe 2. Respect des critères d’habilitation 3. Profil de l’établissement ou du service évalué 4. Méthode d’évaluation externe 5. Eléments de synthèse de l’évaluation conduite Une notice d’accompagnement sera mise à disposition des évaluateurs externes Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Eléments attendus type d’établissement & secteur d’activité 1. Identification de l’organisme habilité et du commanditaire de l’évaluation externe organisme habilité commanditaire de l’évaluation documents contractuels 2. Respect des critères d’habilitation Données relatives à la mission d’évaluation (durée, coût…) Evaluateurs ayant réalisé la mission (expériences, compétences) 3. Profil de l’établissement ou du service évalué type d’établissement & secteur d’activité caractéristiques générales et spécifiques Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Eléments attendus 4. Méthode d’évaluation externe informations recueillies : De quelles informations relatives à la structure, au contexte d’exercice, au profil des personnes accueillies, aux objectifs d’accompagnement, aux activités, à leur suivi, aux effets pour les usagers, l’évaluateur externe a-t-il disposé pour forger son appréciation ? Étaient-elles disponibles, ont-elles été actualisées ? modalités de participation des parties prenantes Des outils et méthodes doivent être employées pour recueillir le point de vue des usagers et analyser les pratiques collectives. L’appréciation des usagers sera recherché sur la base d’informations déjà collectées (appréciation de l’évaluateur sur la validité du recueil), du recueil direct quand il en a la possibilité Elle repose sur l’observation par l’évaluateur externe de temps-clef dans l’accompagnement. Le recueil de données est également réalisé auprès des différentes catégories de professionnels Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Eléments attendus 4. Méthode d’évaluation externe (suite) rapport d’évaluation transmis à l’ESSMS modalités de validation des étapes de l’évaluation externe Le décret prévoit la validation des différentes étapes : il s’agit de s’assurer que ces modalités ont bien été respectées éléments constitutifs du rapport Les éléments attendus prévus dans le décret sont-ils présents ? Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009

Eléments attendus 5. Eléments de synthèse de l’évaluation conduite Profil de la population accueillie Appréciation du niveau de réalisation des objectifs principaux (leur suivi et le constat des effets pour les usagers) Appréciation sur les moyens mis en œuvre pour une amélioration continue de la qualité des prestations (notamment plan d’amélioration, outils de suivi issus de l’évaluation interne) Champ des actions d’amélioration et des préconisations Journée d’information sur l’évaluation externe et l’habilitation - 23 juin 2009