Séminaire interrégional des directeurs d’IME La Baule, 21&22 septembre 2010 De l’évaluation des activités au renouvellement d’autorisation et la réponse à l’appel à projet .. ..à la croisée des recommandations : évaluation, qualité, efficience, performance.. Pascal DREANO, conseiller technique CREAI de Bretagne

1 Cahier des charges, recommandations, indicateurs à prendre en compte Cahier des charges de l’évaluation Domaines de l’évaluation interne Domaines de l’évaluation externe RBPP Indicateurs Creai B. Creai PL. Séminaire Interrégional Sept 2010 Pascal Dreano

Pour l’évaluation interne Pour l’évaluation externe L’évaluation des activités et la qualité des prestations : cahier des charges (décret n°2007-975 ) Pour l’évaluation interne Viser à la production de connaissance et d’analyse Porter sur l’effectivité des droits des usagers et les conditions de réalisations du projet de la personne, notamment « la capacité de l’établissement ou du service à évaluer avec les usagers les besoins et attentes » … Pour l’évaluation externe Porter une appréciation globale Examiner les suites de l’évaluation interne Examiner certaines thématiques et des registres spécifiques Droits des usagers, et conditions de réalisation du projet personnalisé L’ouverture de l’établissement ou du service sur son environnement, et des interactions .. Elaborer des propositions et/ou des préconisations Creai B. Creai PL. Séminaire Interrégional Sept 2010

Objectifs/domaines génériques de l’évaluation interne (Anesm) Promotion de l’autonomie et qualité de vie des personnes Personnalisation de l’accompagnement Garantie des droits et de la participation Protection des personnes et prévention des facteurs liés à la vulnérabilité Insertion et ouverture de l’établissement sur et dans son environnement Organisation interne, ressources, système d’information.. Creai B. Creai PL. Séminaire Interrégional Sept 2010

Modalités de mise en œuvre du rapport d’activité périodique que les organismes habilités à l’évaluation externe par l’Anesm doivent lui adresser. DECISION n°2010001 du 2 juillet 2010 ( Anesm) Porter une appréciation sur l’existence et la pertinence des dispositifs de gestion et de suivi des activités et de la qualité des prestations délivrées ; Examiner la cohérence et la continuité des actions et interventions entre autre au regard du projet personnalisé ; Examiner les suites réservées aux résultats issus de l’évaluation interne et plus particulièrement les modalités de suivi et de bilan périodique ; Examiner la politique de gestion des risques individuels et collectifs ; Examiner le respect des critères énoncés par la réglementation notamment relatifs à la qualité de l’hébergement ; Examen de la prise en compte des recommandations formulées par l’Anesm. Creai B. Creai PL. Séminaire Interrégional Sept 2010

Des recommandations de bonnes pratiques professionnelles ( Anesm, HAS ) Et notamment : La bientraitance Les attentes de la personne et le projet personnalisé L’ouverture de l’établissement sur et dans son environnement Mission du responsable d’établissement et rôle de l’encadrement dans la prévention et le traitement de la maltraitance Concilier la vie en collectivité et la personnalisation de l’accueil et de l’accompagnement Pour un accompagnement de qualité des personnes avec autisme ou troubles envahissants du développement Conduite de l’évaluation interne Élaboration, rédaction et animation du projet d’établissement ou de service Autisme et troubles envahissants du développement : programmes et interventions chez l’enfant et l’adolescent ( note de cadrage ) Sur le dépistage et le diagnostic de l’autisme Pour la pratique professionnelle du diagnostic de l’autisme Creai B. Creai PL. Séminaire Interrégional Sept 2010

23 indicateurs médico –sociaux dont 9 communs aux ESMS Communs à tous les ESMS Répartition par classe d’âge et par sexe Durée moyenne de prise en charge Qualification Vieillesse technicité Coût de structure Fonction d’encadrement Temps actif mobilisable Coût de prise en charge et d’intervention Temps de formation Spécifiques : ex Répartition des pop par déficiences primaires Répartition des pop en ITEP Immobilier Transport du personnel Refus d’admission Taux d’occupation Creai B. Creai PL. Séminaire Interrégional Sept 2010

Et des indicateurs .. de performance à venir (Anap) Objectif : construire une vingtaine d’indicateurs Parcours de personnes dans un territoire de santé, ressources humaines, ressources financières et matérielles … gestion du patrimoine, .. Creai B. Creai PL. Séminaire Interrégional Sept 2010

2. Démarche d’amélioration continue de la qualité des prestations : un processus dynamique Évaluation Objectifs d’amélioration Mise en œuvre Plan d’actions Creai B. Creai PL. Séminaire Interrégional Sept 2010 Pascal Dreano

L’évaluation interne : structuration de la démarche (RBPP conduite de l’EI dans les ESMS. Anesm 2008) évaluation des activités déployées Phase Détermination du cadre évaluatif ( domaines Anesm) Recueil des informations Analyse des informations Élaboration d’un plan d’amélioration Phase d’amélioration de la qualité des prestations Communiquer /diffuser les propositions du groupe de travail, puis les décisions à : professionnels, personne morale, partenaires institutionnels et de terrain, usagers Mettre en œuvre mesures et échéancier: Plan d’amélioration, calendrier et effets attendus Définir les modalités de suivi, de bilan : Accompagnement de la mise en œuvre et du suivi du plan d’amélioration Assurer la participation des usagers au plan d’amélioration : CVS, autres formes de participation : groupes de parole.. Information.. Creai B. Creai PL. Séminaire Interrégional Sept 2010

3. De nouvelles logiques à l’œuvre à combiner Temporalité Conduite de projet Qualité des prestations Activité Creai B. Creai PL. Séminaire Interrégional Sept 2010 Pascal Dreano

De nouvelles logiques à l’œuvre à combiner Temporalité De l’indéterminé au subordonné De l’exercice simple au cycle séquencé Conduite de projet De la compilation de plans à l’élaboration d’un système complexe d’action : références, information, pilotage, gestion Qualité des prestations De la reconduction annuelle d’activités à la planification à moyen terme de l’amélioration de l’offre de service Activité Du rendu compte annuel à l’évaluation continue séquencée Creai B. Creai PL. Séminaire Interrégional Sept 2010

Temporalité : complexification 1/1 du perpétuel au renouvellement (conditionné) tous les 15 ans Subordonné à l’évaluation externe Conventionnements Unité d’enseignement Projet personnalisé de scolarisation Autorisation de l’annualité à la pluri annualité. 5 ans de la nécessité de synchroniser Projet d’établissement : maxi 5 ans Evaluation interne : tous les 5 ans Projet d’unité d’enseignement : 3 ans Evaluation externe : 3 ans CPOM 3 à 5 ans de la prépondérance de la démarche d’amélioration continue ( EI + PA) Exercice Creai B. Creai PL. Séminaire Interrégional Sept 2010

Conduite de projet : des interactions 2/3 Projet d’ES (volet pédagogique) et pratiques professionnelles associées (modes opératoires) Dispositions d’accueil et d’accompagnement spécifiques aux personnes avec autisme Référentiel Conventions ( PPS, UE) Autres outils de la loi 2002-02, livret d’accueil, reglt de fonctionnement Procédures & enregistrements Appropriation des RBPP Système documentaire et de référence Dossier individuel, base de données, outils & protocoles de transmission interne et externe Enquête ES Rendu compte de la démarche de progrès : rapport d’évaluation Rendu compte de l’activité ( rapport dont bilan pédagogique détaillé ) Dossier réponse appel à projet Système d’information et d’évaluation Creai B. Creai PL. Séminaire Interrégional Sept 2010 Pascal Dreano

Conduite de projet : des interactions 3/3 Dispositif d’actualisation /animation du projet d’ES Tableaux de bord Groupe de(s) progrès thématiques Groupement de coopération Système de pilotage Ressources humaines : plan de prévention des risques inhérents à la vulnérabilité plan de formation, Plan de prévention des risques professionnels, Ressources financières : budget alloué ou CPOM Système de gestion Creai B. Creai PL. Séminaire Interrégional Sept 2010

Qualité des prestations : Plan d’amélioration et effets attendus Promotion de l’autonomie et la qualité de vie des personnes Personnalisation de l’accompagnement Garantie des droits et participation Protection prévention des facteurs liés à la vulnérabilité Ouverture de l’ES L’organisation interne Effets recherchés à définir dans les domaines investis par l’évaluation interne Ex : Dispositions spécifiques d’accueil et d’accompagnement Creai B. Creai PL. Séminaire Interrégional Sept 2010

L’activité : du rendu annuel à l’évaluation continue séquencée Établissement rapport d’activité Chaque année L’activité de la séquence annuelle du projet d’établissement (incluant le volet projet unité d’enseignement)+ procédures d’évaluation interne en cours Des liens : base de données, rapport d’évaluation, cahier explicatif / suivi CPOM.. Unité d’enseignement Bilan détaillé d’activités Tous les 3 ans Effectivité des dispositions conventionnelles et en particulier le stade de réalisation des objectifs de son projet pédagogique. Des liens : convention PPS, base de données, rapport d’activité, rapport d’évaluation Établissement rapport d’évaluation Tous les 5 ans Phase d’évaluation + phase d’amélioration (tout ou partie de la réalisation du plan d’amélioration et ses effets produits) Des liens : actualisation outils droits des usagers, CPOM, dossier réponse appel à projet .. Creai B. Creai PL. Séminaire Interrégional Sept 2010

Domaines d’évaluation (Anesm) 4. Pour se préparer à l’évaluation externe Vers un plan d’amélioration global Domaines d’évaluation (Anesm) Systèmes Référence Information Pilotage Gestion Promotion de l’autonomie et la qualité de vie des personnes Personnalisation de l’accompagnement Garantie des droits et de la participation Protection des personnes et prévention des facteurs liés à la vulnérabilité Insertion et ouverture de l’ES sur son environnement L’organisation interne, les ressources, les systèmes.. Actions, délais, ressources, modalités de suivi, effets recherchés, indicateurs Creai B. Creai PL. Séminaire Interrégional Sept 2010

1. Cadre et éléments de contexte 3. démarche d’évaluation interne Pour se préparer à l’évaluation externe .. Du plan d’amélioration au rapport d’évaluation 1/2 Cahier des charges, Recommandations en cours Schéma, PRIAC Données budgétaires, CPOM Antériorité de la démarche continue d’évaluation 1. Cadre et éléments de contexte Présentation de l’ES Public accueilli et problématiques en cours 2. l’ES Choix des modalités et organisation Conditions effectives Choix du cadre évaluatif, priorités retenues , itinéraire Association des usagers, des partenaires 3. démarche d’évaluation interne Creai B. Creai PL. Séminaire Interrégional Sept 2010

5.Suites de l’évaluation interne Pour se préparer à l’évaluation externe .. Du plan d’amélioration au rapport d’évaluation 2/2 Apports théoriques, méthodologiques Analyse, aide à la décision Valorisation des pratiques (points forts, points à améliorer) Contribution à l’innovation 4. effets produits Communication et diffusion des propositions puis les décisions Mise en œuvre des mesures priorisées visant à l’amélioration et échéancier (plan d’amélioration global) Effets recherchés /indicateurs Définition des modalités de suivi, de bilan Participation des usagers, des partenaires 5.Suites de l’évaluation interne Domaines d’évaluation Dispositions participatives Effets produits Tableaux de bord, Indicateurs 6. Bilan d’étape Creai B. Creai PL. Séminaire Interrégional Sept 2010

5. .. et au renouvellement de l’autorisation.. Outils de régulation : une nouvelle combinaison Le(s) rapport(s) d’évaluation : un outil stratégique de valorisation Le rapport de propositions/préconisations de l’organisme d’évaluation externe à destination des autorités de contrôle et de tarification Les « rapports circonstanciés porteurs de préconisations » issus des (2) évaluations externes effectuée par les corps d’inspection compétents de l’éducation nationale. Le bilan financier et ses tableaux de bord .. De l’opportunité à la pertinence du projet (besoins identifiés / objectifs poursuivis) et à son effectivité (stade de réalisation des objectifs) 1 François Charleux, Daniel Guaquère « Réussir l’EI en action sociale » Creai B. Creai PL. Séminaire Interrégional Sept 2010

6. Autorisation (renouvellement) et réponse à appel à projet Des éléments du cadre d’étude communs Un dispositif administratif (commission): sélection d’appel à projet social ou médico-social et procédure d’autorisation (et renouvellement) des ESMS Des critères de recevabilité et d’éligibilité: compatibilité (schéma, PRIAC), conformité règles d’organisation et de fonctionnement, mise en œuvre des démarches d’évaluation et systèmes d’information (amélioration continue de la qualité ses prestations) Des éléments de cahier des charges coût de fonctionnement prévisionnels, critères de qualité des prestations, exigences architecturales et environnementales, dispositions de coopération, de contractualisation, d’évaluation de la réponse aux besoins Des indicateurs : les 9 indicateurs médico-sociaux : l’émergence d’indicateurs de performance dans le médico-social (Anap) : .. Allier pertinence, effectivité et efficience du projet (ressources attribuées/résultats obtenus) …. D’une régulation tutélaire à une régulation contractuelle Creai B. Creai PL. Séminaire Interrégional Sept 2010