Séminaire Autoévaluation CAARUD AIDES 15 et 16 septembre 2010 CAARUD, AUTOÉVALUATION, EVALUATION INTERNE, QUALITÉ ET PROMOTION DE LA SANTÉ : QUELLES ARTICULATIONS, QUELS ENJEUX, QUELS OUTILS ? DQ AIDES septembre 2010 Séminaire Autoévaluation CAARUD AIDES 15 et 16 septembre 2010

LES OBJECTIFS DE L’ÉVALUATION INTERNE L’évaluation interne des CAARUD de AIDES se donne deux objectifs : Apporter une réponse évaluative à la question du conseil d’administration de AIDES Réaliser une première évaluation interne répondant aux obligations de la loi de 2002 sur les établissements médicaux sociaux DQ AIDES mars 2010

Les objectifs opérationnels de cette évaluation interne sont de : Produire un document national rapportant la démarche réalisée et proposant une analyse de la manière dont AIDES met en œuvre une démarche communautaire en santé dans ses CAARUD. Produire un rapport d’évaluation interne par CAARUD à destination des ARS décrivant comment chaque CAARUD de AIDES répond aux missions qui lui sont confiés par les textes réglementaires. DQ AIDES mars 2010

DQ AIDES mars 2010

AVANT D’ÉVALUER, SITUER SON POINT DE VUE Sur la santé et sur l’évaluation Promotion de la santé et démarche communautaire Se mettre d’accord sur une définition (un objectif) de l’évaluation : Evaluer, c’est produire des connaissances (recueillir des informations) sur lesquelles on va porter un jugement pour prendre des décisions (poursuivre ou adapter le programme d’action)

L’ÉVALUATION (AUSSI) AU SERVICE DES INTERVENANTS L’évaluation est le moyen privilégié pour apprendre par sa propre expérience, et ceci de façon consciente, explicite et donc apte à être communiquée et critiquée, partagée et améliorée. (R. Zuniga) Evaluer son action c’est apprendre sur l’action et apprendre dans l’action. Apprendre dans l’action, c’est aussi apprendre pour l’action. (R.Z.)

Qu’est ce qu’on veut évaluer ? Evaluation de l’activité : indicateurs et rapport d’activité Evaluation du processus / évaluation formative : Evaluation réalisée de manière continue, pendant le déroulement de l’action, qui doit nous informer sur ce qui se passe et nous permettre de juger si le déroulement concret de l’action ou du programme est conforme à ce que nous avions prévu. Evaluation du résultat / Evaluation sommative / Evaluation des effets : Elle s’appuie sur les résultats produits par l’action à un temps T, souvent en mesurant l’écart entre la situation initiale et la situation finale.

Où se porte le regard évaluatif ? Interactions individuelles : intervenants- accueillis, relation entre accueillis Interactions collectives : dynamique dans les actions collectives, impact dans la communauté professionnelle (« la délégation ») Impact sur l’environnement professionnel, et associatif : les autres actions, autres niveaux, les partenaires, la démocratie sanitaire

Qui porte les évaluations ? Mobilisation, participation et responsabilités Pour Nous et/ou pour Eux ? Autoévaluation vs évaluation externe Evaluation et démarche qualité

1. L’ÉVALUATION DES ACTIONS DE PROMOTION DE LA SANTÉ Les limites de l’évaluation en promotion de la santé: « évaluation-contrôle »; évaluation activité / évaluation objectifs complexes ; évaluation sans moyens (proportionnalité) ; La place de la démarche qualité par rapport à l’évaluation Passer de « Est ce que cela marche ? » et « qu’est ce qui marche ? » à « comment ou pourquoi ça marche ? » et « qu’est ce qu’on peut améliorer ? » (Decache) Evaluation réaliste + la DQ viendrait compléter et intégrer, sous un autre angle, avec des objectifs propres, une démarche évaluative DQ AIDES mars 2010

2 Les objectifs de la démarche qualité Améliorer en permanence la qualité du service rendu (produit avec) aux personnes et aux populations concernées par les actions mises en œuvre par les associations. Trois objectifs complémentaires : renforcer le travail d’équipe et de communication interne ; mettre en évidence les compétences acquises et les développer ; favoriser la reconnaissance par les partenaires DQ AIDES mars 2010

3. Une transférabilité limitée des méthodes et outils qualité existants Les essais de transposition dans d’autre domaines (social, humanitaire) voir l’URD En PDS la DQ doit permettre que les actions répondent au mieux aux besoins de santé des populations en leur donnant la place que leur confère la charte d’Ottawa et que ces actions satisfassent aux engagements associatifs vis à vis de la collectivité qui les soutient. DQ AIDES mars 2010

4. Les modèles qualité retenus pour le guide L’amélioration continue de la qualité (Roue de Deming) : amélioration pas à pas versus saut qualitatif L’assurance qualité : repérage des points critiques, standardisation des processus (GCA, fiche-actions et guide méthodo de projet) → critères négociés: points de contrôle et indicateurs choisit par les utilisateurs = mixte L’autoévaluation : portées par les acteurs (≠ certification externe) de manière volontaire (≠ accréditation obligatoire) DQ AIDES mars 2010

La qualité ? Une évidence : tous les acteurs souhaitent faire le mieux possible ! Une notion a priori évidente et consensuelle mais… des points de vue différents pour les parties prenantes !! 1 Ce que le gouvernement préconise La forme revue par le comité Ce que proposent les experts Ce que la population voulait réellement Le compromis Le système installé

La démarche qualité, c’est quoi ? Métaphore culinaire Comment réussir au mieux ma tarte aux pommes ? La recette de ma grand-mère Un liste pour les courses 3. La préparation et la cuisson Mes impressions et la satisfaction des convives Mes interrogations pour comprendre ce qui s’est passé et faire encore mieux la prochaine fois Comment améliorer mes actions de PDS ? Un guide commun d’action Une fiche action et la mobilisation des acteurs Réalisation de l’action L’évaluation des résultats de l’action 5. Utilisation du guide d’autoévaluation de la qualité de notre action AIDES - MIRE - QUALITE - décembre 2009 Vous en conviendrez, il ne suffit pas de se conformer strictement à la recette pour réussir sa tarte aux pommes…il y a beaucoup de choses qui contribuent à la sa qualité : est ce que j’ai déjà fait une tarte aux pommes et quels sont les petits trucs, le savoir que j’ai retenu de cette expérience?

L’amélioration continue de la qualité PLAN (P) planifier : définir les priorités ou les caractéristiques attendues, la façon dont on va les atteindre, l'échéancier. DO (D) réaliser : mettre en œuvre. • CHECK (C) : vérifier que les objectifs visés sont atteints. mesurer l'écart, comprendre ce qui s'est passé. phase d’auto- évaluation , questionner et comparer le prévisionnel et le réalisé. • ACT (A) ajuster: prendre les mesures correctives pour arriver au résultat et s'assurer que cet acquis demeurera stable. DQ AIDES mars 2010

Les outils de la démarche qualité : 2 types d’outils complémentaires Des guides communs d’action propres à AIDES Guide (repères, balises, aide) Commun (partage de l’expérience acquise collectivement, dénominateurs communs) Action (base de notre activité auprès d’une population et/ou dans un lieu particulier) Un guide d’auto-évaluation de la qualité en PDS Sous l’égide de l’INPES Inter-associatif : FNES, AIDES, ANITEA, ANPAA, MFPF, AFD et petites associations Une version adaptée à notre réalité de terrain AIDES - MIRE - QUALITE - décembre 2009

Les étapes de la démarche qualité

Et par l’approche globale de la santé

PREVENTION/PROMOTION (adapté de C. Michaud, 1999) PREVENTION DES MALADIES, DES ACCIDENTS, DES HANDICAPS Prévention primaire Facteurs de risque, comportements à risque Prévention secondaire dépistages Prévention tertiaire Symptômes, maladies, complications Approche thématique PROMOTION DE LA SANTE bien-être estime de soi compétences personnelles qualité de vie Approche globale DQ AIDES mars 2010

PROMOTION DE LA SANTE DQ AIDES mars 2010 « Un processus qui confère aux populations les moyens d’assurer un plus grand contrôle sur leur propre santé et d’améliorer celle-ci » Charte d’Ottawa, 1986 « Toute combinaison d’actions planifiées de types éducatif, politique, législatif ou organisationnel appuyant des habitudes de vie et des conditions de vie favorables à la santé d’individus, de groupes ou de collectivités » Green et Kreuter, 1991 « Une philosophie et un ensemble de pratiques; une philosophie puisque c’est la vision de la santé publique définie dans des documents clés tels que la Charte d’Ottawa; c’est aussi un ensemble de pratiques visant le changement planifié de comportements liés à la santé et incluant des stratégies d’intervention telles que le marketing social, l’éducation pour la santé, l’action politique et l’organisation communautaire » O’Neill, 1997

Promotion de la santé (2) OMS Ottawa 1984 Principes dans l’action de AIDES Plaidoyer, transformation sociale Approche globale de la santé, Action sur les déterminants Mobilisation communautaire Renforcement des compétences des personnes à être acteurs de leur santé, gérer les risques… Axes de la promotion de la santé Élaborer une politique publique saine Réorienter les services de santé Créer des milieux favorables Renforcer l'action communautaire Acquérir des aptitudes individuelles