Symposium: Cadre de réflexion et d’action pour les interventions visant à réduire les inégalités de santé L’évaluation réaliste une méthode adaptée à la complexité des interventions de réduction des inégalités sociales de santé Dr Pierre BLAISE Directeur du projet régional de santé Agence Régionale de Santé des Pays de la Loire, Nantes, France

L’évaluation d’interventions de réduction des inégalités sociales de santé A la question: est-ce que çà marche ? L’intervention a-t-elle produit le résultat attendu ? Le résultat peut-il être attribué à l’intervention et à l’intervention seulement ? Puis-je reproduire l’intervention avec certitude d’obtenir le même résultat ? Une méthode : l’évaluation expérimentale Test de la relation cause-effet : L’intervention I (cause) produit le résultat O (effet) toutes choses étant égales par ailleurs

L’évaluation expérimentale étudie la relation cause-effet d’une intervention Confounding factors Confounding factors Intervention Outcome + Outcome - Random assignment Habituellement lorsque l’on veut évaluer les interventions et en particulier les interventions dans le domaine de la santé, on étudie la relation de causalité entre l’intervention I et son effet O comme Outcome. on cherche alors à établir une relation de causalité en éliminant tous les biais possibles que l’on contrôle grâce à la méthode expérimental, en réalisantdes essais randomisés et contrôlés en double aveugle. Mais lors ce que les billets ne sont pas contrôlables parce qu’ils sont provoqués par l’interaction entre l’intervention et le contexte dans lequel elle se déroule, la méthode expérimentale n’est pas pertinentes. Ce que pawson & Tilley préconise avec l’évaluation réaliste s’est de déplacer le centre de gravité de l’évaluation: au lieu d’étudier les la relations de causalité linéaire entre une intervention et ces effets toutes choses étant égales par ailleurs, on reconnaît que les choses ne sont pas toutes égales par ailleurs, et on étudie la relation entre le le mécanisme par lequel l’intervention produits en effet, et le contexte. Le postulat sous-jacent est que c’est précisément la configuration du contexte qui permet de déclencher le mécanisme par lequel l’intervention produit ses effets. On peut alors expliciter cette interaction en construisant une première théorie concernant ce mécanisme que l’on va alors confronter à de multiples contextes différents. On affine alors progressivement la théorie : il ne s’agit plus de rejeter qui ou de confirmer la relation intervention effet,il s’agit d’enrichir la théorie qui explique comment et pourquoi l’intervention produit ou ne produit pas ces effets dans différents contextes. Le contexte que nous étudions correspond à la configuration des systèmes de santé L’effet que nous voulons observer, c’est la transformation de l’organisation autour du principe d’amélioration de qualité. Le mécanisme que nous étudions ces celui de la mise en œuvre de la démarche qualité. Nous cherchons à construire une théorie qui explique comment les organisations peuvent éventuellement être transformées, par la démarche qualité. Non Intervention Outcome + Outcome -

L’étude d’interaction dans les systèmes complexes: un défi L’évaluation expérimentale de projets d’intervention vise à la généralisation des succès et le rejet des échecs: La question est : est-ce que çà marche ? Mais ce qui ‘marche’ dans un contexte peut ne pas donner les mêmes résultats dans un autre contexte Le résultat agrégé d’expériences multiples est alors souvent nul …Parce que dans les systèmes complexes auto adaptifs, toutes choses ne sont jamais égales par ailleurs

Le défi méthodologique Comment évaluer une intervention dans des systèmes complexes auto-adaptatifs où L’effet de l’intervention dépend précisément de son interaction avec le contexte Ces interactions entre le contexte et l’intervention ne sont ni directes ni constantes le contexte change d’un lieu d’intervention à l’autre et dans le temps Les facteurs de confusion du contexte ne sont pas contrôlables Autrement dit là où on ne peut pas construire un groupe témoin pour lequel toutes autres choses que l’intervention sont égales par ailleurs

Pour relever le défi: question adaptée, méthode adaptée La question n’est pas ‘est-ce que çà marche ?’ La question est: ‘est-ce que çà marche, comment, pour qui, et dans quelles circonstances? La méthode: l’évaluation réaliste. On ne ‘teste’ pas la relation causale entre l’intervention et son effet. On ‘teste’ la théorie selon laquelle l’intervention I produit son effet O dans un contexte C

L’évaluation réaliste étudie les interactions dans les systèmes complexes Theorie=CMO Context Mécanisme Intervention Outcome + Outcome - Habituellement lorsque l’on veut évaluer les interventions et en particulier les interventions dans le domaine de la santé, on étudie la relation de causalité entre l’intervention I et son effet O comme Outcome. on cherche alors à établir une relation de causalité en éliminant tous les biais possibles que l’on contrôle grâce à la méthode expérimental, en réalisantdes essais randomisés et contrôlés en double aveugle. Mais lors ce que les billets ne sont pas contrôlables parce qu’ils sont provoqués par l’interaction entre l’intervention et le contexte dans lequel elle se déroule, la méthode expérimentale n’est pas pertinentes. Ce que pawson & Tilley préconise avec l’évaluation réaliste s’est de déplacer le centre de gravité de l’évaluation: au lieu d’étudier les la relations de causalité linéaire entre une intervention et ces effets toutes choses étant égales par ailleurs, on reconnaît que les choses ne sont pas toutes égales par ailleurs, et on étudie la relation entre le le mécanisme par lequel l’intervention produits en effet, et le contexte. Le postulat sous-jacent est que c’est précisément la configuration du contexte qui permet de déclencher le mécanisme par lequel l’intervention produit ses effets. On peut alors expliciter cette interaction en construisant une première théorie concernant ce mécanisme que l’on va alors confronter à de multiples contextes différents. On affine alors progressivement la théorie : il ne s’agit plus de rejeter qui ou de confirmer la relation intervention effet,il s’agit d’enrichir la théorie qui explique comment et pourquoi l’intervention produit ou ne produit pas ces effets dans différents contextes. Le contexte que nous étudions correspond à la configuration des systèmes de santé L’effet que nous voulons observer, c’est la transformation de l’organisation autour du principe d’amélioration de qualité. Le mécanisme que nous étudions ces celui de la mise en œuvre de la démarche qualité. Nous cherchons à construire une théorie qui explique comment les organisations peuvent éventuellement être transformées, par la démarche qualité. Construction de théorie: Synthèse réaliste R1 C1 M1 R2 C2 M2

Un changement de paradigme: expérimental versus réaliste Postulat : La même action produit le même effet Métaphore: l’horloge Démonstration: test de falsification de l’hypothèse nulle Explication causale : successioniste (relation cause-effet établie jusqu’à preuve du contraire) Méthode: épidémiologie, études randomisée en double aveugle Relations linéaires Contexte simple (ou compliqué) Les facteurs confondants sont soit éliminés, soit contrôlés par randomisation Postulat: Les effets ne sont pas garantis, le contexte est central Métaphore:le battement d’aile du papillon Démonstration: Etudes de cas multi-sites et interdisciplinaires Explication causale : generative (Des relations causes effet qui génèrent des familles de tendances) Méthode science sociales : études de cas pour générer des théories d’action Relations non linéaires & rétroactions typiques des systèmes complexes Contexte système complexes auto-adaptatifs Les facteurs confondants font partie du contexte, ne peuvent pas être contrôlés et contribuent à l’effet

L’évaluation réaliste, comment çà marche ? Théorie à tester Étude de cas 1 contextes A et B Théorie initiale M, M’ Etudes de cas 2, 2bis et 2ter Contexte B1 B2 B3 Théorie intermédiaire M’1,M’2,M’3, M’4 Étude de cas 3 contexte B 4 Etude de cas 4 contexte B 2 Etude de cas 5 contexte B 4 Pour mener une évaluation réaliste on procède donc en multipliant des études de cas dans des contextes différents. La première étape consiste à construire une théorie initiale nous la construirons à travers une comparaison entre les systèmes européens et africains. Puis nous affinerons cette première théorie dans une théorie intermédiaire résultants d’une deuxième étude de cas, en réalité une combinaison de trois études de cas au Niger en Guinée et au Zimbabwe Plus nous étudierons différent aspects soulevés par cette théorie intermédiaire à l’aide de trois études de cas mené en parallèle d’une part au Maroc concernant la guidance scientifique, d’autre part au Zimbabwe dans un projet de recherche action, et enfin au Maroc dans une évaluation de dix ans de projet qualité. Nous construisons ainsi des théories complémentaires qui viennent enrichir notre théorie intermédiaire. Nous pouvons ensuite faire une synthèse de l’ensemble de ces études afin de construire une théorie améliorer les complétées, toujours provisoire qui représente un affinement de la théorie initiale. Le processus n’est jamais terminé, ce que nous présentons ici est donc une synthèse d’étape. Théories complémentaires M’3 Synthesis Théorie ‘intermédiaire’ améliorée

Evaluation réaliste: potentiel et limites Une alternative au paradigme expérimental Prends en compte le contexte le temps and la complexité réduit la complexité en modélisant pour permettre d’agir Limites: ce sont des théories intermédiaires Théories incomplètes: la modélisation simplifie trop et laisse des zones d’ombre Théories provisoires: le contexte change en permanence … Y compris grâce aux interventions! Théories contextuelles: la généralisation est hasardeuse