Qu’est-ce qu’un état de l’art systématique selon des critères explicites ? Séminaire EBP Biosoc / MAP 8 février 2008 Bruno Tinel Université Paris 1 / CNRS CES-Matisse (UMR 8174)

Qu’est-ce qu’un état de l’art systématique selon des critères explicites (systematic review) ? Méthodologie élaborée initialement dans le domaine de la médecine afin de permettre aux praticiens de soigner au mieux compte tenu de l’évolution des connaissances scientifiques.

La source la plus connue et la plus développée en la matière est la Cochrane Collaboration (cochrane.org) propose en ligne une base de données de revues systématiques (The Cochrane Library) mais de plus en plus de journaux spécialisés et d’organismes publient aussi des revues systématiques, dans un nombre croissant de disciplines.

ex : Centre for Evidence-Based Conservation Systematic Review No. 22. The Effectiveness of Management Options Used for the Control of Spartina Species. 2006. [Spartine] Systematic Review No. 21. Are Japanese Knotweed (Fallopia japonica) Control and Eradication  Interventions Effective? 2007. [Renouée du Japon] Systematic Review No. 20. Development as a Conservation Tool: Evaluating Ecological, Economic, Attitudinal, and Behavioural Outcomes. 2006. Systematic Review No. 15. Does Sheep-grazing Degrade Unimproved Neutral Grasslands Managed as Pasture in Lowland Britain? 2006. Systematic Review No. 8. Part A. Do Hedgerow Corridors Increase the Population Viability of Woodland Species? 2006. Systematic Review 7. Do Trapping Interventions Effectively Reduce or Eradicate Populations of the American Mink (Mustela vison)? 2005. Systematic Review No. 4. Effects of Wind Turbines on Bird Abundance. 2005. Systematic Review No. 2. Does Burning of UK Sub-Montane, Dry Dwarf-Shrub Heath Maintain Vegetation Diversity? 2004.

En quoi consiste une revue systématique ? Il s’agit d’une revue de la littérature scientifique à partir d’une question circonscrite, ayant une dimension pratique bien déterminée (dimension opérationnelle), qui doit être précisée avec le plus grand soin (par exemple : l’efficacité comparée de diverses molécules sur une pathologie)

Procéder notamment, autant que possible, à des synthèses, ou combinaisons, de résultats statistiques provenant des meilleurs données disponibles sous forme de « méta-analyses » Rendre explicitement compte des controverses

Nécessité d’une méthode explicite et prédéterminée Ceci afin d’éviter notamment les divers biais de sélection et d’interprétation que l’on peut trouver habituellement dans les revues de la littérature

Toutefois, une revue systématique ne doit pas impérativement contenir une synthèse statistique ; il est fréquent, en effet, qu’une méta-analyse soit impossible à réaliser (cf. hétérogénéité des études et des méthodes).

Ce qui compte : une méthodologie explicite et prédéfinie afin de identifier évaluer sélectionner et synthétiser les résultats empiriques pertinents pour répondre à la question posée.

trouver tous les résultats pertinents Dans l’idéal, la revue systématique consiste à tendre vers l’exhaustivité (!) : trouver tous les résultats pertinents non seulement dans les revues scientifiques (articles évalués anonymement par les pairs) mais aussi dans la littérature grise. Mais l’idéal est souvent hors d’atteinte : il est impératif de procéder à de nombreux choix de sélection. Ex: dans la base biblio Web of knowledge si on tape « agriculture AND biodiversity », il sort 5949 références. La même requête dans Econlit dont 516 résultats.

L’idée est que le processus de sélection et d’évaluation des études doit être transparent : on doit pouvoir le répliquer et arriver aux mêmes conclusions.

Il existe de véritables manuels destinés à réaliser des revues systématiques : Cochrane Handbook for Systematic Reviews of Interventions (4.2.6.) (http://www.cochrane.org/resources/handbook/) ; 265 pages. Guidelines for Systematic Review in Conservation and Environmental Management (http://www.cebc.bangor.ac.uk/ site du Centre for Evidence-Based Conservation) ; 23 pages.

Les différentes étapes d’un état de l’art systématique selon des critères explicites Etape I Programmation du travail Phase 0. Identifier les besoins auxquels répond l’état de l’art Phase 1. Préparation de la proposition Phase 2. Préparation du protocole (mots clés, population des documents -revues, bases de données...) à partir desquels sera réalisé l’état de l’art Etape II Réalisation Phase 3. Accord sur la question précise à laquelle il sera répondu Phase 4. Critères de sélection des études à considérer et recueil de ces études Phase 5. Evaluation de la qualité des études considérées (critères explicites : adéquation à la question posée, travail bien fait…) Phase 6. Analyse des données, suivi du déroulement de l’analyse Phase 7. Synthèse des résultats Etape III rédaction du rapport et diffusion des résultats Phase 8. Rapport et recommandations

Il est utile de s’attarder ici sur l’importance des toutes premières phases du processus. En particulier : Phase 1. Préparation de la proposition Phase 2. Préparation du protocole Car elles supposent une interaction forte entre le commanditaire de l’état de l’art systématique et les scientifiques qui vont la réaliser : en effet, les choix qui sont effectués à ce niveau déterminent très largement la faisabilité, la qualité et les résultats de l’enquête.

Les préoccupations initiales doivent être clarifiées car elles vont guider les différentes étapes de la réalisation. Préciser la question à laquelle on répond va servir à : Localiser et sélectionner les études ou les données. Et surtout, par la suite, pour évaluer de manière critique leur validité, leur pertinence et les écarts éventuels entre les différentes études.

Faire une évaluation initiale de la recherche à effectuer permet rapidement de savoir si l’on fait face à une absence de connaissances empiriques ou non si une méta-analyse est envisageable ou non. identifier les éventuelles revues systématiques déjà effectuées sur des sujets proches ; d’évaluer le temps et les ressources nécessaires pour effectuer la revue.

=> cette étape doit comporter des essais afin d’identifier les éléments qui vont rendre l’enquête plus ou moins longue et coûteuse. Par ex. : Les mots clés pertinents destinés à interroger les bases bibliographiques vont donner le nombre de textes à analyser (plusieurs centaines ou plusieurs milliers ?) Les sources de données et de bases bibliographiques : lesquelles? Dans quelles disciplines ? Les individus et organisations susceptibles d’être consultés durant le protocole (cf. accès à la littérature grise). => Moyens d’évaluer le coût monétaire et humain de l’état de l’art systématique.

Les phases de réalisation état de l’art systématique selon des critères explicites… Chacune des phases de réalisation suppose des choix, des arbitrages. Contrairement à l’expertise où on laisse l’initiative à l’expert, dans l’état de l’art tous les choix doivent être discutés entre le commanditaire et le réalisateur, puis rendus explicites.

Les arbitrages durant l’étape de réalisation: Tous ces arbitrages ont des conséquences sur le contenu du produit final d’où l’importance d’une collaboration en amont et durant la réalisation entre celui qui formule la question et celui qui réalise. Les arbitrages durant l’étape de réalisation: Critère de sélection des études : quelles bases de données ? Critère de sélection de qualité : pertinence géographique de l’étude ? etc.

Avantage : on sait précisément quelle est la base de l’analyse Inconvénient : moins d’informations surprenantes voire innovantes émergeront

Pour conclure Mettre en oeuvre cette méthode est long, compliqué, difficile et coûteux… en même temps cela paraît utile et même indispensable. Problèmes d’articulation entre science et organisation : qui réalise l’état de l’art ? Pour qui ? Pourquoi ? Combien sont-ils ? Combien ça coûte ? Qui finance ? Veut-on effectuer régulièrement ce type d’enquêtes ou non ? Faut-il créer un établissement spécialisé dans le domaine ? Coût et difficultés d’accès aux revues et aux données scientifiques : déconnexion entre financement public de la recherche et financement privé de la diffusion