GRANDEURS ET MISÈRES DE LA MÉTA-ANALYSE Jimmy Bourque, CRDE

Plan de la présentation  Synthétiser les résultats de recherche: 2 approches  Qu’est-ce que la méta-analyse statistique?  Rôles et objectifs de la méta-analyse  Rappel: signification statistique, taille d’effets et intervalles de confiance  Ampleur et précision  Effets fixes et effets aléatoires  Logiciels  Exemple  Limites et critiques

Synthèse de résultats: 2 approches 1. Recension narrative: suite à une recension d’écrits, le chercheur fait un résumé critique des conclusions.  La difficulté augmente avec le volume de résultats;  L’utilité diminue (résultats divergents ou contradictoires, devis variés, etc.);  Souvent, absence de critères de sélection et d’analyse explicites;  Subjectivité quant au poids attribué à chaque étude.

Synthèse de résultats: 2 approches 2. Recension systématique et méta-analyse: suite à une recension d’écrits basée sur des critères précis, le chercheur fait une synthèse statistique des conclusions.  Critères de recherche et d’analyse explicites;  Poids attribué selon des critères mathématiques constants;  Synthèse effectuée avec les mêmes outils que les études primaires.

Qu’est-ce que la méta-analyse?  La synthèse statistique des résultats d’une série d’études quantitatives.  Les études recensées porte sur le même sujet et répondent à la même question (pas nécessairement de la même façon);  Il est important de baser la méta-analyse sur des critères de sélection clairs et précis;  Il est important de choisir des études rigoureuses.

Rôles et objectifs  Objectif: synthèse cumulative des résultats de recherches quantitatives, visant la production de modèles et théories.  Compense pour la taille souvent restreinte des échantillons;  Considère un nombre important d’études;  Permet de résoudre les contradictions en proposant un résultat « global »;  Compense pour la validité externe réduite des études individuelles.

Signification statistique  Signification statistique: probabilité d’obtenir les résultats observés (ou des résultats plus extrêmes) si aucun effet n’est présent dans la population.  Très affectée par la taille de l’échantillon;  Hypothèse nulle généralement irréaliste;  Ne donne pas d’information sur l’ampleur de l’effet observé;  Pas comparable d’une étude à l’autre.

Taille de l’effet  Taille de l’effet: dans quelle mesure l’hypothèse nulle est fausse (magnitude d’une différence, force d’une relation entre variables, etc.).  Comparable d’une étude à l’autre;  Informe sur l’ampleur du phénomène observé;  Peu affectée par la taille de l’échantillon;  Peut être associée à une mesure de précision.

Intervalle de confiance  Intervalle de confiance: bornes inférieure et supérieure entre lesquelles nous avons (typiquement) 95% de probabilité de retrouver l’estimateur de la taille de l’effet suite à de multiples échantillonnages.  Tient compte de l’erreur-type;  Permet d’estimer la précision des estimateurs obtenus.

Ampleur et précision  La méta-analyse portera sur la taille de l’effet calculée pour chaque étude (ampleur);  Une taille d’effet sommaire sera calculée pour caractériser l’ensemble du corpus;  La précision de la taille de l’effet sera évaluée à partir d’un intervalle de confiance.

Effets fixes et effets aléatoires  Effet fixe: toutes les études mesurent le même effet; les fluctuations sont uniquement dues à l’erreur relative à chaque étude; l’effet sommaire est un estimateur de cet effet unique.  Effet aléatoire: les études n’étant pas équivalentes, la fluctuation des effets est due à l’erreur mais aussi aux différents contextes des études; l’effet sommaire est une moyenne des effets obtenus dans les divers contextes étudiés.

Exemple

Logiciels  Comprehensive Meta-Analysis  MetaWin  RevMan

Limites et critiques  Importance de la dispersion des effets  Comparer des pommes et des oranges?  Attention à la qualité des études (garbage in, garbage out)  Impact des biais de publication

Références Bax, L., Yu, L.-M., Ikeda, N., & Moons, K. G. M. (2007). A systematic comparison of software dedicated to meta-analysis of causal studies. BMC Medical Research Methodology, 7 (40), 1-9. Borenstein, M., Hedges, L., Higgins, J., & Rothstein, H. (2009). Introduction to Meta-Analysis. Mississauga, ON: Wiley. Durlak, J. A. (1997). Understanding Meta-Analysis. In L. G. Grimm & P. R. Yarnold (eds), Reading and Understanding Multivariate Statistics (pp ). Washington, DC: American Psychological Association. Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis. Correcting Error and Bias in Research Findings (2 nd ed.). Thousand Oaks, CA: Sage.