META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION

Présentation au sujet: "META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION"— Transcription de la présentation:

1 META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION
Marina Burakova-Lorgnier Laboratoire de Psychologie Sociale EA849

2 Questions d’organisation
Site du séminaire Qui ? Comment publier les documents ? Suggestion : livejournal afin d’avoir un forum ou une autre plateforme ? Pour le séminaire du 4 juin 2013 (ou plus tôt si possible) : LISREL student version Bibliographie (je la mettrai en ligne dès qu’on aura un support) Base de données (la mienne) Marina Burakova. Méta-analyse.

3 Objectifs du séminaire
Echanges & partages des connaissances & des compétences Connaissance des techniques de la méta- analyse Réalisation d’un projet collectif E.g., réaliser une méta-analyse d’études en langues française sur un thème donné Marina Burakova. Méta-analyse.

4 Mythe de l’étude parfaite
Comment fondons-nous les modèles conceptuels?  Revue de question narrative Pourquoi y-a-t’il autant d’études avec des résultats contradictoires?  Théories et méthodologies divergents? Mythe de l’étude parfaite Marina Burakova. Méta-analyse.

5 Mythe de l’étude parfaite
Toute étude contient au moins l’une des erreurs possibles: Erreur de mesure Erreur due à la validité de construit Erreur d’échantillonnage Autres biais… Marina Burakova. Méta-analyse.

6 Mythe du test de significativité
Caractère contradictoire des résultats de nombreuses études provient du fait qu’ont croie en pouvoir du test de significativité. Croyance: Relation entre les variables existe si elle est significative. Ce n’est que l’erreur de 1ère espèce (Type I, ou α). Erreur de Type I = .05 pour le seuil de probabilité de .95 Oubli: concept de pouvoir statistique. Erreur de Type II, ou erreur de seconde espèce (β)! Erreur de Type II = = .5 dans ce même cas.  Marina Burakova. Méta-analyse.

7 Parenthèses Comment teste-on une hypothèse ?
(1)   définir H0 à contrôler (2)   choisir un test statistique pour la contrôler (3)   définir la distribution de la statistique sous l’hypothèse   ’H0 est réalisée’ (4)   définir  le niveau de signification du test (5)   calculer, à partir des données fournies par l’échantillon, la valeur de la statistique (6)   prendre une décision concernant l’hypothèse posée et faire une interprétation Marina Burakova. Méta-analyse.

8 Parenthèses H0 stipule l’absence de différence, les effets sont dus au hasard et non aux facteurs étudiés Risque de se tromper en la rejetant : α (Type I) ou β (Type II) Marina Burakova. Méta-analyse.

9 Venue de la méta-analyse
Dans les années 1970s -- tonnes d’études contradictoires en sciences sociales & humaines. En 1981, D. Stockman, directeur du bureau fédéral du budget aux Etats-Unis diminue le budget de la recherche en sciences sociales & humaines de 80%. Chercheurs deviennent sceptiques quant à la contribution des études isolées au développement de la science. Marina Burakova. Méta-analyse.

10 Méta-analyse vs. test de significativité
MA calcule la moyenne de tous les r quel que soit le test de significativité. MA permet d’estimer la variabilité de la relation causale. σr2 - σe2 = 0 Variance des r observés moins variance due aux erreurs de l’échantillonnage ≈ 0  la variabilité est due à l’erreur de l’échantillonnage ! Marina Burakova. Méta-analyse.

11 Méta-analyse vs. test de significativité
Utilisation exclusive du test de significativité produit de conclusions fausses. MA donne une idée rapprochée de la réalité des causalités existantes  Pourquoi? Marina Burakova. Méta-analyse.

12 Méta-analyse vs. test de significativité (suite)
MA corrige les problèmes liés aux: Erreurs d’échantillonnage Pouvoir statistique réduit Autres artefacts: Erreur de mesure Dichotomisation de la mesure Erreur de transcription… Résultat  production de la connaissance cumulative avec un niveau d’exactitude égal aux sciences exactes (Hedges, 1987). Marina Burakova. Méta-analyse.

13 Méta-analyse vs. test de significativité (suite)
L’explication la plus simple de la variabilité des coefficients de pistes (r ou β) – l’erreur d’échantillonnage. De par leurs petites tailles les échantillons sont rarement représentatifs. Schmidt, Ocasio, Hillery & Hunter (1985) ont démontré ce problème en découpant l’échantillon d’une étude en plusieurs petits échantillons (N=30). Donc  la première démarche consiste à contrôler l’erreur d’échantillonnage! Marina Burakova. Méta-analyse.

14 Que faire afin d’analyser les données dans une étude isolée?
Baser l’interprétation sur deux indicateurs statistiques: Estimation ponctuelle (point estimates) des tailles d’effet (r (corrélations) & d-valeurs (différence des moyennes standardisée)) Intervalle de confiance Marina Burakova. Méta-analyse.

15 Artefacts autres que l’erreur d’échantillonnage (e. g
Artefacts autres que l’erreur d’échantillonnage (e.g., aptitude  performance) Erreur de mesure de la VD (performance) Validité de l’étude sera inférieure à la valeur véritable du coefficient. Erreur de mesure de la VI Validité de l’étude sera diminuée quand la performance est mesurée avec l’erreur aléatoire Dichotomisation d’une VD continue E.g., absentéisme : plus de … moins de… Dichotomisation d’une VI continue E.g., niveau d’aptitude : ‘acceptable’ ou ‘non’ Variance de la VI Validité de l’étude sera inférieure à la valeur véritable suite à la diminution de la variance d’une caractéristique individuelle qui prédit la performance Marina Burakova. Méta-analyse.

16 Artefacts autre que l’erreur d’échantillonnage (suite)
Attrition Validité de l’étude sera inférieure à la valeur véritable compte tenu des promotions des individus avec un haut niveau de performance et des licenciement de ceux avec un niveau de performance inacceptable Problème de validité de construit de la VD Variations de la validité de l’étude si la structure factorielle du construit ne tient pas la route Problème de validité de construit de la VI Validité de l’étude sera différente de la validité véritable Erreur de transcription Validité de l’étude communiquée est différente de celle réelle suite aux erreurs de codage, lecture erronée des tableaux statistiques, erreur typographiques Variance due aux facteurs extérieurs Validité de l’étude est systématiquement inférieure à la valeur véritable suite aux niveaux d’expérience disparates chez les employés lorsque leur performance est mesurée Marina Burakova. Méta-analyse.

17 Techniques de méta-analyse
Méta-analyse axée sur l’erreur d’échantillonnage Technique Bare Bones Technique fondée sur le test de homogénéité Méta-analyse psychométrique Technique qui corrige chaque r ou d de manière indépendante Technique fondée sur la distribution d’artefacts Méta-analyse descriptive Marina Burakova. Méta-analyse.

18 1.A. Technique Bare Bones « Réduit à l’essentiel »
Corrige uniquement l’erreur d’échantillonnage Ignore tous les autres artefacts  peut être utilisée lors de l’étape initiale (Pearlman, Schmidt & Hunter, 1980; Hunter, Schmidt & Jackson, 1982; Hunter & Schmidt, 1990) Marina Burakova. Méta-analyse.

19 1.A. Bare Bones: exemple Etude, N° Validité observée (r) 1 .04 12 .11
.14 13 .21 3 .31* 14 .37* 4 .12 15 5 .38* 16 .29* 6 .27* 17 .26* 7 .15 18 .17 8 .36* 19 .39* 9 .20 20 .22 10 .02 21 11 .23 Calculer la moyenne des r  .22 Calculer la variance des r  .012 Calculer la variance due à l’erreur d’échantillonnage  .0135 Estimer la variance inter-étude (step3 – step2)  -.0015 Comme elle est proche du 0, nous estimons que ET = 0. Donc, r corrigé = .22 r = corrélation entre une aptitude et la précision du tri de lettres chez les employés de la poste. N = 68 dans chaque étude. Seulement huit r sont significatif. Le coefficient varie bcp! (Schmidt & Hunter, 2006) Marina Burakova. Méta-analyse.

20 Bare Bones : notre exemple
Corrélation moyenne 𝒓𝒎= 𝜮 [𝑵𝒊𝒓𝒊] 𝜮 𝑵𝒊 Variance de la corrélation observée 𝝈𝒓𝟐= 𝜮 [𝑵𝒊 𝒓𝒊−𝒓𝒎 𝟐] 𝜮 𝑵𝒊 Variance due à l’erreur d’échantillonnage 𝝈𝒆𝟐= 𝟏−𝒓𝒎𝟐 𝟐 𝑵𝒎 −𝟏 Variance entre études 𝛔𝐱𝐲𝟐= 𝛔𝐫𝟐 - 𝛔𝐞𝟐 Marina Burakova. Méta-analyse.

21 1.B. Technique fondée sur le test de homogénéité
χ2-test est utilisé afin de conclure si la variabilité des études est supérieure à l’erreur d’échantillonnage. Si χ2-test de homogénéité n’est pas significatif  r est considéré constant. Sinon, il faut chercher les modérateurs. « - » χ2-test est basé sur l’erreur de première espèce. (Hedges, 1982; Hedges & Olkin, 1985; Rosenthal & Rubin, 1982) Marina Burakova. Méta-analyse.

22 2.A. Technique qui corrige chaque r ou d de manière indépendante
La technique la plus complète, utilisée dans 10% des méta-analyses (Schmidt & Hunter, 2006). Peut aller jusqu’à l’étape 2 ou 4. Correction de chaque coefficient cas par cas. Moyenne est calculée à la base de tous les coefficients corrigés (rˉAB). Or, cela ↑ la variance d’erreur d’échantillonnage. Estimation de la variance réelle des corrélations des construits. Si l’écart-type (SD) ainsi obtenu (à la base de la variance connue) est proche de 0, il n’y a pas de modérateurs. Marina Burakova. Méta-analyse.

23 2.A. Correction cas par cas: Exemple (étapes 1 & 2)
Corrélation entre deux construits (traits de personnalité) rAB = .60 Le trait A est mesuré avec une échelle x. Le trait B est mesuré avec une échelle y. α1= .90 = racine carrée de la fiabilité de x; rxx = .81 α2= .90 = racine carrée de la fiabilité de y; ryy = .81 α3= .90 = validité de construit de x α4= .90 = validité de construit de y α5= .80 = facteur d’atténuation suite à la fraction de x à la médiane (dichotomisation) α6= .80 = facteur d’atténuation suite à la fraction de y à la médiane (dichotomisation) Impact cumulé des artefacts est exprimé via le facteur total d’atténuation (A) A = (.90)(.90) (.90)(.90) (.80)(.80)=.42 Donc, la corrélation atténuée  rxy = A x rAB = .42 x .60 = .25 Les artefacts ont réduit la corrélation véritable de .35! Pour corriger le biais d’atténuation d’une étude réelle, il faut calculer le facteur total d’atténuation! rAB = rxy / A = .25/.42 = .60 Marina Burakova. Méta-analyse.

24 A Meta-Analysis of Antecedents and Correlates of Employee Turnover: Update, Moderator Tests, and Research Implications for the Next Millennium (Griffeth, Hom, & Gartner, 2000) Marina Burakova. Méta-analyse.

25 2.B. Technique fondée sur la distribution d’artefacts
Habituellement, tous les artefacts ne peuvent pas être connus/ne sont pas communiqués dans l’étude. Cette technique est utilisée dans 90% des méta-analyses Technique Bare Bones est appliquée. M (moyenne) & SD (écart-type) sont ensuite corrigés par rapport aux artefacts (autres que l’erreur de mesure). Modérateurs peuvent être également examinés. (Callender & Osburn, 1980; Raju & Burke, 1983) Marina Burakova. Méta-analyse.

26 Work strain, santé psychologique & physique comme déterminants de l’absentéisme : Méta-analyse (Darr & Jones, 2008) Marina Burakova. Méta-analyse.

27 Darr & Jones, 2008 Marina Burakova. Méta-analyse.

28 Modèle retenu (Darr & Jones, 2008)
Marina Burakova. Méta-analyse.

29 3. Technique descriptive
Glass (1976) a introduit cette approche dans l’optique de présenter un tableau large (rich picture) fondé sur des particularités. Accent sur la taille d’effet ( au lieu de la significativité). Calcule M + ET des r. Variabilité de r est réelle. Approche rigoureuse (donc une bonne connaissance du construit et/ou de la théorie) garantie le choix approprié d’études pour réaliser une MA. Plus tard  Bangert-Drowns (1986) l’appelle study effect meta-analysis. Marina Burakova. Méta-analyse.

30 Software MetaXL software page Effect Size Calculators Calculate d and r from a variety of statistics. ClinTools (commercial) Comprehensive Meta-Analysis (commercial) MIX 2.0 Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions). What meta-analysis features are available in Stata? (free add-ons to commercial package) The Meta-Analysis Calculator free on-line tool for conducting a meta-analysis Metastat (Free) Meta-Analyst Free Windows-based tool for Meta-Analysis of binary, continuous and diagnostic data Revman A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane Collaboration Metafor-project A free software package to conduct meta-analyses in R. Calculation of fixed and random effects in R source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity. Macros in SPSS Free Macros to conduct meta-analyses in SPSS. compute.es: Compute Effect Sizes (R package). MAd GUI User friendly graphical user interface package to conduct meta-analysis in R (Free). Marina Burakova. Méta-analyse.

31 Références Schmidt, F.L. & Hunter, J.E. (2006). Meta- Analysis. In N. Anderson, D.S. Ones, H.K. Sinangil, & C. Viswesvaran (eds.), Handbook of Industrial, Work & Organisational Psychology. Sage Publications. Hunter, J.E. & Schmidt, F.L. (2004). Methods of Meta-Analysis. Correcting error and Bias in Research Findings. 2nd Edition. Sage Publications. Marina Burakova. Méta-analyse.

32 Thèmes & calendrier Fin octobre 1ère réunion
Marina Burakova. Méta-analyse.