La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION.

Présentations similaires


Présentation au sujet: "META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION."— Transcription de la présentation:

1 META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION

2 Questions d’organisation Site du séminaire ◦ Qui ? ◦ Comment publier les documents ? Suggestion : livejournal afin d’avoir un forum ou une autre plateforme ?livejournal Pour le séminaire du 4 juin 2013 (ou plus tôt si possible) : ◦ LISREL student version ◦ Bibliographie (je la mettrai en ligne dès qu’on aura un support) ◦ Base de données (la mienne) Marina Burakova. Méta-analyse.2

3 Objectifs du séminaire Echanges & partages des connaissances & des compétences Connaissance des techniques de la méta- analyse Réalisation d’un projet collectif ◦ E.g., réaliser une méta-analyse d’études en langues française sur un thème donné Marina Burakova. Méta-analyse.3

4 Comment fondons-nous les modèles conceptuels?  Revue de question narrative Pourquoi y-a-t’il autant d’études avec des résultats contradictoires?  Théories et méthodologies divergents? Mythe de l’étude parfaite Marina Burakova. Méta-analyse.4

5 Mythe de l’étude parfaite Toute étude contient au moins l’une des erreurs possibles: Erreur de mesure Erreur due à la validité de construit Erreur d’échantillonnage Autres biais… Marina Burakova. Méta-analyse.5

6 Mythe du test de significativité Caractère contradictoire des résultats de nombreuses études provient du fait qu’ont croie en pouvoir du test de significativité. Croyance: Relation entre les variables existe si elle est significative. Ce n’est que l’erreur de 1 ère espèce (Type I, ou α ). Erreur de Type I =.05 pour le seuil de probabilité de.95 Oubli: concept de pouvoir statistique. Erreur de Type II, ou erreur de seconde espèce ( β )! Erreur de Type II = =.5 dans ce même cas. Marina Burakova. Méta-analyse.6

7 Parenthèses Comment teste-on une hypothèse ? (1) définir H 0 à contrôler (2) choisir un test statistique pour la contrôler (3) définir la distribution de la statistique sous l’hypothèse ’H 0 est réalisée’ (4) définir le niveau de signification du test (5) calculer, à partir des données fournies par l’échantillon, la valeur de la statistique (6) prendre une décision concernant l’hypothèse posée et faire une interprétation Marina Burakova. Méta-analyse.7

8 Parenthèses H 0 stipule l’absence de différence, les effets sont dus au hasard et non aux facteurs étudiés Risque de se tromper en la rejetant : α (Type I) ou β (Type II) Marina Burakova. Méta-analyse. 8

9 Venue de la méta-analyse Dans les années 1970s -- tonnes d’études contradictoires en sciences sociales & humaines. En 1981, D. Stockman, directeur du bureau fédéral du budget aux Etats-Unis diminue le budget de la recherche en sciences sociales & humaines de 80%. Chercheurs deviennent sceptiques quant à la contribution des études isolées au développement de la science. Marina Burakova. Méta-analyse.9

10 Méta-analyse vs. test de significativité MA calcule la moyenne de tous les r quel que soit le test de significativité. MA permet d’estimer la variabilité de la relation causale. σ r 2 - σ e 2 = 0 Variance des r observés moins variance due aux erreurs de l’échantillonnage ≈ 0  la variabilité est due à l’erreur de l’échantillonnage ! Marina Burakova. Méta-analyse.10

11 Méta-analyse vs. test de significativité 1. Utilisation exclusive du test de significativité produit de conclusions fausses. 2. MA donne une idée rapprochée de la réalité des causalités existantes  Pourquoi? Marina Burakova. Méta-analyse.11

12 Méta-analyse vs. test de significativité (suite) MA corrige les problèmes liés aux: -Erreurs d’échantillonnage -Pouvoir statistique réduit -Autres artefacts:  Erreur de mesure  Dichotomisation de la mesure  Erreur de transcription… Résultat  production de la connaissance cumulative avec un niveau d’exactitude égal aux sciences exactes (Hedges, 1987). Marina Burakova. Méta-analyse.12

13 Méta-analyse vs. test de significativité (suite) L’explication la plus simple de la variabilité des coefficients de pistes (r ou β ) – l’erreur d’échantillonnage. De par leurs petites tailles les échantillons sont rarement représentatifs. Schmidt, Ocasio, Hillery & Hunter (1985) ont démontré ce problème en découpant l’échantillon d’une étude en plusieurs petits échantillons (N=30). Donc  la première démarche consiste à contrôler l’erreur d’échantillonnage! Marina Burakova. Méta-analyse.13

14 Que faire afin d’analyser les données dans une étude isolée? Baser l’interprétation sur deux indicateurs statistiques: Estimation ponctuelle (point estimates) des tailles d’effet (r (corrélations) & d-valeurs (différence des moyennes standardisée)) Intervalle de confiance Marina Burakova. Méta-analyse.14

15 Artefacts autres que l’erreur d’échantillonnage (e.g., aptitude  performance) Erreur de mesure de la VD (performance) Validité de l’étude sera inférieure à la valeur véritable du coefficient. Erreur de mesure de la VI Validité de l’étude sera diminuée quand la performance est mesurée avec l’erreur aléatoire Dichotomisation d’une VD continue E.g., absentéisme : plus de … moins de… Dichotomisation d’une VI continue E.g., niveau d’aptitude : ‘acceptable’ ou ‘non’ Variance de la VIValidité de l’étude sera inférieure à la valeur véritable suite à la diminution de la variance d’une caractéristique individuelle qui prédit la performance Marina Burakova. Méta-analyse.15

16 Artefacts autre que l’erreur d’échantillonnage (suite) AttritionValidité de l’étude sera inférieure à la valeur véritable compte tenu des promotions des individus avec un haut niveau de performance et des licenciement de ceux avec un niveau de performance inacceptable Problème de validité de construit de la VD Variations de la validité de l’étude si la structure factorielle du construit ne tient pas la route Problème de validité de construit de la VI Validité de l’étude sera différente de la validité véritable Erreur de transcription Validité de l’étude communiquée est différente de celle réelle suite aux erreurs de codage, lecture erronée des tableaux statistiques, erreur typographiques Variance due aux facteurs extérieurs Validité de l’étude est systématiquement inférieure à la valeur véritable suite aux niveaux d’expérience disparates chez les employés lorsque leur performance est mesurée Marina Burakova. Méta-analyse.16

17 Techniques de méta-analyse 1. Méta-analyse axée sur l’erreur d’échantillonnage A.Technique Bare Bones B.Technique fondée sur le test de homogénéité 2. Méta-analyse psychométrique A.Technique qui corrige chaque r ou d de manière indépendante B.Technique fondée sur la distribution d’artefacts 3. Méta-analyse descriptive Marina Burakova. Méta-analyse.17

18 1.A. Technique Bare Bones « Réduit à l’essentiel » Corrige uniquement l’erreur d’échantillonnage Ignore tous les autres artefacts  peut être utilisée lors de l’étape initiale (Pearlman, Schmidt & Hunter, 1980; Hunter, Schmidt & Jackson, 1982; Hunter & Schmidt, 1990) Marina Burakova. Méta-analyse.18

19 1.A. Bare Bones: exemple Etude, N° Validité observée (r) Etude, N° Validité observée (r) *14.37* *16.29* 6.27*17.26* *19.39* r = corrélation entre une aptitude et la précision du tri de lettres chez les employés de la poste. N = 68 dans chaque étude. Seulement huit r sont significatif. Le coefficient varie bcp! (Schmidt & Hunter, 2006) 1.Calculer la moyenne des r .22 2.Calculer la variance des r  Calculer la variance due à l’erreur d’échantillonnage  Estimer la variance inter- étude (step3 – step2)  Comme elle est proche du 0, nous estimons que ET = 0. Donc, r corrigé =.22 Marina Burakova. Méta-analyse.19

20 Bare Bones : notre exemple Marina Burakova. Méta-analyse.20

21 1.B. Technique fondée sur le test de homogénéité χ 2 -test est utilisé afin de conclure si la variabilité des études est supérieure à l’erreur d’échantillonnage. Si χ 2 -test de homogénéité n’est pas significatif  r est considéré constant. Sinon, il faut chercher les modérateurs. « - » χ 2 -test est basé sur l’erreur de première espèce. (Hedges, 1982; Hedges & Olkin, 1985; Rosenthal & Rubin, 1982) Marina Burakova. Méta-analyse.21

22 2.A. Technique qui corrige chaque r ou d de manière indépendante La technique la plus complète, utilisée dans 10% des méta-analyses (Schmidt & Hunter, 2006). Peut aller jusqu’à l’étape 2 ou Correction de chaque coefficient cas par cas. 2. Moyenne est calculée à la base de tous les coefficients corrigés (rˉ AB ). Or, cela ↑ la variance d’erreur d’échantillonnage. 3. Estimation de la variance réelle des corrélations des construits. 4. Si l’écart-type (SD) ainsi obtenu (à la base de la variance connue) est proche de 0, il n’y a pas de modérateurs. Marina Burakova. Méta-analyse.22

23 2.A. Correction cas par cas: Exemple (étapes 1 & 2) Corrélation entre deux construits (traits de personnalité) r AB =.60 Le trait A est mesuré avec une échelle x. Le trait B est mesuré avec une échelle y. α 1 =.90 = racine carrée de la fiabilité de x; r xx =.81 α 2 =.90 = racine carrée de la fiabilité de y; r yy =.81 α 3 =.90 = validité de construit de x α 4 =.90 = validité de construit de y α 5 =.80 = facteur d’atténuation suite à la fraction de x à la médiane (dichotomisation) α 6 =.80 = facteur d’atténuation suite à la fraction de y à la médiane (dichotomisation) Impact cumulé des artefacts est exprimé via le facteur total d’atténuation (A) A = (.90)(.90) (.90)(.90) (.80)(.80)=.42 Donc, la corrélation atténuée  r xy = A x r AB =.42 x.60 =.25 Les artefacts ont réduit la corrélation véritable de.35! Pour corriger le biais d’atténuation d’une étude réelle, il faut calculer le facteur total d’atténuation! r AB = r xy / A =.25/.42 =.60 Marina Burakova. Méta-analyse.23

24 A Meta-Analysis of Antecedents and Correlates of Employee Turnover: Update, Moderator Tests, and Research Implications for the Next Millennium (Griffeth, Hom, & Gartner, 2000) Marina Burakova. Méta-analyse.24

25 2.B. Technique fondée sur la distribution d’artefacts Habituellement, tous les artefacts ne peuvent pas être connus/ne sont pas communiqués dans l’étude. Cette technique est utilisée dans 90% des méta-analyses 1. Technique Bare Bones est appliquée. 2. M (moyenne) & SD (écart-type) sont ensuite corrigés par rapport aux artefacts (autres que l’erreur de mesure). 3. Modérateurs peuvent être également examinés. (Callender & Osburn, 1980; Raju & Burke, 1983) Marina Burakova. Méta-analyse.25

26 Work strain, santé psychologique & physique comme déterminants de l’absentéisme : Méta- analyse (Darr & Jones, 2008) 26Marina Burakova. Méta-analyse.

27 Darr & Jones, Marina Burakova. Méta-analyse.

28 Modèle retenu (Darr & Jones, 2008) 28Marina Burakova. Méta-analyse.

29 3. Technique descriptive Glass (1976) a introduit cette approche dans l’optique de présenter un tableau large (rich picture) fondé sur des particularités. ◦ Accent sur la taille d’effet ( au lieu de la significativité). Calcule M + ET des r. ◦ Variabilité de r est réelle. ◦ Approche rigoureuse (donc une bonne connaissance du construit et/ou de la théorie) garantie le choix approprié d’études pour réaliser une MA. ◦ Plus tard  Bangert-Drowns (1986) l’appelle study effect meta-analysis. Marina Burakova. Méta-analyse.29

30 Software MetaXL software page Effect Size CalculatorsEffect Size Calculators Calculate d and r from a variety of statistics. ClinToolsClinTools (commercial) Comprehensive Meta-AnalysisComprehensive Meta-Analysis (commercial) MIX 2.0MIX 2.0 Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions). What meta-analysis features are available in StataWhat meta-analysis features are available in Stata? (free add-ons to commercial package) The Meta-Analysis CalculatorThe Meta-Analysis Calculator free on-line tool for conducting a meta-analysis MetastatMetastat (Free) Meta-AnalystMeta-Analyst Free Windows-based tool for Meta-Analysis of binary, continuous and diagnostic data RevmanRevman A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane Collaboration Metafor-projectMetafor-project A free software package to conduct meta-analyses in R. Calculation of fixed and random effects in RCalculation of fixed and random effects in R source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity. Macros in SPSSMacros in SPSS Free Macros to conduct meta-analyses in SPSS. compute.es: Compute Effect Sizescompute.es: Compute Effect Sizes (R package).R package MAd GUIMAd GUI User friendly graphical user interface package to conduct meta-analysis in R (Free). Marina Burakova. Méta-analyse.30

31 Références Schmidt, F.L. & Hunter, J.E. (2006). Meta- Analysis. In N. Anderson, D.S. Ones, H.K. Sinangil, & C. Viswesvaran (eds.), Handbook of Industrial, Work & Organisational Psychology. Sage Publications. Hunter, J.E. & Schmidt, F.L. (2004). Methods of Meta-Analysis. Correcting error and Bias in Research Findings. 2 nd Edition. Sage Publications. Marina Burakova. Méta-analyse.31

32 Thèmes & calendrier Fin octobre 1 ère réunion Marina Burakova. Méta-analyse.32


Télécharger ppt "META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION."

Présentations similaires


Annonces Google