LECTURE CRITIQUE D’UN ARTICLE Méthodes et interprétations de l’analyse statistique Pr Ganry

Objectifs: 3 objectifs principaux Vérifier que les analyses statistiques sont cohérentes avec le projet initial (objectif 9) Vérifier la présentation des résultats et la dispersion des valeurs (objectif 15) Discuter la signification statistique des résultats (objectif 16)

Parfois paragraphe séparé « analyse statistique » Le plus souvent dans le paragraphe « matériel et méthodes », non différencié IMRAD = section méthode

Le plan général habituel de la section « méthodologie statistique » Articulé de la même façon : les modalités de recueil et de traitement des données, les modalités de l’analyse statistique descriptive, les tests statistiques utilisés pour comparer les résultats portant sur le critère principal et les critères secondaires,

le seuil de significativité retenu, Le plan général habituel de la section « méthodologie statistique » le seuil de significativité retenu, les conditions d’application des tests, le type unilatéral ou bilatéral des tests utilisés Le logiciel statistique utilisé

Prise en compte d’éventuelles co-variables : Le type d’analyse multivariée, la plupart du temps par des méthodes d’analyse dite de régression logistique, doit être alors précisé, ainsi que la procédure réalisée : sélection des variables incluses dans le modèle initial puis sélection progressive des variables pour aboutir au modèle final. Ce type d’analyse est utilisé en particulier dans les études épidémiologiques et dans les études pronostiques.

Seuil de significativité choisi : Les auteurs doivent préciser le seuil de significativité qui a été choisi pour l’ensemble des analyses statistiques habituellement seuil à 0,05

Seuil de significativité choisi : Ce seuil peut toutefois être amené à 0,10 pour certains résultats d’analyse multivariée (méthodes de régression logistique, modèle de Cox) parfois l’inclusion des variables dans le modèle initial d’une analyse multivariée peut être faite jusqu’à un seuil de 0,20.

Conditions d’application des tests statistiques utilisés : Les conditions d’application des tests doivent avoir été vérifiées et donc cela doit être précisé dans l’article: exemple : la normalité ou non de distribution des variables amène à choisir des tests dits paramétriques ou non paramétriques.

II - Discuter la signification statistique des résultats (objectif 16) Où ? IMRAD : section résultats

Jugement de signification statistique : P (degré de signification) <0,05 IC95% du paramètre mesuré si OR et RR : test significatif à 5% si IC95% de OR et RR ne contient pas 1 Attention : un test statistiquement très significatif ne signifie pas effet clinique très important ++++ .

Questions à se poser Les tests réalisés portent-ils sur les critères de jugement annoncés? Les tests réalisés sont ils adéquats (objectif 9)? Les tests réalisés ne sont-ils pas trop nombreux? Les analyses en sous groupes non justifiées ont-elles été réalisés?

L’analyse statistique doit être planifiée a priori, ce qui est évidemment difficile à juger au stade de la rédaction du papier. Cependant, l’apparition d’analyses en sous-groupes (ex analyse des résultats d’un traitement par groupes d’âge ou par sexe) dans les résultats doit rendre le lecteur prudent.

Importance de l’analyse statistique - Choix d’un test inapproprié = validité interne de l’étude - Remise en cause des résultats et de la conclusion de l’article - Qualité scientifique de l’étude +++

Choix du test statistique : dépend critère de jugement : variable qualitative ou quantitative et des variables analysées conditions d’application du test : tests paramétriques ou non paramétriques

Les tests statistiques sont-ils appropriés ? variable qualitative x variable qualitative: ex guérison ( oui / non) – sexe (H/F) test du X2 CA : effectifs théoriques > 5, sinon test de Fisher

Les tests statistiques sont-ils appropriés ? variable qualitative x variable quantitative : ex : guérison ( oui / non) – valeur d’un marqueur Comparer 2 groupes t de student N>30 Distribution normale Mann-whitney wilcoxon Comparer plus de 2 groupes anova Kruskal wallis

Les tests statistiques sont-ils appropriés ? variable quantitative x variable quantitative : HTA – Cholestérol test du coefficient de corrélation de Pearson CA : n >30 et distribution normale, si non test du coefficient de corrélation de spearman

prise en compte du délai de survenue d’un événement Analyse de survie : prise en compte du délai de survenue d’un événement Étude pronostique ou essai thérapeutique Événement : décès, complications, rechute .. ,2 ,4 ,6 ,8 1 Survie cumulée 20 40 60 80 100 120 140 mois Temps Groupe (2) Groupe (1) question Analyse Décrire la survie Kaplan-Meier (ou actuarielle) Comparer la survie Log-rank Analyse multivariée Modèle de Cox

Analyses multivariées explicatives Moyen de comprendre comment plusieurs facteurs influencent plusieurs variables Ex : étude de la TA : âge, poids, diurétique… Y = a + bx1+ cx2 + dx3 + …. = modèle général Y = variable à expliquer = TA X1= âge, X2 = poids, X3 = diurétique : variables explicatives

Analyse multivariée Modèle Type de variable Régression logistique V dépendante qualitative à 2 classes ( décès ou non) V explicatives : qualitative ou quantitative Âge, sexe, poids, TA Régression linéaire multiple V dépendante quantitative ( TA) V explicatives : quantitatives Âge, poids, Modèle de cox V dépendante du temps

Les tests réalisés ne sont-ils pas trop nombreux ? Pourquoi restreindre le nombre de tests? Tests multiples (analyses intermédiaires, comparaisons multiples) => inflation du risque α Nécessité de corriger le risque ex: correction de Bonferroni avant d’interpréter le résultat du test

Des analyses en sous groupes non justifiées ont-elles été réalisées? Pourquoi planifier des analyses en sous groupes? Objectif exploratoire Comment les planifier dans le protocole randomisation tenant compte des sous groupes Prévoir la correction du risque α

Discuter le choix des effectifs étudiés et leur cohérence dans la totalité de l’article Calcul de l’effectif doit être décrit dans l’article de telle sorte qu’on puisse le vérifier –Le plus souvent dans la section «Analyse statistique» Déterminants statistiques : Risques d’erreur de type I (α) et de type II (β) ou puissance (1-β) Déterminants cliniques : Bénéfice escompté : delta

Cohérence des effectifs dans la totalité de l’article

Objectif 12 : - Vérifier la présentation des indices de dispersion: valeurs extrêmes, quantiles, écarts-types) des données numériques, - celle de l’imprécision des estimations ( intervalle de confiance, variance, erreur standard de la moyenne)

Indice de dispersion: variables quantitatives distribution normale : écart-type distribution non normale : - étendue : maximale – minimale - quartiles : médiane++ - déciles et centiles ( plus rarement) présentation dans le 1er tableau de l’article

Imprécision des estimations : Toute estimation (moyenne, taux, RR, OR): Doit être fournie avec son intervalle de confiance à 95% IC étroit : estimation précise IC large : estimation imprécise ; petits effectifs

Objectif 14 : Relever les biais qui ont été discutés Rechercher d’autres biais éventuels non pris en compte dans la discussion Relever leurs conséquences dans l’analyse des résultats.

Où ? Relever les biais qui ont été discutés => IMRAD : Section discussion Rechercher d’autres biais éventuels non pris en compte dans la discussion et relever leurs conséquences dans l’analyse des résultats. => IMRAD : Sections méthodes et résultats

Types de biais : Sélection Mesure Confusion Rechercher d’autres biais éventuels non pris en compte dans la discussion et relever leurs conséquences dans l’analyse des résultats. Sens du biais (surestimation ou sous-estimation du paramètre d’intérêt) si possible Types de biais : Sélection Mesure Confusion

Biais de sélection ? Conséquences :

  JAMA  •   A-t-on pris en compte les facteurs de confusion dans l’analyse des résultats ?

Objectifs pédagogiques (suite) : Discuter la nature et la précision des critères de jugement des résultats

Conclusion des auteurs : Le résultat statistiquement significatif obtenu au niveau du diamètre minimum démontre l'effet bénéfique de cet hypolipémiant sur l'évolution des lésions coronariennes chez le diabétique. La conclusion proposée est-elle justifiée ? La conclusion doit découler du résultat du test réalisé sur le critère de jugement principal.

Niveau de preuve d’un article scientifique