Méthodologie pour les nuls Tome 1 XVIIIème JOURNEE SCIENTIFIQUE DE LA FFCD – PRODIGE Faculté de Médecine – 45 Rue des Sts Pères - 75006 Paris VENDREDI 12 JANVIER 2007 « Le hasard ne favorise que des esprits préparés » Louis Pasteur (Dole, 27/12/1822 –St. Cloud, 28/12/1895) Discours inaugural, Université de Lille, 7 décembre 1854 Andrew KRAMAR Unité de Biostatistiques

Quelques Livres

Quelques Revues Statistiques

Quelques Revues de Cancérologie Je lis 23.4 11.8 4.8 Je décrypte 3.7 4.3 44.0 IF 2005

Utilité d’une lecture critique Quand on sait lire, on ne saura que mieux écrire Quand on sait décrypter, on ne saura que mieux interpréter On lit par intérêt, pour se tenir au courant Les résultats sont-ils suffisamment convaincant pour changer les pratiques? Une lecture critique permet de repérer les points forts et les points faibles

Une lecture crituque Les questions à poser La démarche est-elle valide? A quelle population s’adresse l’essai? Le schéma est-il raisonnable? Quels sont les biais possibles? Les résultats sont-ils crédubles?

La naissance d’un article ? Issu d’un essai clinique à partir d’une idée Protocole Gestion et Saisie Analyse Quelques règles simples à suivre

Acteurs de la Recherche Clinique Promotion Investigateurs Patients ARC TRC Qualité des données Centres Biostatistique Résultats fiables

Six grands chapitres SAVOIR identifier l’objet et la question étudiée critiquer la méthodologie critiquer la présentation des résultats critiquer l’analyse des résultats et la discussion évaluer les applications cliniques critiquer la forme de l’article

L’oeil du détective Recherche des biais Crédibilité des résultats Sélection (début de l’essai) Performance (pendant la période de traitement) CT Scan groupe A vs. IRM groupe B Exclusion (pendant le suivi) Suivi plus intense groupe B Détection (évaluation du critère principal) Rythme de suivi différent Crédibilité des résultats Taille de l’échantillon : puissance Tests statistiques utilisés : ajustés ou non-ajustés Résultats observés et attendus : groupe contrôle

Méthodologie: les étapes Planification (design) En harmonie avec la question posée Groupes parallèles (A vs. B) Plan factoriel (2x2) Combien de patients ? Taux de succès du groupe contrôle (p0) Différence recherché () Risque d’erreur (, ) Analyse En harmonie avec le design Précision des estimations Ecarts-type (se), Intervalles de confiance (IC95%) Etendu des valeurs (min, max, iqr) Tests appropriés pour les comparaisons Des moyennes (t de Student), médianes (Wilcoxon) Des pourcentages (², Chi-2) Des données de survie (Kaplan-Meier, logrank, Cox) Interprétation des Résultats en harmonie avec l’analyse

Plan Design Randomisation Analyses Risques d’erreur alpha bilatéral (5%) beta (20%) Différence recherchée 50% amélioration de survie médiane Nb de patients (120/bras) Analyse intermédiaire Randomisation Technique minimisation Stratification Center, stade Analyses Intention To Treat (ITT) Estimations Kaplan-Meier Tests Modèle de Cox Nb d’analyses (2) Pour efficacité Pour futilité Comella P. JCO 2000

Plan Design Analyses Alpha, beta Différence recherchéé Nb patients Analyses intermédiaires IDMC Analyses Tests Nb d’analyses Schiller JH. NEJM 2002

Méthodologie pour les « pas si » nuls Première difficulté Alphabet grec Deuxième difficulté Formules mathématiques       ²  Y =  + X ²   Encore des symboles grecs    log Pas toujours simple de décrire la nature

Décrire la nature (Observer) Les individus sujets, patients Les observations Mesures Volume tumorale CT scan Marqueurs ACE dosage

Méthodologie: les étapes I. Recueillir les données II. Regrouper les données III. Décrire les données IV. Répondre aux questions ?

I. Recueillir les données Mesures initiales des lésions hépatiques (n=88 patients)

II. Regrouper les données Mesures initiales des lésions hépatiques

I. Recueillir les données Mesures des lésions hépatiques et ACE initiale sur 88 patients

II. Regroupement les données Histogramme II. Regroupement les données Mesures des lésions hépatiques et ACE initiale sur 88 patients

III. Description des données Box plot III. Description des données 132 66 166 121 Médiane, Intervalle de Confiance à 95% IQR (Inter-Quartile Range)=50% des observations

III. Description des données Box plot III. Description des données Mesures des lésions hépatiques et ACE initiale (n=88 patients)

IV. Y a-t-il une seule population? Avant Total N 88 Moyenne (mm): µ 130 Ecart-type:  75 Mediane (mm):  120 11-100 100 40 48 108 149 63 80 96 135

IV. Y a-t-il une seule population? ACE 11-100 ACE 100 Avant Après N 40 48 µ 108 83 149 119  63 60 80 78 médiane 96 86 135 Réponse: Test Statistique Oui, mais lequel?

Décrire la nature: une hypothèse initiale Hypothèse nulle, efficacité A = efficacité B INNOCENT, jusqu’à la preuve du contraire H0: µA=µB  µA-µB=0 Hypothèse nulle, moyenne de A = moyenne de B Absence de différence

Décrire les écarts de l’hypothèse initiale Surface=5% Alpha=5% Condamner un innocent A retenir, « même sous l’hypothèse nulle, on peut observer des valeurs extrêmes » Si on rejette H0 et c’est faux, on a fait une erreur de type I, alpha, ou faux positif

Décrire les « normes » autour de l’hypothèse initiale 95% de Surface Moyenne µ = 0 Intervalle de confiance à 95% µ  1.96  Variance ² = 1

Décrire une autre nature Moyenne µ =3

Décrire les écarts de l’autre nature Probabilité de rejeter l’hypothèse nulle si l’hypothèses alternative est vraie Surface=8,8% Beta = 8,8% Puissance=91,2% Relâcher un coupable A retenir, « même sous l’hypothèse alternative, on peut observer des valeurs extrêmes » Si on ne rejette pas H0 et c’est faux, on a fait une erreur de type II, beta, ou faux négatif

Choisir entre les deux natures 1,645  Valeur critique La loi normale est la base de toute la statistique

Loi Normale: Carl Freidrich Gauss (Allemagne, 1777 – 1855)

Méthodologie: Tests Statistiques Variable Quantitatif (Continue) Qualitatif (Classes) Age Années (…,50,51,…) Tranches d’âge (60,>60) Volume tumorale Mm, Mm² Stade T1, T2, … Réponse % changement (…,-50, …, +25,…) OMS, RECIST (CR, PR, SD, PD) Marqueur Ng/ml (…,9,10,…,120,…) Normalisation (Anormal, O/N)

La publication d’un article: Structure IMRD TITRE Résumé I Introduction M Matériel et méthodes R Résultats D Discussion Références

METHODES Rôles Plan Décrire ce qui a été fait Montrer que les résultats sont valides Permettre l’extrapolation des résultats Plan expérimental Définition et sélection des sujets Définition des variables étudiées et de leur mesure Définition des modalités de recueil des données Nombre de sujets et Analyse statistique prévus

Grille de lecture d'un article thérapeutique (ANAES) Thème de l'article : OUI NON ? 1. Les objectifs sont clairement définis    2. Méthodologie de l'étude  L'étude est comparative    - l'étude est prospective    - l'étude est randomisée     Le calcul du nombre de patients a été fait a priori     La population de l'étude correspond à la population habituellement traitée     Toutes les variables cliniquement pertinentes sont prises en compte     L'analyse statistique est adaptée     L'analyse est faite en intention de traiter    3. Les résultats sont cohérents avec l'objectif de l'étude et tiennent    compte d'éventuels effets secondaires 4. Applicabilité clinique  La signification clinique est donnée     Les modalités de traitement sont applicables en routine    2 Méthodologie de l’étude

II - SAVOIR CRITIQUER LA METHODOLOGIE Analyser les modalités de sélection des sujets, critères d’inclusion et critères d’exclusion. Identifier les caractéristiques de la population étudiée. Discuter la comparabilité des groupes soumis à comparaison Analyser la technique de randomisation Vérifier le choix des effectifs étudiés. S'assurer que ces effectifs sont identifiables dans la totalité de l'article.

Quelle est la population de l’étude ?  Les procédures de sélection des patients doivent être correctes (représentativité)  La répartition des facteurs pronostiques doit être équilibrée entre les groupes d’intervention.

Méthodologie: Planification En harmonie avec la question posée Comparative, prospective, randomisé Justification statistique du nombre de sujets , , , ,  ? ?

Précision des estimations 0.50 IC95%

Précision des estimations 0.60 IC95%

Précision des estimations 0.60 0.50 Croisement à partir de 400

Analyse des résultats Analyse en harmonie avec le design Précision des estimations Ecarts-type (se) Intervalles de confiance (IC95%) Etendu des valeurs (min, max, iqr) Tests appropriés pour les comparaisons Des moyennes (t de Student) médianes (Wilcoxon) Des pourcentages (², Chi-2) Des données de survie Kaplan-Meier, logrank, Cox Interprétation des Résultats en harmonie avec l’analyse

Méthodologie pour les « pas si » nuls Expérimentation Planification Sélection des patients lesquels et combien Gestion Données propres Bien randomisé et cahiers bien remplis Analyse Facile si bien planifiée Interprétation Plus facile si bien analysé En attendant la suite … Mais pas la fin