Conférence de LCA Thibaud CRESPY Interne en Anesthésie-Réanimation tcrespy@chu-grenoble.fr

1 ) Savoir identifier l'objet d'un article médical scientifique Objet = grand cadre de l’étude qui a donné lieu à la publication ( ≠ plan expérimental) 5 = évaluation d'une procédure diagnostique, d'une action de dépistage, d'un traitement, estimation d'un pronostic, enquête épidémiologique

2 ) Savoir identifier la question étudiée La question (pierre d’angle de l’étude) doit être : Une vraie question de recherche donnant une avancée des connaissances scientifiques avec une problématique bien argumentée 3 points pour la justification : SCL - Santé Publique - Clinique (ou physiopathologie) - Lacunes dans les connaissances actuelles Bien énoncée, hiérarchisée Composantes de la question : PICO - Population - Intervention (facteur étudié) - Comparaison (action, programme, thérapie) - Outcome / Observé (phénomène d’intérêt) -> mesuré par un CJP selon un schéma d’étude En théorie : 1 étude = 1 question

3 ) Identifier les caractéristiques de la population étudiée (à laquelle les conclusions pourront être appliquées)
4 ) Analyser les modalités de sélection des sujets, critères d'inclusion et critères de non-inclusion (Généralisation ?) Mots clés : Populations cible et source, Diagramme de flux (taux d’exclusion), Echantillon représentatif Analyse des modalités de recrutement, du lieu d’étude, des critères d’inclusion et de non inclusion (3 classes : raison de prudence, difficultés potentielles d’évaluation des critères de jugement ou de suivi)

Population Cible Population source -Criteres inclusion/exclusion -modalité recrutement -lieu Généralisation des résultats Population source Représentativité Echantillons / groupes inclus analysés Résultats

5 ) Analyser la valeur, la technique et la cohérence de la randomisation Randomisation : tirage au sort (TAS) au hasard, clause d’ignorance respectée But : groupes comparables sur tout sauf l’intervention, éviter les biais de confusion et de sélection, interpréter correctement H0, éthique TAS : simple/stratifié (F de confusion)/ par blocs +/- permutés (supprime l’effet cohorte), équilibré/déséquilibré, en grappe (clusters) ou croisé (cross-over) toujours stratifier sur le centre si multicentrique (supprime l’effet centre) et sur les variables définissant les sous groupes. Liste élaborée dans un centre indépendant, allocation du sujet le plus tard possible (après confirmation de l’éligibilité) NB : Dans les enquêtes épidémio, le TAS est parfois appelé randomisation et cela à mauvais escient.

6 ) Discuter la comparabilité des groupes soumis à comparaison Suivi du nombre de sujets, diagramme de flux, tableau de comparabilité des groupes Nombres de sujets exclus ou pdv de l’analyse et motifs d’exclusion : Si les motifs sont liés à l’étude, il y a un biais : - faible si exclus < 10% et équilibrés - élevé si > 20 % , d’autant plus s’il existe un déséquilibre entre le 2 groupes.

7 ) Vérifier si un calcul du nombre de sujets à inclure a été réalisé; s'assurer que ces effectifs sont identifiables dans la totalité de l'article NSN : calcul correct avec : la différence intéressante Δ de valeur du CJP et en fonction du CJP le risque de 1ere espèce α la puissance 1-β (>80%) - en tenant compte du % de pdv

8 ) S'assurer que la méthode employée est cohérente avec le projet du travail, que la méthodologie est effectivement susceptible d'apporter une réponse à la question posée dans l'introduction; pour une étude thérapeutique, vérifier que l'analyse a été réalisée "en intention de traiter" Méthode adaptée à l’objet et à la question étudiée Pour une étude d’évaluation d’un traitement : ECHRAMS -Essai clinique thérapeutique, de prévention -Contrôlé contre X (citer traitement du groupe contrôle), -Hypothèse testée : efficacité/supériorité, non infériorité, équivalence -Randomisé, -Aveugle ? double aveugle, simple aveugle, en ouvert -Multicentrique, monocentrique.
 -Schéma : à X (2, 3 ..) bras parallèles, croisé = en cross-over

Type d’enquête / étude le plus adapté Question Type d’enquête / étude le plus adapté Epidémiologie descriptive Incidence Prévalence Cohorte Transversale Epidémiologie analytique Phénomène fréquent non contrôlable Phénomène rare Cohorte Exposés-Non Exposés Cas-Témoins Traitement Efficacité Sécurité Essai contrôlé randomisé Essai contrôlé randomisé ou cohorte E-NE Action de dépistage Procédure diagnostique Fiabilité (variabilité) Validité (Se/Sp) Transversale comparative avec répétition des mesures Transversale comparative avec gold standard Pronostic Maladie fréquente Maladie rare

9 ) Vérifier qu'une analyse statistique a été utilisée et que le résultat (valeur et interprétation de p) est énoncé clairement ITT (intention de traiter) = analyse de tout patient inclus dans le bras où il a été randomisé au début de l’étude Préserve la randomisation, analyse de façon pragmatique (réalité clinique) ≠ Analyse Per Protocole (différence estimée plus grande, puissance moins élevée, biais de sélection potentiel) ≠ Analyse en traitement réellement reçu IC 95%

Analyses en sous groupes Planifiées à visée de confirmation ou exploratrice Post-hoc (non prévue) => exploratoire, aucune conclusion clinique ! Condition pour une conclusion clinique : Analyses en sous-groupes planifiées, justifiées et limitées en nombre, randomisation stratifiée, puissance suffisante, l’interaction (qualitative ou quantitative) doit avoir été testée, l’essai doit être concluant et le risque α doit être corrigé (confirmation dans une autre étude) 3 risques : manque de puissance, résultat significatif par hasard, destruction de la comparabilité initiale

Analyses intermédiaires Analyses prévues (NSN adapté) effectuées avant l’inclusion de tous les sujets prévus (étude longue). Seuil de signification déterminé et corrigé a priori pour garantir un risque α global Justification : Arrêt de l’essai pour efficacité, futilité ou pour sécurité (éthique)

10 ) Vérifier le respect des règles d'éthique Respect de la personne humaine (Consentement libre, éclairé et écrit, après information et délai de réflexion) Principe d’utilité (balance bénéfice-risque favorable) Principe de justice Comité d’éthique indépendant Placebo (déclaration d’Helsinki) : il n’existe aucune intervention reconnue et les patients ne sont pas exposés à un risque grave ou irréversible Autorisation de l’AFSSAPS, de la CNIL et du CCTIRS

11°) Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur cohérence avec le texte et leur utilité Taille Titre informatif Variables identifiées clairement avec les effectifs Indices de dispersion Valeurs statistiquement significatives clairement identifiables Auto-suffisant Référencé dans le texte Pas d’informations redondantes

12°) Vérifier la présence des indices de dispersion permettant d’évaluer la variabilité des mesures et de leurs estimateurs IC 95% : variable qualitative (%), prévalence/incidence, Se Sp VPP VPN, OR RR HR Interquartile (Q1-Q3 ou P25-P75) : Médiane Ecart type (SD) : Moyenne

13°) Discuter la nature et la précision des critères de jugement des résultats Unique simple ou composite / multiple Si multiple : Hiérarchisé (CJP -> NSN) et risque α corrigé Objectif (fiable et reproductible) / subjectif (biais de classement) Clinique / intermédiaire / de substitution Pertinent ++ Validé (par une étude) Précis : méthode et moment d’évaluation Biais de classement différentiel si l’évaluation du CJ n’est pas faite en insu du groupe étudié La conclusion ne porte que sur le CJP (critère de jugement principal); les analyses des CJS (secondaires) sont exploratoires

14°) Relever les biais qui ont été discutés 14°) Relever les biais qui ont été discutés. Rechercher d’autres biais d’information et de sélection éventuels non pris en compte dans la discussion et relever leurs conséquences dans l’analyse des résultats Biais = erreur systématique qui fausse les résultats dans un sens donné Nature, sens et quantification du biais Différentiel (sens du biais imprévisible a priori : sous ou sur-estimation de l’association) / non différentiel ( sens prévisible : diminution de l’association = RR tend vers 1)

Biais de Sélection : Au niveau De la Constitution de l’échantillon (non représentatif) Des Groupes analysés (pdv = perdus de vue) => Planification : TAS/recrutement exhaustif, randomisation, suivi complet + relances Analyse : Comparaison initiale des groupes, ITT, ajustement sur ≠ facteurs, analyse de sensibilité/robustesse (quantifier biais) Biais de Classement : Subjectivité de l’enquêteur ou de l’enquêté, méthode de mesure Planification : validité et fiabilité des mesures, standardisation des procédures, évaluation en aveugle, formation des enquêteurs Biais de Confusion : cf. def. Facteur de confusion Planification : TAS/randomisation, exclusion de patients (restriction), appariements sur les facteurs de confusion (âge, sexe) Analyse : Ajustement sur les facteurs de confusion (modèles multivariés) ≠ facteur intermédiaire (processus explicatif de la maladie)

6 points de la discussion : 15°) Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la littérature et ce qui est opinion personnelle de l’auteur 6 points de la discussion : Résumé des principaux résultats Discussion de leur validité (points + et -) Discussion de leur caractère généralisable Mise en perspective (confrontation à la littérature) Conclusion clinique sur la réponse à la question posée Implications et ouverture

16°) Discuter la signification statistique des résultats Risque α de 1ère espèce (<5%) p<5% = significatif p>5% = non significatif p entre 5 et 10% = tendance statistique Risque β de 2ème espèce (<20%) = manque de puissance Attention : degré de signification statistique (p) ≠ quantité d’effet plus on multiplie les tests plus on a de chance d’avoir un test significatif par hasard Résultat non significatif = manque de puissance ou biais ou différence plus petite que celle qu’on a voulu détecter ou absence réelle de différence. Un résultat statistiquement significatif peut ne pas être cliniquement significatif

17°) Discuter la pertinence clinique des résultats Privilégier le point de vue clinique : taille de l’effet (avec IC95%), bénéfice relatif (RR, OR, HR) ou absolu (RAR, NNT, différence des moyennes) ; dépend de la gravité et de la fréquence de la pathologie Critères permettant de conclure à la causalité : - essai randomisé : randomisation non détruite, en ITT - enquête observationnelle : Critères de Hill - Internes à l’étude : Force de l’association statistique et minimum de biais, cohérence chronologique, relation dose-effet, spécificité de l’association - Externes à l’étude : plausibilité (cohérence avec les connaissances actuelles), reproductibilité, analogie avec autres FDR démontrée, effet de l’intervention NB : Une seule étude épidémio. ne permet pas d’affirmer un lien de cause à effet.

18°) Vérifier que les résultats offrent une réponse à la question annoncée 19°) Vérifier que les conclusions sont justifiées par les résultats Validité interne : (fiabilité des résultats) Absence de biais Réalité statistique du résultat Calcul du NSN pour garantir une puissance suffisante Validité externe : (généralisable) Cohérence externe (autres études, connaissances expérimentales) critères de Hill Représentativité (généralisation, résultats extrapolables à la pratique médicale courante)

20°) Indiquer le niveau de preuve de l’étude (grille HAS/ANAES) (preuve scientifique établie) Niveau 1 : Essais comparatifs randomisés de forte puissance, méta-analyses, analyse de décision basée sur des études bien menées Niveau 2 : Essais comparatifs randomisés de faible puissance, études comparatives non randomisées bien menées, études de cohorte Niveau 3 : Etudes cas-témoins Niveau 4 : Etudes comparatives avec biais importants, études rétrospectives, séries de cas, études épidémio descriptives. B (présomption scientifique) C (faible niveau de preuve)

21°) Discuter la ou les applications potentielles proposées par l’étude (niveau individuel et de la population) Niveau de preuve ? A quels patients les résultats sont-ils applicables ? Tous les critères cliniquement importants ont-ils été pris en compte ? Balance bénéfice/risque+cout favorable (efficacité + tolérance) ? L’étude permet-elle de faire cette recommandation ? Implication sur ma pratique ?

22°) Identifier la structure IMRAD (résumé) Introduction : - Justification de l’étude : SCL - Question étudiée : PICO Méthodes : SPLICA - Schéma d’étude - Population - Lieu(x) - Intervention/facteur étudié -Critère(s) de jugement - Analyse Résultats : description échantillon, date, résultats CJP et CJS Discussion

Conseils pour le résumé Faire le résumé après avoir lu l’article plusieurs fois, répondre aux questions avant, faire un brouillon Utiliser la structure vue précédemment Respecter le point de vue des auteurs tout en insistant bien sur le critère de jugement principal Dans partie résultat : - Date et description population étudiée Toujours résultat ajusté (sauf essai contrôlé randomisé) et multi varié avec son IC à 95 % et p ++ ITT (sauf non infériorité) Ne pas bâcler la Conclusion.

23°) Faire une analyse critique de la présentation des références Auteurs, titre, support (revue, livre), année de publication, volume et numéro de publication, 1ère et dernière page Classement : Auteur-année, Alphabétique-numérique, Numérique-séquentiel (Vancouver)

24°) Faire une analyse critique du titre Contenu = PICOS : Population, Intervention, Comparaison, Outcome (ce qui est observé), Schéma d’étude Type : Indicatif (orientation générale) ou informatif (précis PICOS) Forme : Concis, syntaxe souple, attractif

Types d’étude L’intervention est-elle contrôlée par l’investigateur ? OUI : étude expérimentale NON : étude d’observation Randomisation ? groupe de comparaison ? OUI : étude analytique NON : étude descriptive direction ? Cohorte Intervention -> Exposé Intervention <- Exposé I et E (incidence) Cohorte Etude cas-témoin en même temps exposé non-exposé Etude transversale (prévalence)

Essai contrôlé randomisé de non infériorité On concède a priori une perte d’efficacité au vu des avantages du nouveau traitement (tolérance, facilité d’utilisation, cout) Seuil de non infériorité (à comparer aux avantages du traitement) CJP clinique, objectif et pas de traitement concomitant Validité : interne avec 3ème bras placebo ou externe (essais antérieurs) Minimiser les pdv, écarts au protocole, arrêts prématurés du traitement (diminue la différence) Analyses PER PROTOCOLE + ITT (concordent ?) On compare la borne ad hoc de l’IC 95% au seuil de non infériorité (et non p).

8 points clefs de l’Evaluation d’une procédure diagnostique: Prospective (voire transversale) Patients représentatifs de la population cible sinon Définition parfaite de la maladie biais de sélection Tous les sujets subissent les 2 tests (appariés) Test de référence (gold standard) valide et reconnu Test de référence déterminé a priori sinon Test étudié fiable et conditions d’utilisation décrites biais de classement Insu des 2 tests Points clefs de l’Evaluation d’une procédure de dépistage : - biais spécifiques : d’avance au diagnostic (lead time), lié à la vitesse d’évolutivité (lengh time) et de sur diagnostic - objectif : -efficacité (CJP = mortalité spécifique ou incidence cancer) -évaluation de la qualité (CJP = Se Sp VPP VPN) - Analyse en intention de dépister

Glossaire (CNCI) à connaitre http://www.lca-ecn.info/ Pratique clinique = Efficacité + Tolérance (rapport bénéfice/risque) Formules : Se = p(+/M) - Sp = p(-/NM) -> dépend de la gravité de M => si population à bas risque, la sensibilité diminue (pas d’extrapolation) VPP = p(M/+) - VPN = p(NM/-) -> dépend de la prévalence de M Rapports de vraisemblance : LR+ = p(+/M) / p(+/NM) si > 5 à 10 : très informatif LR- = p(-/M) / p(-/NM) si < 0,2 à 0,1 : très informatif

Notion de survie : (probabilité de survivre jusqu’à un instant t) Censure à droite : pas d’évènement survenu (décès) au dernier contrôle = perdus de vue et exclus vivants Censure à gauche : évènement survenu avant la date du dernier contrôle mais impossible de le dater précisément. Statistiques pour des données censurées : RRI (ou Hazar Ratio), d de cohen ou g de hodge (correspond au NNT) Courbes de survie : Kaplan Meier (en marche d’escalier) ou survie actuarielle (courbe formée de segments de droite à intervalles réguliers) Etude ancillaire = étude nichée dans une autre étude (Pb : Tous les éléments de la ère étude (étude princeps) ne sont pas présentés