Développement et validation d’une reporting guideline : exemple des délais diagnostiques Elise Launay MCU-PH, Pédiatrie, CHU Nantes Doctorante « Méthodologies d’évaluation de l’optimalité des soins : exemples des délais diagnostiques et des infections bactériennes sévères de l’enfant » SÉMINAIRE ANNUEL ÉCOLE DOCTORALE PIERRE LOUIS DE SANTÉ PUBLIQUE A PARIS EPIDEMIOLOGIE ET SCIENCES DE L'INFORMATION BIOMÉDICALE octobre 2015

Délais diagnostiques, risques pour le patient, risques de biais 2 sélection Temps Patient (Parents) Symptôme 1 Symptôme 2 Symptôme n Médecin(s) … Occasions diagnostiques « manquées » … Diagnostic Sévérité Issue Traitement classement/mesure confusion Transportabilité

Intérêt d’une reporting guideline spécifique ? Soins suboptimaux et infections bactériennes sévères de l’enfant – 76% avant arrivée en réa chez des enfants décédés – Association au risque de décès (ORa = 1,6) ‘‘Optimalité / délai’’ diagnostique – Difficultés méthodologiques de son évaluation – Pas de recommandations méthodologiques – Intérêt d’une reporting guideline ? Etapes d’une reporting guideline – Besoin réel ? Guidelines existantes adéquates ? STROBE, STARD, Aarhus statement ? Evaluer la qualité du reporting de la littérature existante – Etudier les risques de biais – Discuter, affiner et valider les items avec des experts 3 Moher. PLoS Med 2010 Launay. PCCM 2010 Launay. PLoS One 2014 liste d’items

Etape 1 Quality of reporting of studies evaluating time to diagnosis: a systematic review in paediatrics E Launay, M Morfouace, C Deneux-Tharaux C Gras le-Guen, P Ravaud, M Chalumeau (Arch Dis Child 2013) 4

Etape 1 Revue systématique des études évaluant un délai diagnostique Recherche électronique + vérification manuelle Evaluation grâce à une checklist maison – Items communs avec STROBE, STARD, critères de Wilson et Jungner – Lecture préliminaire de 10 études originales – Expérience de l’équipe de recherche Checklist de 35 items – 21 plus spécifiques / délais diagnostiques – 11 semblant critiques : risques de biais et d’obstacles à la transportabilité N = 50 articles (arbitraire), 2 auteurs indépendants ± 3 ème 5 Chalumeau. Eur J Clin Microbiol Infect Dis 2006 Brasme. Lancet Oncol 2012

6 Donc, reporting très incomplet / items ‘‘critiques’’ Mais légitimité de ces items (basés sur notre expérience) ? Do the authors…Not reported (%) 7. Describe how cases were indentified40 8. List the symptoms allowing the physician to trigger diagnostic procedure during the study period State if all patients with alert symptoms underwent the reference diagnostic procedure State the definition used for a. T0 of illness (symptoms, signs) b. Tx of diagnosis used in the study State whether the persons who determined time to diagnosis were blinded to the outcome Report for the entire group a.Mean/median diagnosis interval b.Distribution of time to diagnosis Discuss possible undiagnosed cases86

Etape 2 ‘‘Quality assessment’’ of primary studies in systematic reviews of time to diagnosis: a methodological systematic review and call for clarification E Launay, J Cohen, M Morfouace, C Gras-Le Guen, P Ravaud, M Chalumeau (soumis) 7

Etape 2 Démonstration des risques de biais liés aux méthodes : – Exemple des RCT ou tests diagnostiques – Mais difficilement envisageable pour les délais diagnostiques Evaluer les risques de biais – Etape cruciale dans une revue systématique – Permettrait de légitimer et compléter la checklist maison 8 Whiting. J Clin Epidemiol 2013 Lijmer. JAMA 1999 Deeks. Health Technol Assess 2003 Viswanathan. J Clin Epidemiol 2012

Etape 2 Revue systématique méthodologique (des revues systématiques) Recherche électronique + manuelle Filtre customisé / études sur les délais diagnostiques Lecture et extraction par 2 auteurs ± 3 ème Analyses de l’évaluation du risque de biais par les auteurs : – Fréquence et objectifs de « l’évaluation de la qualité » – Méthodes utilisées : Outils : originalité, utilisation des résultats Items : classification, spécificité au délai diagnostique 9

Articles intégraux évalués (n = 195) Revues systématiques rapportant une évaluation de la qualité des études originales (n = 23, 51%) Articles exclus (n = 1741) Items extraits des 21 outils d’évaluation de la qualité (n = 232) Items évaluant un risque de biais (n = 85, 37%) Sélection : 25 Classement : 33 Confusion : 24 Attrition : 5 Items évaluant la transportabilité (n = 14, 6%) Définition de la maladie : 5 Population : 9 Items évaluant les analyses statistiques (n = 13, 6%) Items évaluant la qualité du reporting (n = 149, 64%) Items ambigus (n = 1, 0,5%) Articles exclus (n = 150) Revues systématiques incluses (n = 45, dont 1 protocole) - 42% : ≥ 1 item spécifique du délai diag. - 82% : rapportent la façon dont les résultats ont été utilisés - 78% : résultats rapportés Articles identifiés (n = 2429) Articles évalués / résumé (n = 1936) Doublons (n = 493) %

Etape 2 : conclusions Risque de biais – Peu évalué – Mal évalué – Confusion des auteurs entre reporting et risque de biais Checklist maison – Légitimation très partielle – Très peu d’items spécifiques des délais diagnostiques : besoin ? – Piste d’affinement potentiel / attrition Etape suivante = affinement et validation de la checklist maison 11 Deeks. Health Technol Assess 2003 Viswanathan. J Clin Epidemiol 2012

Etape 3 Reporting studies on time to diagnosis and diagnosis delay: refinement and international validation of a guideline E Launay, J Cohen, P Bossuyt, P Buekens, J Deeks, T Dye, R Feltbower, A Ferrari, M Kramer, M Leeflang, D Moher, K Moons, E von Elm, P Ravaud, M Chalumeau (en préparation) 12

Etape 3 1 ère étape de validation « étroite » – Checklist maison – 11/16 experts sollicités ont jugé pertinence et intelligibilité 13 Version révisée de la checklist : courte + document explicatif 2 ème étape de validation «large» – 29/92 auteurs de RS sollicités, sondage en ligne – tous les items jugés pertinents et intelligibles ≥ 85% répondants

Item 5 (Methods). Describe the source population [i.e., the population with signs and symptoms that usually trigger healthcare professionals to initiate the diagnostic procedure(s)] and how the participants were identified within it 14 Example: “In the participating emergency departments, the routine protocol for children with fever was to ask if they had recently visited a malaria-endemic area. If so, the search for Plasmodium trophozoites in thick and/or thin blood smears was ordered.”

Item 7 (Methods). Define time points (e.g., time of first signs and symptoms, time of diagnosis) and *time intervals (e.g., patient or physician intervals) 15 Exemple : “Patient delay was defined as the time between fever onset and the first medical consultation. Doctor delay was the time between the first consultation and the parasitological diagnosis. The total delay was the sum of the two. We defined a late medical diagnosis as a doctor delay of longer than 12 h.” Olesen, Br J Cancer 2009

Item 9 (Methods). Describe how time points were assessed (e.g., number of assessors, their qualifications). 16 Exemple : “Medical case notes, referral letters, neurosurgical records, histopathology reports, follow-up and survival outcomes were reviewed by two independent investigators (K.K. and M. D.).(…) Discrepancies in the time to diagnosis were noted for 32 patients. These cases were reexamined together with the last author, and a consensus was reached.”

17 Item 14 (Results). Report the number of individuals at each step of the selection process between the source population and participants and provide a flowchart (see example). Give reasons for non-participation at each stage

18

Conclusions Etudes sur délais diagnostiques – Reporting guideline ‘‘validée’’ – 21 items : sélection population, définition et mesure du délai Pas de démonstration des risques de biais mais validation double Perspectives – Arriver à étudier le risque de biais – Diffusion via EQUATOR 19