École Doctorale Pierre Louis de Santé Publique Variabilité des performances des tests diagnostiques : exemple du test rapide de l’angine Jérémie Cohen Inserm UMR 1153 (CRESS) Équipe EPOPé (Épidémiologie Périnatale, Obstétricale et Pédiatrique) Saint Malo le 21 octobre 2015 - Séminaire annuel de l’ED 393 Mesdames et messieurs les membres du jury, j’ai l’honneur de vous présenter aujourd’hui mon travail doctoral réalisé sous la direction du Pr martin Chalumeau intitulé « Stratégies diagnostiques des pharyngites de l’enfant : Du TDR aux règles de décision clinique » en vue de l’obtention du grade de docteur de l’Université Paris Descartes.

Angines chez l’enfant > 1 milliard de cas / an dans le monde Carapetis, Lancet Infect Dis 2005 Étiologie Streptocoque du Groupe A (SGA) = 35% Virus = 65% Shaikh, Pediatrics 2010 Complications des angines à SGA Suppuratives Non suppuratives Antibiotique recommandé en cas de SGA European Society of Clinical Microbiology and Infectious Diseases 2012 ; Infectious Disease Society of America 2012 American Academy of Pediatrics 2012 ; SPILF-SFP-GPIP 2011 ; Afssaps 2005 En ce qui concerne les pharyngites de l’enfant, il s’agit d’une pathologie extrêmement fréquente puisqu’on compte plus d’un milliard de cas de pharyngite par an dans le monde. Le streptocoque du groupe A est retrouvé dans 35% des cas et les autres cas sont d’origine virale. Les moyens pour faire le diagnostic de pharyngite à streptoA sont la culture, le test de diagnostic rapide et la clinique Un présupposé de la thèse est qu’il y a un intérêt à traiter par antibiotique les pharyngites à streptoA afin de diminuer l’intensité et la durée des symptômes, l’incidence des complications suppuratives et non-suppuratives et la dissémination du germe à l’entourage, Cela est actuellement mentionné dans la plupart des recommandations internationales. Au cours du travail doctoral, nous nous sommes exclusivement intéressés au diagnostic des pharyngites.

Diagnostic des angines à SGA Culture de prélèvement de gorge test de référence mais résultat en 48 heures Test de diagnostic rapide (TDR) résultat immédiat recommandé en Europe et USA spécificité ≈ 95% sensibilité ≈ 85% La culture de prélèvement de gorge est le test de référence pour faire le diagnostic de pharyngite à streptoA. L’écouvillon est ensemencé sur une boite de gélose au sang de cheval ou de mouton sur laquelle le streptoA produir des plages de béta-hémolyse. Le défaut majeur de la culture est le délai de 48 heures avant l’obtention des résultats ce qui risque… Le test de diagnostic rapide à l’avantage de pouvoir être réalisé en quelques minutes. Le TDR reconnait un antigène de paroi spécifique su streptoA, le polyoside C du groupe A. le TDR utilisé en France se présente sous la forme d’une bandelette réactive. Si le test révèle 2 bandes de couleurs on considère que le test résultat est positif pour le streptoA. Le TDR est habituellement considéré comme étant très spécifique mais certains experts jugent que sa sensibilité de l’ordre de 85% est insuffisante. En ce qui concerne la clinique, il a été montré que les éléments de l’examen clinique pris un à un ne permettaient pas de faire la distinction entre pharyngites virales ou à streptoA mais plusieurs auteurs on tenté de combiner les éléments de l’examen clinique sous la forme d’algorithme appelés règles de décision clinique. Les éléments cliniques utilisés dans les RDC sont principalement l’aspect du pharynx, on parle classiquement d’angine blanche ou rouge, la présence d’adénopathies cervicales antérieures sensibles et la présence de fièvre. TDR négatif TDR positif Gerber, Clin Microbiol Rev 2004

Facteurs de variation Sensibilité et spécificité d’un test ne sont pas fixes Facteurs de variations Sélection des patients Flux des patients dans l’étude Interprétation des tests Caractéristiques des centres investigateurs… Lijmer, JAMA 1999 Whiting, Ann Inter Med 2001 Rutjes, CMAJ 2006

Objectifs Variations de performances du TDR selon Deux approches l’âge des patients et leur présentation clinique ? l’inoculum bactérien ? le phénomène de portage ? le médecin réalisant le test et ses caractéristiques ? le type de TDR (EIA vs. OIA) ? le test de référence utilisé ? la prévalence du SGA ? la présence d’un autre germe (co-infection) ? Deux approches données individuelles méta-analytique Les objectifs de la thèse étaient donc d’étudier d’éventuelles variations de performances du TDR en fonction de différents facteurs identifiés dans la littérature, à savoir : - la clinique ? - l’inoculum bactérien ? - le phénomène de portage ? - le médecin réalisant le test ? la présence d’autres germes (co-infections) ? Puis d’identifier et de valider l’ensemble des règles de décision actuellement disponibles et d’en réaliser une validation externe

Partie 1 : données individuelles Cohen et al. PLoS One 2012; 7(6): e39085 Cohen et al. Eur J Clin Microbiol Infect Dis 2013; 32(6):787-93 Cohen et al. Journal of Pediatrics 2013; 162(6):1282-4

Étude PREDISTREP (2009-2011) 1. Données cliniques Étude prospective multicentrique (17 pédiatres de ville ACTIV et AFPA) Critères d’inclusion : 3-15 ans, pas d’antibiotiques dans les 7 derniers jours 1 groupe avec angine (N=1482) 1 groupe d’enfants asymptomatiques (N=294) 1. Données cliniques 2. Données bactériologiques TDR (StreptAtest) Pour chaque participant, des données cliniques et bactériologiques ont été recueillies: En ce qui concerne la clinique, les éléments cliniques entrant dans les règles de décision cliniques les plus connues ont été recueillis En ce qui concerne la bactériologie, chaque enfant a été soumis a prélèvement de gorge réalisé à l’aide d’un écouvillon double. Le premier écouvillon servait à réaliser le TDR et le 2ème écouvillon était envoyé au laboratoire de bactériologie de l’Hôpital Robert Debré pour mise en culture sur gélose au sang La culture fournissait un résultat binaire pour le streptoA, absent ou présent, et en cas de résultat positif, une estimation quantitative de l’inoculum bactérien par compte des colonies beta-hémolytiques Enfin, nous avons également recueilli des données concernant les investigateurs de l’étude, comme cela sera détaillé au cours du chapitre 2 Culture de prélèvement de gorge résultat binaire pour le SGA inoculum (compte des colonies) 3. Caractéristiques des médecins

Variations de sensibilité Modélisation de sensibilité du TDR variable prédite = résultat du TDR (binaire) analyse restreinte aux patients ayant une culture positive à SGA Coughlin, J Clin Epidemiol 1992 Facteurs liés au patient Facteurs liés au patient et au médecin Mesure d’association Différence de sensibilité Odds ratio Modèle Binomial, lien identité Binomial, logistique multiniveau : niveau 1 : patients niveau 2 : médecins Variables prédictives âge items du score de McIsaac inoculum bactérien statut clinique (angine ou portage) inoculum médecin réalisant le TDR caractéristiques du médecin

Résultats (1) Inoculum faible (N=42) p Inoculum fort (N=243) Sensibilité de base du TDR 40% (26–57) - 95% (91–97) <0,001 En ce qui concerne l’effet de l’inoculum, celui-ci avait un effet très fort sur la sensibilité du TDR, avec une sensibilité de 40% en cas d’inoculum faible et de 95% en cas d’inoculum fort. Il existait une interaction significative entre certains items cliniques et l’inoculum mais le modèle ne convergeait pas en présence de ces termes d’interaction, et nous avons donc mené des analyses multivariées en stratifiant sur l’inoculum. Vous voyez ici qu’il existait une variation importante et significative de sensibilité du TDR en fonction de l’âge en cas d’inoculum faible mais que cette variation était de faible amplitude et non significative en cas d’inoculum fort à savoir des variations de sensibilité significatives et de forte amplitude en cas d’inoculum faible et des variations de faible amplitude et non significatives en cas d’inoculum fort. Nous avons mis en évidence le même type d’association pour les autres items cliniques étudiés.

Différence de sensibilité ajustée (%) Résultats (1) Inoculum faible (N=42) p Inoculum fort (N=243) Sensibilité de base du TDR 40% (26–57) - 95% (91–97) <0,001 Analyse multivariée Différence de sensibilité ajustée (%) Âge, années 3-8 Référence 0,36 9-14 -41 (-58; -24) -6 (-18; 6) Pas de toux Oui 0,08 Non -24 (-24;-23) -6 (-13; 1) Adénopathie cervicale sensible 0,01 0,37 +41 (17; 64) +2 (-2; 6) Atteinte des amygdales Pas dans le modèle* 0,29 +4 (-3; 11) Température >38°C 0,41 +2 (-3; 8) En ce qui concerne l’effet de l’inoculum, celui-ci avait un effet très fort sur la sensibilité du TDR, avec une sensibilité de 40% en cas d’inoculum faible et de 95% en cas d’inoculum fort. Il existait une interaction significative entre certains items cliniques et l’inoculum mais le modèle ne convergeait pas en présence de ces termes d’interaction, et nous avons donc mené des analyses multivariées en stratifiant sur l’inoculum. Vous voyez ici qu’il existait une variation importante et significative de sensibilité du TDR en fonction de l’âge en cas d’inoculum faible mais que cette variation était de faible amplitude et non significative en cas d’inoculum fort à savoir des variations de sensibilité significatives et de forte amplitude en cas d’inoculum faible et des variations de faible amplitude et non significatives en cas d’inoculum fort. Nous avons mis en évidence le même type d’association pour les autres items cliniques étudiés. *Pas dans le modèle car le modèle ne convergeait pas.

Résultats (2) Vous pouvoir voir sur cette figure qu’il existait d’importantes variations de sensibilité entre médecins, avec une sensibilité du TDR allant de 56% à 96% Ces hétérogénéité était significative dans le modèle vide. Hétérogénéité entre médecins statistiquement significative (p=0,03)

Résultats (3) Caractéristiques des médecins (p <0,2 en univarié) : année de la thèse, activité hospitalière, % de patients CMU, utilisation correcte du TDR   N (%) ORa (IC95) p NIVEAU PATIENT Statut clinique Asymptomatique 32 (5) 1 0,001 Angine 570 (95) 4,5 (1,8–11,4) Âge, années 3–8 534 (89) 2,5 (1,1–5,5) 0,02 9–14 68 (11) Inoculum Faible 101 (17) <0,001 Fort 501 (83) 11,0 (6,1–20,0) NIVEAU MEDECIN Activité clinique hospitalière Non 7 (41) Oui 10 (59) 3,4 (1,9–6,3) En ce qui concerne les caractéristiques des médecins, les variables candidates à l’analyse multivariée multiniveau étaient les variables associées à des variations de sensibilité en analyse univariée avec un p <0.2, à savoir : - Année d’obtention de la thèse - Activité clinique hospitalière - Proportion estimée de patients CMU - Utilisation correcte du TDR (nombre de gouttes) Voici les résultats de l’analyse multivariée multiniveau : Les associations concernant les variables de niveau patient étaient stable et la seule variable de niveau médecin associée de manière significative à des variations de sensibilité du TDR était le fait pour le médecin d’avoir une activité hospitalière en plus de son activité clinique au cabinet, et cette variable expliquait à elle seule la quasi-totalité de l’hétérogénéité entre médecins. Résultats ajustés sur l’année d’étude (2009-2010 vs. 2010-2011)

Variations de spécificité La culture n’a pas bien marché SGA atypique Variant non-beta-hémolytique Variant nutritionnel SGA non viable Transport du prélèvement inadapté Délai excessif entre prélèvement et culture Prise récente d’antibiotiques Interférence bactérienne avec S. aureus Le TDR n’a pas bien marché Réaction croisée avec autre bactérie Streptococcus milleri Pour chaque participant, des données cliniques et bactériologiques ont été recueillies: En ce qui concerne la clinique, les éléments cliniques entrant dans les règles de décision cliniques les plus connues ont été recueillis En ce qui concerne la bactériologie, chaque enfant a été soumis a prélèvement de gorge réalisé à l’aide d’un écouvillon double. Le premier écouvillon servait à réaliser le TDR et le 2ème écouvillon était envoyé au laboratoire de bactériologie de l’Hôpital Robert Debré pour mise en culture sur gélose au sang La culture fournissait un résultat binaire pour le streptoA, absent ou présent, et en cas de résultat positif, une estimation quantitative de l’inoculum bactérien par compte des colonies beta-hémolytiques Enfin, nous avons également recueilli des données concernant les investigateurs de l’étude, comme cela sera détaillé au cours du chapitre 2

 Culture sur gélose au mannitol Variations de spécificité La culture n’a pas bien marché Exploration SGA atypique Variant non-beta-hémolytique Variant nutritionnel SGA non viable  PCR SGA Transport du prélèvement inadapté Délai excessif entre prélèvement et culture Prise récente d’antibiotiques Interférence bactérienne avec S. aureus  Culture sur gélose au mannitol Le TDR n’a pas bien marché Réaction croisée avec autre bactérie Streptococcus milleri Pour chaque participant, des données cliniques et bactériologiques ont été recueillies: En ce qui concerne la clinique, les éléments cliniques entrant dans les règles de décision cliniques les plus connues ont été recueillis En ce qui concerne la bactériologie, chaque enfant a été soumis a prélèvement de gorge réalisé à l’aide d’un écouvillon double. Le premier écouvillon servait à réaliser le TDR et le 2ème écouvillon était envoyé au laboratoire de bactériologie de l’Hôpital Robert Debré pour mise en culture sur gélose au sang La culture fournissait un résultat binaire pour le streptoA, absent ou présent, et en cas de résultat positif, une estimation quantitative de l’inoculum bactérien par compte des colonies beta-hémolytiques Enfin, nous avons également recueilli des données concernant les investigateurs de l’étude, comme cela sera détaillé au cours du chapitre 2

Étude cas-témoins nichée dans PREDISTREP Cas : faux-positifs du TDR Témoins : Vrais-négatifs : comparaison de la fréquence de PCR SGA (Faux-positifs liés au SGA non viable ?) Vrais-positifs : comparaison de la fréquence de S. aureus + (Faux-positifs liés à co-infection par S. aureus ?) Échantillonnage de cas et de témoins consécutifs au fur et à mesure de leur inclusion dans l’étude (2010-2011)

Probable interférence bactérienne Résultats (4) Cas Témoins Faux-positifs Vrais-négatifs Vrais-positifs (n=41) (n=58) (n=116) p PCR SGA + 31/41 (76) 1/58 (2) n/a <0,001 Staphylococcus aureus + 30/41 (73) 16/116 (14) avec inoculum faible 11/30 (37) 14/16 (87) 0,002 avec inoculum fort 19/30 (63) 2/16 (13) Dans ce tableau vous voyez que 76% des faux-positifs du TD avaient une PCR positive contre seulement 2% chez les témoins, Et que 73% des faux positifs avaient une culture positive pour S aureus contre seulement 14% chez les témoins Parmi ces patients une culture positive pour S aureus, les inoculum forts étaient plus fréquents en chez les faux positifs que chez les témoins. Au total, 65 des faux-positifs du TDR avaient à la fois une PCR positive pour le SGA et une culture positive pour S aureus. PCR SGA + et S. aureus + = 25/41 (61%) Effet-dose de S. aureus Probable interférence bactérienne

Partie 2 : approche méta-analytique Cohen et al. Cochrane Database of Systematic Reviews; CD010502 (en révision)

Méthodes Revue systématique et méta-analyse suivant le Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy Recherche bibliographique élaborée avec le Cochrane Acute Respiratory Infections Group (Bond Univ., Australie) Méta-analyse : modèle hiérarchique bivarié de Reitsma non-indépendance entre sensibilité et spécificité (modèle joint) niveau 1 : variabilité intra-étude niveau 2 : variabilité inter-études facteurs de variations explorés par méta-régression Reitsma, J Clin Epidemiol 2005

Résultats (1) Dans ce tableau vous voyez que 76% des faux-positifs du TD avaient une PCR positive contre seulement 2% chez les témoins, Et que 73% des faux positifs avaient une culture positive pour S aureus contre seulement 14% chez les témoins Parmi ces patients une culture positive pour S aureus, les inoculum forts étaient plus fréquents en chez les faux positifs que chez les témoins. Au total, 65 des faux-positifs du TDR avaient à la fois une PCR positive pour le SGA et une culture positive pour S aureus.

Résultats (2) 98 études 116 évaluations >100 000 enfants Sensibilité 86% (83-88) Spécificité 95% (94-96) Sensibilité Dans ce tableau vous voyez que 76% des faux-positifs du TD avaient une PCR positive contre seulement 2% chez les témoins, Et que 73% des faux positifs avaient une culture positive pour S aureus contre seulement 14% chez les témoins Parmi ces patients une culture positive pour S aureus, les inoculum forts étaient plus fréquents en chez les faux positifs que chez les témoins. Au total, 65 des faux-positifs du TDR avaient à la fois une PCR positive pour le SGA et une culture positive pour S aureus. Spécificité

Résultats (3) Study-level covariate Studies (n) Sensitivity (95% CI) Specificity (95% CI) p Test type     Enzyme immuno-assay 86 85.4 (82.7–87.8) 95.8 (94.8–96.6) 0.23   Optical immuno-assay 19 86.2 (82.7–89.2) 93.7 (91.5–95.4) Throat culture Without enrichment broth 88 85.5 (82.8–87.8) 95.6 (94.8–96.3) 0.15 With enrichment broth 10 86.3 (83.3–88.7) 92.7 (87.9–95.7) Mean age of participants Below the median 16 87.1 (81.7–91.1) 93.2 (90.5–95.2) 0.39 Above the median 13 83.7 (78.5–87.9) 95.0 (92.7–96.6) % of patients with McIsaac score > 2 ≤ 70% 4 81.3 (69.8–89.1) 94.9 (91.1–97.2) 0.35 > 70% 8 88.8 (82.9–92.9) 94.2 (89.4–96.9) Prevalence of group A streptococcus 54 84.9 (81.1–88.1) 95.5 (94.2–96.4) 0.70 51 86.2 (83.5–88.5) 95.4 (94.0–96.5) Dans ce tableau vous voyez que 76% des faux-positifs du TD avaient une PCR positive contre seulement 2% chez les témoins, Et que 73% des faux positifs avaient une culture positive pour S aureus contre seulement 14% chez les témoins Parmi ces patients une culture positive pour S aureus, les inoculum forts étaient plus fréquents en chez les faux positifs que chez les témoins. Au total, 65 des faux-positifs du TDR avaient à la fois une PCR positive pour le SGA et une culture positive pour S aureus.

Discussion 1. Nombreux facteurs de variation de sensibilité du TDR intérêt de la modélisation d’indices de performances en pratique : l’expérience du clinicien et la qualité du prélèvement de gorge semblent déterminants 2. Faux-positifs du TDR rares et positifs en PCR SGA les cliniciens peuvent se fier aux résultats positifs du TDR 3. Limites de l’approche méta-analytique ecological bias (inter-études ≠ intra-étude) intérêt des méta-analyses en données individuelles manque de puissance de la méta-régression (reporting médiocre) En conclusion, Si nous revenons aux questions initiales auxquelles nous avons tenté de répondre : nous avons effectivement montré que, contrairement à ce qui est classiquement enseigné, la sensibilité du TDR varie en fonction de nombreux facteurs liés au patient et liés au médecin. En ce qui concerne les règles de décision clinique, nous avons pour la première fois réalisé une comparaison directe de leurs performances respectives et mis en évidence leurs faibleses

STARD Standards for Reporting of Diagnostic accuracy studies aide à la rédaction de publications diagnostiques complètes et informatives (cf CONSORT, STROBE…) liste des items essentiels pour évaluer le risque de biais et l’applicabilité des résultats publié en 2003 (25 items), recommandé par plus 200 revues Bossuyt, Ann Intern Med 2003 Mise à jour STARD 2015 Delphi en ligne + réunion de consensus groupe de 85 experts internationaux liste de 30 items En conclusion, Si nous revenons aux questions initiales auxquelles nous avons tenté de répondre : nous avons effectivement montré que, contrairement à ce qui est classiquement enseigné, la sensibilité du TDR varie en fonction de nombreux facteurs liés au patient et liés au médecin. En ce qui concerne les règles de décision clinique, nous avons pour la première fois réalisé une comparaison directe de leurs performances respectives et mis en évidence leurs faibleses Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou P, Irwig L, Lijmer JG, Moher D, Rennie D, de Vet HCW, Kressel HY, Rifai N, Golub RM, Altman DG, Hooft L, Korevaar DA, Cohen JF. STARD 2015 – An updated list of essential items for reporting diagnostic accuracy studies. BMJ (sous presse)

Remerciements Ce travail est dédié à la mémoire du Professeur Edouard Bingen (1946-2012) Service de Microbiologie de l’Hôpital Robert Debré, Université Paris Diderot Réseau ACTIV / AFPA / GPIP : C. Levy , R. Cohen, M. Boucherat, F. de La Rocque, I. Ramay, D. Menguy, M. Fernandes et tous les investigateurs de l’étude ACTIV : M. Benani, F. Corrard, P. Deberdt, A. Elbez, M. Goldrey, J. Gosselin, M. Koskas, P. Martin, A.S. Michot, N. D’Ovidio, D. Qutob, C. Romain, O. Romain, C. Schlemmer, F. Thollot, A. Wollner, J. Raymond Laboratoire de bactériologie de l’Hôpital Robert-Debré, Université Paris Diderot : A. Liboz, C. d'Humières, S. Liguori, P. Mariani-Kurkdjian, P. Bidet Inserm U953/U1153 (Centre de Recherche Épidémiologie et Biostatistique) : PY. Ancel, F. Goffinet, B. Khoshnood, L, Trinquart, P. Ravaud Laboratoire d’épidémiologie clinique (Université d ’Amsterdam) P. Bossuyt, D. Korevaar, M. Leeflang, M. Langedam Directeur de thèse (Pédiatrie générale Necker et Inserm U1153) : Pr M. Chalumeau Je vous remercie de votre attention. Financements Thèse de science et post-doctorat : Guigoz-GPG-GREP (Prix de la Société Française de Pédiatrie) ARS Ile-de-France (Année Recherche) Assistance Publique – Hôpitaux de Paris (Année Médaille de l’internat) Programme Hospitalier de Recherche Clinique (PHRC régional AOR 12089) Association Française de Pédiatrie Ambulatoire (Bourse de Recherche)