Méthodes statistiques pour l’analyse des notifications spontanées en pharmacovigilance Pascale Tubert-Bitter, Inserm U. 780 Travail collaboratif I. Ahmed*, B. Bégaud**, A. Fourrier**, F. Haramburu**, C. Kreft-Jais***, G. Miremont**, F. Thiessard**** *U. 780, **U. 657, ***AFFSSAPS, ****ISPED Journées 2007 du GDR « Statistique et Santé » 26 et 27 novembre 2007

Sommaire Pharmacovigilance : contexte Les méthodes de génération automatique de signaux : Méthodes bayésiennes Estimation du FDR Simulations Application à la base française Discussion

Pharmacovigilance (PV) : Contexte Surveillance des médicaments après leur mise sur le marché Identification de nouveaux effets indésirables (EI) Non observés au cours des essais cliniques Rare, délai de latence, restreints à certains sous-groupes Caractérisation d’un risque potentiel identifié De la pharmacovigilance à la gestion des risques Plan de gestion des risques lors de l’AMM (depuis 2005) : évaluation constante du rapport bénéfice/risque dans les conditions réelles d’utilisation, études de confirmation d’association évoquées développement de la pharmacoépidémiologie

Le système de Pharmacovigilance Déclaration des effets indésirables par les professionnels de santé En France : aux 31 Centres Régionaux de Pharmacovigilance ou à l’industrie les événements sont évalués et enregistrés, puis transmis à l’AFSSAPS qui coordonne l'ensemble du système le comité technique de PV se réunit régulièrement ; des enquêtes nationales de PV peuvent être décidées

Pharmacovigilance : les notifications spontanées (NS) Les cas notifiés : Sous-notification Variable : type d’effet indésirable (gravité, difficulté de diagnostic, …), type de médicament, ancienneté de l’AMM Inconnue (mais forte) Associations suspectes (et non causales) Proviennent de l’ensemble de la population réellement exposée Population exposée (taille) pas toujours connue Données de prescriptions, de ventes Incidence « de base » de l’événement mal connue

Analyse statistique des notifications spontanées Les questions : Identification des EI Détection de signaux Evaluation des signaux Comparaison de médicaments Recherche des caractéristiques des EI, identification de sous-groupes … Le degré « zéro » de l’évaluation causale Mais au commencement de tout …

Génération automatique de signaux d’alerte en pharmacovigilance L’analyse statistique des notifications spontanées Méthodes exploratoires en interne Génération automatique de signaux d’alerte en pharmacovigilance Un signal est généré pour une association donnée si son nombre de NS dépasse un seuil critique Enormes bases de notifications spontanées Médicaments x effets (AFSSaPS : 300 000 observations d’effets indésirables, FDA : plus de 2 millions, …) Méthodes d’aide à l’identification de nouveaux effets indésirables : détermination de seuils critiques pour tous les couples médicaments x effets, répétée dans le temps

Génération automatique de signaux d’alerte en pharmacovigilance Evaluation des méthodes existantes (bayésiennes et non bayésiennes) Il n’y a pas de méthode de référence Les seuils critiques ont été fixés arbitrairement, sans référence à une évaluation des performances Amélioration des méthodes existantes, en particulier bayésiennes

Génération automatique de signaux d’alerte en pharmacovigilance Structure schématisée d’une base de pharmacovigilance Ev1 … Evj … ___________________ ° grande proportion M1 de cellules vides . . : : Mi … Nij … NMi ° indépendance . . ligne x colonne : : ___________________ NEvj Ntot

Génération automatique de signaux d’alerte en pharmacovigilance A partir d’une mesure d’association y que l’on compare à une valeur « nulle » de non-association y0 pour générer un signal Méthodes fréquentistes (RU, European Medicines Agency) Reporting odds ratio Proportional reporting ratio Méthodes Bayésiennes Information Component, OMS Empirical Bayes, FDA

Méthodes bayésiennes : Gamma Poisson Shrinker (GPS) Modèle Poisson-mélange de 2 gamma Distribution a priori des lij (bayésien emprique) Mesure d’association EB* = E (log2( lij | Nij, eij)) DuMouchel, 1999 Un signal est généré si Q0.025 (EB*ij) > 1

Méthodes bayésiennes : Bayesian Confidence Propagation Neural Network (BPCNN) Modèles beta-binomiaux Nij ~B(Ntot, rij), NMi ~B(Ntot, pi), NEvj~B(Ntot,qj) Distribution a priori des paramètres qj ~b(1,1), pi ~ b(1,1), rij ~b(1, 1/(E*(pi)E*(qj))-1) Mesure d’association Un signal est généré si Q0.025 (IC*ij) > 0 Approximation normale Bate et al. 1998

Méthodes bayésiennes Estimateur du FDR Status zij †Î {0,1} Décision dij †Î {0,1} vij = Pr (zij = 1 | Données) = Pr (y* > y0) FDR Estimateur bayésien Müller et al, 2004 Application GPS : vij = Pr (EB*ij > 1), BPCNN : vij = Pr (IC*> 0) Décision : dij = 1[vij > 1-a] = 1[Qa > y0]

Simulations Comparaison des performances des deux méthodes Etude du comportement de l’estimateur bayésien du FDR 500 bases générées à partir des données de la base française

Plan de simulation A partir des marges de la base française, des probabilités marginales) de « travail » sont générées (Dirichlet) pw ~D (Ntot, NM), qw ~D (Ntot, NEv), rwij = pwiqwj Des coefficients « risque relatif » RRwij de travail sont générés (logistique : « mimer » les Nij/eij)) Les Nij sont générés suivant une loi multinomiale M(Ntot,d) Le statut (zij) s’établit avec RRij = dij/piqj

Simulations : résultats Pour différentes valeurs de a : Estimation de la sensibilité, spécificité, FDR, FNR Moyenne des 500 taux observés Etude du biais de leur estimateurs bayésiens Comparaison des deux méthodes (GPS, BPCNN) Sur l’ensemble des associations présentes dans la base (147 370), puis restreintes aux cellules non vides (44 239)

Sensibilité et spécificité Toutes les cellules Cellules avec Nij ≥ 1 GPS : 8603 signaux, Se = 0.058 BPCNN : 10144 signaux, Se=0.068

FDR et FNR, cellules avec Nij ≥ 1 GPS : FDR = 0.008 BPCNN : FDR = 0.003

Estimateurs bayésiens : sensibilité (Se), Spécificité (SP), cellules avec Nij ≥ 1 BPCNN GPS

Estimateurs bayésiens : FDR*, FNR*, cellules avec Nij ≥ 1 BPCNN GPS

Application Table de contingence (ATC5 - MedDRA HLT): 672 classes de médicaments (Mi) 820 classes d’événements indésirables (Evj) Ncell = 551 040 57% cellules vides Ntot = 1 179 094 Pour a = 0.025 : nombre de signaux = 10559 (BPCNN),8991 (GPS) FDR*=0.004 (BPCNN, GPS), FNR* = 0.43 (BPCNN), 0.40 (GPS) Se* = 0.22 (BPCNN), 0.20 (GPS) , Sp* = 0.999 (BPCNN, GPS)

Estimation sensibilité, spécificité, FDR, FNR, cellules avec Nij ≥ 1

Discussion (1) Les performances des deux méthodes d’après les simulations: Sensibilités et spécificités comparables (à même nombre de signaux générés) Pour la règle d’origine (a = 0.025), GPS génère moins de signaux, avec une sensibilité légèrement plus faible FDR et FNR comparables (à même nombre de signaux générés) Pour la règle d’origine, GPS présente un FDR plus faible Attention : la réalité d’une association dans la base ≠ réalité d’une association

Discussion (2) Les performances des deux méthodes d’après les simulations Biais des estimateurs bayésiens des performances BPCNN systématiquement biaisé (sous-estimation Se, FNR ; sur-estimation Sp, FDR), PBCNN plus fortement biaisé que GPS (Sp non biaisée) : mise en cause de l’approximation normale D’une manière générale, les faibles FDR invitent à utiliser leur estimation en critère d’évaluation, mais pas comme règle d’arrêt