Les points clés d’une analyse critique des résultats d’un essai clinique Sophie LIABEUF

Analyse critique des résultats d’un essai de médicament Traitements associés Ethique Organisation Résultats Discussion Références Justification Objectifs Schéma Sélection Nombre de patients Statistique

Justification Quel est le but de l’étude ? Quel est sa pertinence ? Contexte général de la question Question sans réponse à ce jour

1 critère principal de jugement Objectif 1 essai 1 objectif principal 1 critère principal de jugement Le calcul du nombre de sujets se fait sur le critère principal de jugement

Critère de jugement principal Critère principal Décès de toute cause Critères secondaires Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Décès de toute cause Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Risque de conclure à tort à l ’efficacité du traitement = 5% Définition a priori d ’un critère principal Un seul test statistique Pas de définition de critère principal 7 tests statistiques Risque de conclure à tort à l ’efficacité du traitement = 30%

Schéma de l’étude Schéma adapté à l’objectif principal ? En parallèle, croisé ? Essai contrôlé ? Quel est le traitement contrôle ? Placebo ou produit avec une activité pharmacologique ? Pertinence du choix Pertinence du choix de dose Pertinence de la durée du traitement contrôle

Schéma de l’étude Ambivalence respectée : randomisation ? Insu : Essai en double aveugle, simple aveugle, en ouvert ? Mesure du critère principal de jugement en aveugle ? Analyse statistique est elle réalisée en aveugle

Schéma de l’étude Durée de l’étude Multicentrique, lieu de l’étude Pertinence de la durée choisie ? Identique dans les 2 groupes ? Multicentrique, lieu de l’étude

Critères de sélection Quelle est la pathologie étudiée Définition claire de la pathologie Précision ? Cas frontières ? Formes particulières (pathologie avec complication, ou avec FDR associés,..)?

Critères de sélection Quelle est la population cible ? Précision des critères d’inclusion et de non inclusion Critère trop strict ou insuffisamment strict ? Mode de sélection (consécutif, registre,…) ?

Critères de sélection Critères cliniquement pertinents Critères validés, référencés, acceptés par la communauté scientifique ? Critères qui répondent à l’objectif principal ?

Hypothèse et calcul du nombre de patient Calcul du nombre en fonction de l’objectif PRINCIPAL ? DIFFERENCE que l’on veut mettre en évidence VARIABILITE du critère de jugement AMPLEUR accepté pour le RISQUE a et b ?

Analyse statistique prévue En unilatéral ou bilatéral ? Unilatéral : La différence observée n’est prise en compte que dans un sens défini à l’avance (A >B) Bilatéral : La différence observée est prise en compte dans les deux sens (A>B, B>A)

Analyse statistique prévue Pertinence des tests dépendent des Objectifs Conditions d’application des tests paramétriques, non paramétriques normalement distribués ou non appariés ou non, …. Variables (qualitative, quantitative) Mode d’analyse (univariée ou multivariée)

Traitements associés Liste des traitements non autorisés Liste des traitements autorisés Pertinence ? Biais ?

Aspect ethico-réglementaire Avis du CPP ou Comité d’éthique Consentement écrit obtenu Essai réalisé conformément aux règlements Respect des BPC ? Respect de la confidentialité ?

Organisation de l’étude QUALITE ET ROLE PRECIS DES COMITES Direction de l’étude Évaluation des évènements critiques Centre indépendant d’analyse statistique Contrôle de qualité (monitoring, audit…)

Résultats de l’étude Résultat sur le critère PRINCIPAL Résultat sur les critères secondaires Analyses éventuelles en sous groupe Attention : critères II, analyse en sous-groupe ne sont que des PISTES pour le FUTUR

Analyse en « intention de Traiter » Analyse des données de TOUS les patients randomisés au départ Qu’ils aient ou non pris le traitement En supplément : analyse « per protocole » : ne porte que sur les patients qui ont été traités comme le prévoyait le protocole

Discussion de l’étude Présentation et interprétation des résultats Pertinence, validité ? Extrapolable ? Perspective d’avenir Implication clinique ?

Analyser les résultats

Trois axes la validité interne la cohérence externe est-ce que le résultat est réel ? et est-il non biaisé ? la cohérence externe est-ce que ce résultat est concordant avec les autres connaissances sur le sujet ? la pertinence clinique et sa représentativité ce résultat représente-t-il un bénéfice intéressant en pratique et est-il extrapolable à mes patients ?

1. Validité interne le résultat est très probablement réel il est statistiquement significatif obtenu sur le critère de jugement principal il est méthodologiquement valide (hypothèse formulée a priori) il n'a pas été obtenu par une analyse en sous groupes le résultat est sûr (exempt de biais), le plan d’expérience choisi évite les biais et l’étude a été correctement réalisée

1.1. Test statistique : interprétation Il est peu probable que la différence observée soit due au hasard Différence significative la probabilité que la différence observée soit due au hasard est forte Différence non significative p<5% Test Différence observée p>5%

Différence non significative Absence réelle d'effet Résultat non significatif ? Manque de puissance Impossible de conclure Ne prouve pas qu'il n'y a pas d'effet

Répétition des tests Conclusion basée non pas sur un seul test mais sur plusieurs Conclusion à un effet à partir du moment où il existe au moins un test significatif Le risque a de la conclusion est bien supérieure à 5% Inflation du risque alpha

Comparaisons multiples Aux dés, la probabilité d ’obtenir un six est plus forte avec 3 dés qu ’avec un seul Test 1 Risque de conclure à tort à une différence = 5% Test 2 Risque de conclure à tort à une différence = 5% Test 3 Risque de conclure à tort à une différence = 5% Test 4 Risque de conclure à tort à une différence = 5% Globalement, le risque de conclure à tort à une différence lors de ces 4 comparaisons est bien plus important que 5%. Inflation du risque alpha

Analyse en sous-groupes Essai 1 Age<75 0.92 NS 2 Age>75 0.95 NS 3 Hommes 0.92 NS 4 Femmes 0.99 NS 5 Antécédents d'infarctus 0.87 NS 6 Pas d'antécédents d'infarctus 1.03 NS 7 Prise d'aspirine 0.78 p<0.05 8 Pas d'aspirine 1.09 NS

Analyses en sous groupes De nature exploratoire Ne donne pas de démonstration Suggèrent des variations d'efficacité

2.2. Cohérence externe le résultat est confirmé par les autres résultats du domaine et qu’il est cohérent avec les connaissances fondamentales (biologiques, épidémiologiques),

Synthèse de résultats d'essais thérapeutiques Revue de la littérature pas de méthode, subjectif correspond parfois à une simple opinion argumentée discursif Méta-analyse ou revue systématique méthodologie rigoureuse : reproductible méthode statistique : quantification de l'effet traitement

Sélection en fonction des résultats Limite des revues générales non systématiques Exemple Hypocholestérolémiants (Ravnskov, BMJ 1992) Nombre de citations par an résultats favorables (n=14) 40 résultats non favorables (n=10) 7.4 2 essais publiés dans le JAMA année post publication 1er 2ème 3éme 4éme LRC, favorable 109 121 202 180 Miettinen, non favorable 6 5 3 2

Différence significative Différence non-significative Biais de publication Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différence non-significative Publication

Biais de publication Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5% Essais réalisés Essais publiés E. positifs 5 5 E. négatifs 95 0 Méta-analyse négative Méta-analyse positive !

Définition de la méta-analyse Synthèse Exhaustive arguments en faveur et en défaveur de l'hypothèse Quantifiée prise en compte des problèmes statistiques meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible Basée sur des résultats non biaisés Reproductible : méthodologie

2.3. Pertinence clinique L'efficacité est suffisamment importante pour être cliniquement pertinente le critère de jugement est pertinent cliniquement et correspond à l’objectif thérapeutique du traitement, la taille de l'effet est cliniquement pertinent la balance bénéfice-risque est favorable le résultat a été obtenu sur des patients représentatifs de ceux vus en pratique

Critère clinique - critère intermédiaire Hypertension Objectif thérapeutique Prévenir les accidents cardiovasculaires Critère clinique accidents cardiovasculaires pression artérielle = critère intermédiaire

Pertinence Essai DAIS : effet du fénofibrate sur la progression des plaques d'athérosclérose coronarien chez le diabétique fénofibrate vs placebo 731 hommes et femmes suivi 3 ans Résultat ralentissement de la progression des plaques le traitement a réduit de 0.04 mm la diminution du diamètre moyen sur 3 ans (p=0.028) Quid des événements cliniques ? Lancet 2001

Pertinence de l'outil de mesure Artériopathie des membres inférieurs Mesure du périmètre de marche augmentation significative de 20 m quel est le service médical rendu au patient ? Quel intérêt de passer de 200m à 220m Fréquence du succès fréquence des patients retrouvant sous traitement un périmètre de marche de 500m

3. Aide mémoire Le résultat est-il valide ? Existe-t-il un groupe contrôle Randomisation Est ce que tout les sujets inclus sont pris en compte dans l'analyse ? Est-ce que les groupes étaient initialement comparable L'essai a-t-il été réalisé en double aveugle ? A part les traitements étudiés, les deux groupes ont-ils été géré de façon identique

Aide mémoire - 2 Le résultat est-il réel ? Différence significative Absence d'inflation du risque alpha par répétition des tests Critère de jugement principal pas d'analyse en sous groupe L'hypothèse formulée a priori Le résultat est-il cohérent avec les autres connaissances ?

Aide mémoire - 3 Le résultat est-il pertinent quelle est la taille de l'efficacité l'efficacité est-elle connu avec suffisamment de précision le critère de jugement est-il pertinent les patients sont-ils représentatifs des patients vu en pratique la balance bénéfice risque est-elle favorable ?

Analyser les résultats écarts au protocole

Erreurs d’inclusion Lors de la randomisation, les sujets inclus ne remplissent pas les critères d’inclusion = déviation majeure au protocole. A présenter dans les résulats de l’essai Si ils sont nombreux l’essai perd de sa puissance.

Ecarts au protocole de traitement Problème majeur de la compliance Si elle diminue, l’essai perd de sa puissance % de patients ayant arrêté le traitement est un résultat important à connaître avec les motifs d’arrêt Periode de run in (prévention)

Données manquantes Importance du monitoring Essayer de palier à ces manques avant la fin de l’essai

Perdus de vue Le nombre et la cause des perdus de vue doit être présenté dans chaque groupe Si le nombre de perdue vue trop important = pas de conclusion possible