Comment construire une échelle de risque ? Théorie et pratique Pour modifier le bloc système d’information patient : Menu « Affichage », « Masque », « Masque de titre ». Cliquer dans le bloc texte. Modifier le texte. Comment construire une échelle de risque ? Théorie et pratique Gilles Chatellier Faculté Paris Descartes Unité de Recherche Clinique, HEGP gilles.chatellier@egp.aphp.fr Pour modifier la date : Menu « Affichage », « En-tête et pied de page ». Personnaliser vos informations de date. Cliquer su « Appliquer partout ».

Clinical Decision Making It is simply unrealistic to think that individuals can synthesize in their heads scores of pieces of evidence, accurately estimate the outcomes of different options, and accurately judge the desirability of those outcomes for patients. ...All confirm what would be expected from common sense: The complexity of modern medicine exceeds the inherent limitations of the unaided human mind. David M. Eddy. JAMA 1990; 263:1265-1275

Clinical Prediction Rules Clinical prediction rules (CPR) are tools that clinicians can use to predict the most likely diagnosis, prognosis, or response to treatment in a patient based on individual characteristics. CPRs attempt to standardize, simplify, and increase the accuracy of clinicians’ diagnostic and prognostic assessments.

Clinical Prediction Rules Dérivées d’étude de type « Pronostic » répondant aux questions du type: Quel est le risque d’une intervention, d’une maladie ? Quels sont les prédicteurs du risque de maladie (Sexe, Age, Cholestérol…) Clinical Prediction Rules. Sachant les prédicteurs, quel est le risque ? Ceci nécessite Une Cohorte Un Modèle, et sa mise en œuvre (calculette, table…) Une Validation

Méthodes possibles pour la prédiction d’un risque à partir de données Méthodes statistiques : Régression multiple (Y:variable continue) Analyse discriminante (Y:variable continue) Régression logistique (Y: variable catégorielle) Modèle de Cox (Y: risque de survenue à un temps donné) Réseaux neuronaux Apprentissage symbolique

Hypothèses des méthodes statistiques Le respect des hypothèses conditionne la validité Régression multiple et analyse discriminante : Hypothèse de linéarité (le risque Y est représenté comme une combinaison linéaire des facteurs prédictifs Xi) Normalité et égalité des variances (pour toute valeur fixée d’un Xi , Y suit une loi de distribution normale définie par sa moyenne et sa variance) Indépendance des observations entre elles Régression logistique (temps non pris en compte) Beaucoup moins d’hypothèses sont requises Nombre d’événements par variable du modèle (10) Modèle de Cox (temps pris en compte) Risques proportionnels (

Modèles statistiques multivariés: les difficultés Petit nombre d'événements (et non de sujets) risque d'association due au hasard imprécision dans l'estimation des événements Trop nombreuses covariables - règles de sélection des variables Modalités de prise en compte des interactions Non respect de la linéarité Codage des variables non précisé Colinéarité des variables Poids de certaines observations (« outliers »)

Un exemple simple La plus étudiée des règles de prédiction clinique…. L’équation de Framingham Prédit à 10 ans le risque de maladie cardio-vasculaire, en fonction de l’âge du sexe, de la PA, du cholesterol, du tabagisme… REMARQUE: de multiples papiers ont montré que la performance prédictive des médecins était très loin de celles des modèles de Framingham!

Règle de prédiction clinique Validité technique Impact 1er niveau: Précision Reproductibilité 2e niveau: Transportabilité 3e niveau: Évaluation sur le terrain Autres populations: différences historiques, géographiques, cliniques Échantillons d’apprentissage et validation Échantillons différents Après cette description des modèles cet exemple de leur utilisation dans une population de consultation, il faut se pencher sur leur validité Indicateurs de performance Discrimination (index C, Sensibilité, Spécificité) Calibration (observés-prédits) Indicateurs de qualité des soins: Processus de soins, événements cliniques

Discrimination et calibration Discrimination: dans quelle mesure le modèle sépare bien les malades des non malades ? Index C (1 pour une discrimination parfaite, 0.5 pour une discrimination aléatoire). Calibration: dans quelle mesure le risque prédit est-il proche du risque réel (approché par l’observation) ? Confrontation, par tranches de risque, du nombre d’événements prédits et du nombre d’événements observés Test de Hosmer et Lemeshow (plus la valeur du test est élevée plus la différence (observés-prédits) est importante)

Signification de l’aire sous la courbe ROC Discrimination Signification de l’aire sous la courbe ROC 1 0.8 Discrimination: Parfaite: C index = 1 Bonne: C index = 0.8 Absente: C index = 0.5 0.6 Sensibilité 0.4 0.2 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs)

(nombre d’événements observés par décile de risque prédit) Calibration Dans quelle mesure le risque prédit est-il proche du risque réel (virtuel) ? (nombre d’événements observés par décile de risque prédit) Observed event rate Predicted event rate Events 1 3 5 7 9 11 13 15 17 19 Patients 20 20 20 20 20 20 20 20 20 20 /décile 0.2 0.4 0.6 0.8 1 Bien calibré relativement 0.2 0.4 0.6 0.8 1 Modèle sans valeur D’après Diamond, J Clin Epidemiol 1992;45:85-9 8 9 14 6 17 10 12 8 8 8 13 22 27 19 25 22 24 20 17 11

Guide de lecture du groupe EBM : CPR JAMA, 2000

Guide de lecture du groupe EBM : CPR JAMA, 2000

Guide de lecture du groupe EBM : CPR JAMA, 2000

Guide de lecture du groupe EBM : CPR JAMA, 2000

ML Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571

ML. Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571

Modele de risque (Mitral Valve Replacement) appliqué sur une autre population: C-index (95% confidence interval) 0.81 (0.76 to 0.86) Test de Hosmer- Lemeshow: 7.10 (p: 0.526)

Au niveau individuel, mauvaise valeur prédictive Discrimination : courbe ROC Équation de Framingham Prédiction maladies cardio-vasculaires Essai Insight 1 - Sp Se 1 AUC = 66.1%  0.2% Au niveau individuel, mauvaise valeur prédictive

*: quintile supérieur/quintile inférieur Discrimination Equation de Framingham Maladies Cardio-Vasculaires(MCV) Essai Insight Application aux données d’un essai international (INSIGHT) Risk/ratio*: Italie Espagne France Scandin. Hollande UK MCV 4.0 3.4 3.0 2.9 3.3 2.7 *: quintile supérieur/quintile inférieur L’équation de Framingham permet de différencier les groupes de patients à haut et à bas risque

(calibration inadéquate) Comparaison des % de maladies coronariennes prédits par l’équation de Framingham aux % observés Essai Insight Italie Espagne France Scandin. Holl. UK Tous Prédits Fram. 7% 6% 7% 8% 8% 8% 7% Observés 2% 2% 1% 3% 2% 4% 3% Fram./Observés 3.5 3.0 7.0 2.7 4.0 2.0 2.3 L’équation de Framingham surestime le risque de maladie cardio-vasculaire (principalement coronarienne) dans tous les pays (2 à 7) (calibration inadéquate)

L’estimation est-elle précise ? Il ne s’agit pas d’un risque individuel, mais d’une estimation à partir d’une population dont les caractéristiques « couvrent » celles du patient. L’estimation obtenue est imprécise Ex : Homme, 65 ans, non fumeur, non diabétique, PAS: 160 mmHg , CT:6.22 mmol/L, HDL-C:0.98 mmol/L, HVG : oui Si maintenant, admettant le fait que le modèle de Framingham est transortable, on veut l’utiliser pour prédire le risque d’un individu, peut-on parler de risque individuel ? Risque coronarien à 10 ans (Framingham) 47.1% 33.1% ------ 63.5% (IC 95%)

Présentation graphique New Zealand risk prediction chart Femmes

Conclusion Oui, il est possible d’employer des modèles de prédiction MAIS: Validation nécessaire ATTENTION: il s’agit d’une estimation sur un groupe de patients dont les caractéristiques sont celles du patient Il s’agit d’une AIDE à la décision, pas d’un chiffre « couperet »