1ère Conférence Francophone d'Epidémiologie Clinique ADELF - RFUEC Validité et reproductibilité d'une échelle de risque dans les études de recherche clinique institutionnelles PRE-OPTIMON V. JOURNOT1, J.P. PIGNON2, C. GAULTIER3, A. BOUXIN-METRO4, P. RAVAUD5, G. CHENE6, ET LE GROUPE D'ETUDE OPTIMON CA30 Valérie Journot INSERM U593 – case 11 Université Victor Segalen bordeaux 2 146 rue Léo Saignat 33076 Bordeaux cedex Valerie.Journot@bordeaux.inserm.fr 1. INSERM, U593, Bordeaux, France 3. AP-HP, Hôpital Robert Debré, Paris, France 5. AP-HP, Hôpital Bichat, Paris, France 2. Institut Gustave Roussy, Villejuif, France 4. ANRS, Paris, France 6. CHU Bordeaux, USMR, Bordeaux, France CONTEXTE ET OBJECTIFS La décision du 24 novembre 2006 sur les Bonnes Pratiques Cliniques autorise l'adaptation de l'intensité du monitorage par le promoteur. La suppression complète du monitorage sur site est même acceptée si elle est accompagnée de procédures adéquates. Cette adaptation doit se faire en particulier selon les risques encourus par les patients. Elle nécessite donc de pouvoir mesurer ces risques et d'établir un plan de monitorage correspondant. En France, l'Assistance Publique – Hôpitaux de Paris fait figure de précurseur dans cette démarche. En préparation à un essai visant à comparer deux stratégies de monitorage adaptées ou non selon le risque, un groupe d'expert a mis au point par consensus une nouvelle grille, fondée sur l'expérience de l'AP-HP, dont nous souhaitons évaluer ici la validité et la reproductibilité. METHODES proposition d'une grille d'évaluation du risque - revue de la littérature - discussion entre experts sur les grilles ou échelles identifiées - proposition d'une nouvelle grille (échelle à 4 niveaux : A-faible à D-fort) étude de reproductibilité : schéma évaluation du risque de 200 protocoles par 40 évaluateurs ou plus, avec : - la grille proposée - une échelle visuelle analogique évaluation de la validité de la grille proposée distribution du risque évalué par l'échelle visuelle analogique selon le risque évalué par la grille estimation de la reproductibilité de la grille proposée - coefficient d'accord entre évaluateurs kappa multiple [1] - coefficient d'accord entre évaluateurs kappa pondéré [2] - coefficient de corrélation intraclasse estimé par un modèle mixte à cotes proportionnelles appliqué aux données de risque évalué par la grille - coefficient de corrélation intraclasse estimé par un modèle linéaire mixte appliqué aux données de risque évalué par l'échelle visuelle analogique difficultés rencontrées lors des évaluations - nombre d'évaluations présentant des difficultés - identification des sources de difficulté sources de discordance entre évaluations analyse de sensibilité aux caractéristiques des protocoles et des évaluateurs RESULTATS CARACTERISTIQUES DES PROTOCOLES ET DES EVALUATEURS recrutement caractéristiques des protocoles caractéristiques des évaluateurs 223 protocoles collectés --6 non conformes --17 exclus par tirage au sort parmi --les structures en ayant fourni le plus --200 protocoles inclus 51 évaluateurs volontaires --2 ayant fait défection --49 participants Les 200 protocoles inclus étaient des essais de phase II ou III pour 36%. objet de l'étude médicament 38% physiopathologie 28% dispositif médical 21% imagerie - radiologie 10% génétique 9% domaine clinique cancérologie 28% infectiologie 15% pédiatrie 11% cardio-vasculaire 8% réanimation – anesthésie 8% néphrologie 6% neurologie – neurochirugie 6% hépato-gastro-entérologie 6% Les 49 évaluateurs recrutés sont issus de 32 structures, 71% sont des femmes, 43% ont moins de 40 ans, et 22% dirigent leur structure. métier méthodologistes / statisticiens 51% chef de projet / ARC 39% promoteur / assurance qualité 12% investigateurs 8% Les objectifs de recrutement ont été atteints. La grande diversité des protocoles et des évaluateurs donne du poids à nos résultats. DESCRIPTION DES EVALUATIONS risque intermédiaire risque final risque final selon le risque intermédiaire VALIDITE risque évalué par l'échelle visuelle analogique selon le risque évalué par la grille 64 61 137 16 6 183 108 254 119 La variété du risque des protocoles inclus est large, en particulier pour le risque final. La procédure d'augmentation du risque a été largement utilisée par les évaluateurs. La validité est bonne : l'hypothèse de 4 niveaux de risque ordonnés semble pertinente. REPRODUCTIBILITE risque évalué par la grille risque évalué par risque risque l'échelle visuelle intermédiaire final analogique SOURCES DE DISCORDANCE Aucune source de discordance entre évaluateurs n'a été identifiée parmi les caractéristiques des protocoles ou des évaluateurs. coefficient kappa multiple 0,38 0,30 - pondéré 0,17 0,48 - coefficient de corrélation intraclasse issu d'un modèle mixte à cotes proportionnelles 0,73 0,69 - linéaire - - 0,62 CONCLUSIONS La validité de la grille proposée est bonne. Sa reproductibilité est moyenne à bonne, malgré sa complexité d'utilisation. Pour tenir compte de cette complexité, la grille a été révisée afin de standardiser son utilisation et d'améliorer encore l'évaluation du risque. Cette grille révisée va être utilisée dans l'essai Optimon (PHRC 2005), qui compare deux stratégies de monitorage : classique, et optimisée selon le risque d'après les principes scientifiques et réglementaires majeurs. Par ailleurs, la validation de la grille est en cours dans le cadre de la collaboration européenne ECRIN. Malgré sa complexité, la reproductibilité de la grille, estimée à partir de méthodes adaptées aux niveaux ordonnés, est moyenne à bonne. SOURCES DE DIFFICULTES Les évaluateurs ont rencontré des difficultés lors de 42% des évaluations. Ces difficultés provenaient de résumés mal rédigés (14%), de protocoles mal rédigés (17%), ou de la complexité de la grille (15%). REFERENCES 1. Fleiss J.L. Statistical methods for rates and proportions. New York:John Wiley & Sons, 1981;321p. SITE OPTIMON 2. Kraemer H.C. Extensions of the kappa coefficient. Biometrics 1980;36:207-16. https://ssl2.isped.u-bordeaux2.fr/optimon/