une étude quasi-randomisée auprès des médecins généralistes EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR L’INTERNET: une étude quasi-randomisée auprès des médecins généralistes Monsieur le Président, Madame et Messieurs les membres du jury, Mesdames et Messieurs, Je vais vous présenter les travaux de ma thèse concernant l ’évaluation de l ’outil de recherche D ’C pour la diffusion des recommandations professionnelles sur l ’Internet. Il s ’agit d ’une étude quasi-randomisée réalisée auprès des médecins généralistes. Lucie BAERT-QUIBEL 27 mai 2004

1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF Dans un premier temps, je vous propose d ’analyser les enjeux des RP et les stratégies actuellement développées pour en améliorer l ’impact.

RECOMMANDATIONS PROFESSIONNELLES (RP) : Définition (Institute of Medecine, 1990) « Les RP sont des propositions développées selon une méthode explicite pour aider le professionnel de santé et le patient à rechercher les soins les plus appropriés dans des circonstances cliniques données » LES ENJEUX Pratiquer une médecine fondée sur les preuves EBM Améliorer coût/efficacité des services de santé Les RP sont définies depuis 1990 comme des « propositions développées selon une méthode explicite pour aider le professionnel de santé et le patient à rechercher les soins les plus appropriés dans des circonstances cliniques données. Un soin est dit approprié Ces documents ont été créés dans le but d ’améliorer le rapport coût/efficacité des services de santé c ’est-à-dire réduire les prescriptions inutiles mais aussi garantir les prescriptions nécessaires. D ’accéder aux résultats pertinents de la recherche médicale pour le praticien inondé par le flux continu des publications. De permettre aux médecins de pratiquer une médecine fondée sur les preuves, nouveau courant de pensée en médecine qui propose un modèle décisionnel alliant à la fois l ’utilisation consciencieuse et judicieuse des meilleures données actuelles de la recherche clinique, l ’expérience du médecin et les préférences du patient. L ’enjeu principal de ces documents est en fait l ’amélioration de l ’état de santé des patients. Expérience clinique Données de la recherche Préférences du patient Décision Faciliter l’accès aux résultats pertinents de la recherche médicale (flux continu des publications) Améliorer l’état de santé des patients

Conférence de Consensus (CC) RP : LES METHODES Conférence de Consensus (CC) Recommandation pour la Pratique Clinique (RPC) Conférence Formalisée d’Experts (CFE) Si controverse sur un sujet pouvant se décliner en quelques questions Si thème complexe nécessitant un travail prolongé. Si peu ou pas de données scientifiques sur un thème. Les 3 méthodes d ’élaboration de ces documents sont la Conférence de Consensus, les Recommandations pour la Pratique Clinique, la Conférence formalisée d ’experts.

l’impact des RP reste limité RP : IMPACT Critères de jugement : Audience : couverture médiatique, nombre de citations Connaissance : connaissance déclarée des RP, intentions de prescription Modification des pratiques : déclarations de pratiques, analyse du dossier patient, mesure de la variation des prescriptions ou de la consommation médicamenteuse Modification de l’état de santé Répercussion dans l’organisation des soins ou les programmes de recherche Résultats : Etudes souvent contradictoires : difficultés méthodologiques (hétérogénéité des populations étudiées, des interventions ciblées, des critères de jugement) Grimshaw et Al (1993) : 55/59 études ont montré des « améliorations » du processus de soins, 9/11 études ont rapporté des « améliorations » sur les résultats de soins. Mais grande variation des effets L ’utilité réelle des RP est au cœur d ’un débat. Ces documents sont-ils susceptibles de modifier le comportement des praticiens? L ’impact peut être évalué par différents critères qui sont : LIRE LA DIAPO Les résultats des études sont souvent contradictoires et probablement liés à leurs difficultés méthodologiques. L ’équipe de Grimshaw en 1993 a toutefois montré des améliorations du processus de soin dans la majorité des études et également des améliorations des résultats de soins. Cependant, les auteurs insistent sur une grande variation des effets observés. En outre, la revue de la littérature révèle que l ’impact des RP reste limité. l’impact des RP reste limité

RP : BARRIERES A LA MISE EN APPLICATION Liées aux RP : manque de lisibilité, pas applicables en pratique, pas adaptées aux besoins réels… Liées aux praticiens : perte de liberté clinique, inertie des comportements, amalgame entre les RP et les RMO avec une connotation négative Liées à l’environnement : refus du patient, problèmes d’organisation. STRATEGIES POUR AMELIORER L’IMPACT

Pas de méthode définie pour garantir la mise en application des RP De mise en oeuvre audits mesures administratives rappels ou reminders sur support papier systèmes informatisés d’aide à la décision médicale (SIADM) STRATEGIES D’élaboration (contenu et présentation) De diffusion Le support papier Le support « FMC »: distribution de documents imprimés ou matériels audiovisuels réunion débat interactif, conférence élaboration de consensus locaux intervention de leaders d’opinion visites d’éducation au cabinet du médecin Le support électronique CD-Rom l’Internet = sujet de ce travail Les interventions les plus efficaces : les visites d’éducation les rappels (seuls les SIADM permettraient d’envisager la mise en œuvre simultanée de nombreuses RP) les réunions débats interactifs les audits - retours d’information l’association de plusieurs interventions +++ Pas de méthode définie pour garantir la mise en application des RP

Utilité : source d’information majeure, grandes potentialités L’INTERNET : UN OUTIL ADAPTE POUR LA DIFFUSION D’INFORMATIONS EN SANTE ? Utilité : source d’information majeure, grandes potentialités Rapidité : oui si connexion de qualité et compétence pour manipuler ces outils. Validité : information de tout type et de qualité hétérogène. Les ressources pertinentes sont difficiles à localiser.

OU TROUVER DES RP SUR L’INTERNET? Quelques exemples Les agences gouvernementales : ANAES : Agence Nationale d ’Accréditation et d ’Evaluation en Santé SIGN : Scottish Intercollegiate Guideline Network ... Les sociétés savantes : SOR : Standards, Options et Recommandations NGC : National Guideline Clearinghouse CISMeF : Catalogue et Index des Sites Médicaux Francophones, site Web du CHU de Rouen

1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF

CISMeF OBJECTIF : faciliter l’accès à des documents médicaux de qualité en français et gratuits COMMENT ? Recensement : (n  13500 ressources) 3 axes prioritaires : la médecine factuelle, l’enseignement, l’information des patients Filtrage et sélection : seulement les ressources de qualité Description, indexation et classification des ressources : Deux outils standards : - des métadonnées - le thésaurus MeSH Deux nouveaux concepts : -les métatermes - les types de ressources

DESCRIPTION, INDEXATION ET CLASSIFICATION DES RESSOURCES LES METADONNEES - Dublin Core + 7 autres champs spécifiques à CISMeF (décrire et indexer les ressources) - HIDDLE (transparence, la confiance et la qualité de l’information) - métadonnées spécifiques à l’enseignement: (ex : « cycle », « l’année d ’étude ») LE THESAURUS MeSH - Version française de l ’INSERM - Langage le plus connu par les professionnels de santé (Medline) - 22600 mots-clés (ex : « abdomen », « tumeur ») et 84 qualificatifs (ex : « diagnostic », « complication ») LES METATERMES - Permettent un classement thématique - Correspondent à des spécialités biologiques ou médicales LES TYPES DE RESSOURCES Décrivent la nature de la ressource (ex : « recommandation », « patient », « corrigé d ’annales »)

EXPLOITATION DE LA TERMINOLOGIE CISMeF CISMeF est structuré en 4 niveaux hiérarchiques : métatermes, mots-clés, qualificatifs et type de ressources L’OUTIL DE RECHERCHE Doc ’CISMeF 4 modes de recherche : recherche simple (langage naturel) recherche avancée recherche booléenne (documentalistes) recherche pas à pas

CISMeF et Doc’CISMeF Garantit la validité des ressources Permet une présentation claire et organisée de l ’information médicale Offre des possibilités de recherche précise Est l’un des sites les plus fréquentés par les médecins Satisfaction des utilisateurs? Comment appréhendent-ils cet outil? Doc’CISMeF est-il efficace pour diffuser des RP?

1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF

OBJECTIFS DE L ’ETUDE 1) Déterminer si Doc’CISMeF est efficace pour diffuser des RP auprès des médecins généralistes. 2) Evaluer si une session de formation à l’utilisation de Doc’CISMeF améliore les performances de recherche des praticiens 3) Mesurer le différentiel entre l’accès aux RP et l’accès à une information précise dans ce document

MATERIELS ET METHODES (1) Partiellement financée par l ’ANAES dans le cadre du programme de recherche 2001-2002 En mars et avril 2003 : une séance de formation et d’évaluation de Doc’CISMeF. En avril 2004 : une enquête téléphonique sur l’utilisation de Doc’CISMeF sur l’année écoulée.

MATERIELS ET METHODES (2) Etude mars/avril 2003 55 médecins généralistes volontaires (recrutés à partir de la liste du CHNGE puis de l’annuaire) 2 groupes : (étude quasi-randomisée) évaluation après formation (n = 28) évaluation avant formation (n = 27) la session de formation (~ 1h) : terminologie CISMeF, recherche simple, recherche avancée, type de ressource « recommandation » la session d ’évaluation (~ 1h) : 5 questions sous forme de cas cliniques (max 12min/question)

MATERIELS ET METHODES (3) Questions proposées aux médecins 1 – Diabète de type 2 Quel schéma thérapeutique proposer à une femme de 45 ans, dont l'Indice de Masse Corporelle (IMC) est à 31, sans stérilet et sans autre anomalie biologique ou clinique ? 2 – Asthme A - Retrouver les 4 niveaux de gravité de l'asthme B - Pour un adulte jeune, dont vous avez évalué qu'il était porteur d'un asthme persistant modéré, quelles sont les recommandations thérapeutiques ? 3 – Cancer du sein A – Quel dépistage du cancer du sein proposer à une femme de 51 ans qui arrive dans votre clientèle sans antécédents familiaux ni personnels ? 4 – Lombalgie A – Quelle est la place du scanner chez un patient porteur de lombalgie clinique depuis 3 semaines sans atteinte sciatique clinique ?

MATERIELS ET METHODES (4) Profil des participants : âge, habitudes d’utilisation de l’Internet et de CISMeF critères d’évaluation de Doc’CISMeF critères analysés pour chaque objectif distinct succès pour trouver un document pertinent (critère majeur) succès pour identifier un paragraphe pertinent (critère majeur) temps nécessaire à la recherche (critère majeur) nombre de clics mode de recherche satisfaction difficulté critères qualitatifs (évaluation globale) : design, clarté de la présentation, qualité de l’aide à la navigation, facilité de la navigation « l’utilisation régulière de ce site pourrait faciliter votre pratique clinique? »

RESULTATS (1) Profil des participants : 50 ans en moyenne 87% CHNGE 93% avaient déjà utilisé Internet (78% personnel, 82% professionnel) 36% avaient déjà utilisé CISMeF

RESULTATS (2) Figure 1 : répartition du nombre de médecins généralistes par nombre de documents pertinents trouvés p = 0,078 . Test exact de Cochran-Armitage Pas de différence significative entre les deux groupes

RESULTATS (3) Figure 2 : Répartition du nombre de médecins généralistes par nombre de paragraphes pertinents identifiés p = 0,714 . Test exact de Cochran-Armitage Pas de différence significative entre les deux groupes

RESULTATS (4) Pas de différence significative entre les deux groupes quelque soit l’objectif ou le critère considéré

RESULTATS (5) Figure 3 : succès de la recherche par objectif et par groupe

RESULTATS (6) Estimation de Kaplan-Meier de la survie cumulée par question et par groupe SF : groupe sans formation AF : groupe avec formation n : nombre total de médecins qi : nombre total de paragraphes pertinents identifiés La survie cumulée en un temps t est la probabilité que le temps nécessaire pour identifier un paragraphe soit supérieure ou égale à t * test du Logrank (différence significative pour une erreur de premièreespèce de 5% si p  0,01)

RESULTATS (7) 93 à 56% (selon les objectifs et les groupes) des médecins ont été satisfaits ou très satisfaits de leur recherche. 82 à 41% (selon les objectifs et les groupes) des médecins ont estimé leur recherche facile ou très facile mode de recherche : groupe formé : 4,9 RA et 0,6 RS en moyenne groupe non formé : 1,5 RA et 4,6 RS

RESULTATS (8)

RESULTATS (9)

RESULTATS DE LA PHASE 1 1) Doc’CISMeF est performant. 2) Impact de la session de formation Uniquement sur le mode de recherche et la qualité de l’aide à la navigation. Le groupe des médecins formés n’a pas été plus performant ou plus rapide que le groupe des médecins non formés. 3) Différentiel non négligeable entre l’accès au document et l’accès à l’information.

L ’ENQUETE TELEPHONIQUE (1) Utilisation de Doc’CISMeF depuis un an. n = 53 (2 perdus de vue) n = 34 non initiés CISMeF n = 19 initiés CISMeF Mars 2003 n = 8 0/mois n = 27 1,5 fois/mois n= 18 6 fois/mois Mars 2004 Manque de temps Complexité du site recherche plus efficace n = 9 recherche plus rapide n = 8 N.B.: Utilisation de CISMeF pendant une consultation : n = 5

L ’ENQUETE TELEPHONIQUE (2) Mesure de l’intervention de Doc’CISMeF pour améliorer l’impact des RP 38% ont déclaré avoir découvert des RP avec Doc’CISMeF. 45% ont déclaré avoir modifié leur pratique après avoir consulté des RP sur CISMeF.

L ’ENQUETE TELEPHONIQUE (3) La session de formation 51% des médecins l’estiment insuffisante. Elle est : indispensable (32%) utile (64%) inutile (4%)

L ’ENQUETE TELEPHONIQUE (4)

CONCLUSION ET PERSPECTIVES RP BFES CISMeF/ANAES DIFFUSION Doc ’CISMeF FORMATION Performant pour diffuser des informations médicales Pas d’impact Accès document Pas encore intégré à la pratique quotidienne Améliorer la formation Projet « e-FMC » lien (notice/paragraphe) DIFFERENTIEL Non négligeable Accès information Appréciation du médecin et préférences du patient APPLICATION Amélioration de l ’état de santé des patients Diminution des coûts