GTS813: Cours #4 Évaluer une technologie La recherche d’information Comment lire un article scientifique

Évaluer une technologie

Définition Les technologies de la santé: Procédures et méthodes pour examiner, traiter, pour la réadaptation, incluant l’équipement et les drogues. Inclut aussi les procédures utilisées pour la médecine préventive

Évaluation: champ d’application Médecine préventive Dépistage (screening) Diagnostique Traitement Réadaptation

Évaluation: efficacité Est-elle documentée? Est-elle meilleure que les technologies alternatives?

Évaluation : risques Effets indésirables Niveau de risque

Types de recherches La littérature scientifique se divise en 4 catégories: Recherche fondamentale Recherche épidémiologique Recherche clinique Recherche sur les services de santé

Article scientifique Introduction Matériel et méthode Résultats Discussion

Évaluation du risque L’évaluation du risque comporte 4 éléments: Identification du problème (risque) Description de l’exposition (nombre de patients, doses, temps…) Évaluation de la relation entre l’exposition au risque et le résultat Résumé des risques et de son implication

Nécessité de conduire des recherches supplémentaires Littérature trop pauvre Documentation scientifique inadéquate

L’Étude randomisée contrôlée La plus robuste Des patients reçoivent au hasard l’un ou l’autre des traitements Technologie vs placebo Nouvelle technologie vs ancienne Idéalement à double insu Le patient donne son consentement

Les études épidémiologiques Étude de cohortes (prospectives) effet + - Exposition a b c d

La recherche d’information

La recherche d’information 5 principes Formuler les questions auxquelles ont peut donner une réponse Trouver les évidences disponibles Sélectionner et donner un avis sur les évidences trouvées Appliquer en pratique Évaluer Biblio

Exemple

Bases de données Pour les recherches sur les technologies The Cochrane Library http://www.mrw.interscience.wiley.com/cochrane/cochrane_clsysrev_subjects_fs.html Medline http://www.ncbi.nlm.nih.gov/ Dare www.york.ac.uk/inst/crd/darehp.htm

Bases de données Pour les recherches sur les patients Psychinfo http://www.apa.org/psycinfo/ Medline Sites WEB de patients

Bases de données Littérature sur les organisations HealthStar http://www.ncbi.nlm.nih.gov/books/bv.fcgi?rid=hstat

Bases de données Littérature sur l’économie HEED (payant) Econlit http://www.ohe-heed.com/ Econlit http://www.econlit.org/ IDEAS –Internet Documents in Economics Access Service http://ideas.repec.org/ Information Resources in Health Economics http://www.york.ac.uk/inst/crd/econ.htm

Stratégies de recherche

Sélection critique Est-ce que l’article est pertinent? Les résultats sont-ils valides? L’article est-il important pour répondre à la question?

Comment lire un article scientifique?

Recherche qualitative Les articles qui vont au-delà des nombres… Voir l’humain dans son ensemble Question bien formulée Triangulation Analyse de données par méthodes explicites, systématiques et reproductibles

Recherche qualitative Documents: Observation passive: Observation participative: Interviews en profondeur: Focus group:

Recherche qualitative Quantitative Théorie sociale Méthodes Question Action Observation, Interview Qu’est-ce que X? (Classification) Structure Expérience, sondage Combien de X? (numération) Raisonnement Méthode d’échantillonnage Force Inductif Théorique Validité Déductif Statistique Fiabilité

Recherche qualitative Évaluer un article Question 1: est-ce que le papier a décrit un problème clinique important et formule la question de façon claire?

Recherche qualitative Évaluer un article Question 2: Est-ce qu’une approche par recherche qualitative était appropriée? Question 3: Comment les sujets et la mise en place ont été sélectionnés?

Recherche qualitative Évaluer un article Question 4: Quelle est la perspective du chercheur?

Recherche qualitative Évaluer un article Question 5: Quelle est la méthode utilisée pour recueillir les données. Ces méthodes sont-elles décrites suffisamment en détail? Question 6: Quelle méthode le chercheur a-t-il utilisée pour analyser les données? – quelles mesures de contrôle qualité de ces données ont été implantées?

Recherche qualitative Évaluer un article Question 7: Les résultats sont-ils crédibles et si oui, ont-ils une importance clinique? Question 8: quelles conclusion ont été tirées? Question 9: Est-ce que les résultats sont transférables vers une autre réalité clinique?

Recherche qualitative Les médecins mettent l’emphase sur des résultats numériques Or, la recherche qualitative peut être d’un apport primordial pour comprendre pourquoi certains phénomènes ont lieu Références: Black N. Why we need qualitative research. Epidemiol Community Health 1994; 48: 425-6 Denkin NK Lincoln YS, Eds. Handbook of qualitative research. London: Sage, 1994 Mays N, Pope C, Eds. Qualitative research in health care. London: BMJ Publishing Group, 1996.

Revues systématiques et méta-analyses Revue systématique Méta-analyse

Revues systématiques et méta-analyses Méthodologie d’une revue systématique (études randomisées contrôlées, RCT)

Revues systématiques et méta-analyses Avantages d’une revue systématique

Revues systématiques et méta-analyses Évaluation de revues systématiques Question 1: peut-on identifier une question clinique d’importance? Question 2: Est-ce que la recherche bibliographique est exhaustive? Est-ce que d’autre sources ont été explorées?

Revues systématiques et méta-analyses Évaluation de revues systématiques Question 3: est-ce que la qualité méthodologique a été évaluée et les essais pondérés en conséquence? Question 4: À quel point les résultats sont-ils sensibles à la manière dont la revue a été conduite?

Revues systématiques et méta-analyses Évaluation de revues systématiques Question 5: Est-ce que les résultats numériques ont été interprêtés avec itelligence et en considérant l’aspect plus large du problème?

Méta-analyses

Méta-analyses Expliquer l’hétérogénéité

Revues systématiques et méta-analyses Références Chalmers I, Altman DG, eds. Systematic reviews. London: BMJ pulishing group, 1995 Oxman AD, Guyatt GH. The science of reviewing research. Ann NY Acad Sci 1993; 703: 125-31. Altman et al., A comparison of results of meta-analyses of randomized trials and recommendations of clinical experts. JAMA 1992; 268: 240-8.

Un peu de statistiques

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Groupes comparables Tests paramétriques et non paramétriques

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Distribution normale

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Cours asymétrique

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Les données sont-elles analysées suivant le protocole original? Données pairées Les « outlyer »

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Corrélation, régression et relation de causalité

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Question: est-ce que les suppositions ont été faite sur la nature et la direction de la causalité?

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Question: est-ce que les valeurs de « p » ont été calculées et interprétées adéquatement? Question: les intervalles de confiance ont-ils été calculés et si oui, la conclusion de l’auteurs reflète-t-elle ces intervalles?

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Le résultat Question: est-ce que les auteurs ont exprimé l’effet d’une intervention en terme de bénéfice ou de dommage pour le patient?

10 façons de tricher quand on présente des résultats Mettre toutes les données ensemble et calculer les valeurs de p et reporter tout ce qui est significatif S’il y a des différences de départ entre 2 groupes, ne pas ajuster Ne pas tester les données pour la normalité des données, sinon, on risque de se retrouver avec des tests non paramétriques Ignorer tous les « outlayer » ou les non-répondants Toujours considérer qu’on peut mettre en corrélation deux ensembles de données et assumer qu’une corrélation positive donne un lien de causalité S’il y a des outlayer, les supprimer tout simplement, s’ils aident à vérifier les hypothèses, juste les laisser ou ils sont Si les intervalles de confiance se superposent, ne pas les mentionner ou les mentionner juste dans le texte et pas dans les graphiques et ignorer dans la conclusion Si la différence entre deux groupes devient significative après 4mois et demie, arrêter les expériences. Ou bien s’ils ne le sont pas encore après 6 mois, continuer l’expérience jusqu’à ce qu’ils le deviennent. Si vos résultats semblent inintéressants, vérifie s’il n’y a pas un sous-groupe qui donne des choses significatives, du genre toutes les femmes chinoises entre 52 et 63 ans Si l’analyse de vos résultats ne donnent pas le résultat escompté avec la méthodologie prévue, passer les données a travers une batterie d’autres tests pour voir s’ils ne deviennent pas significatifs

Évaluer la qualité de la méthodologie 6 questions fondamentales: L‘étude est-elle originale? Sur quoi et qui l’étude porte-t-elle? Est-ce que le design de l’étude était sensible? Est-ce que le biais systématique a été évité ou minimisé? Est-ce que l’évaluation s’est fait à l’aveugle? A-t-on réfléchi à la question des statistiques avant de commencer l’étude?