Madame X, 73 ans, mariée, vit en couple au domicile personnel. CAP imprimerie. Papetière margeuse (pdt 10 ans) puis a fait des ménages (pdt 15 ans). Se considère en bonne santé. Mais oublis dans les activités courantes, difficultés de langage. Pas de plainte au médecin. Totalement autonome pour les 5 activités de l'échelle de Lawton et les 5 activités de l'échelle de Katz. Antécédents médicaux : hypertension, hypercholestérolémie. AVC il y a 6 mois (déficit moteur + diplopie) ; hospitalisée en neurologie ; pas de séquelles. Diagnostic de FA. Traitement : Trasicor, Hytacand, Cordarone, Previscan, Elisor MMSE=26 (-2 calcul ; -2 rappel des mots) Test de Benton=12 Set test d'Isaac 15s=27 ; 30s=38 Test de GROBER : Rappel 1 : ; Rappel 2 : ; Rappel 3 : ; Rappel différé : –somme des 3 rappels libres : 13 –somme des 3 rappels libres + indicé : 29

Monsieur X, 76 ans, marié, vit en couple au domicile personnel. CAP ajusteur. Ajusteur. Se considère en bonne santé. Mais oublis dans les activités courantes, pour retenir de nouvelles informations et difficultés de langage. Pas de plainte au médecin. Autonome pour les 5 activités de l'échelle de Lawton (sauf aide nécessaire pour le budget, depuis toujours) et les 5 activités de l'échelle de Katz. Antécédents médicaux : hypertension, hypercholestérolémie. Traitement : Lodoz, Vasten. MMSE=28 (-1 calcul ; -1 rappel des mots) Test de Benton=13 Set test d'Isaac 15s=25 ; 30s=37 Test de GROBER : Rappel 1 : 7+ 5 ; Rappel 2 : ; Rappel 3 : ; Rappel différé : mot(s) –somme des 3 rappels libres : 16 –somme des 3 rappels libres + indicé : 30

Liste des critères applicables aux études diagnostiques : 1- Une formulation claire du type d'évaluation diagnostique 2- Un schéma d'étude adéquat : la comparaison avec un test de référence 3- Une définition acceptable de la normalité selon le test de référence 4- L'indépendance des tests comparés 5- La description d'une population source hétérogène et pertinente 6- Une description des refus de participation* 7- La similitude des procédures dans tous les groupes* 8- Un calcul de la taille de l'échantillon 9- Le respect des aspects éthiques et réglementaires* 10- Des retraits raisonnables en cours d'étude* 11- Des modalités pratiques incluant des procédures d'insu 12- Des modalités pratiques pertinentes pour la pratique clinique 13- L'adéquation des méthodes statistiques 14- La description des erreurs diagnostiques * Critères non spécifiques, qui ne sont pas détaillés dans ce module.

-la fiabilité (inclut reproductibilité) de l'outil est sa capacité à donner les mêmes résultats, quelles que soient les conditions d'application ; -la validité est sa capacité à effectivement mesurer ce que l'on prétend mesurer. Critères concernant le schéma d'étude 1- Une formulation claire du type d'évaluation diagnostique

2- Un schéma d'étude adéquat : la comparaison avec un test de référence Comparaison des résultats de l'outil évalué avec ceux d'un outil diagnostique de référence. - L’outil de référence doit être un test de diagnostic définitif: biopsie, chirurgie, autopsie, suivi à long terme ou tout autre référence acceptée - Les outils de référence et l’outil à évaluer doivent être définis. - La comparaison entre un outil de référence et l'outil à évaluer peut se faire de plusieurs manières. -quand le seul outil diagnostique de référence est le suivi, le schéma d'étude est similaire à une étude de cohorte ; des individus ayant des résultats positifs ou négatifs, selon l'outil à évaluer, sont sélectionnés puis suivis jusqu'à ce que le diagnostic définitif puisse être posé. - quand un outil diagnostique de référence autre que le suivi est disponible, le schéma d'étude est similaire à celui d'une étude cas-témoins ; des individus malades et non malades sont sélectionnés selon l'outil de référence, puis l'outil à évaluer est appliqué.

Un schéma d'étude adéquat : la comparaison avec un test de référence Problématique spécifique MA Problématique spécifique MA 1- Pour un diagnostic de certitude, la référence, c’est l’examen autopsique et le diagnostic anatomo-pathologique 2- Maladie d’Alzheimer/démence L’évolution des troubles va permettre de porter le diagnostic de démence plusieurs mois ou années après le diagnostic de prodromal MA B Dubois et al Lancet Neurology 2007

3- Une définition acceptable de la normalité selon le test de référence L’outil de référence doit être défini, appliqué et interprété de manière à ce que les définitions de la maladie et de la non-maladie (normalité selon le test de référence) soient acceptables -Définition pronostique du normal : les valeurs normales de l’outil de référence sont celles qui ne sont pas associées à un risque accru de morbidité ou de mortalité ; repose sur l’étude des facteurs prédictifs de l’apparition ultérieure d’évènements cliniques -Quand l’outil diagnostique est quantitatif, problème de seuil entre valeurs normales et anormales Tests neuropsychologiques

4- L'indépendance des tests comparés L' indépendance des outils comparés est un élément fondamental qui doit apparaître dans ces définitions. Deux types de défaut d'indépendance - inclure l'outil à évaluer comme un des composants de la stratégie de référence. - n'appliquer l'outil de référence que chez les individus qui ont un résultat positif à l'outil à évaluer. (situation médicale courante) Le biais d'incorporation qui résulte de ces défauts d'indépendance rend la comparaison invalide.

Critères concernant la sélection des sujets 5 - La description d'une population source hétérogène et pertinente La définition de la population source, à partir des critères d'inclusion et d'exclusion, et la description de la population effectivement étudiée doivent clairement indiquer que l'échantillon portait sur un panorama complet de malades et de non-malades. -Toutes les formes de la maladie : +++ pour les diagnostics différentiels - Non malades incluant des affections différentes de la maladie à diagnostiquer Attention aux possibilités de transposition dans une population différente de celle étudiée: Population clinique avec fréquence élevée de la maladie/ population générale

Material & Methods (I) Recruitment of MCI outpatients in memory clinics Inclusion criteria Objective memory or attention impairment, asserted by –a MMSE > 25 with at least one missing word recall and/or –an Isaac set test < 28. Absence of clinical dementia (DSM III-R) Exclusion criteria Impairment of daily life activities :IADL > 1 Depression: MADRS >20

6- Une description des refus de participation* Description de la population effectivement incluse, suffisamment détaillée pour permettre de juger si la population étudiée est réellement celle prévue: - combien de personnes ont été considérées comme éligibles et combien ont effectivement accepté de participer. - Les raisons des refus ou des exclusions avant étude doivent être indiquées, ainsi que les caractéristiques des centres et des individus n'ayant pas été inclus. L'indication du nombre de refus ou d'impossibilité de participer est particulièrement importante dans les études diagnostiques, car un grand nombre de refus peut signer un défaut d'acceptabilité du test évalué ou, du test de référence. -Présentation dans un flow chart (diagramme de flux) qui pourra aussi inclure les étapes du suivi

n= exclusions Early drop out : n=17 : no follow-up n=11 : Follow-up ≤ 6 months dementia158 non -demented Follow-up and conversion 59 AD 80 % in the first 2-yrs 3-year-conversion rate: 27 %

7- La similitude des procédures dans tous les groupes* Si plusieurs groupes ont été inclus, il est important d'indiquer que les procédures de sélection ont été les mêmes pour tous les groupes. De manière générale, la sélection ne doit avoir été influencée par aucune caractéristique des individus. Renvoi vers les problèmes d'effet centre

8- Un calcul de la taille de l'échantillon Ce calcul doit avoir été fait a priori, au moment de la planification de l'étude, et doit être adapté à la question posée. L'exposé du calcul de la taille de l'échantillon pour une étude de la validité diagnostique doit faire apparaître : - les valeurs espérées de la sensibilité et la spécificité pour considérer que le test évalué sera valide; - le niveau de précision espéré autour de ces estimations de la sensibilité et de la spécificité - les niveaux de risques statistiques que les auteurs étaient prêts à prendre (« … avec des risques α et β fixés à …)

9- Le respect des aspects éthiques et réglementaires* -L'obtention du consentement éclairé et le maintien de la confidentialité et de l'anonymat - L'obtention du consentement éclairé est obligatoire chaque fois qu'un des deux tests (test évalué et test de référence) ne fait pas partie de la prise en charge habituelle des patients.

10- Des retraits raisonnables en cours d'étude* Ces retraits peuvent concerner des sujets -dont le devenir n'est pas connu dans une étude diagnostique où le test de référence nécessite un suivi ( perdus de vus ) -ou des sujets non pris en compte dans l'analyse, du fait de données incomplètes. La quantification de ces retraits en cours d'étude et leur description doivent apparaître dès la première partie des résultats. En pratique, les pertes de vue sont d'autant plus probables que le test de référence est le suivi ou s'il y a des délais incontournables entre la réalisation des deux tests. La description de la population, au début des résultats doit donc obligatoirement indiquer l'importance des délais entre les deux tests, par exemple, sous forme d'un délai moyen, d'un écart-type et des extrêmes.

Critères concernant la conduite de l'étude 11- Des modalités pratiques incluant des procédures d'insu - L'utilisation de procédures d'insu consiste à cacher les résultats obtenus par un observateur à tous les autres observateurs: les personnes qui appliquent l'outil diagnostique évalué ne savent pas si l'individu a ou n'a pas la maladie. - De même, les personnes qui appliquent l'outil de référence ne doivent pas connaître les résultats de l'outil diagnostique évalué. - Si l'insu est difficile ou impossible lors de l'application des outils, notamment pour les patients chez qui le tableau clinique est évident, les auteurs prendront soin de bien décrire comment les informations concernant un des outils ont été cachées lors de l'interprétation des résultats de l'autre outil. L'utilisation de personnes différentes pour appliquer un outil et pour l'interpréter permet habituellement de maintenir l'insu dans la plupart des situations. En l'absence de procédures d'insu, les auteurs doivent discuter la possibilité de biais et les conclusions de l'étude doivent être prudentes.

12- Des modalités pratiques pertinentes pour la pratique clinique 1- Les méthodes doivent être suffisamment précises et claires pour montrer que l'outil sera applicable en dehors du contexte expérimental dans lequel l'étude a été faite. 2- Les procédures d'insu peuvent être parfois très artificielles, la pratique clinique consistant souvent à interpréter les résultats d'un outil diagnostique à la lumière des autres informations disponibles. La publication doit décrire : quelles améliorations le nouvel outil apporte en termes de performance, de coûts, de risque pour le patient, de confort, de rapidité de résultats

Critères concernant l'analyse de l'étude 13- L'adéquation des méthodes statistiques Les mots clés de la mesure de la validité d'un outil diagnostique sont la sensibilité et la spécificité : - la sensibilité est la capacité de l'outil à correctement identifier les malades. Elle est calculée comme la proportion de malades chez qui le test est positif. -la spécificité est la capacité de l'outil à correctement identifier les non- malades. Elle est calculée comme la proportion de non-malades chez qui le test est négatif. Les deux paramètres doivent être rapportés avec leur intervalle de confiance. Maladie PrésenteAbsenteTotal Test +VPFPVP+FP -FNVNFN+VN TotalVP+FNFP+VNN Se = VP / (VP + FN)Spe = VN / (VN + FP)

13- Calcul de la sensibilité et de la spécificité Si les résultats de l'application de l'outil diagnostique évalué ne s'expriment pas sous forme d'une positivité et d'une négativité mais sous forme de résultats quantitatifs, les auteurs doivent choisir entre deux options : calculer la sensibilité et la spécificité pour tous les seuils possibles, ou fixer un seuil et justifier leur choix. -dans la première option, les auteurs doivent montrer, sous forme de tableau ou de graphique, la courbe ROC (Response Operating Characteristics) de l'outil diagnostique ; - dans la seconde option, un seul seuil est fixé, et la sensibilité et la spécificité sont calculées pour ce niveau. Le seuil fixé doit avoir un sens clinique précis, clairement défini dans les méthodes de l'étude.

Courbes ROC

Table 3AUCIC à 95%p-valueCutoffSeSpe FCRT free recall < FCRT total recall < Receiver Operator Characteristic Analysis neuropsychological tests associated with incident AD dementia Les scores –Rappel libre : somme des 3 rappels libres (max 48) –Rappel total : somme 3 rappels libres + indicés (max 48)

En pratique clinique –valeur prédictive d'un test positif (VPP) = proportion des résultats positifs qui correspond à des malades –valeur prédictive d'un test négatif (VPN) = proportion des résultats négatifs qui correspond à des non-malades 13- L'adéquation des méthodes statistiques Performance de prédiction Maladie PrésenteAbsenteTotal Test +VPFPVP+FP -FNVNFN+VN TotalVP+FNFP+VNN VPP = VP / (VP + FP) VPN = VN / (VN + FN)

Rappel libre –Se=71.2% ; Spe=91.8% –VPP et VPN ? 13- L'adéquation des méthodes statistiques Performance de prédiction Maladie PrésenteAbsenteTotal Test + - Total –VPP = VP / (VP + FP) = 42/55 = 76.4% –VPN = VN / (VN + FN) = 145/162 = 89.5% Se=71.2% (VP=0.712*59) Spe=91.8% (VP=0.918*158)

Rappel total –Se=79.7% ; Spe=89.9% –VPP et VPN ? 13- L'adéquation des méthodes statistiques Performance de prédiction Maladie PrésenteAbsenteTotal Test + - Total –VPP = VP / (VP + FP) = 47/63 = 74.6% –VPN = VN / (VN + FN) = 142/154 = 92.2% Se=79.7% (VP=0.797*59) Spe=89.9% (VP=0.899*158)

VPP et VPN –dépendent de Se et Spe –dépendent de la prévalence : quand P augmente, VPP augmente et VPN diminue –VPP = (PxSe)/[(PxSe)+(1-P)(1-Sp)] –VPN = [(1-P)xSp]/{[(1-P)xSp]+P(1-Se)} 13- L'adéquation des méthodes statistiques Performance de prédiction Prévalence DépistageDiagnostic

Validité du Grober en population ? Etude des 3 Cités : 9294 sujets de 65 ans et plus, non institutionnalisés, tirés au sort sur les listes électorales, à Bordeaux, Montpellier et Dijon –2104 sujets à Bordeaux Inclusionsuivi 2 anssuivi 7 ans suivi 4 ans suivi 9/10 ans Test Grober Evaluation démence/Alzheimer

suivi 2 anssuivi 4 ans Test Grober n= démences (1.8%) dont 15 AD

AlzheimerSeSpeVPPVPN FCRT free recall73,389,07,399,6 FCRT total recall60,086,34,999,5 ADNon ADTotal Rap libre< Rap libre>= Total ADNon ADTotal Rap total< Rap total >= Total Prévalence = 1.16%

Pré-AL3 Cités MCI - non ADMCI - ADNon démDément Age70.9 (5.4)74.8 (4.1)75.6 (4.7)78.6 (5.5) Education (% bac) % male MMSE27.7 (1.3)26.9 (1.2)27.9 (1.8)26.4 (2.4) Isaacs set test28.2 (5.9)25.7 (5.2)32.2 (6.3)27.2 (6.8) Benton visual retention test11.9 (1.9)10.8 (2.2)11.7 (2.1)9.9 (2.8) FCRT free recall25.2 (6.2)13.6 (5.9)24.4 (6.6)16.3 (6.8) FCRT total recall44.3 (3.8)31.0 (9.9)44.2 (5.0)36.8 (9.9) FCRT delayed free recall9.6 (3.0)3.7 (2.7)9.5 (2.9)5.7 (3.1) FCRT delayed total recall15.1 (1.7)10.3 (4.2)14.6 (1.9)11.9 (3.7)

Pré-AL3 Cités MCI - non ADMCI - ADNon démDément Plainte médecin : - mémoire - cognitive 100% Recours à une consultation spécialisée 100%

Madame X est revue 5 ans après (78 ans). Toujours mariée et en couple au domicile personnel. Se considère en bonne santé. Ne se plaint plus de symptômes cognitifs. Toujours totalement autonome pour l'échelle de Lawton et de Katz. Traitement : Hytacand, Kerlone, Levothyrox, Amlor, Pravastatine, Previscan MMSE=29 (-1 rappel des mots) Test de Benton=11 Set test d'Isaac 15s=26 ; 30s=33 Test de GROBER : Rappel 1 : ; Rappel 2 : ; Rappel 3 : ; Rappel différé : –somme des 3 rappels libres : 27 –somme des 3 rappels libres + indicé : 45

Monsieur X est revu 5 ans après (81 ans). Toujours marié et en couple au domicile personnel. Se considère en bonne santé. Ne se plaint plus de symptômes cognitifs. Toujours autonome pour l'échelle de Lawton et de Katz. Même traitement : Lodoz, Vasten. MMSE=27 (-1 calcul ; -2 rappel des mots) Test de Benton=12 Set test d'Isaac 15s=19 ; 30s=30 Test de GROBER : Rappel 1 : 8+ 4 ; Rappel 2 : ; Rappel 3 : ; Rappel différé : mot(s) –somme des 3 rappels libres : 24 –somme des 3 rappels libres + indicé : 39

14- La description des erreurs diagnostiques L'analyse d'une étude de validité doit être complétée par une description des erreurs diagnostiques. L'analyse des sources possibles d'erreur est importante pour envisager des améliorations de l'outil ou recommander la prudence dans l'interprétation des résultats chez certains individus. Cette analyse doit être fondée sur une description des erreurs et sur l'application d'autres outils diagnostiques ou de recherche. - Juger, évaluer la gravité des conséquences des erreurs, résultats faussement positifs ou négatifs.