La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

14 novembre 2005Soutenance JB Hardouin1 Construction déchelles ditems unidimensionnelles en qualité de vie Jean-Benoit Hardouin Soutenance de thèse Santé

Présentations similaires


Présentation au sujet: "14 novembre 2005Soutenance JB Hardouin1 Construction déchelles ditems unidimensionnelles en qualité de vie Jean-Benoit Hardouin Soutenance de thèse Santé"— Transcription de la présentation:

1 14 novembre 2005Soutenance JB Hardouin1 Construction déchelles ditems unidimensionnelles en qualité de vie Jean-Benoit Hardouin Soutenance de thèse Santé Publique/Biostatistique Université René Descartes - Paris V 14 Novembre 2005

2 14 novembre 2005Soutenance JB Hardouin2 Plan Contexte La Théorie de Réponse aux Items et le modèle de Rasch Le modèle multidimensionnel de Rasch marginalement exhaustif La sélection déchelles ditems basée sur le modèle de Rasch Méthodes Raschfit, Raschfit-Fast Comparaison avec dautres méthodes (simulations) Outils logiciels : IRT sous SAS et Stata

3 14 novembre 2005Soutenance JB Hardouin3 Vocabulaire en psychométrie Psychométrie : domaine scientifique sattachant à la mesure de traits latents Trait latent : caractéristique (quantitative) non observable des individus Item : question à réponse binaire ou ordinale Echelle : ensemble ditems dont les réponses sont influencées par un même trait latent Score : fonction des réponses aux items dune échelle dont la valeur est liée à celle du trait latent

4 14 novembre 2005Soutenance JB Hardouin4 Représentation graphique Item 1 Score Trait latent Item 2 Item 3 Item J … Echelle

5 14 novembre 2005Soutenance JB Hardouin5 Domaines dapplications de la psychométrie Sciences de léducation : intelligence, connaissance Psychologie & psychiatrie : présence de troubles, traits de personnalité Recherche clinique : qualité de vie, état de santé Toute autre domaine nécessitant une mesure indirecte dun caractère non directement mesurable

6 14 novembre 2005Soutenance JB Hardouin6 Constat initial La plupart des échelles sont construites par des experts du domaine Mise à part lunidimensionnalité, les propriétés psychométriques recherchées pour ces échelles ne sont pas toujours prises en compte lors de la phase de construction Le score proposé est même parfois non mathématiquement justifié Le statisticien intervient en phase confirmatoire pour vérifier que les échelles construites ont bien les propriétés recherchées Si non, léchelle peut être rejetée Est-il possible daider les experts à construire des échelles ayant de bonnes propriétés ?

7 14 novembre 2005Soutenance JB Hardouin7 Contexte A partir de lensemble des items définis par les experts pour mesurer un trait latent, lesquels peuvent former une échelle psychométrique ayant de bonnes propriétés ? Quelles sont ces propriétés ? Unidimensionnalité Score facile à calculer (Par exemple un score non pondéré) dont lusage pourra être justifié =>Modèle de Rasch

8 14 novembre 2005Soutenance JB Hardouin8 Théorie classique et théorie moderne en psychométrie Théorie classique : Le score est une mesure directe du trait latent Trait latent=score+erreur Théorie moderne (Théorie de Réponse aux items - IRT) : Le score est une mesure non linéaire du trait latent Trait latent=f(score)+erreur f(x) est une fonction non décroissante Le modèle de Rasch appartient à lIRT

9 14 novembre 2005Soutenance JB Hardouin9 Notations Q : dimension du trait latent j : vecteur de paramètres caractérisant litem j, j=1…J n =( n1,.., nq,…, nQ ) : vecteur de dimension Q représentant les valeurs du trait latent multidimensionnel pour lindividu n, n=1…N X nj : variable aléatoire représentant la réponse de lindividu n à litem j (de réalisation x nj ) Modalité 0 : la moins favorable au trait latent (réponse négative) Modalités 1 à m j : autres modalités classées (réponses positives) Pour la suite on se restreindra au cas dichotomique : m j =1

10 14 novembre 2005Soutenance JB Hardouin10 IRT: Hypothèses fondamentales Unidimensionnalité : les réponses aux items dépendent dun trait latent unidimensionnel (Q=1, le trait latent est un scalaire) Monotonicité : la probabilité P(X nj =1/ n, j ) est une fonction non décroissante sur le trait latent Indépendance locale : les variables réponses aux items sont indépendantes conditionnellement au trait latent

11 14 novembre 2005Soutenance JB Hardouin11 Représentation graphique Item 1 (X n1 ) Score (S n ) Trait latent ( n ) Item 2 (X n2 ) Item 3 (X n3 ) Item J (X nJ ) …

12 14 novembre 2005Soutenance JB Hardouin12 IRT: Les fonctions de réponse aux items (IRF) et les courbes caractéristiques des items (ICC) LIRF de litem j est la fonction donnant la probabilité de répondre positivement à cet item en fonction du trait latent Les ICC sont les représentations graphiques des IRF

13 14 novembre 2005Soutenance JB Hardouin13 Le modèle de Rasch (1960) Les items sont caractérisés par un paramètre unique : j =( j ) Les IRF sont des fonctions décroissantes par rapport à j : ce dernier est appelé paramètre de difficulté Les ICC sont non sécantes Les pentes des ICC aux points dinflexion (pouvoir discriminant) sont égales et fixées

14 14 novembre 2005Soutenance JB Hardouin14 Courbes caractéristiques des items dans le cadre du modèle de Rasch ( )

15 14 novembre 2005Soutenance JB Hardouin15 Considération sur le trait latent Le trait latent peut être considéré de deux manières Soit comme un ensemble de paramètres fixes n, n=1,…,N Soit comme une variable aléatoire ayant pour réalisation pour lindividu n la valeur n : le modèle est alors un modèle logistique à effets mixtes (GLMM) On parle ainsi du modèle de Rasch à effets fixes ou du modèle de Rasch à effet aléatoire

16 14 novembre 2005Soutenance JB Hardouin16 Propriété du modèle de Rasch : exhaustivité du score sur le trait latent Le score non pondéré est une statistique exhaustive du trait latent (Andersen, 1977) Le modèle de Rasch est le seul modèle de lIRT à vérifier cette propriété pour le score non pondéré

17 14 novembre 2005Soutenance JB Hardouin17 Représentation graphique de lexhaustivité du score sur le trait latent Item 1 Item 2 Item 3 Item J Score non pondéré Trait latent …

18 14 novembre 2005Soutenance JB Hardouin18 Estimation des paramètres Effets fixes : Maximum de vraisemblance jointe (JML) : méthode naturelle – estimations non consistantes Maximum de vraisemblance conditionnelle (CML) : on estime les paramètres de difficulté des items ( j ) conditionnellement au score – estimations consistantes Effet aléatoire : Maximum de vraisemblance marginale (MML) Equations destimation généralisées (GEE) Algorithme EM

19 14 novembre 2005Soutenance JB Hardouin19 Difficulté dadéquation du modèle de Rasch Modèle peu souple, pentes des ICC fixées Difficulté pour ajuster ce modèle à un ensemble ditems Modèle souvent rejeté pour un ensemble ditems Pourtant modèle très intéressant en psychométrie (« perfect scale ») =>Plusieurs auteurs (Ficher and Molenaar, 1995; Bond et Fox, 2004) préconisent de trouver, pour mesurer un trait latent donné, un ensemble ditems vérifiant un modèle de Rasch, quitte à éliminer certains items, plutôt que dutiliser des modèles plus souples qui posent des problèmes destimation, de fiabilité et dinterprétation, et qui ne justifient pas, en pratique, lusage du score non pondéré

20 14 novembre 2005Soutenance JB Hardouin20 Sélection ditems Item 1 Item 2 Item 3 Item J … Dimension Q ? Trait latent 1 Trait latent 2 Trait latent Q … Item 1 Item 2 Item 3 Item J … => IRT Multidimensionnelle

21 14 novembre 2005Soutenance JB Hardouin21 IRT multidimensionnelle Extension récente (années 90) de lIRT quand on suppose que les réponses à un ensemble ditems dépendent de plusieurs traits latents Lhypothèse dunidimensionnalité est remplacée par lhypothèse de dimension Q du trait latent connue

22 14 novembre 2005Soutenance JB Hardouin22 Modèles de lIRT multidimensionnelle 1. Rasch (1961) : Modèle de Rasch polytomique 2. Kelderman & Rijkes (1994) : Modèle polytomique multidimensionnel à trait latent (MPLT) Hoijtink, Rooks & Wilmink (1999) : modèle généralisé de Rasch multidimensionnel 3. Adams, Wilson & Wang (1997) : modèle logistique multinomial à coefficients aléatoires multidimensionnel (MRCML)

23 14 novembre 2005Soutenance JB Hardouin23 Propriétés de ces modèles Pour le modèle 1 Modèle très restrictif et difficile à appliquer en pratique : à chaque item est associé Q modalités positives, chacune delles étant liée exclusivement à la valeur sur un des Q traits latents Inutilisable en phase exploratoire Pour les modèles 2 et 3 Ce ne sont pas des extrapolations multidimensionnelles du modèle de Rasch : les scores utilisés sont pondérés avec pondérations connues (OPLM) le vecteur des scores est exhaustif sur le trait latent multidimensionnel

24 14 novembre 2005Soutenance JB Hardouin24 Exhaustivité du vecteur score sur le trait latent multidimensionnel Item 1 Item 2 Item 3 Item J … Score 1 Score 2 Score Q … Trait latent 1 Trait latent 2 Trait latent Q …

25 14 novembre 2005Soutenance JB Hardouin25 Nécessité de définir un nouveau modèle multidimensionnel Les modèles existants ne sont pas de bonnes extrapolations multidimensionnelles du modèle de Rasch Lexhaustivité du score devrait être définie pour chaque composante du trait latent => Nouveau modèle : le modèle de Rasch multidimensionnel marginalement exhaustif (MMSRM)

26 14 novembre 2005Soutenance JB Hardouin26 Le modèle de Rasch multidimensionnel marginalement exhaustif (MMSRM) Hardouin & Mesbah, Communications in Statistics – Theory and Methods, 2003 Lexhaustivité marginale : Il existe Q score S q non pondérés, q=1,…,Q, chacun étant exhaustif dune composante particulière du trait latent ( q ) Les items dont la réponse est influencée par la q e composante du trait latent q suivent un modèle de Rasch relativement à q marginalement aux autres composantes du trait latent et aux autres items =>MMSRM : modèle de lIRT vérifiant ces deux propriétés

27 14 novembre 2005Soutenance JB Hardouin27 Exhaustivité marginale Item 1 Item 2 Item 3 Item J … Score 1 Score 2 Score Q … Trait latent 1 Trait latent 2 Trait latent Q …

28 14 novembre 2005Soutenance JB Hardouin28 MMSRM : Construction Soit Q ensembles ditems distincts vérifiant un modèle de Rasch par rapport à un trait latent q Soit f( n )=f( n1,…, nq,…, nQ ) la fonction de distribution du trait latent multidimensionnel Loi jointe :

29 14 novembre 2005Soutenance JB Hardouin29 MMSRM : Structure simple Item 11 Item 12 Item 13 Item 23 Item 22Item 21 Item 33 Item 32 Item 31 Chaque item est lié à un seul trait latent (structure simple) Ce type de structure est nécessaire pour que soit vérifié le principe dexhaustivité marginale (Hardouin, 2005)

30 14 novembre 2005Soutenance JB Hardouin30 MMSRM : estimation des paramètres Le trait latent est considéré comme une variable aléatoire multidimensionnelle distribuée selon une loi multinormale centrée de matrice de variance - g( / ) Possibilité destimer les paramètres des items ( ) et par la méthode du maximum de vraisemblance marginale ou par GEE (Hardouin, 2005)

31 14 novembre 2005Soutenance JB Hardouin31 Utilisation du MMSRM pour faire de la sélection ditems basée sur le modèle de Rasch Principe général : A partir dune structure connue pour J items et Q traits latents, on ajoute un nouvel item et on cherche la meilleure nouvelle structure en liant le nouvel item avec chacun des traits latents ou avec un nouveau trait latent dans un MMSRM => Comment comparer les (Q+1) différentes structures trouvées ? En pratique : lestimation dun modèle linéaire généralisé à effets mixtes est un long processus, qui dépend du nombre dindividus (N), du nombre de ditems (J) et de la dimension de leffet aléatoire (Q) : on aboutit rapidement à plusieurs heures de calculs => Nécessité de restreindre le nombre de modèles comparés (et notamment ceux de grande dimension)

32 14 novembre 2005Soutenance JB Hardouin32 Raschfit Hardouin & Mesbah, Communications in Statistics – Theory and Methods, 2003 A létape initiale, on choisit un noyau ditems (2 items ou plus qui mesurent le même trait latent par un modèle de Rasch) A chaque étape k, on compare Un modèle de Rasch comprenant le noyau et un nouvel item, un MMSRM bidimensionnel où le noyau est influencé par une composante du trait latent, et le nouvel item par une autre composante Si le modèle de Rasch est le modèle le plus parcimonieux, selon le critère dinformation dAkaike (AIC), le nouvel item est inclus dans le noyau

33 14 novembre 2005Soutenance JB Hardouin33 Raschfit : Représentation graphique de létape k Item 1 Item 2 Item 3 Nouvel item Trait latent Noyau Obtenu À létape k-1 Item 1 Item 2 Item 3 Nouvel item Trait latent 1 Trait latent 2 Modèle 1 : Modèle de RaschModèle 2 : MMSRM

34 14 novembre 2005Soutenance JB Hardouin34 Comment Raschfit répond aux contraintes ? Comment comparer les (Q+1) différentes structures trouvées ? Par le critère dinformation dAkaike (AIC) Nécessité de restreindre le nombre de modèles comparés (et notamment ceux de grande dimension) Seulement des modèles avec 1 ou 2 dimensions

35 14 novembre 2005Soutenance JB Hardouin35 Raschfit : considérations pratiques Quand une première échelle est trouvée, les items sélectionnés sont retirés, et on recommence le processus avec les autres items Plusieurs heures de temps dexécution

36 14 novembre 2005Soutenance JB Hardouin36 Raschfit-Fast But : réduire le temps dexécution de la procédure Raschfit Procédure basée sur le modèle de Rasch à effets fixes Principe : Au lieu de considérer un MMSRM, on explique la probabilité de réponse positive au nouvel item par une constante A chaque étape, on compare des modèles avec un trait latent unidimensionnel Empiriquement, Raschfit-Fast permet de diviser le temps dexécution de Raschfit par un facteur de 15 à 30

37 14 novembre 2005Soutenance JB Hardouin37 Raschfit-Fast : Vraisemblance et AIC En considérant un modèle de Rasch pour les J+1 items (le nouvel item est indexé par 0): En considérant que les réponses au nouvel item ne sont pas expliquées par le trait latent des J autres items

38 14 novembre 2005Soutenance JB Hardouin38 Simulations : Méthodes Comparaison de Raschfit et Raschfit Fast avec dautres méthodes retrouvées dans la littérature : Analyse factorielle ACP (règle de Kaiser) + rotation Varimax AFCS (règle de Kaiser) + rotation Varimax Clustering Around Latent Variables (CLV) [Vigneau & Qannari, 2003] IRT non paramétrique Mokken Scale Procedure [Hemker, Sitsjma & Molenaar, 1995] (deux seuils c=0,3 et c=0,2) HCA/CCPROX [Roussos & Stout, 1998] (choix de la dimension basée sur lindice DETECT) IRT paramétrique BackRasch (méthode backward sur le modèle de Rasch basé sur le test dadéquation Q 1 )

39 14 novembre 2005Soutenance JB Hardouin39 Simulations : Raschfit-Fast Suivant la méthode utilisée pour estimer les paramètres n, on obtient des résultats différents : Raschfit-Fast1 : estimation par maximum de vraisemblance : estimations biaisées et impossibles pour les individus ayant un score nul (0) ou parfait (J) Raschfit-Fast2 : estimation a posteriori de Bayes : non biaisées et disponibles pour tous les individus

40 14 novembre 2005Soutenance JB Hardouin40 Paramètres de simulation Nombre dindividus : N=2000 Nombre de dimensions : Q=2 Nombre ditems par dimension : 7 ou 14 Modèle servant à simuler les données : MMSRM ou autre modèle Pouvoir discriminant des items : faible (0,4), moyen (0,7) ou fort (1,4) Corrélation entre les deux traits latents (rho): 0.0, 0.2, 0.4, 0.6, 0.8, 1.0

41 14 novembre 2005Soutenance JB Hardouin41 Simulations : Classement des résultats Erreur majeure de classement : Deux items simulés à partir de deux traits latents différents sont classés ensemble Bon résultat : La structure recherchée est retrouvée Résultat intermédiaire : Plus de dimensions retrouvées que le nombre simulé (2) mais aucune erreur majeure de classement Mauvais résultat : Au moins une erreur majeure de classement Indéterminé : Un nombre non négligeable ditems nest pas classé par la procédure (MSP, BackRasch)

42 14 novembre 2005Soutenance JB Hardouin42 Résultats : MMSRM (rho<=.4)

43 14 novembre 2005Soutenance JB Hardouin43 Résultats : Autre modèle (rho<=.4)

44 14 novembre 2005Soutenance JB Hardouin44 Résultats : MMSRM (rho=0.6 ou rho=0.8)

45 14 novembre 2005Soutenance JB Hardouin45 Résultats (rho=1.0) Méthodes détectant lunidimensionnalité Très bons résultats pour CLV (100%) Résultats plutôt corrects (25% à 50%) pour MSP, HCACCPROX Mauvais résultats pour ACP, AFCS et BackRasch Résultats satisfaisant pour Raschfit(-Fast2) A tendance à distinguer les groupes ditems en fonction de leur pouvoir discriminant (distingue les ensembles permettant de mesurer le trait latent par un modèle de Rasch)

46 14 novembre 2005Soutenance JB Hardouin46 Unidimensionnalité et pouvoir discriminant des items

47 14 novembre 2005Soutenance JB Hardouin47 Conclusion sur les simulations Raschfit et Raschfit-Fast2 donnent des résultats satisfaisants, y compris lorsque le « vrai » modèle est légèrement différent du MMSRM Avantage : retrouvent les ensembles ditems qui suivent un modèle de Rasch pour mesurer un trait latent Raschfit-Fast1 et BackRasch donnent de moins bons résultats MSP donne beaucoup de résultats indéterminés Les méthodes danalyses factorielles (ACP ou AFCS) ont tendance à trouver un nombre important de dimensions (influence de la règle de Kaiser ?) Détection densembles unidimensionnels et homogènes sur la difficulté HCA/CCPROX et CLV donnent globalement de bons résultats Détection densembles unidimensionnels

48 14 novembre 2005Soutenance JB Hardouin48 Outils Logiciels : constat Lacunes des logiciels généralistes (SAS, Stata, Splus, R, SPSS) pour lutilisation des modèles de lIRT Travail sous SAS et Stata Non accessibilités des travaux existants Site AnaQol (anaqol.free.fr) : présentation des travaux personnels Projet FreeIRT (freeirt.free.fr) : centralisation et mise à disposition des travaux en IRT sous les logiciels généralistes [Collaboration avec Karl Bang Christensen]

49 14 novembre 2005Soutenance JB Hardouin49 SAS : Modélisation et tests %AnaQol : estimation (CML et MML) des paramètres du modèle de Rasch, modèle de Birnbaum (2-PLM), OPLM, Partial Credit Model et Rating Scale Model (items polytomiques) Tests et indices (items dichotomiques) Représentations graphiques Article soumis en 2004 : Hardouin & Mesbah, Communications in Statistics – Simulation and Computation #500 téléchargements de la version 3.3 (mai 2004), #100 de la version 4.1 (juillet 2005)

50 14 novembre 2005Soutenance JB Hardouin50 Stata : Modélisation et tests -raschtest- : estimation (CML, MML, et GEE) et tests pour le modèle de Rasch Article soumis en 2005 : Hardouin, The Stata Journal #200 téléchargements version 6.3 (juillet 2004) et #40 de la version 7.3 (juillet 2005) -mmsrm- : estimation par MML ou GEE des paramètres du MMSRM (#150) -geekel2d- : estimation par GEE des paramètres des modèles dichotomiques définis par Kelderman et Rijkes (1994) (#200)

51 14 novembre 2005Soutenance JB Hardouin51 SAS & Stata : Sélection ditems MéthodesSASStata Raschfit et Raschfit-Fast-raschfit- BackRasch%BackRasch-backrasch- Mokken Scale procédure%MSP-msp- HCA/CCPROX-hcaccprox- CLV(auteurs)-clv- Indices concernant la structure des items %Detect-detect-

52 14 novembre 2005Soutenance JB Hardouin52 SAS & Stata : autres programmes SASStata Simulations de données par des modèles de lIRT à une ou deux dimensions -simirt- Traces ditems(%AnaQol)-traces- Estimation dintégrales par quadratures de Gauss-Hermite %GaussHermite-gausshermite- Calcul de la fonction symétrique Gamma %Gammasym-gammasym- Biplots-biplotvlab-

53 14 novembre 2005Soutenance JB Hardouin53 Conclusion & Perspectives Concernant Raschfit(-Fast) Etendre au cadre polytomique Evaluer (et limiter ?) linfluence de lordre dans lequel sont inclus les items dans la procédure Programmer Raschfit sous SAS Concernant les développements sous les logiciels généralistes Travail de validation Nombreux développements possibles (modèles plus complexes, tests, procédures…) Développement vers dautres langages (R/Splus)

54 14 novembre 2005Soutenance JB Hardouin54 La sélection déchelles ditems unidimensionnelles en qualité de vie Commentaires, questions


Télécharger ppt "14 novembre 2005Soutenance JB Hardouin1 Construction déchelles ditems unidimensionnelles en qualité de vie Jean-Benoit Hardouin Soutenance de thèse Santé"

Présentations similaires


Annonces Google