L’algorithme EM pour des données manquantes Molière Nguile makao INSERM U823/équipe 11.

Présentation au sujet: "L’algorithme EM pour des données manquantes Molière Nguile makao INSERM U823/équipe 11."— Transcription de la présentation:

1 L’algorithme EM pour des données manquantes Molière Nguile makao INSERM U823/équipe 11

2 historique Article historique de Dempster, Laird et Rubin (1977), ML estimation from incomplete data via the EM algorithm, JRSS, B 39, 1-38

3 Définition EM pour Espérance-maximisation (Expectation- Maximization). L'algorithme EM permet de compléter une sé- rie de données manquantes en se basant sur la vraisemblance maximale (maximum-likelihood estimation) de l'ensemble des données.

4 Exemple obsX1X2 1234567891011210210205235215200215230200165245200215----245230---225230------250 obsX1X212457811210210235215215230245200215245230225230250 36910205200200165------------

5 Estimation de la vraisemblance maximale obsxdensité 11,725exp(-1,725*a) 20,821exp(-0,821*a) 30,318exp(-0,318*a) 41,147exp(-1,147*a) 52,61exp(-2,61*a) 60,648exp(-0,648*a) exp(-a*x)=f(x) L (a)=exp(-(1,725+0.821+0,318+1,147+2,61+0,648)*a) Trouver « a » revient à optimiser L(a) Rappel

6 Estimation de la vraisemblance maximale On suppose que un échantillon X1,…Xn suit une distribution. Exp: normale de paramètre Θ=(μ,Σ) pas de données manquantes Avec des données manquantes p(X| Θ) la densité L(X1| Θ)=log ( p(X| Θ) ) Variable modifiée Z=(X,Y) où Y représente l’ensemble des données manquantes p(Z| Θ)= p(Y|X, Θ) p(X| Θ) L(X,Y| Θ)=log ( p(Z| Θ) ) Principe

7 EM pour des données manquantes But : trouver la valeur espérée de la log-vraisemblance de l'ensemble complet de données Z par rapport aux données manquantes Y sachant les données observées X et les paramètres du modèle Θ Problème : Manque de connaissance sur la variable Y, il faut donc utiliser les données et les paramètres d'une itération précédente X et Θ^(i-1) valeur espérée : Q(Θ, Θ^(i-1)) = Ey[ L(X,Y| Θ)|X,Θ^(i-1)] Les étapes de l'algorithme EM Étape E : Évaluation de l'espérance selon les données observées et les paramètres à notre disposition. Étape M : Maximisation de cette espérance

8 Algorithme EM Set n=0 initialize Θo E-step Compute Q(Θ|Θn) M-step Θ*=max Q(Θ|Θn) Θn+1=Θn* Q(Θn+1|Θn)- Q(Θn|Θn-1)<ξ Θml=Θn+1 n=n+1 Θml:Maximum likelihood estimated ξ: termination threshold

9 Exemple utilisation de l’algorithme EM Exemple des sinus Deux fonctions: Y1 = Sin(x), Y2=Sin( x+3)+2 5 cycles sont ensuite retirés à Y2 Utilisation de l'algorithme EM pour retrouver les données. ( logiciel R ) Données imputées (orange) pour la fonction Y2

10 Exemple en utilisant le logiciel sas Exemple de sas: Data on Physical Fitness Utilisation de l’algorithme EM pour calcul les paramètres de la distribution conjointe Procédure sas proc mi data = FitMiss seed=1518971 simple nimpute =0; em itprint outem=outem; var Oxygen RunTime RunPulse; run; proc print data=outem; title 'EM Estimates'; run;

11 Exemple en utilisant le logiciel sas(suite)

12 Exemple en utilisant le logiciel sas

13 Discussion EM est intéressant et très puissant (application multiple) mais pas de bonne qualité pour des séries avec une grande variance-covariance. alternative: ex: EMBootstrapping. Pour ce qui est des paramètres du modèle, il est possible d'obtenir de bons résultats avec une bonne précision. Les caractéristiques globales sont donc bien reproduites par l'algorithme. Remarque :la censure informative peut être traitée par l’algorithme EM. EM est beaucoup plus qu’un algorithme, c’est un mode de pensée.