Jérémie Mary Mail : Independant Component Analysis Problème : On observe grâce à plusieurs capteurs des sources qui sont « mélangées ». Le.

Présentation au sujet: "Jérémie Mary Mail : Independant Component Analysis Problème : On observe grâce à plusieurs capteurs des sources qui sont « mélangées ». Le."— Transcription de la présentation:

1

2 Jérémie Mary Mail : mary@lri.fr

3 Independant Component Analysis Problème : On observe grâce à plusieurs capteurs des sources qui sont « mélangées ». Le mélange à lieu par lintermédiaire dune matrice inconnue : la matrice de mélange.

4 Exemple dacquisition Problème : Deux micros enregistrant une personne parlant dans la rue. Objectif : isoler la parole des sons parasites.

5 Signal après Traitement Utilisation de FastICA http://www.cis.hut.fi/projects/ica/fastica/ And taken by light in her arms at long and dear last I may without fail Suffer the first vision that set fire to the stars. Dylan Thomas – Deaths and Entrances

6 Indépendance Deux variables aléatoires X et Y sont indépendantes ssi : P(X=x et Y=y) = P(X=x). P(Y=y) définition inutilisable directement Des variables indépendantes sont toujours décorrélées (covariance nulle) attention, l'inverse n'est pas toujours vrai : E(XY) – E(X) E(Y) = 0 => Permet une simplification de la recherche des composantes mais peu intéressante en pratique car il existe trop de possibilités de décorréler des variables.

7 Theorem Central Limit Soit (X n ) une suite de variables aléatoires indépendantes identiquement distribuées, appartenant à L² (i.e. possédant une variance finie). On pose : Alors la suite (Y n ) converge en loi vers une variable aléatoire de loi N(0,1) (la loi normale centrée réduite). En d'autres termes :

8 ICA : Principe Les sommes de variables aléatoires indépendantes ont tendance à devenir gaussiennes (cf TCL). Lidée est de rechercher des sources les moins gaussiennes possibles. En effet un mélange étant une combinaison de plusieurs sources supposées indépendantes, le mélange à tendance à être plus proche dune gaussienne que les sources. Il faut donc un critère pour mesurer la « gaussiannité » dune variable aléatoire. Tests dadéquation Kurtosis Negentropie Minimisation de linformation mutuelle Attention, dans le cas ou les sources sont elles mêmes gaussiennes cette technique est complètement inadaptée (à lheure actuelle avec lICA, ont sait traiter les cas ou une seule des sources est gaussienne)

9 Kurtosis Le kurtosis dune variable aléatoire X est défini par : Kurt(X)=E(X 4 ) - 3E(Y²) 2 Si X et Y v.a. indépendantes, Kurt(X+Y) = Kurt(X)+Kurt(Y) Kurt(α X) = α 4 Kurt(X) Le kutosis dune variable gaussienne est 0. Kurt > 0 : supergaussian Kurt < 0 : subgaussian

10 Kurtosis en pratique Le but est de trouver linverse de la matrice de mélange pour identifier les sources. On procède source par source. On note x le vecteur des observations (micros) On cherche un vecteur w tel que : s=w T x ait le kurtosis le plus différent de 0 possible On part dun vecteur w pris au hasard On calcule la direction ou le kurtosis croit le plus vite sil est positif ou décroit le plus vite sil est négatif. Par des technique de type « gradient », on peut trouver un optimum local. On a alors identifié une source. On recommence… Problème lestimateur du kurtosis sur un échantillon est très sensible aux points aberrants, ce qui en fait une mesure peu robuste de la non- gaussianité

11 Negentropie Lentropie (mesure du bordel) dune variable aléatoire est définie par : Une variable aléatoire gaussienne à lentropie la plus grande parmis toutes les variables aléatoires possédant la même variance. On définit donc la negentropie pour caractériser le caractère non gaussien dune variable par : ou y gauss est une variable gaussienne de même covariance que y. Difficile a estimer (il faut une estimation de la fonction de répartition)

12 Estimation de la Negentropie Classiquement (Jones et Sibson, 1987) : J(y) 1/12 E(y 3 ) 2 + 1/48 kurt(y) 2 => mêmes problèmes que le kurtosis Existe des estimateurs robustes (Hyvarinen 1998) : J(y) (E[G(y)] - E[G(υ)] ) 2 avec υ suivant une N(0,1) et G une fonction bien choisie : G 1 (y) = y 4 on retrouve lestimateur classique G 2 (y) = 1/a log ( cosh (a y)) avec 1 < a < 2 G 3 (y) = - exp(-y²/2)

13 Préprocessing Centrage des données (pour simplifier lécriture des algorithmes), consiste simplement à soustraire aux données leur moyenne aux données (composante par composante). Whitening (blanchiment), il sagit dune transformation linéaire des données acquises x pour obtenir un vecteur de données x non corrélées et de variance 1. i.e. E(xx T ) = I Une technique possible est décrire la matrice de covariance E(xx T ) et de la diagonaliser. E(xx T ) =EDE T avec E matrice orthonormale et D diagonale. On prend alors x=E D -1/2 E T x Lintérêt est que la matrice de mélange dans le nouvel espace est forcément orthogonale (seulement n(n-1)/2 degrés de liberté ). On peut également en profiter pour supprimer les petites valeurs propres, ce qui réduit souvent le bruit dans les données. Application de filtres… Très important si on a des idées sur ce que lon cherche. En particulier penser à utiliser des filtres passe bande si on a affaire à des signaux temporels pour les quels on a une idée de la fréquence des sources.

14 FastICA pour une seule source But : trouver s=w T x soit le moins gaussien possible. La mesure utilisée est lapproximation de la negentropie avec une fonction G. On note g la dérivée de G. Choisir un vecteur w (par exemple au hasard) Poser w + = E(x g(w T x) ) – E(g(w T x)) w Poser w = w + / || w + || Convergence ? non oui fin

15 FastICA pour lidentification de plusieurs sources Si on se contente de lancer plusieurs fois loptimisation a partir de positions aléatoires de w, on risque de trouver plusieurs fois la même source. Pour éviter cela, on décorrèle les w i pendant leur recherche. Approche par déflation ci contre Existe une méthode symétrique qui ne privilégie pas les premiers vecteurs Choisir les w i (par exemple au hasard) Poser w i + = E(x g(w i T x) ) – E(g(w i T x)) w i Poser w i = w i + / || w i + || Convergence ? non oui fin Poser w i+1 = w i+1 – Σ j=1..p w T i+1 w j w j Normaliser wi

16 Analyse du cerveau Données brutes :

17 Débruitage dimages On découpe limage en série de petites fenêtres qui seront considérées comme étant les observations. On extrait les composantes indépendantes puis on procède par seuillage (on enlève ainsi les bruits gaussiens) : Image initialeImage bruitée Débruitage ICADébruitage « standard »

18 Limitations actuelles Il faut a peu près autant de capteurs que de sources dans les données. Impossible à partir dun seul capteur. Ne sert à rien si les données sont constituées de mélanges de gaussiennes. (dans de cas utiliser EM) Grosses difficultés si le mélange nest pas linéaire ou que la matrice de mélange est dynamique (évolue au cours du temps)

19 Main Sources FastICA home page Vigário, R., Jousmäki, V., Hämäläinen, M., Hari, R., and Oja, E. (1998). Independent component analysis, for identification of artifacts in magnetoencephalographic recordings. In Advances in Neural Information, Processing Systems, volume 10, pages 229–235.MIT Press. Aapo Hyvärinen and Erkki Oja, Independent Component Analysis:Algorithms and Applications, Neural Networks, 13(4-5):411-430, 2000 Hyvärinen, A. (1999d). Sparse code shrinkage: Denoising of nongaussian data by maximum likelihood estimation.Neural Computation, 11(7):1739–1768.