Travail de Fin d’Etudes – été 2009 Maël GUIHENEUF Jeudi 01 septembre Travail de Fin d’Etudes – été 2009 Tuteurs : Frédéric Schmidt Albrecht Schmidt Déploiement de l’Algorithme BPSS (Bayesian positive Source Separation) sur Matlab Quel est le projet? OMEGA Le projet L’algorithme - BPSS I. Mars Express Qu’a-t-il été développé? Profilage Optimisations Déploiement II. Utilisations / Problématiques Les données d’entrée L’algorithme Interprétation des résultats III.

Quel est le projet ? Mars Express – OMEGA Maël GUIHENEUF Tues 21st July Quel est le projet ? Mars Express – OMEGA OMEGA = Observatoire pour la Mineralogie, l’Eau, les Glaces et l’Activité spectro-imageur embarqué sur Mars Express Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Spectral Spatial Ordre de grandeur = order of magnitude Altitude = height Channel V : 0.38  1.05 μm Channel C : 0.93  2.73 μm Channel L : 2.55  5.1 μm Resolution : 350 m  4 km Image : 128 x 800 pixels (> 100 000 px) 256 longueurs d’onde

Quel est le projet ? Méthode directe Assume granulations Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Méthode directe But  étudier les composants à la surface Méthode directe : laboratoire Cube OMEGA H2O – glace – type1 Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion + Assume granulations Carte de ce composant

Quel est le projet ? Méthode aveugle Assume granulations Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Méthode aveugle But  étudier les composants à la surface Méthode aveugle : Interpretation Identification… Source 1 Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Source 2 Assume granulations Source 3

Limitation aux méthodes Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Limitation aux méthodes Sources d’erreurs de modèle / de non-linéarités : La réflectance à la surface dépend de nombreux facteurs Pour un même composant  différentes tailles de grain Mélanges de composants Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Réflexions Nombreuses possibilités de spectre CO2 H2O + Composants non attendus

Quel est le projet ? Choix de l’algorithme Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Choix de l’algorithme But  obtenir les sources statistiquement les plus différentes possibles Méthodes classiques  n’impose pas la non-négativité des sources Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Exemple: (JADE) Spectres négatifs Pas physique Pas crédible Pas reçevable ICA  Independant Component Analysis JADE FastICA ALS cNMF Le choix fait : BPSS (Bayesian Positive Source Separation)

Quel est le projet ? Présentation de l’algorithme Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Présentation de l’algorithme BPSS, en quelques mots… bruit Mélange linéaire: X = A.S + E  Estimer : P(A,S | X) α P(X|A,S) . P(A) . P(S) sources Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion données (nb_sources x nb_wavelengths) matrice de mélange Positivité  chaque élément des matrices suivent une distribution Gamma ( 2 hyper paramètres : θ = [ α , β ] ) (nb_pixels x nb_wavelengths) (nb_pixels x nb_sources)  Estimer : P(A,S,θ | X) α P(X | A,S,θ) . P(A) . P(S) . P(θ) Utilisation de Gibbs Sampler = calcul itératif de P(xi) en utilisant uniquement la distribution conditionnelle multivariable P(xi | x0, …, xi-1, xi+1, …, xN) Pour nous : S(r+1) generated randomly using P(S(r) | X,A(r), θ(r)) A(r+1) generated randomly using P(A(r) | X,S(r+1), θ(r)) θ(r+1) generated randomly using P(A(r) | X, A(r+1),S(r+1)) Variante : BPSS2  constrainte Σ = 1

Limitations du précédent code Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Limitations du précédent code Problèmes de mémoire : X = A.S + E X = nb_pixels x nb_wavelengths = E A = nb_pixels x nb_sources S = nb_sources x nb_wavelengths Dimensions : Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion  Sélection de pixels (avant de lancer BPSS) : sélection spatiale des points les plus “énergétiques” à partir d’un résultat d’une ICA (JADE) 100 000 pixels  300 pixels ? Relevant  credible Cette sélection est elle fiable ? Problèmes de temps de calcul – Nombreuses itérations : - Itérations de chauffe (convergence) - Itérations de moyennage (interprétation statistique) ? Le temps de calcul est-il raisonnable ? (<< quelques semaines)

Quel est le projet ? Feuille de route Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Quel est le projet ? Feuille de route Développer une application complète Flexible (différentes données) La plus rapide possible Calculs à la chaine possibles Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Automatiser l’algorithme Stopper la phase de chauffe Modification des paramètres simple Relevant  credible Répondre aux problématiques Effet de la sélection de pixels L’algorithme est-il robuste ? Doit-on effectuer des corrections avant ?

Développement Profilage Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Développement Profilage Mémoire utilisée : fonction memory  étude de la taille du plus grand tableau possible Temps de calcul : Matlab Profiler  Étude des points critiques, priorisation Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Algorithme Fonctionnalités Profilage Compréhension Optimisations Tests 1er Déploiement 1ers résultats modifications convergence 2nd déploiement

Développement Optimisations Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Développement Optimisations Sur le code : Vectorialiser les boucles Préallocation des tableaux de grandes tailles Etude de l’influence du format de données (simple/double) Réécriture de certaines fonctions (MEX) Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Sur la machine : Utilisation de processeur 64bit Désactiver Java Environment dans Matlab Utilisation de multiprocesseurs Parallélisation du calcul (ex: sur une grille)

Développement Optimisations Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Développement Optimisations 1er objectif : utiliser la GRILLE Avec Matlab : besoin de beaucoup de licences très onéreux  Impossible Avec MCR (Matlab Component Runtime) : besoin d’une simple toolbox  creation d’un exécutable (standalone) Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion  J’ai écrit une documentation La solution actuelle : 2 machines virtuelles Temps de calcul moyen : de quelques heures à 1 jour

Développement Déploiement Maël GUIHENEUF Maël GUIHENEUF bpss_prepare Tues 21st July Maël GUIHENEUF Tues 21st July Développement Déploiement Cube (PDS) Cube (PDS) bpss_prepare Paramètres V. 2 input_data.mat Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion GRID / VM bpss_algorithm bpss_jeu Toutes les 100 itérations save.mat save.mat result.mat input data + paramètres + X, A, S, E, θ + progression bpss_result results Cube (PDS)

Problématiques Résultats Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques Résultats Image ORB0041_REF (300 1ères lignes), BPSS 3 sources Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Erreur spatiale :

? Problématiques Données – Mauvais spectrels Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques Données – Mauvais spectrels BPSS : pas de corrélation spatiale ou spectrale algorithme sensible au bruit D’un point de vue statistique, il est mieux de garder le plus de longueurs d’onde possible Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion The most noisy wavelengths Calibration des channels C et L Emissions thermiques Absorption atmosphérique ? Est-il possible de palier à ce problème autrement ?

Données – Sélection des pixels Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques Données – Sélection des pixels Originairement pour palier aux problèmes mémoire / calcul  Robustification de l’algorithme ? Différentes méthodes : simple JADE méthode convexe les plus différents Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Méthode implantée par défaut : la méthode convexe

? Problématiques La convergence Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques La convergence Rappel : X = A.S + E ? On cherche la stationnarité, comment la définir ? Choix : stationnarité du « lack of fit » : Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Application: Critère d’arrêt : kro=0.5

Problématiques Le nombre de sources Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques Le nombre de sources Image ORB0041 BPSS2 – 3 sources Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Image ORB0041 BPSS2 – 4 sources SNR :

Problématiques Analyse des résultats ? ? ? ? Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Problématiques Analyse des résultats Comparaison avec bibliothèque de spectres (de laboratoire) Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion ? Quelques tests : H2O, grain 1 H2O, grain 100 H2O, grain 1000 CO2,grain 100 CO2,grain 10,000 BASALTE LPG – AP GYPSUM – AP ? ? Pas mal d’incertitudes Prochaines étapes: identification de mélanges linéaires augmenter la taille de la bibliothèque ?

Questions ? Conclusion Maël GUIHENEUF Maël GUIHENEUF Tues 21st July Maël GUIHENEUF Tues 21st July Conclusion  La toolbox est utilisable en mode automatique (choix parmi tous les paramètres)  Adaptable à d’autres types de données  Un article sera bientôt écrit dans IEEE  Un certains nombre d’équipes sont intéressées par le tester Osiris Merid Virtis Le projet OMEGA L’algorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Questions ? Résultats OSIRIS 4 sources