La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Tuteurs : Frédéric Schmidt Albrecht Schmidt Maël GUIHENEUF Jeudi 01 septembre Déploiement de lAlgorithme BPSS (Bayesian positive Source Separation) sur.

Présentations similaires


Présentation au sujet: "Tuteurs : Frédéric Schmidt Albrecht Schmidt Maël GUIHENEUF Jeudi 01 septembre Déploiement de lAlgorithme BPSS (Bayesian positive Source Separation) sur."— Transcription de la présentation:

1 Tuteurs : Frédéric Schmidt Albrecht Schmidt Maël GUIHENEUF Jeudi 01 septembre Déploiement de lAlgorithme BPSS (Bayesian positive Source Separation) sur Matlab Travail de Fin dEtudes – été 2009 Mars Express Quel est le projet? OMEGA Le projet Lalgorithme - BPSS Qua-t-il été développé? Profilage Optimisations Déploiement Utilisations / Problématiques Les données dentrée Lalgorithme Interprétation des résultats I. II. III.

2 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Quel est le projet ? Maël GUIHENEUF Tues 21st July2 Mars Express – OMEGA spectro-imageur embarqué sur Mars Express OMEGA = Observatoire pour la Mineralogie, lEau, les Glaces et lActivité Spectral Spatial Channel V : μm Channel C : μm Channel L : μm Resolution : 350 m 4 km Image : 128 x 800 pixels (> px) 256 longueurs donde

3 Maël GUIHENEUF Tues 21st July But étudier les composants à la surface Méthode directe : H 2 O – glace – type1 + laboratoire Cube OMEGA Carte de ce composant Quel est le projet ? Maël GUIHENEUF Tues 21st July Méthode directe 3 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion

4 Maël GUIHENEUF Tues 21st July But étudier les composants à la surface Méthode aveugle : Quel est le projet ? Maël GUIHENEUF Tues 21st July Méthode aveugle 4 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Source 1 Source 2 Source 3 Interpretation Identification…

5 Pour un même composant différentes tailles de grain Mélanges de composants Nombreuses possibilités de spectre La réflectance à la surface dépend de nombreux facteurs Réflexions Maël GUIHENEUF Tues 21st July Quel est le projet ? Maël GUIHENEUF Tues 21st July Limitation aux méthodes Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Sources derreurs de modèle / de non-linéarités : 5 + Composants non attendus CO 2 H2OH2O

6 Méthodes classiques nimpose pas la non-négativité des sources Exemple: (JADE) Spectres négatifs Pas physique Pas crédible Pas reçevable Le choix fait : BPSS (Bayesian Positive Source Separation) Maël GUIHENEUF Tues 21st July Quel est le projet ? Maël GUIHENEUF Tues 21st July Choix de lalgorithme But obtenir les sources statistiquement les plus différentes possibles Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion 6

7 Mélange linéaire: X = A.S + E Estimer : P(A,S | X) α P(X|A,S). P(A). P(S) Positivité chaque élément des matrices suivent une distribution Gamma ( 2 hyper paramètres : θ = [ α, β ] ) BPSS, en quelques mots… Estimer : P(A,S,θ | X) α P(X | A,S,θ). P(A). P(S). P(θ) Utilisation de Gibbs Sampler = calcul itératif de P(x i ) en utilisant uniquement la distribution conditionnelle multivariable P(x i | x 0, …, x i-1, x i+1, …, x N ) Pour nous : S (r+1) generated randomly using P(S (r) | X,A (r), θ (r) ) A (r+1) generated randomly using P(A (r) | X,S (r+1), θ (r) ) θ (r+1) generated randomly using P(A (r) | X, A (r+1),S (r+1) ) (nb_pixels x nb_wavelengths) données matrice de mélange (nb_pixels x nb_sources) sources (nb_sources x nb_wavelengths) bruit Variante : BPSS2 constrainte Σ = 1 Maël GUIHENEUF Tues 21st July Quel est le projet ? Maël GUIHENEUF Tues 21st July Présentation de lalgorithme Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion 7

8 Problèmes de temps de calcul – Nombreuses itérations : - Itérations de chauffe (convergence) - Itérations de moyennage (interprétation statistique) Problèmes de mémoire : X = A.S + E Dimensions : X = nb_pixels x nb_wavelengths = E A = nb_pixels x nb_sources S = nb_sources x nb_wavelengths Sélection de pixels (avant de lancer BPSS) : sélection spatiale des points les plus énergétiques à partir dun résultat dune ICA (JADE) pixels 300 pixels ? Cette sélection est elle fiable ? ? Le temps de calcul est-il raisonnable ? (<< quelques semaines) Maël GUIHENEUF Tues 21st July Quel est le projet ? Maël GUIHENEUF Tues 21st July Limitations du précédent code 8 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion

9 Flexible (différentes données) La plus rapide possible Calculs à la chaine possibles Flexible (différentes données) La plus rapide possible Calculs à la chaine possibles Maël GUIHENEUF Tues 21st July Quel est le projet ? Maël GUIHENEUF Tues 21st July Feuille de route 9 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Développer une application complète Stopper la phase de chauffe Modification des paramètres simple Stopper la phase de chauffe Modification des paramètres simple Automatiser lalgorithme Effet de la sélection de pixels Lalgorithme est-il robuste ? Doit-on effectuer des corrections avant ? Effet de la sélection de pixels Lalgorithme est-il robuste ? Doit-on effectuer des corrections avant ? Répondre aux problématiques

10 Maël GUIHENEUF Tues 21st JulyDéveloppement Maël GUIHENEUF Tues 21st JulyProfilage 10 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Profilage Compréhension Optimisations Tests 1 er Déploiement 1 ers résultats AlgorithmeFonctionnalités modifications convergence 2 nd déploiement Mémoire utilisée : fonction memory étude de la taille du plus grand tableau possible Temps de calcul : Matlab Profiler Étude des points critiques, priorisation

11 Sur la machine : Utilisation de processeur 64bit Désactiver Java Environment dans Matlab Utilisation de multiprocesseurs Parallélisation du calcul (ex: sur une grille) Sur le code : Vectorialiser les boucles Préallocation des tableaux de grandes tailles Etude de linfluence du format de données (simple/double) Réécriture de certaines fonctions (MEX) Maël GUIHENEUF Tues 21st JulyDéveloppement Maël GUIHENEUF Tues 21st JulyOptimisations 11 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion

12 1 er objectif : utiliser la GRILLE Avec Matlab : besoin de beaucoup de licences très onéreux Impossible Avec MCR (Matlab Component Runtime) : besoin dune simple toolbox creation dun exécutable (standalone) La solution actuelle : 2 machines virtuelles Temps de calcul moyen : de quelques heures à 1 jour Jai écrit une documentation Maël GUIHENEUF Tues 21st JulyDéveloppement Maël GUIHENEUF Tues 21st JulyOptimisations 12 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion

13 bpss_prepare result.mat bpss_result save.mat bpss_algorithm Cube (PDS) Paramètres Toutes les 100 itérations Cube (PDS) input data + paramètres + X, A, S, E, θ + progression input_data.mat results Maël GUIHENEUF Tues 21st JulyDéveloppement Maël GUIHENEUF Tues 21st JulyDéploiement 13 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion bpss_jeu Cube (PDS) GRID / VM save.mat V. 2

14 Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st JulyRésultats 14 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Image ORB0041_REF (300 1 ères lignes), BPSS 3 sources Erreur spatiale :

15 BPSS : pas de corrélation spatiale ou spectrale algorithme sensible au bruit Dun point de vue statistique, il est mieux de garder le plus de longueurs donde possible The most noisy wavelengths Calibration des channels C et L Absorption atmosphérique Emissions thermiques ? Est-il possible de palier à ce problème autrement ? Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st July Données – Mauvais spectrels 15 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion

16 Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st July Données – Sélection des pixels 16 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Originairement pour palier aux problèmes mémoire / calcul Robustification de lalgorithme ? Différentes méthodes : simple JADE méthode convexe les plus différents Méthode implantée par défaut : la méthode convexe

17 Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st July La convergence 17 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Rappel : X = A.S + E On cherche la stationnarité, comment la définir ? ? Choix : stationnarité du « lack of fit » : Critère darrêt : Application: kro=0.5

18 Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st July Le nombre de sources 18 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Image ORB0041 BPSS2 – 3 sources Image ORB0041 BPSS2 – 4 sources SNR :

19 Maël GUIHENEUF Tues 21st JulyProblématiques Maël GUIHENEUF Tues 21st July Analyse des résultats 19 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion Comparaison avec bibliothèque de spectres (de laboratoire) ? ? ? ? Pas mal dincertitudes Prochaines étapes: identification de mélanges linéaires augmenter la taille de la bibliothèque Quelques tests : 1.H 2 O, grain 1 2.H 2 O, grain H 2 O, grain CO 2,grain CO 2,grain 10,000 6.BASALTE LPG – AP 7.GYPSUM – AP

20 Maël GUIHENEUF Tues 21st JulyConclusion Maël GUIHENEUF Tues 21st July20 Le projet OMEGA Le projet Lalgorithme Développement Profilage Optimisations Déploiement Problématiques Données Algorithme Résultats Conclusion La toolbox est utilisable en mode automatique (choix parmi tous les paramètres) Adaptable à dautres types de données Un article sera bientôt écrit dans IEEE Un certains nombre déquipes sont intéressées par le tester Osiris Merid Virtis Résultats OSIRIS 4 sources Questions ?


Télécharger ppt "Tuteurs : Frédéric Schmidt Albrecht Schmidt Maël GUIHENEUF Jeudi 01 septembre Déploiement de lAlgorithme BPSS (Bayesian positive Source Separation) sur."

Présentations similaires


Annonces Google