Champs de Markov en Vision par Ordinateur TNS : TTM5104

Part III : Algorithmes

III : Solutions. On ne veut pas seulement modéliser. Il faut calculer la valeur d’une estimée. Les modèles ne sont pas simples: souvent ils demandent de grandes ressources en temps de calcul et en mémoire. Les espaces sont énormes et il y a beaucoup de minima locaux. Exemple : le recuit simulé peut prendre des heures même sur les images assez petites.

III : Simulation A. Objet : synthétiser des configurations de champs markoviens suivant une certaine distribution de Gibbs. Problème : Z n’est pas calculable. On utilise d’algorithmes de relaxation itératifs qui convergent vers la distribution : Metropolis (1953) ; Echantillonneur de Gibbs (Geman 1984).

III : Simulation B : MCMC Markov Chain Monte Carlo On pense d’une configuration dépendant de temps : . Construction d’une chaîne de Markov La chaîne visite plus souvent les régions de haut probabilité

III : Simulation C : Metropolis. Tirer d’une nouvelle configuration F(t) avec probabilité : Accepter la nouvelle configuration avec probabilité :

III : Echantillonneur de Gibbs A Passage de F(t-1) à F(t) : Choix d’un point p dans le domaine D. Perturbation de la valeur F(t-1)p. Choix d’un point p est fait par : Échantillonnage ; Balayage déterministe.

III : Échantillonneur de Gibbs B Tirage d’une nouvelle valeur d’après la distribution conditionnelle locale : Zp est la fonction de partition locale.

III : Utilisation des Échantillonneurs. Synthèse de textures : Estimée de MAP : optimisation globale. Échantillonneur à température variable : recuit simulé. Estimée moyenne :

III : Estimées de MAP. Il y a beaucoup des algorithmes différents, mais ils se regroupent dans trois catégories: Variationels; Stochastiques; Graphiques.

III : Méthodes Variationelles. Ils descendent à long du gradient. Rapides, mais normalement on trouve seulement un minimum local. Dépendantes de l’initialisation.

III : Méthodes Stochastiques. Ils utilisent l’échantillonnage pour simuler la probabilité. Très lentes, mais on trouve le minimum global (au moins en théorie). On peut calculer le moyenne (ou d’autres quantités statistiques).

III : Méthodes Graphiques. Ils utilisent des algorithmes combinatoires sur les graphes. Pas trop lentes, pas trop rapides, et on trouve le minimum global plus ou moins sûrement. Il y a des limites sur la forme de la probabilité. Deux versions differentes: Maximum flow; Graph cuts.

III : Méthodes Variationels : En Bref. On pense d’une configuration dépendant de temps : . On change S selon le gradient de l’énergie. Beaucoup de variations sur cette thème. Problème : ils trouvent les minima locaux et dépendent de l’initialisation.

III : Recuit Simulé : Relaxation Stochastique Introduction d’un facteur de température T : Quand , deviens uniforme. Quand , se concentre sur les maxima globaux de . Engendrer une séquence de configurations avec .

III : Recuit Simulé : Descente de Température. On prouve que, si : Puis la configuration quand T=0 sera le minimum globale. Mais il faut attendre ! Plus souvent : .

III : Recuit Simulé : Problèmes. En pratique, on doit utiliser une loi de descente de température sous-optimale. La théorème de convergence peut donner l’impression que tous ira bien, mais… Expérience avec les algorithmes graphiques, qui trouvent le minimum global dans un temps fini, montre que les lois sous- optimales sont…sous-optimales. Convergence en 100 – 1000 itérations.

III : Algorithmes Sous- Optimaux : ICM (Besag 1986). Choix d’un point p : balayage déterministe. Remise à jour de p par la valeur qui provoque la plus forte augmentation de probabilité. Echantillonneur de Gibbs à T=0.

III : Algorithmes Sous- Optimaux : ICM. Caractéristiques : Algorithme déterministe ; Convergence vers un minimum local ; Initialisation et mode de balayage influent le résultat ; Convergence en ~10 itérations Très utilisé. Cf. gradient.

III : Algorithmes Sous- Optimaux : HCF (Chou 1988). Highest Confidence First Mesure de stabilité de la valeur fp à un point p ( est l’énergie de la configuration courante) : Les points sont classés dans une pile d’instabilités.

III : Algorithmes Sous- Optimaux : HCF (Chou 1988). À chaque itération le point p0 le plus instable (sommet de la pile) est remis à jour. p0 devient stable. Les stabilités des points de N(p0) sont ré- evaluées. La pile est réordonnée. Répétez. Caractéristiques : Algorithme déterministe ; Convergence en ~1 itération.

III : Autres choses. Algorithmes multi-grilles : Pyramide des étiquettes ; Pyramide des données. Algorithmes multi-échelles : Données mono-résolution. Approximation du champs moyen.

IV : Paramètres. Tous les modèles ont des paramètres. Normalement, ils sont inconnus. Qu’est-ce qu’on peut faire ? Deux approches : Bayesien : marginaliser ; Estimation.

IV : Marginalisation des Paramètres. L’approche plus correcte. Souvent très difficile ou impossible. Principe : on marginalise toutes les quantités auxquelles on n’est pas intéressé.

IV : Paramètres : Estimation. Maximisation de la vraisemblance : Normalement on ne sait pas S : Algorithme EM (Chalmond 1989) : Pas-E : évaluation de l’espérance pour  ; Pas-M : maximisation par rapport à .

Historique 1965 : Abend et al. - théorie des réseaux de Markov. 1971 : Hammersley-Clifford - théorie des champs markoviens. 1972 : Woods – théorie des champs markoviens gaussiens. 1974 : Besag – premières applications des champs markoviens. 1982 : Kirkpatrick et al. – recuit simulé. 1983 : Cross et al. – modélisation de textures. 1983 : Therrien – segmentation des textures. 1984 : Geman et al. – restauration d’images.