Image Registration methods : a survey

Présentation au sujet: "Image Registration methods : a survey"— Transcription de la présentation:

1 Image Registration methods : a survey
Barbara Zitova, Jan Flusser DEA DISIC Geoffrey Arthaud

2 DEA DISIC Geoffrey Arthaud
Plan de l’exposé Introduction Méthodologie associée au recalage d’image Détection de caractéristiques Mise en correspondance Création d’un modèle de transformation Transformation de l’image Mesure de la précision du recalage Conclusion DEA DISIC Geoffrey Arthaud

3 DEA DISIC Geoffrey Arthaud
Introduction Recalage d’image : Superposition de 2 images ou plus Aligner une image « de référence » et une image à transformer Applications nombreuses : Télédétection, médecine, cartographie, etc.. L’article est un état de l’art complet sur le recalage d’images DEA DISIC Geoffrey Arthaud

4 Méthodologie : Types d’images
Point de vue différent – multiview Instants différents – multitemporal Capteurs différents – multimodal Recalage Image réelle →← Modèle DEA DISIC Geoffrey Arthaud

5 Méthodologie : Les étapes
Détection de caractéristiques Mise en correspondance Création d’un modèle de transformation Transformation de l’image DEA DISIC Geoffrey Arthaud

6 Méthodologie : Illustration
Caractéristiques Correspondance Modèle Transformation DEA DISIC Geoffrey Arthaud

7 Détection de caractéristiques
Etape 1 : Deux méthodes complémentaires DEA DISIC Geoffrey Arthaud

8 Méthodes zonales ► area-based methods
Pas de points de contrôle ► Etape sautée A utiliser pour les images peu détaillées (images médicales) DEA DISIC Geoffrey Arthaud

9 Méthodes avec caractéristiques ► feature-based methods
Caractéristiques sous forme de : Régions Lignes Points Caractéristiques stockées par des points de contrôle (CP) Adaptées pour les images contenant des objets facilement détectables DEA DISIC Geoffrey Arthaud

10 Mise en correspondance
Etape 2 : Suivi des deux méthodes DEA DISIC Geoffrey Arthaud

11 DEA DISIC Geoffrey Arthaud
Méthodes zonales Choix d’une partie ou de la totalité de l’image à faire correspondre sur la référence Principal inconvénient : mauvaise correspondance entre deux zones « douces » différentes Trois façons de faire avec cette méthode : corrélation, Fourier, information mutuelle DEA DISIC Geoffrey Arthaud

12 1. Méthodes de corrélation
Souvent utilisé pour sa simplicité d’implémentation Limitée aux translations, rotations, et mise à l’échelle légères 2 inconvénients : Maxima de la fonction pas faciles à distinguer (auto similarité de l’image) Temps de calcul assez long Non adapté au multimodal registration DEA DISIC Geoffrey Arthaud

13 1. Méthode de corrélation
Variantes à CC : Filtrage préalable avant d’utiliser CC SSDA Rapport de corrélation (pour les multimodal) Hausdorff distance Corrélation vectorielle DEA DISIC Geoffrey Arthaud

14 DEA DISIC Geoffrey Arthaud
2. Méthodes de Fourier Meilleure vitesse de traitement et plus adaptées au images bruitées Méthode de corrélation de phase pour le recalage d’images translatées Extensions pour rotation et changement d’échelle : «polar-log mapping » Utilisées pour la télédétection (images SPOT) et l’imagerie médicale (images MR) DEA DISIC Geoffrey Arthaud

15 Comparaison CC - Fourier
DEA DISIC Geoffrey Arthaud

16 3. Méthodes d’informations mutuelles
Techniques de pointe pour les images multimodales Mesure de dépendances statistiques, maximiser MI : Optimisations par une approche pyramidale et descente de gradient Variante : Entropie croisée DEA DISIC Geoffrey Arthaud

17 Optimisations diverses
Sans gradient : Powell Avec gradient : Levenberg-Marquardt Approche pyramidale : multirésolution DEA DISIC Geoffrey Arthaud

18 Méthodes avec caractéristiques
Sur les 2 images, des points de contrôle ont été créés. But : Faire correspondre les points de contrôle 2 à 2 (tous ou une partie). DEA DISIC Geoffrey Arthaud

19 DEA DISIC Geoffrey Arthaud
1. Relations spatiales Transformer l’ensemble des CP d’une image et évaluer la distance avec les CP de l’autre image Clustering technique : mise en correspondance de CP reliés par des arêtes DEA DISIC Geoffrey Arthaud

20 2. Descripteurs invariants
Donner une description aux CP avant de les faire correspondre Description invariante, unique, stable (dans l’idéal) Analyse du voisinage de chaque CP, et en tirer le maximum d’information (de nature géométrique), beaucoup de techniques possibles DEA DISIC Geoffrey Arthaud

21 DEA DISIC Geoffrey Arthaud
Optimisations Méthodes pyramidales Multirésolution de la recherche Différents types (somme, médian,moyenne, cubic spline, Laplace, Gauss,…) Décomposition en ondelettes de l’image pour l’approche pyramidale DEA DISIC Geoffrey Arthaud

22 Création d’un modèle de transformation
Etape 3 : modèles globaux et locaux DEA DISIC Geoffrey Arthaud

23 Exemples de fonctions de mapping
DEA DISIC Geoffrey Arthaud

24 DEA DISIC Geoffrey Arthaud
Modèles globaux Transformation de similitude (translation, rotation, scaling) : 2 CPs Transformation affine : 3 CPs Perspective : 4 CPs Eviter les polynômes de degré haut Utilisation de plus de CP (moindres carrés) DEA DISIC Geoffrey Arthaud

25 DEA DISIC Geoffrey Arthaud
Modèles locaux Tenir compte des distorsions locales Utilisation de fonctions « radiales » : fonction juste de la distance du point au CP, et non de sa position exacte Fonctions multiquadratic, de Gauss, de Wendland, etc… Thin-plate splines (TPS) : temps de calcul très grand (warping, morphing) DEA DISIC Geoffrey Arthaud

26 DEA DISIC Geoffrey Arthaud
Recalage élastique Pas de fonctions de mapping Voir l’image comme une feuille élastique Mise en correspondance faite en même temps Variantes : recalage fluide pour des déformations très localisées Diffusion, level sets, optical flow DEA DISIC Geoffrey Arthaud

27 Transformation de l’image
Etape 4 : Différentes interpolations possibles DEA DISIC Geoffrey Arthaud

28 DEA DISIC Geoffrey Arthaud
2 méthodes Méthode avant Transformer directement les pixels de l’image à recaler Apparition de trous et de superpositions, à éviter Méthode arrière Partir du système de coordonnée de l’image référence et appliquer les transformations inverses pour la coordonnée de l’image à recaler Pas de trous, mais implémenter des algo d’interpolation DEA DISIC Geoffrey Arthaud

29 DEA DISIC Geoffrey Arthaud
Interpolations Plus proche voisin Bilinéaire Bicubique Meilleure compromis : bilinéaire le plus souvent DEA DISIC Geoffrey Arthaud

30 Mesure de la précision du recalage
Etape 5 : Différents types d’erreurs DEA DISIC Geoffrey Arthaud

31 Liste des erreurs de recalage
Erreur de localisation : CP mal placé Erreur de reconnaissance : mauvaise correspondance de CP , erreur grave Erreur d’alignement : Utilisation d’une mauvaise fonction de mapping Utilisation de points tests (TP) Vérification manuelle par l’expert DEA DISIC Geoffrey Arthaud

32 DEA DISIC Geoffrey Arthaud
Conclusion Recalage d’images de plus en plus déformées ou venant de sources très différentes Problèmes encore ouverts : correspondance des CP, choix de la fonction de mapping Méthode MI est une référence, mais reste une méthode zonale soumise à limitations Elaboration de méthodes hybrides Perspectives futures : Système expert choisissant la meilleure solution de recalage DEA DISIC Geoffrey Arthaud

33 DEA DISIC Geoffrey Arthaud
Remarques Article très complet et très dense Disproportion entre longueur de l’article et bibliographie : techniques citées mais peu développées DEA DISIC Geoffrey Arthaud