Image Registration methods : a survey Barbara Zitova, Jan Flusser DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Plan de l’exposé Introduction Méthodologie associée au recalage d’image Détection de caractéristiques Mise en correspondance Création d’un modèle de transformation Transformation de l’image Mesure de la précision du recalage Conclusion DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Introduction Recalage d’image : Superposition de 2 images ou plus Aligner une image « de référence » et une image à transformer Applications nombreuses : Télédétection, médecine, cartographie, etc.. L’article est un état de l’art complet sur le recalage d’images DEA DISIC Geoffrey Arthaud

Méthodologie : Types d’images Point de vue différent – multiview Instants différents – multitemporal Capteurs différents – multimodal Recalage Image réelle →← Modèle DEA DISIC Geoffrey Arthaud

Méthodologie : Les étapes Détection de caractéristiques Mise en correspondance Création d’un modèle de transformation Transformation de l’image DEA DISIC Geoffrey Arthaud

Méthodologie : Illustration Caractéristiques Correspondance Modèle Transformation DEA DISIC Geoffrey Arthaud

Détection de caractéristiques Etape 1 : Deux méthodes complémentaires DEA DISIC Geoffrey Arthaud

Méthodes zonales ► area-based methods Pas de points de contrôle ► Etape sautée A utiliser pour les images peu détaillées (images médicales) DEA DISIC Geoffrey Arthaud

Méthodes avec caractéristiques ► feature-based methods Caractéristiques sous forme de : Régions Lignes Points Caractéristiques stockées par des points de contrôle (CP) Adaptées pour les images contenant des objets facilement détectables DEA DISIC Geoffrey Arthaud

Mise en correspondance Etape 2 : Suivi des deux méthodes DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Méthodes zonales Choix d’une partie ou de la totalité de l’image à faire correspondre sur la référence Principal inconvénient : mauvaise correspondance entre deux zones « douces » différentes Trois façons de faire avec cette méthode : corrélation, Fourier, information mutuelle DEA DISIC Geoffrey Arthaud

1. Méthodes de corrélation Souvent utilisé pour sa simplicité d’implémentation Limitée aux translations, rotations, et mise à l’échelle légères 2 inconvénients : Maxima de la fonction pas faciles à distinguer (auto similarité de l’image) Temps de calcul assez long Non adapté au multimodal registration DEA DISIC Geoffrey Arthaud

1. Méthode de corrélation Variantes à CC : Filtrage préalable avant d’utiliser CC SSDA Rapport de corrélation (pour les multimodal) Hausdorff distance Corrélation vectorielle DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud 2. Méthodes de Fourier Meilleure vitesse de traitement et plus adaptées au images bruitées Méthode de corrélation de phase pour le recalage d’images translatées Extensions pour rotation et changement d’échelle : «polar-log mapping » Utilisées pour la télédétection (images SPOT) et l’imagerie médicale (images MR) DEA DISIC Geoffrey Arthaud

Comparaison CC - Fourier DEA DISIC Geoffrey Arthaud

3. Méthodes d’informations mutuelles Techniques de pointe pour les images multimodales Mesure de dépendances statistiques, maximiser MI : Optimisations par une approche pyramidale et descente de gradient Variante : Entropie croisée DEA DISIC Geoffrey Arthaud

Optimisations diverses Sans gradient : Powell Avec gradient : Levenberg-Marquardt Approche pyramidale : multirésolution DEA DISIC Geoffrey Arthaud

Méthodes avec caractéristiques Sur les 2 images, des points de contrôle ont été créés. But : Faire correspondre les points de contrôle 2 à 2 (tous ou une partie). DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud 1. Relations spatiales Transformer l’ensemble des CP d’une image et évaluer la distance avec les CP de l’autre image Clustering technique : mise en correspondance de CP reliés par des arêtes DEA DISIC Geoffrey Arthaud

2. Descripteurs invariants Donner une description aux CP avant de les faire correspondre Description invariante, unique, stable (dans l’idéal) Analyse du voisinage de chaque CP, et en tirer le maximum d’information (de nature géométrique), beaucoup de techniques possibles DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Optimisations Méthodes pyramidales Multirésolution de la recherche Différents types (somme, médian,moyenne, cubic spline, Laplace, Gauss,…) Décomposition en ondelettes de l’image pour l’approche pyramidale DEA DISIC Geoffrey Arthaud

Création d’un modèle de transformation Etape 3 : modèles globaux et locaux DEA DISIC Geoffrey Arthaud

Exemples de fonctions de mapping DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Modèles globaux Transformation de similitude (translation, rotation, scaling) : 2 CPs Transformation affine : 3 CPs Perspective : 4 CPs Eviter les polynômes de degré haut Utilisation de plus de CP (moindres carrés) DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Modèles locaux Tenir compte des distorsions locales Utilisation de fonctions « radiales » : fonction juste de la distance du point au CP, et non de sa position exacte Fonctions multiquadratic, de Gauss, de Wendland, etc… Thin-plate splines (TPS) : temps de calcul très grand (warping, morphing) DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Recalage élastique Pas de fonctions de mapping Voir l’image comme une feuille élastique Mise en correspondance faite en même temps Variantes : recalage fluide pour des déformations très localisées Diffusion, level sets, optical flow DEA DISIC Geoffrey Arthaud

Transformation de l’image Etape 4 : Différentes interpolations possibles DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud 2 méthodes Méthode avant Transformer directement les pixels de l’image à recaler Apparition de trous et de superpositions, à éviter Méthode arrière Partir du système de coordonnée de l’image référence et appliquer les transformations inverses pour la coordonnée de l’image à recaler Pas de trous, mais implémenter des algo d’interpolation DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Interpolations Plus proche voisin Bilinéaire Bicubique Meilleure compromis : bilinéaire le plus souvent DEA DISIC Geoffrey Arthaud

Mesure de la précision du recalage Etape 5 : Différents types d’erreurs DEA DISIC Geoffrey Arthaud

Liste des erreurs de recalage Erreur de localisation : CP mal placé Erreur de reconnaissance : mauvaise correspondance de CP , erreur grave Erreur d’alignement : Utilisation d’une mauvaise fonction de mapping Utilisation de points tests (TP) Vérification manuelle par l’expert DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Conclusion Recalage d’images de plus en plus déformées ou venant de sources très différentes Problèmes encore ouverts : correspondance des CP, choix de la fonction de mapping Méthode MI est une référence, mais reste une méthode zonale soumise à limitations Elaboration de méthodes hybrides Perspectives futures : Système expert choisissant la meilleure solution de recalage DEA DISIC Geoffrey Arthaud

DEA DISIC Geoffrey Arthaud Remarques Article très complet et très dense Disproportion entre longueur de l’article et bibliographie : techniques citées mais peu développées DEA DISIC Geoffrey Arthaud