Traitement d’images : concepts avancés Morphologie mathématique Images binaires Images niveaux de gris Classification Classifications pixeliques Modèles à base de champs de Markov Segmentation Méthodes ad hoc Approche variationnelle Détection / Suivi Changement Flot optique

Détection de changement : Problèmes Pb 1 : soit 1 image de fond, et 1 image acquise à 1 instant t. Quels sont les objets apparus ou disparus par rapport au fond ? Pb 2 : Soit 2 images acquises à t et t+1. Quels sont les objets ayant bougé entre t et t+1 ? Seul cas traité ici : caméra fixe  tous les changements détectés sont imputables à des apparitions / disparitions / mouvements d’objets

Détection de changement : Approche générale Création d’1 image des données D Niveau d’information considéré : Valeur absolue des différences des niveaux de gris Différence signée des niveaux de gris Différence (absolue ou non) d’images de primitives : contours… Classification de l’image D Nombre de classes : 2 : ‘changement’ vs ‘non changement’ k : ‘non changement’, ‘changement de type 1’,…, ‘changement de type k-1’ Prise en compte de l’information spatiale Classifications markoviennes (vs ponctuelles) Décision niveau ‘fenêtre’ On cherche 1 solution qui soit : Robuste au bruit, aux changements d’illumination Automatique

Création d’1 image des ‘données- changements’ D

Classification de l’image D Cas 2 classes Classe ‘non changement’ ~ Normale centrée variance s Classe ‘non changement’ ~ quelconque !!! Attention au terme d’attache au données Exemple : cas d’1 classe changement bimodale supposée monomode  termes attache aux données Classification aveugle Image des labels ‘vérité’ Image données Paramètres classification Classification MRF-ICM (itération 1)  énergies avec terme voisinage

Décision A Contrario Principe de Helmholtz : modélisation du cas où il n’y a rien (modèle ‘naïf’) et contradiction éventuelle de ce modèle Cas de la détection de changements : Classe ‘non changement’  modèle naïf (& Classe ‘non changement’  non modélisée !) Estimation de la ‘vraisemblance’ de l’observation sous hyp. du modèle naïf Décision sur la valeur de probabilité ~ tests a contrario de Fisher sur le “nombre de fausses alarmes” 1 structure est présente dans 1 groupe d’objets quand la configuration de ces derniers ne peut arriver par simple hasard (sauf exception). Introduit en TI par A. Desolneux (2000)

Exemple 1 : détection basée sur les valeurs radiométriques de pixels Modèle naïf : En l’abs. de changements, l’image différence est un champ aléatoire de variables indépendantes gaussiennes centrées L’erreur quadratique cumulée sur 1 sous-ensemble de pixels Wi : a 1 fct de répartition qui suit une loi du c2. Critère NFA : principe : mesurer le degré d’étonnement d’1 observation  NFA = où |E| est un ‘nombre de tests’ Significativité maximale : 1 évènement est e-significatif si son NFA est <e  On cherche les sous-ensemble de pixels Wi de significativité max., i.e. de NFA minimal Ex. : pour 1 pièce supposée non truquée, il n’est pas vraiment étonnant de ne pas tirer ‘face’ sur 1 tirage aléatoire ; par contre il est très étonnant de tirer 0 fois ‘face’ sur 10 tirages aléatoires ! Conversion d’1 proba. en 1 nombre de fausses alarmes

de dimensions fixées e.g. 1010, 1020, 2010, 2020) Exemple 1 : résultats Cas où Wi est quelconque sur l’ensemble des pixels de l’image : |E| = et Cas où Wi est 1 fenêtre rectangulaire de nk pixels : |E| = et de dimensions fixées e.g. 1010, 1020, 2010, 2020)

Exemple 2 : détection basée sur les labels L’image de données est 1 image de labels l0 l0  {‘changement’=‘C’, ‘non changement’=‘NC’, ‘indéterminé’=‘I’} l0 attribué au niveau pixel   erreurs Modèle naïf : En l’abs. de changements, les labels l0=‘changements’ sont répartis uniformément sur l’image Le # de pixels labelisés ‘C’, |{‘C’}Wi|, dans 1 sous-ensemble compact de |Wi| pixels suit une loi binômiale : Résultats : Étiquettage sur valeur de gradient Étiquettage par méthode 1.1

Flot optique Pb: Soit 2 images acquises à t et t+1. Quel est le champ des vitesses associé à l’image ? Applications : suivi d’objets, détection de mouvement… sous-pb : Quel est le champ des vecteurs de déplacement apparent de chaque objet de l’image entre t et t+1 ? identifier les couples de pixels susceptibles d’appartenir à un même objet dans les 2 images à t et à t+1 définir 1 critère d’association des pixels sélectionner la ‘bonne’ sol. parmi des sol. multiples définir un critère de régularisation du champ des déplacements i.e. dans l’image ; peut être différent du déplacement réel dans la scène 3D

Flot optique : formulation (I) Soit f(x,y,t) l’image vue comme une fct donnant la ‘brillance’ (niv. de gris) d’un objet en (x(t),y(t)) à t Hypothèse de base = conservation de la ‘brillance’ des objets au cours du temps  En pratique, minimisation de la norme (L1) : avec régularisation du champ des vitesses Éviter ces solutions !

Flot optique : formulation (II) Ajout d’1 terme de régularisation  énergie à minimiser : (*) avec Horn & Schunk (1981) : Weickert & Schnörr (2000) : et l’énergie est intégrée sur 1 domaine spatio- temporel W  W[0,T] dans (*)

Flot optique : résolution (I) Rappel : soit 1 fct J dépendant de d’1 fct f et de sa dérivée première : alors 1 extremum de J (s’) est la fct f(x) qui satisfait l’équation d’Euler-Lagrange  Cas Horn & Schunck et (**) On pose f=f0+ef1, avec f1 quelconque nulle sur les bords de W. Alors si f0 est 1 minimum, la dérivée de J par rapport à e est nulle en e=0 : . Or :

Flot optique : résolution (II) Approximation du Laplacien et des dérivées 1ères par filtrage linéaire : et En remplaçant dans le système (**) Que l’on résout de façon itérative (n numéro d’itération):

Flot optique : exemples de résultats

Flot optique : exemples de résultats