La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement d'images 4TC - Option « Télécoms » Hugues BENOIT-CATTIN.

Présentations similaires


Présentation au sujet: "Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement d'images 4TC - Option « Télécoms » Hugues BENOIT-CATTIN."— Transcription de la présentation:

1 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement d'images 4TC - Option « Télécoms » Hugues BENOIT-CATTIN

2 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 2 I. Compression II. Segmentation III. Indexation IV. Tatouage Plan Remerciements à A. Baskurt, C. Odet pour la partie II

3 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 3 I. Compression 1. Introduction 2. Approches directes (Vectorielle, Quadtree, Fractale) 3. Approches par transformation (SPIHT, JPEG2000) 4. Compression de séquences d'images (MPEG4)

4 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 4 1 Introduction 3Historique 3Objectifs 1952 : Codeur entropique (Huffman) 1978 : DCT (Pratt) 1980 : Vectoriel (Linde-Buzo-Gray) 1986 : Sous-bandes (Woods) 1986 : Vectoriel sur treillis (Fisher) 1989 : JPEG 1989 : MPEG : Ondelettes (Mallat, Daubechies) 1990 : Fractales (Jacquin) 1996 : SPIHT 1996 : MPEG : MPEG : JPEG 2000 Réduction du volume occupé par les images numériques pour faciliter leur transfert et/ou leur stockage

5 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 5 3Classification des méthodes de compression Sans pertes / avec pertes contrôlées q Sans pertes (Huffman, Quadtree) image originale = image comprimée TC limité (#3) q Avec pertes contrôlées On perd l'information qui se voit peu TC augmente Recherche d'un compromis Tc / Qualité Directe / Transformation q Directe Quantification & codage des pixels de l'image q Transformation Quantification & codage des coeff. transformés imageQuantificationCodageTransformation bits

6 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 6 3Evaluation d'une méthode compression ë Dépend de l'application Taux de compression (Tc) Qualité Critère mathématique (RSB) Critères subjectifs - Courbes ROC (médecine) - Notations subjectives (TV) Ex : image (512x512x8bpp) avec Tc=10 512x512x8/10=26215 bits 0.8 bpp Avec

7 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 7 Autres critères Vitesse d'exécution : codeur /décodeur Complexité - Additions / multiplications - Soft / Hard Résistance au bruit de transmission Intégration de post-traitements - Prise en compte du récepteur (homme / machine) Coût financier Scalability

8 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 8 2 Approches directes Codage Huffman 3Codage arithmétique 3Codage par longueur de plage 3Codage type dictionnaire 3Quantification scalaire 3Quantification vectorielle 3Méthodes prédictives 3Approche quadtree 3Codage fractale Codeurs de source (Th. Information)

9 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 9 3 Quantification scalaire Traitement pixel à pixel Diminuer le nombre de niveaux de gris utilisés : Nnq < Nnp Problèmes - Comment choisir les seuils de quantification (s i ) ? - Comment choisir les niveaux de quantification (q i ) ?

10 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 10 3 Quantification scalaire uniforme linéaire Seuils répartis de façon uniforme C'est un quantificateur linéaire Niveaux = milieux des seuils avec

11 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 11 3 Quantification scalaire uniforme optimale Seuils répartis de façon uniforme Niveaux = Barycentre (histogramme) 3 Quantification optimale (Loyd-Max : 1960) Minimise l'erreur de quantification Algorithme itératif très long pour des distributions inconnues Tables pour des dist. gaussiennes, laplaciennes,... Fait le travail du codeur !

12 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 12 3 Quantification vectorielle Extension de la quantification scalaire Pixel Vecteur = bloc de pixels contigus Vecteur de taille et forme variable 3 Approche optimale : L inde B uzo G ray (1980) Phase d'apprentissage : dictionnaire de vecteurs Vecteur = représentant d'une région de Voronoï de taille variable Dictionnaire connu du codeur /décodeur Phase d'apprentissage délicate Temps de recherche dans le dictionnaire Approche treillis

13 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 13

14 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 14 3 Approche Treillis : Fisher, Conway, Sloane (1986) Extension de la quantification linéaire uniforme Treillis = vecteurs régulièrement répartis dans R n Dictionnaire pré-défini Pas d'apprentissage Algorithme de quantification rapide Algorithme de quantification vectorielle sur treillis - Choix de la norme :L1 Laplacien Pyramide L2 Gaussien Sphère - Choix de la taille des vecteurs - Choix du treillis : Z n, A n, D n (4), E n (8), n (16) Taux (B) K rayon du dictionnaire contenant 2 nB vecteurs Procédure de dénombrement

15 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 15 Bornage des vecteurs par le facteur d'échelle A = E s /K Ramène les vecteurs à l'intérieur du dictionnaire - Traitement spécial pour les vecteurs d'énergie > E s Quantification - Vecteur vecteur du dictionnaire le plus proche Codage des vecteurs : code produit - Rayon : code Huffman - Index : code de longueur fixe

16 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 16 Illustration de la quantification vectorielle sur treillis Vecteurs 2x1

17 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 17 Structure de fichier codé

18 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 18 3 Approche Quadtree Découpage récursif en carrés homogènes Critère de split : variance,...

19 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 19 Codage de l'arbre : règle de parcours (Peano) Codage des régions homogènes : moyenne, interpolation...

20 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 20 3 Compression par fractale Les Fractales (B. Mandelbrott) - Observations naturelles : nuages, plantes... - Auto-similarité à toutes les échelles redondance dans l'image Les 'Iterated Functions Systems' (IFS) - W i : Transformation affine contractante rotations, réflexions scaling variance niveau de gris offset moyenne déplacement position

21 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 21 Recherche d'un IFS pour générer une image très fort taux de compression mais image spéciale Approche directe Transformation de l'image = morceau de l'image image # w 1 (image) w 2 (image)... w n (image) Utilisation de bibliothèque d'IFS image segmentée en un ensemble d'IFS connus Fougère : 4 transformations = 192 bits 512² : Tc = 1365

22 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 22 Compression par IFS local (Jacquin 1990) - Approche valable sur des images quelconques 3 Codage

23 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 23 Mettre les D j à la taille de R : Sous-échantillonnage +- moyennage Définir la zone de recherche - toute l'image - limitée (e i,f i ) Recherche du (W i D j ) le plus proche de R i - Mesure de distance L 1, L 2, L Ex : pour L2 - - ai, bi, ci, di = (0,-1,1) 4 rotations (-90, 90,180,0) 4 réflexions(_ | / \) Codage de longueur fixe ou variable code = w i

24 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 24 3 Variantes - formes des blocs - recherche des w i - codage des w i Codage très long Décodage instantané

25 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 25 It n° 1 RSB = 23,8 dB Point de départ It n° 2 RSB = 27,33 dB It n° 3 RSB = 32,16 dB Tc = 10

26 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Approches par transformation

27 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 27 Une Transformation Réversible (sans perte) Orthogonale (énergie conservée) Rapide Représentation différente de l'image Décorrélation Gain en performances Temps de calcul supplémentaire 3 DCT JPEG 3Ondelettes SPIHT, JPEG 2000

28 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 28 3 Compression DCT bloc : JPEG (1989)

29 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 29 Schéma général

30 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 30 3 Compression sous-bandes / ondelettes

31 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 31 3Décomposition en sous-bandes / ondelettes Esteban/Galland Woods/O Neil … - Mallat (1989) Filtres FIR 1D, 2D Filtres IIR 1D, 2D Une Décomposition

32 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 32 Une reconstruction Décomposition / Reconstruction sans pertes cascades

33 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 33 Pyramidale (itérée en octave) Adaptative

34 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 34 Réversible Concentration d énergie Spatio - fréquentiel ë Analyse & Compression

35 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 35 Décomposition pyramidale en sous-bandes banc de filtres FIR 1D : bi-orthogonaux phase linéaire, rec. parfaite, pas orthogonaux, réguliers Concentration d'énergie dans la BB

36 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 36 Quantification séparée des sous-bandes (Woods 86) Allocation des bits aux sous bandes par modèle - Min(D) avec B

37 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 37 Exemples Originale Sous-bandes Tc=32

38 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 38 Sous-bandes Tc=32 RSB = 30.1 dB JPEG Tc=32 RSB -3%

39 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 39 Originale Sous-bandes Tc=60 !!

40 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 40 Quantification globale des sous-bandes (shapiro 93) SPIHT Algorithme très rapide, RSB élevé, 'embedded' Basé sur : - Transmission progressive par plan de bits = Q. scalaire - Exploite l'auto-similarité inter-sous-bandes : arbres de coeffs

41 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 41 3 SPIHT (Set Partitionning In Hierarchical Trees) Said & Pearlman 96 Décomposition en ondelettes (9-7) Partition des coeffs en arbres signifiants Transmission progressive par plan de bits +- Codeur arithmétique

42 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 42 Transmission progressive par plan de bits Minimiser l'erreur de quantification D

43 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 43

44 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 44 Partitionning Tree 3 Relation de parenté inter sous-bandes

45 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 45 3 Règles de signification |c i,j | 2 n 3 Définition des ensembles

46 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 46 3 Règles de division 3 Listes de signifiants ! SPIHT ne fait que de la gestion de liste de coordonnées et du masquage binaire

47 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 47 3 Algorithme de codage

48 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 48 La stratégie de parcourt est connue du décodeur les coordonnées ne sont plus codées !

49 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 49 Exemples SPIHT Tc=32 RSB : JPEG Tc=32 RSB : 30.25

50 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 50 SPIHT, TC=30 SPIHT, TC=240 !

51 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 51 3 JPEG 2000 (96-Dec 2000 : ISO standard)

52 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 52 JPEG2000 : le standard 1 - « Core coding system » JPEG 2000 Codec family 2 - « Extensions » Extensions spécifiques applications 3 - « Motion-JPEG2000 » Extension pour compression video intra-frame 4 - « Conformance testing » Procédures de tests 5 - « Reference software » Exemples de softs

53 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 53 JPEG2000 : Marchés et applications Internet Mobile Printing / Scanning Digital photography Remote sensing Facsimile Medical Digital Libraries E-Commerce

54 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 54 JPEG2000 : codec overview

55 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 55 JPEG2000 : image originale Multi-component : up to 2 14 Integer pixel value : up to 38 bpp Size and sample grid / component Reference grid : 2 31 x2 31 Independent image tiling

56 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 56 JPEG2000 : PreProcessing Component zero centering JPEG2000 : InterComponentTransform Reduce correlation between components Ex : RGB YUV JPEG2000 : IntraComponentTransform 2D Wavelet transform 1D FIR implementation Filter bank choice : 5/3 integer, 7/9 real … Decomposition choice

57 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 57 JPEG2000 : Quantization Integer mode (lossless) : no quantization Real mode : uniform linear scalar quantizer Quantization step Rate control 1

58 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 58 Goal : generate a collection of independant embedded bitstream Subband block partition (2 n x2 m ) – Independant coding Bit plane coding – Within a subband block, with a stripe raster – Significance propagation : 8 neighbors significance – Refinement pass in the current bit plane – Cleanup pass to encode the remaining coeff – Context arithmetic coding JPEG2000 : Tier-1coding

59 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 59 JPEG2000 : Tier-1: bit plane coding 1 st pass in the MSB bit plane

60 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 60 JPEG2000 : Tier-1coding / Code blocks

61 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 61 JPEG2000 : Tier-1coding / bit plane coding

62 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 62 JPEG2000 : Tier-2coding Goal : bitstream multiplexing for inclusion in the codestream to enable rate, fidelity, resolution scalability Packetization process of the bit plane coding passes L quality layers of coding pass Code block precinct Packet = header + body – header = list of coding pass – body (component, resolution, layer, precinct) = coding pass data

63 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 63 JPEG2000 : Tier-2coding / Layers Layer : a collection of some consecutive bit-plane coding passes trough code blocks, subbands, components

64 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 64 JPEG2000 : Tier-2coding / Precincts Precinct : set of code code block within a resolution.

65 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 65 JPEG2000 : Tier-2coding / Packets Packets : compressed data representing a specific tile, layer, component, resolution, precinct Packet ordering : Progression – 1 : Layer - Resolution - Component - Position (precinct order) Õ Fidelity – 2 : Resolution - Layer - Component - Position Õ Resolution – 3 : Resolution - Position - Component - Layer – 4 : Position - Component - Resolution - Layer – 5 : Component - Position - Resolution - Layer

66 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 66 Medium resolution / highest SNR

67 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 67 Highest resolution / Target SNR quality

68 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 68 Highest resolution / Target visual quality

69 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 69 JPEG2000 : Data hierarchy and rate control Data hierarchy – Image, component, tile – Resolution, subband – Precinct (code blocks) – Coding pass – Quality layer – Packet (component, resolution, layer, precinct) Scalar quantizer Rate control Rate allocation : encoder choice - None, iterative, post-compression...

70 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 70 JPEG2000 : Progressive by resolution 2 bpp, Tc=4

71 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 71 JPEG2000 : Progressive by quality bpp Tc= bpp Tc= bpp Tc= bpp Tc=64

72 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 72 JPEG2000 : Region of interest management A simple good idea in the Tier-1 coding – Local bit shifting of the ROI subband coeff WT

73 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 73 4 bits shift, bpp, Tc=128 2 bits shift, 0.25 bpp, Tc=32 JPEG2000 : ROI

74 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 74 5 bits shift, bpp, Tc=128 3 bits shift, 0.25 bpp, Tc=32 JPEG2000 : ROI

75 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 75 JPEG2000 vs JPEG bpp, Tc= bpp, Tc=32

76 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 76 JPEG2000 vs JPEG bpp, Tc= bpp, Tc=32

77 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 77 JPEG2000 reference JPEG site : Jasper software : JJ2000 software : Full course :

78 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 78 4 Compression de séquences d'images 3Supprimer la redondance spatiale ou intra-image approches 2D 3Supprimer la redondance temporelle ou inter-image utiliser le déjà vu et le mouvement

79 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 79 3Les normes MPEG

80 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 80 3Les bases de H261 à MPEG2 33 types d'images : 3 codages

81 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 81 Images I (intra) - Codées JPEG' - Point d'accès séquence (0.5s) - Tc faible Images P (Prédites) - Prédites à partir de I ou P - Codage DPCM des vecteurs mvt - Codage JPEG* de l'erreur de prédiction - Tc élevé - Propagation de l'erreur Images B (Bidirectionnelles) - Interpolées à partir des I P - Tc le plus élevé

82 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 82 3Codage et TVnum Numérisation brute : 200 Mb/s DVB # DVD = MPEG x 480/576 (30/25 Hz) avec IPB - 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio) - Tc de 40 à 18

83 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 83 3MPEG4 : caisse à outil multimédia ! MPEG4 = beaucoup + que de la compression MPEG4 Eléments technologiques standardisés Auteurs - Fournisseurs de services - Utilisateurs Production - Distribution - Accès TV Num Appli. graph. interactives WWW

84 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 84 3Auteurs - Rendre faisable et flexible la production d'objets intégrant des technos TV, Web, VRML... - Protéger leur droit 3Utilisateurs - Bénéficier de nouveaux produits avec une forte interactivité 3Fournisseurs de service - Fournir une info transparente, auto-adaptable aux réseaux - Gestion de la Qualité de service (QoS)

85 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 85 3Les AVO de MPEG4 Données = Audio Visual Objects

86 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 86 Scène = (AVO's) Interactivité pour les utilisateurs - Changement de point de vue - Navigation dans la scène - Interaction avec la scène - Modification de la scène

87 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 87

88 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 88 3La compression d'images dans MPEG4 Boite à outils adaptée aux AVO - JPEG, MPEG2 - Ondelettes, Zerotree - Méthodes de 2 ème génération

89 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 89 3La compression par maillage actif Objectif Déformer un maillage pour l'adapter à l'image : - Noeuds sur les contours & Cellules homogènes Stratégie de déformation - Modèle mécanique avec minimisation d'énergie Stratégies de codage - Codage de la structure : position des noeuds - DPCM + Codeur entropique - Codage de la texture : intérieur des cellules - Interpolation - Wharping + méthodes par transformation

90 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 90 Maîtriser le temps de déformation

91 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 91 3La compression par modèle Principe - Déformer le modèle pour le faire coller à l'image - Coder la déformation au cours du temps - Coder l'intérieur des mailles Spécifique à des modalités d'images

92 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 92 3La compression par approche Objets Principe - Segmenter ( ) l'image en régions homogènes : les objets - Coder la carte des objets ( ) : 'chain coding' - Coder l'intérieur des Objets : shape DCT Chain coding

93 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 93 Plan I. Compression II. Segmentation III. Indexation IV. Tatouage

94 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 94 II. Segmentation 31 Définitions & classification 32 Approche fonctionnelle 33 Quelques méthodes de segmentation

95 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Définitions & classification

96 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 96 Pas de norme ! Pas de méthode unique ! Pas de recette !

97 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 97 3Approches "région" - Basées sur l'homogénéité de caractéristiques localisées spatialement calculées sur les niveaux de gris - Homogénéité : variation à l'intérieur d'une région < variation entre 2 régions - Robustes aux bruits mais mauvaise localisation spatiale

98 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 98 3Approches "frontière" - Basées sur l'information de gradient pour localiser les frontières des régions - 2 approches : (détection et fermeture de contours) ou (contours déformables) - Sensibles aux bruits et aux contours mal définis, elles offrent une bonne localisation spatiale

99 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 99 Techniques de segmentation Approches REGION Approches FRONTIERE Seuillage adaptatif Méthodes variationnelles (contours actifs) Méthodes dérivatives Template Matching Texture Méthodes Markoviennes Approches structurales Analyse et classification Détection de contours + Fermeture des contours 3Vue d'ensemble

100 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Approche fonctionnelle Critères Mesures Evolution Modification Arrêt Initialisation Image Carte des régions bloc élémentaire

101 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 101 Bloc 1 N1N1 Bloc k NkNk Bloc 2 N2N2 3Approche fonctionnelle et méthodes complexes

102 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 102 3Bloc Mesures - Réalise les mesures nécessaires pour évaluer l'homogénéité des régions - Des mesures 'images' : moyenne, variance, entropie, gradient, texture... - spatiales - fréquentielles - Des mesures 'régions' : forme, surface, périmètre...

103 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 103 3Le choix des mesures : un problème compliqué Texture Détection de contour ! Seuillage

104 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 104 Texture = information visuelle qualitative: Grossière, fine, tachetée, marbrée, régulière, périodique... Région homogène: Assemblage plus ou moins régulier de primitives plus ou moins similaires. Texture microscopique: Aspect chaotique mais régulier, primitive de base réduite. Texture macroscopique: primitive de base évidente, assemblage régulier. ?

105 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 105 3Approches pour l'analyse de Texture Structurelles: recherche de primitives de base bien définies et de leur organisation (règles de placement) Méthodes peu utilisées Stochastiques: primitives mal définies et organisation +/- aléatoire. Principe: évaluation dun paramètre dans une petite région (fenêtre de taille dépendant de la texture (!) ): Analyse fréquentielle, statistiques, comptage dévénements, corrélation,.... Pas de modèle général de texture Nombreuses méthodes ad-hoc.

106 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 106 3Trouver les bons paramètres 4x48x8 16x16 32x32 Le choix et le réglage des mesures est fondamental en segmentation

107 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 107 3Bloc Critères - Fusionne les mesures en un seul critère qui sera utilisé pour évaluer le besoin de modification - Introduction d'hyper-paramètres conditionnant le résultat de la segmentation

108 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 108 3Bloc Evolution - Estime à partir des critères le besoin d'évolution des régions - Evolution par seuillage : binaire ou progressive - Evolution par dérivée : variation du critère entre 2 itérations

109 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 109 3Bloc Modification - Modifie la carte des régions - N constant : seuillage, contour actif,... - N+ : split - N- : merge - Stratégies diverses... et représentation des régions adaptée - déplacement de point - étiquetage - maillage - Considéré comme le cœur des méthodes de segmentation

110 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 110 3Bloc Arrêt - Décide l'arrêt des itération - Par défaut, arrêt quand la carte de segmentation ne bouge plus - Autres possibilités : manuel, nombre d'itération, nombre de points modifiés...

111 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Quelques méthodes de segmentation 3V.3.1 Segmentation par seuillage adaptatif 3V.3.2 Segmentation par détection / fermeture de contours 3V.3.3 Segmentation par contours actifs 3V.3.4 Segmentation par Split / Merge 3V.3.5. Segmentation par Template Matching

112 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 112 Détection de vallées, en prenant le minimum de lhistogramme situé entre les 2 pics Optimisation du seuil S par modélisation Gaussienne p 1 (x) et p 2 (x) et en minimisant lexpression basée sur les fonctions de répartition : 3V.3.1 Segmentation par seuillage adaptatif

113 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 113 Objectif : Trouver le seuil S qui minimise la somme des moments centrés dordre 2 (somme des Variances) des 2 classes Centre de gravité G dune classe Variance Var dune classe h(x) : histogramme de limage 3Exemple : Méthode Fisher

114 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 114 Trouver S qui minimise la somme des variances : En simplifiant les termes en carrés, cela revient à maximiser la fonctionnelle J(S) : Le problème de seuillage ou de partitionnement revient à chercher S dans {0,255} qui maximise J(S)

115 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 115 Détection de contour Extraction de contour Fermeture de contour La détection de contour est suivie dune localisation de contour et de la recherche dun ensemble connexe de points 33.2 Segmentation par détection / fermeture de contours

116 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 116 3Détection de contour Un contour caractérise la frontière dune région Un contour est défini par une variation «rapide» de caractéristique ContourContour ?

117 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 117 3Définition continue d'un contour Mesure du gradient de f(x,y) dans la direction r La direction du contour est obtenue pour : f(x,y) r x g

118 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 118

119 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 119 3Applications aux images numériques Pour chaque pixel (i,j), on mesure du gradient dans deux directions orthogonales : D x D y Calcul de lamplitude du gradient Calcul de la direction du gradient f(i,j) DxDx DyDy M Carte damplitude Carte de direction H1H1 H2H2

120 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 120 Un contour est détecté si M dépasse une certaine valeur (seuil). La carte de direction est utilisée pour «suivre» les contours. Exemples dopérateurs H 1 H 2 Roberts Prewitt Sobel

121 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 121 « Roberts » Zoom Amplitude Direction blanc=... gris = + 128x128 (inhomogénéité du contour) 3Exemple de détection de contours

122 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 122 Amplitude Direction

123 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 123 Il existe de nombreuses méthodes de détection de contour: Dérivation au premier ordre Prewitt, Sobel, Roberts, Kirsh, Compass, dérivateurs... Dérivation au second ordre Laplacien, Marr et Hildreth,... Filtrage optimal Canny-Deriche, Shen Modélisation des contours Hueckel, Haralick Morphologie mathématique gradient morphologique, ligne de partage des eaux... Caractéristiques: Complexité, précision de localisation, sensibilité au bruit, création de faux contours

124 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 124 Un contour = ligne de crête dans limage de la norme du gradient (I G ): des niveaux de gris toujours élevés de faibles dénivelés le long de ces lignes de forts dénivelés dans les autres directions ==> les points de contour = maxima locaux de I G Le principe est de comparer le gradient G en un point M avec les gradients G1 et G2 des deux voisins pris dans la direction du gradient si G>G1 et G>G2, alors M est un maximum local contour G G1 G2 direction de G M 3Extraction des contours

125 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 125 Hypothèse : limage de la norme de gradient est disponible et les extrémités des contours à fermer sont connues contour de limage A arc dun chemin solution S0S0 SfSf S Trouver le chemin du coût minimum : S qui minimise S qui minimise la distance entre S et S f R 3Fermeture des contours

126 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 126 Un contour actif est une courbe fermée ou non, initialisée à proximité du contour recherché quon déforme par itérations successives afin de converger vers le contour réel Lévolution du contour actif est régie par une minimisation dénergie Lévolution sarrête par un critère darrêt qui correspond à une condition de stabilité La convergence traduit une adéquation entre la forme finale de la courbe C la fonction image au voisinage de la courbe 33.3 Segmentation par contours actifs

127 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 127 Le contour actif est assimilé à une courbe C : s est labscisse curviligne, v(s,t) est un point courant de C, a et b sont les extrémités de C, lévolution temporelle se fait entre 0 et T Une énergie E(C) est mesurée à chaque t durant lévolution temporelle E(C) intégre : les caractéristiques intrinsèques de la courbe C les caractéristiques de limage I au voisinage de C linteraction entre I et C 3Contours actifs : définitions

128 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 128 3Contours actifs : Energie du contour E(C) E int : - lié à la rigidité (tension), il agit sur la longueur - lié à l'élasticité (flexion), il agit sur la courbure E ext : - introduit des contraintes opérateur (points de contrôle...) E image : - introduit les caractéristiques images (gradient)

129 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 129 Calculer l'énergie pour chaque point Faire la liste des points par ordre dénergie croissante Faire évoluer le point avec l'énergie minimale Calculer l'énergie nouvelle pour ce point et organiser la liste si la distance entre deux points est trop grande, ajouter un point entre les deux 3Evolution temporelle du contour actif

130 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 130 Le contour initial ne peut pas être sélectionné automatiquement Le contour initial doit être proche du contour final Le modèle nest pas utilisable dans le cas de la présence de texture Le modèle peut être perturbé en présence de bruit La minimisation d'énergie demande linversion de matrices de grande taille à chaque itération ==> calcul très long 3Problèmes liés aux contours actif

131 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 131 Les méthodes structurales visent à regrouper des ensembles de points ou de régions selon des critères dhomogénéité Ces méthodes garantissent la connexité des régions Les stratégies utilisées peuvent être : ascendante : mécanisme de croissance (MERGE) de régions : du niveau élémentaire (ex : pixel) aux grandes régions descendante : mécanisme de division (SPLIT) de régions : du niveau haut (ex : image) vers la décomposition en petites régions 33.4 Segmentation par Split / Merge

132 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 132 La croissance est conduite selon deux critères : homogénéité pour une région R formée de N pixels connexité (adjacence) du pixel à intégrer dans R Exemples de contrainte dhomogénéité : Variance Var(R) inférieure à un seuil Nombre de pixels M dont les NG se situe hors dun intervalle [Moy(R)-EcType(R),Moy(R)+EcType(R)] inférieur à un seuil Un pixel S est intégré à R si les caractéristiques de ce point (NG, couleur, texture centrée sur ce point,..) est proche de celles de R S est connexe à R 3Méthode ascendante : Croissance de régions

133 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 133 Les méthodes descendantes divisent limage ou une partie dimage en régions en utilisant des partitions élémentaires connues comme le quadtree 3Méthodes descendantes : division de régions La division dune région R en sous-régions se fait si R ne remplit pas la contrainte dhomogénéité fixée Le maillage peut être – régulier ou irrégulier – de type rectangulaire, triangulaire ou polygone quelconque

134 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 134 La méthode Template Matching est basée sur la recherche de la position spatiale dun motif (objet) M connu dans une image I La position du motif est donnée par les maxima de la fonction dintercorrélation C IM Segmentation par Template Matching La recherche (ou le collage) se fait par le calcul de lintercorrélation bidimensionnelle C(p,q) entre I et M :

135 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 135 Image originale Motif Image dintercorrélation seuillée Image dintercorrélation

136 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 136 Plan I. Compression II. Segmentation III. Indexation IV. Tatouage

137 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 137 III. Introduction à l indexation 3Texte écrit recherche d'info. sur le contenu (symbolique du mot) Images Contenu d'une image texte ! Indexation manuelle dans des bases de données Augmentation exponentielle du nombre d'images 3Un défi ë Automatisation de l'indexation d'images par le contenu ë Interfaces et moteurs de recherche adaptés Rque : Analyse d'une image = quelques sec.

138 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 138 3Problème posé ë Retrouver des images semblables à celles que cherche l'utilisateur Que cherche l'utilisateur ? exemples, mots clés Quelles mesures considérer sur les images ? Quelles fonctions de ressemblance ? 3Contraintes de robustesse rotation échelle éclairage

139 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Indexation par mesures globales Couleurs majoritaires Histogramme RVB calcul de distances complexe, illumination! 3Niveaux de gris ë Mesures sur l'image entière et/ou des zones a priori 3Couleur : idée visuelle vague : "fleur rouge, ciel bleu" Paramètres de texture 3Utilisation de silhouettes Seuillage binaire Direction, nombre...

140 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Indexation par mesures locales ë A adapter aux modalités d'images 3Que segmenter ? objets, primitives... 3Que mesurer ? des angles, des nombres, des orientations 3Problème reporté sur l'algorithme de segmentation ë Mesures sur une image segmentée

141 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Indexation et compression Vectoriel dictionnaire Fractale LIFS Sous-bandes répartition énergétique, direction DCT Continuité, Activité fréquentielle locale MPEG-4 multiplexage d'objets ë Mesures fournies par/pendant la compression

142 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin Un exemple de produit : QBIC Images +- texte data base Indexation Requêtes itératives

143 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 143 Silhouettes Semi-automatique : croissance de régions, snakes 3Segmentation des images Couleur Barycentre RGB Histogramme 64 couleurs Texture (Y) Directions privilégiées (Gradient) Fenêtres variables (variance NG) coarsness / contrast Forme Orientation Surface, périmètre, compacité Imagette 64x64 de contour 3Paramètres calculés sur images & objets

144 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 144 Couleur moyenne Histogramme couleur Texture Forme / position des contours localisations d'objets 3Recherche par texte / image / objet Try the demo :

145 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 145 3Couleur dominante + 64 coefs sous-bandes

146 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin MPEG-7 ( ) ëDéfinir un standard de description de l'information multimédia –Texte, Image, graphique, 3D, audio 3Objectif Extraction de descripteurs (Auto/manuel) Moteurs de recherche adaptés Retour d'informations –classement –format –condition d'accès 3Applications Services & Usages –Média numérique personnalisé –Choix d'un programme TV –Commerce électronique –Agents intelligents...

147 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 147 Plan I. Compression II. Segmentation III. Indexation IV. Tatouage

148 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 148 IV. Introduction au tatouage ëProtéger la propriété des images numériques 3Objectif 3 Watermark = signal inséré dans l'image Unique identifie l'image Multiple identifie la source visible facile à enlever, propriétaire visible invisible difficile à enlever, piéger les truands 32 types

149 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 149 Impossible à enlever sans dégrader l'image Résiste au scaling, cropping, coding, modif histogramme Invisible mais extractible En nombre suffisants 3Contraintes ! Original + watermark # original watermark signature électronique 3Remarques

150 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 150 Domaine spatial (peu résistant) –flip des bits de poids faible de quelques pixels –Modifications d'amplitude (YUV) Domaine fréquentiel –Modifications de coefs TFD / TCD / Sous-bandes 3Quelles approches ë Compromis entre (invisibilité / indélébilité)

151 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 151 3Exemple avec la DCT (M. Barni et al., LCI/DIE/ Univ. Florence)

152 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 152

153 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 153

154 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 154

155 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 155

156 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 156 Double watermark ! 3Limitations Qu'est ce qu'un bon watermak ? –Distorsion introduite ! –Niveau de résistance –Besoin de l'original ? –Du PC au papier ! Comment gérer ses droits ? Quels Usages ? Quels services ? 3Questions

157 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 157 V. Conclusion Image numérique Indexation Compression Segmentation Tatouage Rec. formes BDO Transmission Décision Image Multimédia Des techniques complexes et prometteuses Dimension affective forte Au cœur de nouveaux services & usages Image & Protocoles...


Télécharger ppt "Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement d'images 4TC - Option « Télécoms » Hugues BENOIT-CATTIN."

Présentations similaires


Annonces Google