12 décembre 2005Soutenance de thèse de Michel Narozny 1 Soutenance de thèse Michel Narozny Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz ANALYSE EN COMPOSANTES INDÉPENDANTES (ACI) ET COMPRESSION DE DONNÉES

12 décembre 2005Soutenance de thèse de Michel Narozny 2 Deux domaines de recherche…  Un sujet de thèse à la charnière entre deux domaines de recherche: Analyse en composantes indépendantes  Séparation aveugle de sources,  Analyse de données (images, bourses),  Modélisation du cortex visuel,  Astronomie,… Compression de données  Photos numériques,  Vidéos,  Images médicales,  Musique,… Mon sujet de thèse

12 décembre 2005Soutenance de thèse de Michel Narozny 3 Pourquoi associer ACI et compression? Réduction de redondance dans les données Compression de données: on cherche à réduire/éliminer la redondance dans les données BUT: réduire la complexité des codeurs ACI: outil pour réduire la redondance dans les données

12 décembre 2005Soutenance de thèse de Michel Narozny 4 Redondance résiduelle exploitée par les codeurs SPIHT Exploite la redondance entre des coefficients d’ondelettes situés au même endroit dans des sous-bandes différentes ● ● ● ● ● EBCOT (JPEG2000) Exploite la redondance entre des coefficients d’ondelettes situés dans une même sous-bande

12 décembre 2005Soutenance de thèse de Michel Narozny 5  Images de la galaxie 3C120 prises avec 4 filtres différents L’ACI diminue la redondance  Images obtenues après ACI (algorithme FastICA) Référence: D. Nuzillard and A. Bijaoui. Blind source separation and analysis of multispectral astronomical images. Astron. Astrophys. Suppl. Ser. 147,

12 décembre 2005Soutenance de thèse de Michel Narozny 6 Travaux précédents (1/2)  Principe de réduction de redondance pour expliquer la stratégie de codage de l’information visuelle dans le cortex visuel primaire (V1)  L’ACI modélise bien les champs récepteurs des cellules simples de V1 Localisation dans l’espace et en fréquence + orientation Olshausen BA. Principles of Image Representation in Visual Cortex. In: The Visual Neurosciences, L.M. Chalupa, J.S. Werner, Eds. MIT Press, pp , 2003

12 décembre 2005Soutenance de thèse de Michel Narozny 7 Travaux précédents (2/2)  Codage par transformée classique 1 (Puga et Alves, 98)  l’ACI est moins performante que la transformée de Karhunen-Loève en codage à bas débit d’images en niveaux de gris  Codage prédictif 2 (Marusic et Deng, 99)  Les performances de l’ACI varient selon la méthode de quantification utilisée  Matching pursuit 3 (Ferreira et Figueiredo, 03)  Publié au milieu de ma thèse  Gain de la méthode par rapport à JPEG de 2,3 dB à 0.62 bpp 1) A. T. Puga and A. P. Alves. An experiment on comparing PCA and ICA in classical transform image coding. ICA’98 2) S. Marusic and G. Deng. ICA-FIR based image redundancy reduction. ICA’99 3) A. J. Ferreira and M. A. T. Figueiredo. Class-adapted image compression using independent component analysis. ICIP’03

12 décembre 2005Soutenance de thèse de Michel Narozny 8 Objectif et contributions  Objectif:  Comprendre le lien qui existe entre les performances en compression et la réduction de redondance dans les données  Contributions  Évaluation des performances de l’ACI “standard” en codage par transformée (codage par blocs)  Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié  Proposition de deux nouveaux algorithmes d’ACI modifiés:  GCGsup: calcul de la transformation linéaire optimale  ICAorth: calcul de la transformation orthogonale optimale

12 décembre 2005Soutenance de thèse de Michel Narozny 9  Introduction  Présentation du schéma de codage étudié  Évaluation des performances de l’ACI en compression  Proposition de transformations optimales obtenues à partir d’algorithmes d’ACI modifiés  Conclusion et perspectives Plan de la présentation

12 décembre 2005Soutenance de thèse de Michel Narozny 10  Choix du type de transformation  Choix des quantificateurs  Choix du codeur entropique  Choix des mesures de distorsion et de débit  Choix de la méthode d’allocation de débit Présentation du schéma de codage étudié Plan  Introduction  Présentation du schéma de codage étudié  Performances de l’ACI en compression  Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés  Conclusion et perspectives

12 décembre 2005Soutenance de thèse de Michel Narozny 11 Structure d’un codeur par transformée

12 décembre 2005Soutenance de thèse de Michel Narozny 12 Structure d’un décodeur Inverse mathématique

12 décembre 2005Soutenance de thèse de Michel Narozny 13 Choix du type de transformation Découpage de l’image en blocs de 8×8 pixels Balayage de chaque bloc de haut en bas et de gauche à droite Vecteur de 64 composantes Transformation linéaire (matrice de dimension 64×64) Q1Q1 Q2Q2 Q 64 Quantification

12 décembre 2005Soutenance de thèse de Michel Narozny 14 Choix des quantificateurs  Différents types de quantificateurs: scalaires, vectoriels  Notre choix: quantificateur scalaire uniforme infini  simplicité, souvent utilisé,  caractérisé seulement par son pas de quantification: q  optimal pour une source sans mémoire, sous l’hypothèse haute résolution et à condition d’être suivi par un codeur entropique  Rappel: hypothèse haute résolution  Le nombre de niveaux de quantification est élevé  La ddp des données à quantifier est constante dans chaque intervalle de quantification  Les représentants sont pris au milieu des intervalles

12 décembre 2005Soutenance de thèse de Michel Narozny 15 Choix du codeur entropique  Dernière étape de la chaîne de codage (sans perte)  But: exploiter la redondance résiduelle présente dans les coefficients après quantification  Idée: représenter un coefficient quantifié (ou un ensemble de coefficients quantifiés) à l’aide d’un mot de code dont la longueur dépend de sa probabilité d’occurrence  Exemples: codeurs de huffman, arithmétique, mais aussi… EBCOT  Notre choix: ne pas utiliser de codeur entropique

12 décembre 2005Soutenance de thèse de Michel Narozny 16  Mesure de distorsion  Erreur quadratique moyenne (EQM) entre le signal d’entrée et le signal reconstruit  Pic du rapport signal sur bruit en compression d’images (PRSB)  Mesure de débit  Débit de compression (bpp)  R i = débit de la i ème composante  Compression à haut et moyen débits: entropie d’ordre 1 des coefficients quantifiés lorsque l’hypothèse haute résolution est vérifiée  Compression à bas débit: entropies d’ordres 2, 4 et 9 Choix des mesures de distorsion et de débit dyn = 8 pour une image codée sur 8 bits

12 décembre 2005Soutenance de thèse de Michel Narozny 17  Présentation du problème  Trouver les pas de quantification des N quantificateurs qui minimisent la distorsion D sous la contrainte d’un débit cible R cible  ou, d’une manière équivalente, qui minimisent le débit R sous la contrainte d’une distorsion cible D cible  Approximation de la distorsion  Validité de l’approximation (1)  lorsque l’hypothèse haute résolution est bien vérifiée  ou, lorsque les vecteurs colonnes de la transformation inverse sont orthogonaux ou quasi-orthogonaux  ou, lorsque les composantes transformées sont deux à deux indépendantes L’allocation de débit (1/2) w i : carré de la norme de la i ème colonne de la transformation inverse

12 décembre 2005Soutenance de thèse de Michel Narozny 18  Méthode analytique  optimale lorsque l’hypothèse haute résolution est bien vérifiée (compression à haut et moyen débits)  Formule d’allocation de débit:  Algorithme de Shoham et Gersho  Méthode d’optimisation numérique utilisant des couples débits-distorsions obtenus expérimentalement (voir rapport de thèse)  optimal quelque soit le débit, utilisé à bas débit dans nos tests L’allocation de débit (2/2) où et (1)

12 décembre 2005Soutenance de thèse de Michel Narozny 19 Conclusion de la première partie  Proposition d’un dispositif expérimental simple pour évaluer les performances d’une transformation linéaire à haut, moyen et bas débits  Partie suivante: évaluation des performances de l’ACI

12 décembre 2005Soutenance de thèse de Michel Narozny 20  Algorithmes d’ACI testés  Signaux testés  Réduction de redondance obtenue avec l’ACI  Performances à haut, moyen et bas débits Performances de l’ACI en compression Plan  Introduction  Présentation du schéma de codage étudié  Performances de l’ACI en compression  Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés  Conclusion et perspectives

12 décembre 2005Soutenance de thèse de Michel Narozny 21 Définition du modèle d’ACI Sources indépendantes (au plus une source gaussienne) Observations Mélange linéaire instantané: X = AS Séparation Y=BS, B=DPA -1 Sources estimées S 1 S 2 S 3 S 4 X 1 X 2 X 3 X 4 Y 1 Y 2 Y 3 Y 4

12 décembre 2005Soutenance de thèse de Michel Narozny 22 Trois approches théoriques célèbres  Approche du maximum de vraisemblance  Les ddp des sources sont supposées a priori connues  On peut relâcher cette hypothèse en choisissant des ddp a priori quelconques (on ne recouvre pas toujours les sources d’origine)  Minimisation de l’information mutuelle  Connaissance a priori des ddp des sources n’est pas nécessaire  Les algorithmes sont plus lourds à mettre en œuvre  Infomax (approche de type réseaux de neurones)  Équivalent au maximum de vraisemblance

12 décembre 2005Soutenance de thèse de Michel Narozny 23  Minimisation d’une approximation de l’information mutuelle  ACI, FastICA, jadeR, SANG  Minimisation directe de l’information mutuelle  ICAinf  Exploitation des statistiques d’ordres 2 et 4 des données  EVD24  Algorithmes de séparation aveugle de sources qui exploitent les statistiques d’ordre 2 des données  SOBI, AMUSE, EVD2 Algorithmes d’ACI testés

12 décembre 2005Soutenance de thèse de Michel Narozny 24  Image Lena (composante rouge), image médicale, signal musical  Résolution et taille des signaux testés Signaux testés

12 décembre 2005Soutenance de thèse de Michel Narozny 25 Réduction de redondance obtenue avec l’ACI Coefficient de corrélation Information mutuelle

12 décembre 2005Soutenance de thèse de Michel Narozny 26  Les valeurs des coefficients de corrélation sont élevées avant transformation (ex: Identité, image médicale, N = 64) Coefficients de corrélation avant transformation

12 décembre 2005Soutenance de thèse de Michel Narozny 27  Hormis ICAinf, tous les autres algorithmes d’ACI testés décorrèlent les composantes (exemple: jadeR, image médicale, N = 64) Coefficients de corrélation après transformation Coefficient de corrélation

12 décembre 2005Soutenance de thèse de Michel Narozny 28  ICAinf, image médicale, N = 64 Coefficients de corrélation après transformation

12 décembre 2005Soutenance de thèse de Michel Narozny 29  Définition de la réduction d’information mutuelle  Exemple: image médicale, N = 64 Réduction d’information mutuelle Précision: ±0,01 bpp  I (bpp) (bpp)

12 décembre 2005Soutenance de thèse de Michel Narozny 30 Performances à haut, moyen et bas débits

12 décembre 2005Soutenance de thèse de Michel Narozny 31  Pour l’image médicale et N=64, les performances de la TKL sont meilleures d’environ 1,5 dB par rapport à celles de la meilleure transformation d’ACI (sur cet exemple, ICAinf) Performances à haut et moyen débits TKL ICAinf

12 décembre 2005Soutenance de thèse de Michel Narozny 32 Performances à bas débit  Image médicale, N=64, débit = entropie d’ordre 4

12 décembre 2005Soutenance de thèse de Michel Narozny 33  Signaux synthétiques Performances à haut et moyen débits (signaux synthétiques) Gain(ICAinf/TKL)  2,72 dB

12 décembre 2005Soutenance de thèse de Michel Narozny 34  Les performances de la TKL sont meilleures que celles de l’ACI sur des signaux réels  Cependant il existe des signaux synthétiques (non gaussiens) pour lesquels les performances de l’ACI sont meilleures que celles de la TKL  Par conséquent, ni l’ACI ni la TKL ne sont optimales pour compresser des signaux non gaussiens  Les critères d’optimalité de l’ACI et de la TKL ne sont pas adaptés au problème de la compression  il faut reformuler le problème Conclusion de la deuxième partie

12 décembre 2005Soutenance de thèse de Michel Narozny 35  Présentation du problème d’optimisation  Lien avec l’ACI  Algorithmes GCGsup et ICAorth  Résultats expérimentaux Transformations optimales obtenues à partir d’algorithmes d’ACI modifiés Plan  Introduction  Présentation du schéma de codage étudié  Performances de l’ACI en compression  Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés  Conclusion et perspectives

12 décembre 2005Soutenance de thèse de Michel Narozny 36  Cadre de l’étude  Aucune hypothèse sur le caractère gaussien ou non des signaux  L’hypothèse haute résolution est vérifiée  Allocation de débit optimale entre les composantes  Distorsion asymptotique en fonction du débit cible:  Débit asymptotique en fonction de la distorsion cible: Hypothèses (1) (2)

12 décembre 2005Soutenance de thèse de Michel Narozny 37  Gain de codage généralisé  Réduction de débit généralisée Gain de codage généralisé (1) (2) (3)

12 décembre 2005Soutenance de thèse de Michel Narozny 38  Critère d’optimisation proposé Nouveau point de vue: Le problème de la recherche de la transformation linéaire optimale en codage par transformée peut se ramener à un problème d’ACI modifié Transformation optimale Critère utilisé en ACI Mesure de distance à l’orthogonalité de A

12 décembre 2005Soutenance de thèse de Michel Narozny 39 Algorithme GCGsup  Version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation linéaire A qui minimise C(A)  L’algorithme (de type quasi-Newton) consiste à calculer à chaque itération une matrice ε par la résolution de (M = A -t A -1 ): (i,j=1,…,N), puis à déplacer le point courant en A+ ε A.  Hypothèses simplificatrices:  Les composantes transformées sont proches de l’indépendance  La solution du problème est une matrice proche d’une matrice dont les colonnes sont deux à deux orthogonales

12 décembre 2005Soutenance de thèse de Michel Narozny 40 Algorithme ICAorth  Autre version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation orthogonale A qui minimise C(A)  L’algorithme (de type quasi-Newton) consiste à calculer les éléments de la matrice ε de la manière suivante: (i,j=1,…,N), puis à déplacer le point courant en A+ε A.  lorsque ε est antisymmétrique A+ε A coïncide au second ordre avec la matrice e ε A qui est orthogonale.

12 décembre 2005Soutenance de thèse de Michel Narozny 41 Réduction de redondance obtenue avec GCGsup et ICAorth Coefficient de corrélation Réduction d’information mutuelle

12 décembre 2005Soutenance de thèse de Michel Narozny 42 Coefficients de corrélation après transformation  Les nouvelles transformations décorrèlent moins bien que la TKL (ex: GCGsup, image médicale, N=64) Corrélations résiduelles

12 décembre 2005Soutenance de thèse de Michel Narozny 43 Réduction d’information mutuelle  GCGsup et ICAorth permettent d’obtenir des composantes transformées plus indépendantes que celles obtenues avec la TKL Lena Image médicale Résultats proches de ceux obtenus avec ICAinf

12 décembre 2005Soutenance de thèse de Michel Narozny 44 Performances à haut, moyen et bas débits

12 décembre 2005Soutenance de thèse de Michel Narozny 45 Performances à haut et moyen débits LenaImage médicale Gain (GCGsup/TKL)  0,43 dB Gain (ICAorth/TKL)  0,37 dB Gain (GCGsup/TKL)  0,8 dB Gain (ICAorth/TKL)  0,9 dB

12 décembre 2005Soutenance de thèse de Michel Narozny 46 Performances à bas débit Lena Image médicale  PRSB = PRSB(GCGsup/ICAorth) – PRSB TKL

12 décembre 2005Soutenance de thèse de Michel Narozny 47 Lien entre indépendance, orthogonalité et performances en compression

12 décembre 2005Soutenance de thèse de Michel Narozny 48 Rappel: réduction de débit généralisée Réduction de débit généralisée Réduction d’information mutuelle Distance à l’orthogonalité

12 décembre 2005Soutenance de thèse de Michel Narozny 49 Indépendance et orthogonalité TKL

12 décembre 2005Soutenance de thèse de Michel Narozny 50 Vecteurs de base (Lena, N=64) TKL GCGsup

12 décembre 2005Soutenance de thèse de Michel Narozny 51 Conclusion  Étude située à la charnière entre deux domaines de recherche: l’ACI et la compression de données  La TKL offre de meilleures performances que l’ACI standard en compression à haut, moyen et bas débits  Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié  Deux nouveaux algorithmes: GCGsup et ICAorth  Gain de codage des nouvelles transformations par rapport à la TKL

12 décembre 2005Soutenance de thèse de Michel Narozny 52 Perspectives  Étude comparative des performances de la TKL et des nouvelles transformations sur un échantillon statistiquement représentatif d’images  Utilisation d’un vrai codeur entropique  Codage d’images multicomposantes  Schéma de codage associant des transformées en ondelettes et les transformations retournées par GCGsup et ICAorth  Critère multicomposante = somme pondérée des critères monocomposantes

12 décembre 2005Soutenance de thèse de Michel Narozny 53 Merci de votre attention!