Traitement et éléments du codage vidéo Jenny Benois -Pineau Université Bordeaux -1 C2

2. Echantillonnage et interpolation des signaux vidéo La vidéo numérique peut être obtenue -par l’échantillonnage de la vidéo analogique le long des lignes de balayage ou -en appliquant la structure d’échantillonnage 3D à l’image variable dans le temps.

Structures d’échantillonnage rectangulaire Grille d’échantillonnage progressif Grille d’échantillonnage entrelacé

Opérateurs 2D d –fonction de Dirac d –fonction de Dirac peut être vue comme la limite définie sur la famille des fonctions au support fini par exemple :

Transformée de Fourier 2D(I) Transformée de Fourier de la fonction f(x,y) est Ici sont appelées les fréquences spatiales, De façon générale, les coefficients de Fourier sont les nombres complexes et peuvent être présentés comme ou encore Avec - amplitude; - phase

Transformée de Fourier 2D(II) La condition suffisante d’existence de la transformée de Fourier de la f(x,y) est Ainsi la fonction initiale peut être obtenue de sa transformée de Fourier par la transformation inverse Propriétés fonctionnelles (1) Si la fonction d’image est spatialement séparable: alors

Propriétés fonctionnelles (2)La transformée de Fourier est un opérateur linéaire (3)Mise à l’échelle (4) Translation : la translation dans le plan-image engendre la translation de la phase dans le plan fréquentiel (5) Convolution

Propriétés fonctionnelles (5) Théorème de Parseval ( énergie) (6) Fonction d’autocorrélation

Echantillonnage des images On suppose que le signal d ’image est une fonction infinie f(x,y) scalaire qui peut correspondre à la luminance de l ’image par exemple. Dans un système d ’échantillonnage parfait, les échantillons spatiaux d ’une image idéale sont obtenus par multiplication de l ’image f(x,y) par la fonction d ’échantillonnage spatial C ’est un échantillonnage régulier rectangulaire

Echantillonnage des images On suppose que le signal d ’image est une fonction infinie f(x,y) scalaire qui peut correspondre à la luminance de l ’image par exemple. Dans un système d ’échantillonnage parfait, les échantillons spatiaux d ’une image idéale sont obtenus par multiplication de l ’image f(x,y) par la fonction d ’échantillonnage spatial C ’est un échantillonnage régulier rectangulaire

Echantillonnage des images(2) Considérons la transformée de Fourier de la fonction échantillonnée : Convolution (rappel) : pour deux fonctions f(x,y) et h(x,y) la convolution est Théorème de convolution pour la transformée de Fourier :

Echantillonnage des images(3) Ainsi On peut montrer que Ici représentent les fréquences d ’échantillonnage dans le domaine du Fourier. Supposons que le spectre de l ’image est bornée. Effectuant la convolution on obtient En permutant l ’intégration et la sommation et en utilisant la propriété de delta-fonction on a

Echantillonnage des images(4) Ainsi le spectre de l ’image échantillonnée consiste de spectre de l ’image idéal répété infiniment dans le plan fréquentiel dans la grille avec la résolution Si Dx et Dy sont choisis trop grands, alors les spectres se recouvrent

Echantillonnage de la vidéo(1) Dans le cas d’échantillonnage spatial (image 2D) on sélectionne les échantillons aux positions Dans le cas de la vidéo - échantillonnage progressif De façon plus générale il s’agit de définir le treillis d’échantillonnage.

Echantillonnage de la vidéo(2) Soit vécteurs linéairement indépendants dans l’espace Euclidéen Un treillis dans est l’ensemble de toutes les combinaisons linéaires de avec des coefficients entiers. L’ensemble des vecteurs est appelé la base de Dans la notation vectorielle est la matrice d’échantillonnage 3x3

Echantillonnage de la vidéo(3) De même façon que pour l’image 2D on s’intéresse au spectre de la vidéo échantillonnée Dénotons par Le treillis réciproque. Étant donné le treillis , l’ensemble de tous les vecteurs r tels que est un entier pour tout est appelé le treillis réciproqie de La base de est un ensemble de vecteurs

Echantillonnage de la vidéo(4) On peut démontrer que Ici -la fréquence Ainsi le spectre de la vidéo échantillonnée consiste de spectre de la vidéo continue idéale répété infiniment dans l’espace fréquentiel conformément au treillis réciproque à l’échantillonnage spatio-temporel.

Matrices d’échantillonnage des treillis réciproques. Elles indiquent le positionnement des copies du spectre dans l’espace fréquentiel Échantillonnage progressif Échantillonnage entrelacé 2:1

Changement de la cadence temporelle/ interpolation temporelle de la vidéo 1. Sur-échantillonnage temporel : interpolation basée pixel. Équivaut à l’interpolation du signal 1D pour chaque pixel le long de l’axe du temps. Interpolation du signal 1D : 2 étapes a) complément par ajout des zéros b) filtrage passe-bas du signal complété

Interpolation temporelle de la vidéo(2) a) Ajout des zéros Etant donné un signal s(n), le signal u(n) sur-échantillonné de facteur L est défini comme 0 1 2 3 4 5… n s(n) u(n) L=3

Interpolation temporelle de la vidéo(3) La transformée de Fourier pour les signaux discrets est Ainsi le spectre du signal complété est lié au spectre du signal d’origine par « compression » de l’axe de fréquences . -1/2 1/2 fn 1/2 -1/6 1/6 fn -1/2 fn – fréquence normalisé fn=f*Dt

Interpolation temporelle de la vidéo(4) b) Interpolation Filtre Idéal d’interpolation La réponse impulsionnelle est sinc H(fn) U(fn) 1/2 fn -1/2L 1/2L 1 -1 1/2 fn -1 -1/2L 1/2L 1

Interpolation temporelle de la vidéo(5) Le signal interpolé est donc obtenu par la convolution avec la réponse impulsionnelle du filtre La réponse impulsionnelle du filtre idéal d’interpolation a des propriétés : Ainsi à cause de ces zéros y(n)=s(n) dans les valeurs existantes et les valeurs non-nulles sont assignées aux zéros de complément.

Interpolation temporelle de la vidéo(5) Les filtres pratiques d’interpolation. Le filtre idéal d’interpolation ne peut pas être synthétisé car il a la réponse impulsionnelle infinie et il est non-causal. Sa mise en oeuvre demanderait un temps de délais infini. Ainsi plusieurs approximations sont possibles.

Interpolation temporelle de la vidéo(6) Interpolateur d’ordre zéro ( ex. pour L=3) : Engendre des effets d’aliasing. 2.Filtre d’interpolation linéaire Interpolation linéaire est obtenue par la somme pondérée des pixels voisins le long de l’axe temporel. h(n) n 1 0 1 2 1 2/3 1/3 h(n-k) u(k) h(n) 1 2/3 1/3 n n k

Décimation/sous-échantillonnage (1) Décimation du signal 1D de facteur M : 2 étapes a) multiplier par le train des impulsions pour remplacer M-1 valeurs par zéros entre chaque couple des valeurs distantes de M b) enlever les zéros pour obtenir le signal à la cadence plus faible Etant donnée le signal d’entrée s(n) on définit un signal intermédiaire w(n) comme Alors le signal sous-échantilloné peut être exprimé comme

Décimation (2) Illustration pour un facteur de sous-échantillonnage de 2 0 1 2 3 4 5… s(n) 0 1 2 3 4 5… w(n) n y(n) n 0 1 2 3 4 5… n

Décimation (3) La transformée de Fourier du signal intermédiaire w(n) : Ainsi le spectre du signal intermédiaire consiste des réplications du spectre du signal d’origine. Il y a M répliques dans l’interval (de la fréquence normalisée (-1/2, ½) . Le spectre du signal décimé : étirement de l’axe des fréquences

Décimation (4) Illustration ( pour la fréquence normalisée) M=2, spectre borné ( fc=1/4) S(f) 1/2 1 -1/2 f -1 W(f) -1 -1/2 1/2 1 f Y(f) f 1/2 -1/2 1 -1

Décimation (5) Si la bande passante du signal d’entrée est plus large que 1/(2M), alors les répliques se recouvriront et le signal sous-échantillonné comportera des effets d’aliasing. Ainsi un filtrage passe-bas avec la fréquence de coupure est nécessaire ( filtre d’anti-aliasage). S(f) f 1/2 -1/2 1 -1 W(f) -1 -1/2 1/2 1 f Y(f) -1 -1/2 1/2 1 f

Changement de la cadence d’échantillonnage d’un facteur rationnel Soit le facteur de changement est L/M Principe : sur-échantillonner de L, ensuite sous-échantillonner de M. Les filtres d’interpolation et d’anti-aliasage peuvent être regrouppés dans un seul filtre Avec les contraintes que les valeurs existantes doivent être préservées (Interp. linéaire) s(n) w(n) u(n) y(n) Filtrage Passe-bas M:1 1:L

Conversion des treillis d’échantillonnage vidéo(1) Par exemple : problème de desentrelacement Principe : soit - le treillis d’entrée et -le treillis cible Méthode : Former le treillis- somme en ajoutant chaque point de à chaque point de : Compléter par zéros

Conversion des treillis d’échantillonnage vidéo(2) (2) Filtrage passe-bas du u(x,t) (3) Réduction/ décimation du à : Ces méthodes n’utilisent pas la compensation du mouvement. L’inconvénient majeur : perte de résolution grâce au filtrage anti-aliasing En pratique : le sous-échantillonnage temporel est effectué par suppression des images à demi ou un quart de cadence.