Vidéo Numérique: Analyse et Codage Cours en Master ISM Jenny Benois -Pineau Université Bordeaux -1

Programme du cours (I) 1. Introduction. Vidéo dans des systèmes multimédia 2. Aspects technologiques Formats, numérisation, résolution. Interpolation temporelle de la vidéo Systèmes couleur spécifiques à la vidéo 3. Analyse et estimation du mouvement dans la vidéo Détection du mouvement Estimation du mouvement 4. Notions de la théorie de l’information 5. Codage sans pertes d’informations multimédia 6. Quantification des signaux visuels. Codage prédictif (MICD) 7. Eléments de codage par QV 8. Transformées orthogonales et codage par transformées. Application au codage. JPEG, MJPEG

Programme du cours (II) 9. Normes et Standards de codage hybride avec la compensation du mouvement et compression Bases de l’architecture des standards MPEG1, MPEG2 Standard MPEG2 H.264/MPEG4 AVC

Introduction (I) Vidéo dans les systèmes multimédia (1)TV analogique et numérique TV numérique d’hier/CDROM

Introduction (II) Vidéo dans les systèmes multimédia (2) TV numérique d’aujourd’hui/DVD (3) TNT (télévision numérique terrestre) – DVB-T (1995) (4) TVHD, DVDHD

Introduction (III) Vidéo dans les systèmes multimédia (5) Vidéo sur IP

(5)Vidéo sur IP

Introduction (IV) Vidéo dans les systèmes multimédia (4) Vidéo via réseau sans fil (5) Numérisation du patrimoine culturel – du bétacam au DVD (6) BD vidéo – archives demo (7) Production et post-production sous forme numérique

Aspects technologiques Formats Historique : TV analogique Standard Résolution en pixels / Lignes Cadence Secteur Géographique NTSC 640x480 (525) carré 720x480=704+16 30 ips = 2x60 trames USA, Canada, Japon, Philippines, Moyen Orient PAL 720x576 (625), 768x576 25 ips=2x50 trames UK, Chine, Singapour, Allemagne, Amérique du Sud SECAM France, Europe de l'EST (MESECAM) NTSC : National Television System Committee PAL : Phase Alternation Line SECAM : Système Electronique Couleur Avec Mémoire, 1967 PAL/SECAM : la même résolution et la même fréquence

Tramage Formation d’une image sur l’écran de TV Trame impaire Trame paire Le spot lumineux « affiche » d’abord les lignes de la trame « impaire » ( 1, 3, 5, …) en 1/50 de sec (PAL/SECAM) Ensuite les lignes de la trame paire ( 2, 4, …) Cette technologie a été conçue pour éviter le scintillement de l’image sur des écrans cathodiques. La rémanence du phosphore et la persistance des impressions sur la rétine donnent l’illusion d’une image permanente

Tramage Trames paires des séquences CCIR601 (720x480:2), (720x576:2)

Tramage Effets gênants : en présence de mouvement fort on observe le décalage spatial des trames sur les contours verticaux des objets, dans des zones d’occultation SFRS, Hiragasy

Tramage Illustration. Nécessité de filtres de désentrelacement lors de la conversion vers les formats progressifs

Formats analogique/numérique DV Amateur numérique Séparément (Digital 8)

Technologies de la vidéo numérique H.264 MPEG4 V.10 AVC- vidéocoms IP,WAP MJPEG-2000, SVC

Chaîne d ’acquisition de la vidéo

Résolution des formats numériques SD – définition standard HD – haute définition

Résolution spatiale des formats progressifs Sub-QCIF - 128x96 QCIF - 176x144 CIF - 352x288 4CIF, 16CIF

Résolution spatiale des formats progressifs (II) QCIF - 176x144 CIF - 352x288

Formats HD Formats TVHD suggérés par l’EUR (2005)

Formats HD 1080 psf Qualité de bande de base Séquence « Voiture extérieur » Compression MPEG4/DIVX « Voiture Extérieur »

Changement des formats Interpolation spatiale et temporelle Interpolation temporelle sans compensation du mouvement avec compensation du mouvement Interpolation temporelle sans compensation du mouvement

Interpolation temporelle 1. Sur-échantillonnage temporel : interpolation basée pixel. Équivaut à l’interpolation du signal 1D pour chaque pixel le long de l’axe du temps. Interpolation du signal 1D : 2 étapes a) complément par ajout des zéros b) filtrage passe-bas du signal complété

Interpolation temporelle de la vidéo(2) a) Ajout des zéros Etant donné un signal s(n), le signal u(n) sur-échantillonné de facteur L est défini comme 0 1 2 3 4 5… n s(n) u(n) L=3

Interpolation temporelle de la vidéo(3) La transformée de Fourier pour les signaux discrets est Ainsi le spectre du signal complété est lié au spectre du signal d’origine par « compression » de l’axe de fréquences . -1/2 1/2 fn 1/2 -1/6 1/6 fn -1/2 fn – fréquence normalisé fn=f*Dt

Interpolation temporelle de la vidéo(4) b) Interpolation Filtre Idéal d’interpolation La réponse impulsionnelle est sinc H(fn) U(fn) 1/2 fn -1/2L 1/2L 1 -1 1/2 fn -1 -1/2L 1/2L 1

Interpolation temporelle de la vidéo(5) Le signal interpolé est donc obtenu par la convolution avec la réponse impulsionnelle du filtre La réponse impulsionnelle du filtre idéal d’interpolation a des propriétés : Ainsi à cause de ces zéros y(n)=s(n) dans les valeurs existantes et les valeurs non-nulles sont assignées aux zéros de complément.

Interpolation temporelle de la vidéo(5) Les filtres pratiques d’interpolation. Le filtre idéal d’interpolation ne peut pas être synthétisé car il a la réponse impulsionnelle infinie et il est non-causal. Sa mise en oeuvre demanderait un temps de délais infini. Ainsi plusieurs approximations sont possibles.

Interpolation temporelle de la vidéo(6) Interpolateur d’ordre zéro ( ex. pour L=3) : Engendre des effets d’aliasing. 2.Filtre d’interpolation linéaire Interpolation linéaire est obtenue par la somme pondérée des pixels voisins le long de l’axe temporel. h(n) n 1 0 1 2 1 2/3 1/3 h(n-k) u(k) h(n) 1 2/3 1/3 n n k

Décimation/sous-échantillonnage (1) Décimation du signal 1D de facteur M : 2 étapes a) multiplier par le train des impulsions pour remplacer M-1 valeurs par zéros entre chaque couple des valeurs distantes de M b) enlever les zéros pour obtenir le signal à la cadence plus faible Etant donnée le signal d’entrée s(n) on définit un signal intermédiaire w(n) comme Alors le signal sous-échantilloné peut être exprimé comme

Décimation (2) Illustration pour un facteur de sous-échantillonnage de 2 0 1 2 3 4 5… s(n) 0 1 2 3 4 5… w(n) n y(n) n 0 1 2 3 4 5… n

Décimation (3) La transformée de Fourier du signal intermédiaire w(n) : Ainsi le spectre du signal intermédiaire consiste des réplications du spectre du signal d’origine. Il y a M répliques dans l’interval (de la fréquence normalisée (-1/2, ½) . Le spectre du signal décimé : étirement de l’axe des fréquences

Décimation (4) Illustration ( pour la fréquence normalisée) M=2, spectre borné ( fc=1/4) S(f) 1/2 1 -1/2 f -1 W(f) -1 -1/2 1/2 1 f Y(f) f 1/2 -1/2 1 -1

Décimation (5) Si la bande passante du signal d’entrée est plus large que 1/(2M), alors les répliques se recouvriront et le signal sous-échantillonné comportera des effets d’aliasing. Ainsi un filtrage passe-bas avec la fréquence de coupure est nécessaire ( filtre d’anti-aliasage). S(f) f 1/2 -1/2 1 -1 W(f) -1 -1/2 1/2 1 f Y(f) -1 -1/2 1/2 1 f

Changement de la cadence d’échantillonnage d’un facteur rationnel Soit le facteur de changement est L/M Principe : sur-échantillonner de L, ensuite sous-échantillonner de M. Les filtres d’interpolation et d’anti-aliasage peuvent être regrouppés dans un seul filtre Avec les contraintes que les valeurs existantes doivent être préservées (Interp. linéaire) s(n) w(n) u(n) y(n) Filtrage Passe-bas M:1 1:L

Systèmes couleur spécifiques à la vidéo (I) RGB – le système le plus proche au matériel : reproduction LCD, TV, scanner. Système additif C(x,y)=r(x,y)+v(x,y)+b(x,y) C=(r,v,b,)T – vecteur couleur http://www.tsi.enst.fr/enseignement/ressources/

Systèmes couleur spécifiques à la vidéo (II) Le système RGB n’est pas efficace selon le critère d’«efficacité/compacité » de représentation. Les systèmes couleurs séparant la luminance et la chrominance le sont.

Systèmes couleur spécifiques à la vidéo Quantification : 8 bits/pixel/composante Système - couleur : YUV(PAL) ou YCrCb, YIQ(NTSC) Echantillonnage spatial : 4:2:0, 4:2:2, 4:4:4 RVB Y Luminance U V Chrominance 4:2:2

Représentation de la couleur dans le signal vidéo numérique (II) Production du signal numérique YCrCb à partir des signaux primaires analogiques ER,EG,EB Standard CCIR 601 : le standard international pour la numérisation des signaux analogiques NTSC, PAL et SECAM (NTSC est encodé en YIQ, PAL en YUV, CCIR601 - YCrCb

Représentation de la couleur dans le signal vidéo numérique (III) U V Y Image RVB après le filtrage scalaire YUV