Traitement et éléments du codage vidéo Jenny Benois -Pineau Université Bordeaux -1

Pourquoi? Vidéo : un outil d’intercommunication personnelle, systèmes vidéo communicants. - acquérir en temps réel, coder, transmettre, décoder, récupérer l’erreur de transmission Vidéo : un outil de communication d’entreprise - acquérir, monter, compresser, intégrer… Vidéo : le patrimoine culturel - préserver, restaurer, numériser, indexer, rechercher…

Programme du cours 1. Introduction. Vidéo dans des systèmes multimédia 2. Aspects technologiques. Modèles de production 3. Echantillonnage et interpolation des signaux vidéo. Application au changement de l acadence temporelle 4. Compression sans pertes de l’information vidéo-image 5. Estimation et compensation du mouvement 6. Transformées orthogonales et codage par transformées. 7. Codage vidéo hybride et standards associés.

Introduction (I) Vidéo dans les systèmes multimédia (1)TV analogique et numérique TV numérique d’hier/CDROM

Introduction (II) Vidéo dans les systèmes multimédia (2) TV numérique d’aujourd’hui /DVD Exemple de la vidéo DVD

Introduction (II) Vidéo dans les systèmes multimédia (2) TV HD

Introduction (III) Vidéo dans les systèmes multimédia (3)Vidéo sur IP

Introduction (IV) Vidéo dans les systèmes multimédia (4) Vidéo via sans file (5) Numérisation du patrimoine culturel – du bétacam au DVD (6) BD vidéo – archives demo (7) Production et post-production sous forme numérique

Aspects technologiques Formats Standards vidéo-TV Tramage (entrelacement) des images vidéo Trame paire Trame impaire

Tramage Trames paires des séquences CCIR601 (720x480:2), (720x576:2)

Formats analogique/numérique DV Amateur numérique Séparément

Technologies de la vidéo numérique H.264- vidéocoms IP,WAP, TVHD MJPEG-2000 –cinéma numérique

Chaîne d ’acquisition de la vidéo

Résolution des formats numériques

Résolution spatiale des formats progressifs Sub-QCIF - 128x96 QCIF - 176x144 CIF - 352x288 4CIF, 16CIF

Résolution spatiale des formats progressifs (II) QCIF - 176x144 CIF - 352x288

Représentation de la couleur dans le signal vidéo(I) Un pixel est caractérisé par un triplet des coordonnées chromatiques (a,b,c)T. Système RVB (rappel) : est dépéndant des appareils de reproduction. Ainsi la couleur perçu pour un pixel avec les valeurs (r0,v0,b0) chagera si on change le contrast et la luminosité de l’écran d’affichage.

Représentation de la couleur dans le signal vidéo(II) B (1,1,1) blanc absolu Y V R Systèmes YIQ, YUV, YCrCb : transcription du signal vidéo. Luminance et chrominance sont séparées : Plusieurs raisons : efficacité du codage

Représentation de la couleur dans le signal vidéo numérique(II) Quantification : 8 bits/pixel/composante Système - couleur : YUV(PAL)- analogique, YCrCb ( TV numérique), YIQ(NTSC)- analogique Echantillonnage spatial : 4:2:0, 4:2:2, 4:4:4 RVB Y Luminance U V Chrominance 4:2:2

Transformations RGB/YUV CIE – Commission internationale de l’éclairage Les espaces YUV, YIQ, sont dépendents des terminaux, mais normalisées. Transformations YUV -> RVB->YUV sont linéaires. On suppose que RVB->YUV YUV->RVB

Exemples U V Y Traitements séparés sur chacune des composantes et mixage dans une image couleur

Représentation de la couleur dans le signal vidéo numérique(III) Production du signal numérique YCrCb à partir des signaux primaires analogiques ER,EG,EB Standard CCIR 601 : le standard international pour la numérisation des signaux analogiques NTSC, PAL et SECAM (NTSC est encodé en YIQ, PAL en YUV, CCIR601 - YCrCb CR et CB sont les composantes relatives du rouge et du bleu.

Représentation de la couleur dans le signal vidéo numérique(IV) L’avantage du YCrCb par rapport à YUV : ne dépénd pas de reccomendation (CCIR601, IUT, 709 peuvent être utilisées) Transformations génériques :

Modèles de production(1) Structure spatio-temporelle d’un document vidéo monté est conditionnée par les règles de la production des contenus. Eléments principaux : - structure linéaire (en fonction du type de programme) 00.00.00.00 Référentiel temporel : time code HH:MM:SS:NN (1)Film monté Générique Contenu Titres Exemple (“Cavitation” SFRS)

Modèles de production (2) Présentateur sujet Montage complexe A. Smeaton et all “ News Story Segmentation…”, ICIP’2001 Journaux télévisés

Modèles de production(3) Document Vidéo Scène … Scène Séquence … Séquence Plan Plan microplan microplan mvt homogène de la caméra Image … D ’après Ph. Joly & Ph. Aigrain Objets

Modèles de production(4) (1) Plan de montage : une unité temporelle correspondant à une prise continue de la caméra (2)Les plans sont enchaînés par le moyen des transitions (coupures, volets, fondus enchaînés, iris,….) Les transitions peuvent être internes ( effets d’édition complexes).

Modèles de production(5) Exemples des effets de montage Transition rapide : “cut” ou coupure CERIMES Transitions progressives : “fondus enchaînés”, volets, 2.33 Cavitation Fondu linéaire :

Modèles de production(6) Effets complexes du montage Exemple : “La Joueuse de Tympanon”, SFRS Ph. Joly, IRIT

Modèles de production(6) (3) Scènes : un ensemble des plans souvent contigus réunis par la même idée éditoriale ( unicité de lieu, de temps, les mêmes personnages), ex. « scène de dialogue ». (4)Evénements : souvent liés aux comportement des objets, ruptures du comportement « en moyenne », dépendants du domaine. (5)Montage : organisation des segments vidéo enregistrés, leur assemblage, leur composition(locale/globale) afin de créer le document audio-visuel final.