Compression vidéo MPEG-4

Présentation au sujet: "Compression vidéo MPEG-4"— Transcription de la présentation:

1 Compression vidéo MPEG-4
Ecole d’Eté PDMS , 30 Août 2001 Cécile Dufour Video and Communication Group Philips Recherche France (PRF) Laboratoires d’Électronique Philips (LEP)

2 Plan MPEG-4 : un standard ISO MPEG-4 visual : introduction
MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

3 Plan (1) MPEG-4 : un standard ISO MPEG-4 visual : introduction
MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

4 MPEG-4 : un standard ISO Stockage d ’audio et vidéo naturelles
sur support numérique (CD-ROM, DAT…) 1.2 Mbit/s Vidéo Télévision numérique 3-10Mbit/s Applications Multimédia Interactives : Visiophonie, Internet Streaming, TV Broadcast, ... MPEG-7 : indexation de contenu

5 MPEG-4 : un standard parmi d ’autres (1/2)
ITU-T ISO-IEC JTC1 SG WG WG WG12 (JPEG) (MPEG) (MHEG) MPEG-1 H.261 H.263 H.263/M H.262 = MPEG-2 MPEG-4 H26L

6 MPEG-4 : un standard parmi d ’autres (2/2)
1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 H.261 H.263 ITU H.263+ H.26L MPEG-1 MPEG-4 ISO MPEG-2

7 } Visual standard ISO/IEC/14496-2
MPEG-4 : organisation Requirements Delivery Systems Video SNHC Audio Tests Liaisons } Visual standard ISO/IEC/

8 MPEG-4 : les standards Systems 14496-1 Visual 14496-2 Audio 14496-3
Conformance Software Delivery

9 Plan (2) MPEG-4 : un standard ISO MPEG-4 visual : introduction
MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

10 MPEG-4 Visual : introduction
VO = Objet Visuel Un objet « visuel » peut-être: Vidéo Texture fixe Maillages 2D et 3D Animation « Face and Body » (FBA)

11 MPEG-4 Visual : exemple de composition (1/3)
Video Object #0 Décor de fond Video Object #1 Type Scène composée

12 MPEG-4 Visual : exemple de composition (2/3)

13 MPEG-4 Visual : exemple de composition (3/3)
Fond synthétique Graphique forme et grise Vidéo forme et opaque Image composée

14 MPEG-4 Visual : combinaison avec BIFS
Network Layer ... Demultiplex Elementary Stream Decompression Primitive AV Objects Composition & Rendering Hierarchical, Interactive, Audiovisual Scene Scene Description BIFS End user Presentation Upstream Data User Events, Class Request, ...

15 MPEG-4 Visual : structure d ’une « Visual Session »
VS1 VideoSession (VS) VisualObject (VO) VO1 VO2 VideoObjectLayer (VOL) VOL1 VOL2 GroupOfVOPs (GOV) GOV1 GOV2 VOP1 VOPk VideoObjectPlane (VOP) VOP1 VOPk

16 Plan (3) MPEG-4 : un standard ISO MPEG-4 visual : introduction
MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

17 MPEG-4 Vidéo : recommandations de base
Compatible retour avec H263 baseline (1996) Débits: de quelques kbit/s à 10Mbit/s à ? Gbit/s Formats: taille rectangulaire, de 16*16 à 8196*8196 entrelacé et progressif 4 à 12 bits de profondeur pour les pixels fréquence image arbitraire forme arbitraire YUVA 4:2:0:4 and 0:0:0:4 (seulement la forme)

18 MPEG-4 Vidéo : recommandations de base / plan alpha

19 MPEG-4 Vidéo : fonctionnalités
Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») Interactivité

20 Intermède sur la compression vidéo (1/12)
Signal numérique TV = 720*576*25*2 Octet/s = 166Mbit/s Film 90 minutes original = 896 Gbit MPEG-2 à 4Mbit/s (taux de compression de 40) Film 90 minutes compressé = 22 Gbit Stockage versus transmission MPEG-X et H26X sont des schémas avec pertes Problème d ’optimisation débit/distorsion: extraire l ’information du signal dégrader de façon la plus invisible à l ’œil traquer la redondance spatiale temporelle tenir compte du système visuel humain

21 Original Image Akiyo (QCIF)
Intermède sur la compression vidéo (2/12) L ’approche en Macroblocs (MBs) Original Image Akiyo (QCIF)

22 X: luminance, alpha O: chrominance 1MB MPEG-4 == 4 Blocs 8*8 Y
Intermède sur la compression vidéo (3/12) 4:2:0:4 format, Macroblock 16*16 X: luminance, alpha O: chrominance 1MB MPEG-4 == 4 Blocs 8*8 Y 1 Bloc 8*8 U 1 bloc 8*8 V

23 Intermède sur la compression vidéo (4/12) Principe du codage
Redondance spatiale : DCT Redondance temporelle : compensation de mouvement Codage residuel : DCT F(u,v)=1/4C(u)C(v) S S f(x,y) cos(p(2x+1)u/16)cos(p(2y+1)v/16) C(u) et C(v) = 1/2 pour u,v =0 = 1 sinon F(u,v) sur 12 bits (+/- 2048) pour f(x,y) sur 8 bits (0-255) x=0 y=0 7 7

24 Intermède sur la compression vidéo (5/12) Transformée DCT
8 Moyenne(DC) + Énergie concentrée sur quelques coefficients AC 8 8

25 Intermède sur la compression vidéo (6/12) Quantification
Les coefficients DCT sont: quantifié par un PAS DE QUANTIFICATION Q (entre [1;31]) Moyenne + Énergie concentrée sur quelques coefficients Moyenne + Énergie concentrée sur quelques coefficients non nuls 8 8 Division par Q et arrondi (matrice de quantification) 8 8

26 Intermède sur la compression vidéo (7/12) Codage entropique
6 -2 -1 3 1 6 = (0,0,6) -2 = (0,0,-2) 3 = (0,0,3) 1 = (0,1,1) -1 = (0,0,-1) -1 = (1,2,-1) 0100 1 011 0 11 1 0101 1 Les coefficients DCT quantifiés sont: visités en zigzag (trois zigzags pour MPEG-4) transmis en EVENEMENTS last - run - level (MPEG-4) run-level- EOB (H26L) représentés en binaire par des VLC : codes à longueurs variables (MPEG-4) avec un codage arithmétique (H26L)

27 Intermède sur la compression vidéo (8/12) Estimation/Compensation de mouvement
Image de Référence Image à Coder Image Estimée Erreur = Différence (amplitude * 10) Bloc Matching Exhaustif Mouvements ±7 * ±7 Blocs 8*8 Estimation Mouvement Compensation

28 I1 B2 B3 P4 B5 B6 I7 Coding order: Coding order: I1P4B2B3I7B5
Intermède sur la compression vidéo (9/12) I/B/P et GOP concept, N=6, M=3 I1 B2 B3 P4 B5 B6 I7 Coding order: Coding order: I1P4B2B3I7B5 Coding order: I1P4B2B3I7B5B6 Coding order: I1 Coding order: I1P4 Coding order: I1P4B2B3 Coding order: I1P4B2 Coding order: I1P4B2B3I7

29 Intermède sur la compression vidéo (10/12) Décisions de codage
Décisions par image Type d ’images, I, P, ou B Décisions par macroblocks : Dans une image I, AC prédiction Dans une image P, intra ou inter, taille du vecteur mouvement Dans une image B, type de prédiction(avant, arrière, bi-directionnel, direct)

30 Intermède sur la compression vidéo (11/12) Schéma global d ’un encodeur MPEG-X/H26-X
Décision Inter/Intra: soustraction Signal image Prédiction AC/DC DCT Quant Codage entropique (VLC/ arithmétique) Quant-1 Mémoire(s) Deblocking filter Canal Compensation mouvement DCT-1 Estimation mouvement Prédiction des vecteurs mouvement

31 Intermède sur la compression vidéo (12/12) Tableau comparatif des outils (non exhaustif)

32 MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (1/2)
Jusqu ’à 30% d ’améliorations comparé à MPEG-1 Pas de comparaisons avec MPEG-2 sur matériel entrelacé Pas de comparaisons avec H263/H263+

33 MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (2/2)
Outils responsables de l ’efficacité de codage Prédiction AC/DC 4MV: Vecteurs mouvement sur blocs 16*16 et 8*8 Vecteurs de mouvements sans restriction aux bords Mode direct dans les B-VOPs Table VLC adaptées au bas débits Capacité de skipper des images et aussi: Compensation du mouvement global (GMC) 1/4 pixel en compensation de mouvement Conversion Dynamique de résolution (DRC) Sprite

34 MPEG-4 Vidéo : fonctionnalités Robustesse aux erreurs de transmission (1/6)
Amélioration des performances en compression Robustesse aux erreurs de transmission re synchronisation grâce aux paquets Vidéo priorités grâce au partionnement des données recouvrement des erreurs grâce aux VLC réversibles (RVLC) description dans l ’annexe E du standard

35 MPEG-4 Vidéo : Robustesse (2/6) Paquets Vidéo (1)
Start code : resync_marker macroblock number QUANT Header extension code (HEC) ou non. HEC répète les informations du VOP header Données Byte aligned

36 MPEG-4 Vidéo : Robustesse (3/6) Paquets Vidéo (2)
Modes prédictifs confinées (MV, AC/DC prediction) Resync_marker non emulable Resynchronisation possible Paquets de taille quelconque, variable dans le temps.

37 MPEG-4 Vidéo : Robustesse (4/6) Data partitioning (1)
A l’intérieur d’un paquet, les données elles-mêmes sont organisées: I_VOP forme et information sur les DCs pour chaque macrobloc Motif séparateur (DC marker) AC information décrit dans la seconde partition P_VOP forme, mouvement and décision de codage pour chaque macroblock Motif séparateur (motion marker) AC et DC information (texture) dans la seconde partition B_VOP pas de data partitionning

38 MPEG-4 Vidéo : Robustesse (5/6) Data partitioning (2)
Data partitioning permet d’assigner des priorités sur les données la première partition est plus importante que la seconde possibilité de faire de la protection inégale d’erreur (UEP) Data partitioning facilite la détection d’erreurs en utilisant les motifs séparateurs détection possible dans la première partition et dans la seconde séparément. Data partitioning permet une meilleure dissimulation d’erreurs cas où les erreurs sont détectées dans la seconde partition seulement: DC pour les I_VOPs Vecteurs mouvements pour les P_VOPs

39 MPEG-4 Vidéo : Robustesse (6/6) Reversible VLC
Dans la seconde partition d’un paquet, codage de la texture sur tables VLC différentes (tables RVLC) RVLC irréductible dans les deux directions RVLC plus coûteux en terme de débit RVLC améliore la détection d’erreurs et la dissimulation d’ erreurs

40 MPEG-4 Vidéo : fonctionnalités Représentation « dégradable » (« scalability ») (1/3)
Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») temporelle spatiale de qualité (scalabilité fine « FGS »)

41 MPEG-4 Vidéo : Scalabilité (2/3) Scalabilité temporelle
Enhancement layer I B P Base layer temps

42 MPEG-4 Vidéo : Scalabilité (3/3) Scalabilité à grains fins
Enhancement layer P I B Base layer temps

43 MPEG-4 Vidéo : fonctionnalités Interactivité
Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») Interactivité

44 Plan (4) MPEG-4 : un standard ISO MPEG-4 visual: introduction
MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

45 MPEG-4 Vidéo : planning Version 1 Version 2
International Standard (IS) depuis mi-1999 Version 2 DAM-1 en mi 2000 Version 3 and Version 4 (AMD3 and AMD4) DAM3 et DAM4 attendus pour fin 2001

46 MPEG-4 Vidéo : profiles Version 1 AMD1 AMD3 et AMD4
Simple, Simple scalable Core Main AMD1 ARTS (Advanced Real Time Simple) Core scalable ACE (Advanced Coding Efficiency) AMD3 et AMD4 Studio Profile Advanced Simple profile et FGS profile

47 MPEG-4 Vidéo : profiles Version 1 (1)
Rectangular Spatial Scal. (B-VOP) Simple Scalable Simple Scalable Main Main Core Shape Temporal Scalability Core Rectangular Temporal Scal. (B-VOP) Interlace B-VOP MPEG-2 Quantification Simple AC/DC prediction 4 MV, unrestricted. MV Simple Binary Shape Grey Shape H263 Video Packets Data partitioning Reversible VLC Sprite

48 MPEG-4 Vidéo : profiles Version 1 (2)
Simple Scalable Main Core Simple

49 MPEG-4 Vidéo : profiles AMD1 (1)
Core Scalable B-VOP MPEG-2 Quantification Rectangular Temporal Scal. (B-VOP) Binary Shape Shape Temporal Scalability Rectangular Spatial Scal. Shape Spatial Scalability Core Scalable ACE ACE GMC 1/4 pel SA-DCT Interlace Grey Shape ARTS H263 Video Packets Data partitioning Reversible VLC AC/DC prediction 4 MV, unrestricted. MV ARTS Sprite DRC/ Newpred

50 MPEG-4 Vidéo : profiles AMD1 (2)
Core Scalable ACE ARTS

51 MPEG-4 Vidéo : profiles amendements 3 et 4
Studio FGS FGS Fine Granular Scalable Interlace ASP Advanced Simple B-VOP MPEG-2 Quantification 1/4 pel GMC H263 Video Packets Data partitioning Reversible VLC AC/DC prediction 4 MV, unrestricted. MV

52 MPEG-4 vidéo : Call pour un nouveau standard?
Octobre 2000: « Call for evidence » en compression. Janvier 2001: MPEG-4 n’est plus le « state-of-the-art » Juillet 2001 : Appel à proposition. H26L en pôle position (au moins 30% de gain) Discussion autour de H26L: acceptation de la vidéo seule vérification de la complexité planning agressif d ’acceptation d ’ici début 2003 intégration dans un profile

53 Avenir de la compression vidéo
MPEG-4 disponible maintenant Du contenu, du contenu, du contenu...