La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour Video and Communication Group Laboratoires dÉlectronique.

Présentations similaires


Présentation au sujet: "Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour Video and Communication Group Laboratoires dÉlectronique."— Transcription de la présentation:

1 Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour Video and Communication Group Laboratoires dÉlectronique Philips (LEP)Philips Recherche France (PRF)

2 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Plan MPEG-4 : un standard ISO MPEG-4 visual : introduction MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

3 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Plan (1) MPEG-4 : un standard ISO MPEG-4 visual : introduction MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

4 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 : un standard ISO Stockage d audio et vidéo naturelles sur support numérique (CD-ROM, DAT…) 1.2 Mbit/s Vidéo Télévision numérique 3-10Mbit/s Applications Multimédia Interactives : Visiophonie, Internet Streaming, TV Broadcast,... MPEG-7 : indexation de contenu

5 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 : un standard parmi d autres (1/2) H.261 ITU-T ISO-IEC JTC1 SG15 WG1 WG11 WG12 (JPEG) (MPEG) (MHEG) H.263 H.263/M H.262 = MPEG-2 MPEG-1 MPEG-4 H26L

6 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 : un standard parmi d autres (2/2) H.261H.263 MPEG-2 MPEG-1 ISO ITU MPEG H H.26L

7 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 : organisation Requirements Delivery Systems Video SNHC Audio Tests Liaisons } Visual standard ISO/IEC/

8 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 : les standards Systems Visual Audio Conformance Software Delivery

9 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Plan (2) MPEG-4 : un standard ISO MPEG-4 visual : introduction MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

10 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Visual : introduction VO = Objet Visuel Un objet « visuel » peut-être: Vidéo Texture fixe Maillages 2D et 3D Animation « Face and Body » (FBA)

11 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Scène composée MPEG-4 Visual : exemple de composition (1/3) Video Object #0 Décor de fond Video Object #1 Type

12 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Visual : exemple de composition (2/3)

13 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Visual : exemple de composition (3/3) Fond synthétique Graphique forme et grise Vidéo forme et opaque Image composée

14 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Visual : combinaison avec BIFS End user Presentation Composition & Rendering Hierarchical, Interactive, Audiovisual Scene Network LayerNetwork Layer Network LayerNetwork Layer Decompression Primitive AV Objects... Demultiplex... Elementary Stream Scene Description Upstream Data User Events, Class Request,... BIFS

15 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Visual : structure d une « Visual Session » VS1VideoSession (VS) VisualObject (VO)VO1VO2VideoObjectLayer (VOL)VOL1VOL2GroupOfVOPs (GOV)GOV1GOV2VideoObjectPlane (VOP)VOP1VOPk VOP1VOPk

16 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Plan (3) MPEG-4 : un standard ISO MPEG-4 visual : introduction MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

17 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : recommandations de base Compatible retour avec H263 baseline (1996) Débits: de quelques kbit/s à 10Mbit/s à ? Gbit/s Formats: taille rectangulaire, de 16*16 à 8196*8196 entrelacé et progressif 4 à 12 bits de profondeur pour les pixels fréquence image arbitraire forme arbitraire YUVA 4:2:0:4 and 0:0:0:4 (seulement la forme)

18 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : recommandations de base / plan alpha

19 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») Interactivité

20 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (1/12) Signal numérique TV = 720*576*25*2 Octet/s = 166Mbit/s Film 90 minutes original = 896 Gbit MPEG-2 à 4Mbit/s (taux de compression de 40) Film 90 minutes compressé = 22 Gbit Stockage versus transmission MPEG-X et H26X sont des schémas avec pertes Problème d optimisation débit/distorsion: extraire l information du signal dégrader de façon la plus invisible à l œil traquer la redondance spatiale temporelle tenir compte du système visuel humain

21 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (2/12) L approche en Macroblocs (MBs) Original Image Akiyo (QCIF)

22 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (3/12) 4:2:0:4 format, Macroblock 16*16 X: luminance, alpha O: chrominance 1MB MPEG-4 == 4 Blocs 8*8 Y 1 Bloc 8*8 U 1 bloc 8*8 V

23 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (4/12) Principe du codage Redondance spatiale : DCT Redondance temporelle : compensation de mouvement Codage residuel : DCT F(u,v)=1/4C(u)C(v) f(x,y) cos( (2x+1)u/16)cos( (2y+1)v/16) C(u) et C(v) = 1/ pour u,v =0 = 1 sinon F(u,v) sur 12 bits (+/- 2048) pour f(x,y) sur 8 bits (0-255) x=0 y=0 7

24 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (5/12) Transformée DCT 8 8 Moyenne(DC) + Énergie concentrée sur quelques coefficients AC 8 8

25 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (6/12) Quantification Les coefficients DCT sont: quantifié par un PAS DE QUANTIFICATION Q (entre [1;31]) Moyenne + Énergie concentrée sur quelques coefficients 8 8 Moyenne + Énergie concentrée sur quelques coefficients non nuls 8 8 Division par Q et arrondi (matrice de quantification)

26 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (7/12) Codage entropique Les coefficients DCT quantifiés sont: visités en zigzag (trois zigzags pour MPEG-4) 6 = (0,0,6) -2 = (0,0,-2) 3 = (0,0,3) 1 = (0,1,1) -1 = (0,0,-1) -1 = (1,2,-1) transmis en EVENEMENTS last - run - level (MPEG-4) run-level- EOB (H26L) représentés en binaire par des VLC : codes à longueurs variables (MPEG-4) avec un codage arithmétique (H26L)

27 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (8/12) Estimation/Compensation de mouvement Image de Référence Image à Coder Image Estimée Erreur = Différence (amplitude * 10) Bloc Matching Exhaustif Mouvements ±7 * ±7 Blocs 8*8 Estimation Mouvement Compensation Mouvement

28 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (9/12) I/B/P et GOP concept, N=6, M=3 Coding order: Coding order: I 1 Coding order: I 1 P 4 Coding order: I 1 P 4 B 2 Coding order: I 1 P 4 B 2 B 3 Coding order: I 1 P 4 B 2 B 3 I 7 B6B6 B5B5 I1I1 I7I7 B2B2 B3B3 P4P4 Coding order: I 1 P 4 B 2 B 3 I 7 B 5 Coding order: I 1 P 4 B 2 B 3 I 7 B 5 B 6

29 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (10/12) Décisions de codage Décisions par image Type d images, I, P, ou B Décisions par macroblocks : Dans une image I, AC prédiction Dans une image P, intra ou inter, taille du vecteur mouvement Dans une image B, type de prédiction(avant, arrière, bi- directionnel, direct)

30 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (11/12) Schéma global d un encodeur MPEG-X/H26-X DCTQuant Quant -1 DCT -1 Compensationmouvement Canal Signalimage Estimationmouvement Codageentropique(VLC/Codagearithmétique) PrédictionAC/DC DécisionInter/Intra:soustraction Prédiction des vecteurs mouvement Mémoire(s) Deblockingfilter

31 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Intermède sur la compression vidéo (12/12) Tableau comparatif des outils (non exhaustif)

32 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (1/2) Amélioration des performances en compression Jusqu à 30% d améliorations comparé à MPEG-1 Pas de comparaisons avec MPEG-2 sur matériel entrelacé Pas de comparaisons avec H263/H263+

33 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (2/2) Outils responsables de l efficacité de codage Prédiction AC/DC 4MV: Vecteurs mouvement sur blocs 16*16 et 8*8 Vecteurs de mouvements sans restriction aux bords Mode direct dans les B-VOPs Table VLC adaptées au bas débits Capacité de skipper des images et aussi: Compensation du mouvement global (GMC) 1/4 pixel en compensation de mouvement Conversion Dynamique de résolution (DRC) Sprite

34 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Robustesse aux erreurs de transmission (1/6) Amélioration des performances en compression Robustesse aux erreurs de transmission re synchronisation grâce aux paquets Vidéo priorités grâce au partionnement des données recouvrement des erreurs grâce aux VLC réversibles (RVLC) description dans l annexe E du standard

35 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Robustesse (2/6) Paquets Vidéo (1) Start code : resync_marker macroblock number QUANT Header extension code (HEC) ou non. HEC répète les informations du VOP header Données Byte aligned

36 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Robustesse (3/6) Paquets Vidéo (2) Modes prédictifs confinées (MV, AC/DC prediction) Resync_marker non emulable Resynchronisation possible Paquets de taille quelconque, variable dans le temps.

37 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Robustesse (4/6) Data partitioning (1) A lintérieur dun paquet, les données elles-mêmes sont organisées: I_VOP forme et information sur les DCs pour chaque macrobloc Motif séparateur (DC marker) AC information décrit dans la seconde partition P_VOP forme, mouvement and décision de codage pour chaque macroblock Motif séparateur (motion marker) AC et DC information (texture) dans la seconde partition B_VOP pas de data partitionning

38 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Robustesse (5/6) Data partitioning (2) Data partitioning permet dassigner des priorités sur les données la première partition est plus importante que la seconde possibilité de faire de la protection inégale derreur (UEP) Data partitioning facilite la détection derreurs en utilisant les motifs séparateurs détection possible dans la première partition et dans la seconde séparément. Data partitioning permet une meilleure dissimulation derreurs cas où les erreurs sont détectées dans la seconde partition seulement: DC pour les I_VOPs Vecteurs mouvements pour les P_VOPs

39 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Robustesse (6/6) Reversible VLC Dans la seconde partition dun paquet, codage de la texture sur tables VLC différentes (tables RVLC) RVLC irréductible dans les deux directions RVLC plus coûteux en terme de débit RVLC améliore la détection derreurs et la dissimulation d erreurs

40 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Représentation « dégradable » (« scalability ») (1/3) Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») temporelle spatiale de qualité (scalabilité fine « FGS »)

41 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Scalabilité (2/3) Scalabilité temporelle temps IP B P I BB Base layer Enhancement layer P

42 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : Scalabilité (3/3) Scalabilité à grains fins temps I P B Base layer Enhancement layer P P P

43 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : fonctionnalités Interactivité Amélioration des performances en compression Robustesse aux erreurs de transmission Représentation « dégradable » (« scalability ») Interactivité

44 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Plan (4) MPEG-4 : un standard ISO MPEG-4 visual: introduction MPEG-4 vidéo : les outils MPEG-4 vidéo : planning et profiles

45 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : planning Version 1 International Standard (IS) depuis mi-1999 Version 2 DAM-1 en mi 2000 Version 3 and Version 4 (AMD3 and AMD4) DAM3 et DAM4 attendus pour fin 2001

46 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles Version 1 Simple, Simple scalable Core Main AMD1 ARTS (Advanced Real Time Simple) Core scalable ACE (Advanced Coding Efficiency) AMD3 et AMD4 Studio Profile Advanced Simple profile et FGS profile

47 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles Version 1 (1) B-VOP MPEG-2 Quantification Rectangular Temporal Scal. (B-VOP) H263 Video Packets Data partitioning Reversible VLC AC/DC prediction 4 MV, unrestricted. MV Binary Shape Shape Temporal Scalability Sprite InterlaceGrey Shape Rectangular Spatial Scal. (B-VOP) MainCore Simple Scalable Simple MainCore Simple Scalable Simple

48 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles Version 1 (2) Main Core Simple Scalable Simple

49 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles AMD1 (1) H263 Video Packets Data partitioning Reversible VLC AC/DC prediction 4 MV, unrestricted. MV Shape Spatial Scalability Sprite InterlaceGrey Shape DRC/ Newpred GMC 1/4 pel SA-DCT B-VOP MPEG-2 Quantification Rectangular Temporal Scal. (B-VOP) Binary Shape Shape Temporal Scalability Rectangular Spatial Scal. (B-VOP) ACE Core Scalable ARTS ACE Core Scalable ARTS

50 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles AMD1 (2) ACE Core Scalable ARTS

51 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles amendements 3 et 4 B-VOP MPEG-2 Quantification 1/4 pel GMC H263 Video Packets Data partitioning Reversible VLC AC/DC prediction 4 MV, unrestricted. MV Interlace FGS ASP Advanced Simple FGS Fine Granular Scalable Studio

52 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) MPEG-4 vidéo : Call pour un nouveau standard? Octobre 2000: « Call for evidence » en compression. Janvier 2001: MPEG-4 nest plus le « state-of-the-art » Juillet 2001 : Appel à proposition. H26L en pôle position (au moins 30% de gain) Discussion autour de H26L: acceptation de la vidéo seule vérification de la complexité planning agressif d acceptation d ici début 2003 intégration dans un profile

53 Compression vidéo MPEG-4. École d Été PDMS Août 2001 Cécile Dufour. Philips Recherche France (PRF) Avenir de la compression vidéo MPEG-4 disponible maintenant Du contenu, du contenu, du contenu...


Télécharger ppt "Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour Video and Communication Group Laboratoires dÉlectronique."

Présentations similaires


Annonces Google