H.264/MPEG4 AVC H.263/MPEG4 V1. H.264/MPEG4 AVC Principes clés : Codage intra-image et inter-image par des blocs de taille variable et par combinaison des blocs (H.264) Sélection du meilleur mode intra/inter, configuration locale Codage au sens débit/distorsion.

La norme H.264 Le standard de codage vidéo qui dépasse les performances de H.263/MPEG4-V1 Lintitulé AVC = Advanced Vidéo Coding Fait partie de MPEG4 = V. 10 ISO/IEC and IUT Rec H.264 Date 2003

Représentation et compensation du mouvement H. 264 Partition arborescente récursive : - décomposition des macroblocs 16x16: 16x16, 2x 16x8, 2x8x16, 4x8x8 - décomposition des blocs 8x8 : 8x8, 2x8x4,2x4x8, 4x4x4

Estimation du mouvement MPEG2 – uniquement 1 niveau : estimation du mouvement sur de macro-blocs 16x16, H. 263 /MPEG4 V1 – uniquement 2 niveaux : 16x16 et 8x8 Image courante à encoder Image de référence précédente Principe: recherche du vecteur optimal au sens dun critère de compensation

H.264 : Compensation du mouvement « arborescente » 8x8 16 x 88 x 168 x 8 8x44x 8 4x 4 La partition la plus fine : par de blocs de taille 4x4 pixels.

Exemple de décomposition optimale H. 264 From Iain E.G. Richardson : H.264 and MPEG- 4, WIley, 2003, curtesy to the author

Codage optimal au sens débit/distorsion - D(C) : distorsion du codage ; - R(C) : débit associé au codage.. D(C) R(C) H. 264: Comment choisir la partition optimale étant donné le débit maximal à respecter. Partition optimale : pour le débit donné choisir la partition minimisant la fonctionnelle derreur.

Construction dune partition optimale au sens débit – distorsion des images vidéo (1) Daprès E. Reusens, « Joint optimization of representation model and frame segmentation for generic video compression », Signal Processing, 46, 1995, 105 – 117 Problème classique de la théorie dallocation des ressources : Etant donné un quota de ressources, déterminer la distribution parmi lensemble dactivités pour maximiser le rendement. Notations : L – un ensemble fini des stratégies admissibles B – une stratégie : - fonction du rendement - « ressource »

Construction dune partition optimale au sens débit – distorsion des images vidéo (2) Formulation du problème : trouver la stratégie qui maximise le rendement sous contrainte ou Fonction de « rendement » de Lagrange - multiplicateur de Lagrange

Construction dune partition optimale au sens débit – distorsion des images vidéo (3) Théorème :

Construction dune partition optimale au sens débit – distorsion des images vidéo (4) Formualtion pour le codage de la source : minimiser la distorsion D(B) sous contrainte du débit disponible Mesure de distorsion -erreur quadratique du codage (ou de compensation du mouvement). La recherche exhaustive de la solution optimale sous contrainte nest pas possible à cause de la multitude des solutions. Minimisation du fonction de coût de Lagrange.

Construction dune partition optimale au sens débit – distorsion des images vidéo (5) La solution est basée sur le théorème (1) Trouver tel que (2) Trouver la solution B* Nous allons considérer dabord (2) : comment minimiser pour fixé.

Construction dune partition optimale au sens débit – distorsion des images vidéo (6) Le plan-image est tout dabord divisé en ensemble des N macro-blocs MB non- recouvrants. La fonctionnelle est additive par la nature de D et de R. Donc la minimisation pour limage complète peut être effectuée indépendamment pour chaque MB.

Construction dune partition optimale au sens débit – distorsion des images vidéo (7) Les configurations de Reusens 1 config configurations au total, pour chaque nœud en plus inter-intra

Construction dune partition optimale au sens débit – distorsion des images vidéo (7) 1. Pour chaque nœud on choisit le mode optimal ( ex. inter/intra) 2. Pour chaque nœud macro-bloc MBi on choisit la configuration minimisant - additive. Ensuite on peut remonter vers les partitions plus grossières en effectuant la récursion « des feuilles vers le sommet » sur larbre de la partition du plan-image. Dans un codec H. 264 on sarrète au niveau MB car un MB est lunité la plus grande de partition. Calcul du Débit R, Distorsion D et J globales par image :

Construction dune partition optimale au sens débit – distorsion des images vidéo (8) Considérons maintenant (1) : trouver La fonction R(B) est monotonne vis-à-vis de Il sagit de trouver la racine de léquation Algorithme : 1.1 Choisir 1.2. Appliquer la méthode de bissection : –Calculer –Si alors sion f-si 1.3 Condition darrêt :

H. 264 Nouveautés Fondamentales Compensation du mouvement avec la structure de larbre; Transformation DCT entière; Mise en échelle des coefficients de DCT. Codage entropique CABAC – Content – Based Adaptive Binary Arithmetic Coding

Structure arborescente des macro-blocks 16x16 pels 8x8 pels 4x4 pels

Codage des vecteurs de déplacement Le nombre de vecteurs de déplacement peut être important à cause de la taille variable des blocs. Codage prédicitif : MVD = MV -MVp

Prédiction des vecteurs de déplacement A B C E 16x16 16x8 4x8 B A 8x4 C E (1)E=med(A,B,C) (2) Prédiction par voisinage causal pour les partitions 16x8 et 8x16

Approximation de TCD en H.264(1) Objectifs : réaliser des calculs en entier autant que possible; Limiter la dynamique des coeficients ( calculs avec la représentation sur 16 bits) Au lei de la TCD 8x8 on propose une transformée approximant la TCD 4x4 pels.

Approximation de TCD en H.264(2) TCD pour les blocs de taille 4x4

Approximation de TCD en H.264(3) On démontre que cette multiplication matricielle peut être factorisée Signifie la multiplication élément par élément Sappelle la « transfromation principale »

Approximation de TCD en H.264(3) Pour simplifier les calculs on approxime Alors pour maintenir lorthogonalité des fonctions de base, on modifie Enfin pour éviter les multiplications par 0.5 on multiplie 2 ème et 4 ème lignes de C par 2 et 2 ème et 4 ème colonne de C T de même On compense cela dans la matrice E

Approximation de TCD en H.264(4)

Approximation de TCD en H.264(5) Transformée inverse Orthogonalité : Remise en échelle – différence avec la quantification inverse