4. Notions de la théorie de l’information

Présentation au sujet: "4. Notions de la théorie de l’information"— Transcription de la présentation:

1 4. Notions de la théorie de l’information
Le signal vidéo numérique représente des volumes d’information énormes: TV numérique ordinaire (4/3) 576x720 CCIR601 4:2:2, 25:2 ips composante de luminance Y, Fe = 13,5 MHz composantes de chrominance Cr, Cb Fe= MHz profondeur : 8bits par pixel/composante volume d’information 216Mbit/s TV numérique HD (aspect 16/9 = (4/3)2) 50 ips, (1080p) 1920x1080 volume d’information Gbit/sec (1 tera!) WEB TVHD, TV ANYTIME ???? Pour économiser les ressources de stockage et réduire la bande passante requise lors de la transmission on cherche à comprimer le signal vidéo.

2 Quantité d’information
Soit S une source d ’informations et xi (symboles d’un alphabet) les valeurs possibles de l’information. On peut la modéliser par une variable aléatoire X dont les réalisations sont xi avec une loi de probabilité L’entropie de la variable aléatoire : Quantité d’information associée au symbole xi : Ainsi l’entropie représente l’information propre moyenne associée à un processus (source).

3 Propriétés de l’Entropie
* alors *supposons que l’alphabet est fini et contient K symboles alors L’égalité étant obtenue si la variable aléatoire X est équiprobable

4 Propriétés de l’Entropie
Distribution équiprobable : .

5 5. Codage sans pertes d’informations multimédia Taux de compression
L’opération de numérisation et de compression du signal est aussi appelée « codage de source ». Le codage des signaux multimédia nécessite de connaître les limites atteignables des taux de compression. Taux de compression : Limites atteignables Le théorème de codage de la source établit qu’il existe un débit binaire (quantité d’information) vers laquelle on peut tendre sans pouvoir comprimer la source d’avantage. Dans le cas d’un codage sans perte cette limite est donnée par l’entropie de la source.

6 Codage Entropique Codage de la source : la source X prend ses valeurs dans le dictionnaire C. On appelle codage de la source X une application de C dans l’ensemble des suites finies de l’alphabet {0,1}. Le code : Le mot de code : La longueur moyenne : Théorème : pour toute source discrète sans mémoire, il existe un code instantané représentant exactement la source et uniquement décodable vérifiant Où H(X) est l’entropie de la source et est la longueur moyenne du code, exprimés en bit par symbole.

7 5. Codage sans pertes des informations multimédia
Codage entropique (statistique) La source S discrète d’informations est caractérisée par son entropie H - Codage de Shannon-Fano - Codage de Huffman - Codage arithmétique Codage par comptage (RLC) Codage avec dictionnaire (LZSS,LZW)

8 Codage Entropique de Shannon-Fano (I)
Pour tous les symboles du message développer une liste correspondante des probabilité expérimentales (occurrences) 2) Trier la liste dans l’ordre décroissant des probabilités expérimentales (occurrences) Exemple : Message ABEABABABCDCDBAEAAAEAAAABAACACDBDEEDCCDE Liste triée Symbole A B C D E Occurrences

9 Codage Entropique de Shannon-Fano (II)
3) Diviser la liste en deux parties, le total des compteurs d’occurrence de la moitié supérieure devant être aussi proche que possible du total de al moitié inférieure 4) Affecter le chiffre binaire 0 à la moitié supérieure de la liste, et le chiffre 1 à la moitié inférieure de la liste Symbole Occurrence Somme Code A B C D E

10 Codage Entropique de Shannon-Fano (III)
5) Appliquer de façon récursive les étapes 3 et 4 à chacune des deux moitiés, jusqu’à ce que chaque symbole soit devenu une feuille Symbole Occurrence Somme Code A II B I C III D IV E

11 Codage Entropique de Shannon-Fano (IV)
Représentation sous forme d’arbre binaire A B C D E Racine 1 Symbole Occurrence Quantité inf Bits Total Taille Sh-F Bits Sh-F A 15 1,38 20,7 2 30 B 7 2,48 17,36 14 C 6 2,70 16,20 12 D 3 18 E 5 2,96 14,8

12 Codage Entropique de Huffmann (I)
1952. Algorithme optimal pour construire un code entropique. On peut montrer qu’il n’existe pas d’autre code uniquement décodable de longueur moyenne inférieure pour une source discrète sans mémoire. Principe : construire progressivement l’arbre binaire en partant des feuilles de l’arbre précédent. Initialisation de l’arbre : - Tous les symboles sont les nœuds-feuilles Chaque noeud a comme poids la probabilité du symbole (occurrence). Liste des nœuds libres contient tous les nœuds

13 Codage Entropique de Huffmann (II)
Construction de l’arbre : Sélectionner les deux symboles-noeuds les moins probables. Créer le père de ces deux nœuds. Poids(père) :=Poids(FilsGauche)+Poids(FilsDroit) Ajouter le nœud-père dans la liste des nœuds libres et supprimer les nœuds-fils de la Liste. Étiquetage. Un des fils reçoit 0, l’autre 1 Si card(Liste)=1 alors arrêt. Le seul noeud devient la racine

14 Codage Entropique de Huffmann (III)
1 Exemple : 1) A B C D E 2) A B C D E … 11 1 1 13 11

15 Codage Entropique de Huffmann (IV)
24 1 11 13 39 A B C D E …

16 Codage Entropique de Huffmann (V)
Comparaison avec le codage de Shannon-Fano Quantité d’information théorique NbrBits SF NbrBits H 82,25 89 87 Nécessite la transmission de la table des codes

17 Codage Arithmétique Rissanen 1976
Principe : un code n’est plus associé à chaque symbole constituant le message, mais plutôt au message constitué de la suite des différents symboles. Soit l’ensemble des messages pouvant être émis par la source avec les lois de probabilité d’apparition On peut définir une suite d’intervalles recouvrant l’intervalle et ayant les longueurs respectives Le principe de codeur arithmétique : définir pour chaque intervalle un nombre compris entre 0 et 1 et ayant une représentation binaire finie

18 Codage Arithmétique (II)
tombe sans ambiguïté dans l’intervalle soit , et« code » la source. On peut trouver une famille de valeurs avec des longueurs de représentation binaire vérifiant (propriété de quasi optimalité du code). Alors plus le message est long, plus la performance du codage est grande.

19 Codage Arithmétique Algorithme du Codeur (I)
Soit les limites hautes et basses du message à la j-ème itération. Symbole P(s) Intervalle l(s) h(s) E 1/5 0.00<=r<0.20 J 0.20<=r<0.40 N 2/5 0.40<=r<0.80 Y 0.80<=r<1.00 Jenny

20 Codage Arithmétique Algorithme du Codeur (II)
J alors Jenny Nouveau Symbole Limite basse Limite haute 0.00 1.00 J 0.2 0.4 E 0.20 0.24 N 0.216 0.232 0.2224 0.2288 Y

21 Codage Arithmétique Algorithmes du Décodeur (I)
Décodage : Trouver le symbole qui possède l’intervalle de message : J Soustraire la limite basse : Diviser par la longueur de r(s) : Aller à (1) jusqu’à atteindre 0 Réalisation pratique : utilisation de l’arithmétique binaire (sur 32 bits par exemple)

22 Codage par plages (RLC)
Principe : (1) Comptage du nombre d’apparitions consécutives d’un mot de message à coder. (2) Codage à longueur fixe de la valeur des mots et de nombre d’apparitions (3) Variante : introduction de bit-flag « codé-non-codé ». Exemple : Message : Code : Débit initial : 15 *8 =120 bits Débit final : * = 64 bits Adapté aux images sans bruit ou aux valeurs quantifiées grossièrement.