La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions fondamentales de théorie de linformation (7h) Définitions.

Présentations similaires


Présentation au sujet: "TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions fondamentales de théorie de linformation (7h) Définitions."— Transcription de la présentation:

1 TIC - EII3 & DEA STIR Théorie de lInformation et Codage Organisation 1 - Notions fondamentales de théorie de linformation (7h) Définitions de base Application aux sources dinformation discrète Application aux sources dinformation continue 2 - Codage pour le contrôle derreur (7h) Codes en blocs linéaires Codes cycliques Codes convolutifs Algorithme de Viterbi Turbo-codes

2 TIC - EII3 & DEA STIR S. Haykin, Communication Systems, Wiley & Sons, A.J. Viterbi, K.J. Omura, Principes des communications numériques, Coll. CNET/ENST, Dunod Edt. A. Poli, L. Huguet, Codes correcteurs, Coll. LMI, Masson. H. P. Hsu, Communications analogiques et numériques, Série Schaum. Références Théorie de lInformation et Codage

3 TIC - EII3 & DEA STIR Chapitre 1 Notions fondamentales de théorie de linformation 1-1Introduction 1-2Incertitude, Information et Entropie 1-3Théorème du codage de source 1-4Compression de données 1-5Canaux discrets sans mémoire 1-6Information mutuelle 1-7Capacité dun canal 1-8Théorème du codage de canal 1-9Extension aux signaux continus 1-10Théorème de la capacité dinformation 1-11Distorsion de linformation 1-12Compression dinformation

4 TIC - EII3 & DEA STIR Introduction Lobjectif dun système de transmission est de porter une information en bande de base dun point à un autre via un canal de communication : Shannon introduit la théorie de linformation. Dans le contexte des communications, la théorie de linformation sattache à la modélisation mathématique et lanalyse des systèmes de communication.

5 TIC - EII3 & DEA STIR Introduction La théorie de linformation donne des réponses à deux questions : quelle est la complexité limite dun signal ? –notion dentropie : nombre minimum de.b. par symbole pour représenter une source. quelle est le débit limite pour une communication fiable sur un canal bruité ? –notion de capacité de canal : débit maximum qui peut être adopté pour un canal.

6 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Définitions –Source discrète : système émettant régulièrement des symboles issus dun alphabet fini. –Alphabet : ensemble fini des symboles de la source. –Source aléatoire : les symboles sont émis aléatoirement suivant les probabilités : –Source sans mémoire : source aléatoire dont les symboles émis sont statistiquement indépendants.

7 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Peut-on trouver une mesure de linformation produite par une source ? La notion dinformation est liée à la notion de surprise et dincertitude : –avant lévènement S = s k, il existe une certaine quantité dincertitude sur cet évènement, –quand cet évènement se réalise, il existe une certaine quantité de surprise, –après la réalisation de lévènement, il existe un gain en quantité dinformation sur cet évènement, –cette quantité dinformation correspond à la résolution de lincertitude de départ. –la quantité dinformation ne doit dépendre que de la statistique de la source.

8 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Définition : la quantité dinformation gagnée à lobservation de lévènement S = s k, de probabilité p k, est définie par : I (s k ) = – log p k Propriétés : I (s k ) = 0 pour p k = 1 ; I (s k ) >= 0 pour 0 <= p k <= 1 ; I (s k ) > I (s i ) pour p k < p i ; I (s k s l ) = I (s k ) + I (s l ) si s k et s l sont statistiquement indépendants.

9 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Remarques : La base du logarithme dans cette définition est arbitraire ; On utilise par convention la base 2. Lunité correspondante est le bit (pour binary unit). Dans ces conditions : *I (s k ) = – log 2 p k *Si p k = 1/2, alors I (s k ) = 1 bit. => Un bit est la quantité dinformation gagnée quand un parmi deux évènements équiprobables apparaît. En fonction de la base du logarithme, on définit dautres unités de quantité dinformation : *base 10 : hartley *base e : neper, nat

10 TIC - EII3 & DEA STIR Incertitude, Information et Entropie La quantité dinformation produite par une source dépend du symbole émis à un instant significatif donné ; Or la source émet une séquence aléatoire de symboles ; La quantité dinformation à un instant donné est donc une variable aléatoire discrète, prenant les valeurs I(s 0 ), I(s 1 ),..., I(s K–1 ) avec les probabilités p 0, p 1,..., p K–1.

11 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Définition : lentropie dune source sans mémoire, dalphabet A, est lespérance mathématique de la quantité dinformation prise comme variable aléatoire. Remarques : –Lentropie est une mesure de linformation moyenne par symbole issu de la source. –lunité de lentropie est le bit/symbole.

12 TIC - EII3 & DEA STIR Incertitude, Information et Entropie Propriétés : Pour une source discrète sans mémoire, lentropie est bornée : 1. H(A) = 0 ssi p k = 1 pour un k donné, les autres probabilités étant nulles. => aucune incertitude 2. H(A) = log 2 K ssi p k = 1/K pour tout k. => incertitude maximale Démonstration : Exemples :

13 TIC - EII3 & DEA STIR Théorème du codage de source Un problème important en communication est celui de la représentation efficace des données engendrées par une source discrète. Ce processus est appelé codage de source (source encoding), et le dispositif correspondant un codeur de source (source encoder). Lefficacité du codage de source repose sur la connaissance de la statistique de la source. Application : si quelques symboles sont plus probables que dautres, on peut leur assigner des mots-code courts (code à longueur variable ; ex : code Morse).

14 TIC - EII3 & DEA STIR Problème : Développer un codeur de source efficace satisfaisant aux contraintes suivantes : –les mots-code sont sous la forme de données binaires ; –les mots-code doivent être décodés de manière unique, i.e. la séquence émise par la source doit être parfaitement reconstruite à partir de la séquence des mots-code. 1-3 Théorème du codage de source Source discrète sans mémoire Codeur de source sksk bkbk Séquence binaire Fig 1-1

15 TIC - EII3 & DEA STIR Définitions : Longueur moyenne dun code : A chaque s k de probabilité p k > b k de longueur l k e.b. Alors représente le nombre moyen de.b. par symbole. Efficacité dun code : Si L min est la plus petite valeur possible de, on définit : Un codeur est dit efficace si. 1-3 Théorème du codage de source

16 TIC - EII3 & DEA STIR Problème : Comment déterminer L min ? Solution : Théorème du codage de source (premier théorème de Shannon) Soit une source discrète sans mémoire dentropie H(A). La longueur moyenne des mots-code pour tout codage sans perte est bornée par : Lentropie représente donc une limite fondamentale sur le nombre de.b. par symbole-source nécessaire pour représenter une source sans mémoire. Lefficacité sécrit alors : 1-3 Théorème du codage de source

17 TIC - EII3 & DEA STIR Compression de données Les signaux engendrés par des processus physiques contiennent généralement une certaine quantité dinformation redondante, et qui peut gaspiller les ressources de communication. Pour obtenir une communication efficace, il faut supprimer cette redondance avant transmission. Cette opération est la compression de données sans perte. Propriétés : –optimale au sens du nombre moyen de.b. par symbole, –les données originales peuvent être reconstruites sans perte dinformation. Principe : –affecter des mots-code courts aux symboles fréquents, –affecter des mots-code longs aux symboles rares.

18 TIC - EII3 & DEA STIR Codage préfixe Codage de Huffman Codage de Lempel-Ziv pour sources discrètes à mémoire 1-4 Compression de données

19 TIC - EII3 & DEA STIR Canaux discrets sans mémoire Définition : un canal discret sans mémoire est un modèle statistique comportant une entrée X (v.a.) et une sortie Y (v.a.) qui est une version bruitée de X. A chaque unité de temps, –la source émet un symbole issu de lalphabet A. –la sortie du canal discret sans mémoire est un symbole issu de lalphabet B. Le canal est aussi caractérisé par des probabilités de transition :

20 TIC - EII3 & DEA STIR Canaux discrets sans mémoire XY Fig. 1-2 Canal discret sans mémoire Définition : Matrice du canal

21 TIC - EII3 & DEA STIR Chaque ligne de P correspond à une entrée fixée du canal ; Chaque colonne correspond à une sortie fixée du canal ; La somme des éléments dune ligne vaut 1 Supposons que les entrées suivent une distribution de probabilité (distribution a priori) –distribution jointe –distribution marginale Exemple : Canal Binaire Symétrique (CBS). 1-5 Canaux discrets sans mémoire

22 TIC - EII3 & DEA STIR Information mutuelle Problème : Y étant une version bruitée de X, et H(A) mesurant lincertitude a priori sur X, comment mesurer lincertitude sur X après avoir observé Y ? Définition : lentropie conditionnelle (à lobservation de Y) de X, sachant vaut : H(A | B) représente la quantité dincertitude restante sur lentrée après que la sortie a été observée.

23 TIC - EII3 & DEA STIR H(A) est lincertitude sur lentrée avant lobservation de la sortie ; H(A | B) est lincertitude sur lentrée après lobservation de la sortie ; H(A) – H(A | B) représente lincertitude sur lentrée résolue par lobservation de la sortie ; Définition : H(A) – H(A | B) est appelée information mutuelle du canal : 1-6 Information mutuelle

24 TIC - EII3 & DEA STIR Propriétés : * symétrie * on ne peut perdre dinformation *, avec 1-6 Information mutuelle

25 TIC - EII3 & DEA STIR Interprétation graphique - Diagramme de Venn 1-6 Information mutuelle H(A | B)H(B | A) I(A, B) H(A, B)

26 TIC - EII3 & DEA STIR Capacité dun canal Le calcul de linformation mutuelle I(A, B) nécessite la connaissance de la distribution a priori de X ; En conséquence, linformation mutuelle dun canal dépend non seulement du canal mais également de la manière dont il est utilisé ; Or la distribution a priori est (évidemment) indépendante du canal ; On peut donc chercher à maximiser linformation mutuelle par rapport à.

27 TIC - EII3 & DEA STIR Définition : la capacité dun canal discret sans mémoire est le maximum de linformation mutuelle I(A, B) moyenne obtenu pour lensemble des symboles émis, la maximisation étant opérée sur toutes les distributions a priori possibles sur A.. C se mesure en bits par utilisation du canal (bits per channel use). Remarque : le calcul de C implique la maximisation sur J variables (les probabilités dentrée) sous deux contraintes : 1-7 Capacité dun canal

28 TIC - EII3 & DEA STIR Exemple : Canal Binaire Symétrique 1-7 Capacité dun canal Capacité du canal C Probabilité de transition p

29 TIC - EII3 & DEA STIR Théorème du codage de canal La présence inévitable de bruit dans le canal cause des erreurs de transmission. Pour un canal très bruité, la probabilité derreur peut être aussi haute que 10 –2... Mais il est préférable quelle soit plus faible que 10 –6, voire 10 –12 ! Pour atteindre cet objectif, on a recours au codage de canal (Chapitre 2).

30 TIC - EII3 & DEA STIR Lobjectif du codage de canal est daccroître la résistance dun système de communication numérique au bruit. Le codage de canal consiste – à affecter, à une séquence issue de la source, une autre séquence destinée à entrer dans le canal (mapping) ; –à affecter, à une séquence issue du canal, une autre séquence pour utilisation (reverse mapping) ; –de telle sorte que leffet du bruit du canal soit minimisé. 1-8 Théorème du codage de canal Source discrète sans mémoire Canal discret sans mémoire Codeur de canal Décodeur de canal Utilisation bruit EmetteurRécepteur

31 TIC - EII3 & DEA STIR Lapproche générale du codage de canal consiste à introduire de la redondance dans la séquence émise, de manière à reconstruire la séquence originale le plus précisément possible. codage de source > diminution de la redondance,... codage de canal > augmentation de la redondance ?! Les deux approches sont complémentaires. Les grandes approches du codage de canal seront vues au Chap. 2 (codes en bloc linéaires, codes cycliques...). 1-8 Théorème du codage de canal

32 TIC - EII3 & DEA STIR Considérons la classe des codes en blocs : –la séquence originale à transmettre est segmentée en blocs de k e.b. –chaque k-bloc se voit affecter en sortie du codeur de canal un n-bloc, avec n > k. –r = k / n mesure le rendement du code. Problème : existe-t-il une stratégie de codage telle que –la probabilité derreur soit inférieure à donné,... –avec un rendement pas trop faible ? Réponse : OUI ! > Second théorème de Shannon. 1-8 Théorème du codage de canal

33 TIC - EII3 & DEA STIR Théorème (a) : Soit une source discrète sans mémoire, dentropie H(A), produisant des symboles toutes les T s secondes. Soit un canal discret sans mémoire de capacité C, utilisé toutes les T c secondes. Alors, si, il existe une stratégie de codage pour laquelle la sortie de la source peut être transmise sur le canal et reconstruite avec une probabilité derreur arbitrairement petite. C / T c est appelé débit critique. 1-8 Théorème du codage de canal

34 TIC - EII3 & DEA STIR Théorème du codage de canal Théorème (b) : Si, alors il nest pas possible de transmettre une information sur le canal et de la reconstruire avec une probabilité derreur arbitrairement faible. Remarques : –La capacité dun canal spécifie une limite fondamentale sur le débit maximum acceptable par un canal discret sans mémoire. –Ce théorème nindique en aucun cas la façon de construire la stratégie de codage. Il nest quune preuve dexistence dun code optimal.

35 TIC - EII3 & DEA STIR Application : Canal Binaire Symétrique Soit une source discrète sans mémoire émettant des symboles binaires (0/1) équiprobables toutes les Ts secondes. Le débit de la source vaut alors 1/Ts bits/seconde. Lentropie de la source vaut 1 bit/symbole. La séquence issue de la source est appliquée à un codeur de canal de rendement r. Le codeur de canal produit un symbole toutes les T c secondes. Le débit sur le canal est donc de 1/T c symboles/seconde. C est la capacité du canal discret sans mémoire et dépend de la probabilité p de transition. La capacité du canal par unité de temps vaut donc C/T c bits/seconde. 1-8 Théorème du codage de canal

36 TIC - EII3 & DEA STIR Application : Canal Binaire Symétrique (Théorème a) => Si, on peut trouver un codage de canal donnant une probabilité derreur arbitrairement petite. Or, et finalement la condition précédente devient : 1-8 Théorème du codage de canal

37 TIC - EII3 & DEA STIR

38 TIC - EII3 & DEA STIR Pour linstant, nous avons traité le cas de v.a. discrètes ; On examine ici lextension des principes précédents aux v.a. continues. Motivation : préparer le terrain pour le théorème de la capacité d information, qui définit une nouvelle limite fondamentale dans la théorie de linformation. 1-9Extension aux signaux continus

39 TIC - EII3 & DEA STIR Entropie différentielle Soit X une v.a. continue de fonction de densité de probabilité. Lentropie différentielle de X par la quantité : Remarques –On utilise lentropie différentielle car lentropie absolue H(X) est infinie, mais également du fait que lon manipule par la suite des différences dentropie. –Pour un vecteur aléatoire X = [X 1 X 2... X n ], on définit : 1-9 Extension aux signaux continus

40 TIC - EII3 & DEA STIR Exemples –Distribution uniforme ; –Distribution gaussienne ; 1-9 Extension aux signaux continus

41 TIC - EII3 & DEA STIR

42 TIC - EII3 & DEA STIR Information mutuelle Soient X et Y deux v.a. continues. Par analogie avec la définition dans le cas discret, on définit linformation mutuelle entre X et Y par : où est la fonction de densité de probabilité jointe de X et Y et est la densité conditionnelle de X sachant Y = y. 1-9 Extension aux signaux continus

43 TIC - EII3 & DEA STIR Propriétés Symétrie Non-négativité où est appelée entropie différentielle conditionnelle de X sachant Y. 1-9 Extension aux signaux continus

44 TIC - EII3 & DEA STIR Théorème de la capacité dinformation On se place ici dans le cas de canaux de transmission : –à bande limitée, –à puissance limitée, –à distribution gaussienne. On considère un processus aléatoire stationnaire à moyenne nulle et à spectre limité dans une bande B Hz ; Ce signal est échantillonné uniformément à la fréquence de Nyquist (2B échantillons / sec.) ; Ces échantillons sont transmis en T secondes sur un canal gaussien de moyenne nulle et de densité spectrale (bilatérale), lui aussi limité à une bande B Hz. Le nombre déchantillons est donc K = 2BT.

45 TIC - EII3 & DEA STIR On pose un échantillon du signal transmis, et léchantillon reçu ; On a pour k = 1, 2,..., K, avec On suppose que les sont indépendants. On suppose lémetteur limité en puissance : où P est la puissance moyenne transmise. Remarque : Le canal gaussien limité en bande et en puissance nest pas seulement un modèle théorique ; il est dune grande importance dans beaucoup de structures de communication (liaisons radio, satellite...) Théorème de la capacité dinformation

46 TIC - EII3 & DEA STIR Définition La capacité dinformation du canal est la quantité : Or Et est indépendant de Or Donc gaussiennes => gaussienne Et finalement 1-10 Théorème de la capacité dinformation

47 TIC - EII3 & DEA STIR Evaluation de C variance de : entropie différentielle : variance de : entropie différentielle : Et finalement bits par transmission, 1-10 Théorème de la capacité dinformation

48 TIC - EII3 & DEA STIR Théorème de la capacité dinformation (3ème théorème de Shannon) La capacité dinformation dun canal continu de bande passante B Hz perturbé par un bruit blanc gaussien additif de densité spectrale de puissance et également limité à la bande passante B, est donnée par : où P est la puissance moyenne de transmission Théorème de la capacité dinformation

49 TIC - EII3 & DEA STIR Conséquences Pour P, B, et N 0 fixés, on peut transmettre une information avec un débit de C bits par seconde avec une probabilité derreur arbitrairement petite, en employant un système de codage suffisamment complexe. Il nest pas possible de transmettre à un débit supérieur à C bits par seconde sans entraîner une probabilité derreur définie. Le théorème de la capacité dinformation définit donc une autre limite fondamentale sur le débit dune transmission sans erreur. Pour approcher cette limite, toutefois, le signal transmis doit avoir des propriétés statistiques approchant celles du bruit gaussien Théorème de la capacité dinformation

50 TIC - EII3 & DEA STIR Implications du théorème Pour avoir une idée des performances dun système de communication, il faut définir une base de comparaison sous la forme dun système idéal : –Transmission de débit R = C ; –P = E b.C, où E b est lénergie transmise par e.b. Le système idéal est défini par la relation De manière équivalente C/B efficacité en bande 1-10 Théorème de la capacité dinformation

51 TIC - EII3 & DEA STIR Diagramme defficacité en bande 1-10 Théorème de la capacité dinformation Eb/No (dB) Rb/B Limite de Shannon = – 1.6 dB Région pour laquelle Rb > C Région pour laquelle Rb < C frontière Rb = C

52 TIC - EII3 & DEA STIR Théorème de la capacité dinformation Diagramme defficacité en bande Eb/No (dB) Rb/B Limite de Shannon = – 1.6 dB Région pour laquelle Rb > C Région pour laquelle Rb < C frontière Rb = C

53 TIC - EII3 & DEA STIR Remarques Pour une bande passante infinie, le rapport approche la limite de Shannon : La frontière de capacité sépare les différentes combinaisons de paramètres du système supportant des transmissions sans erreur (R C) Théorème de la capacité dinformation

54 TIC - EII3 & DEA STIR

55 TIC - EII3 & DEA STIR Exemple : Modulation par Impulsion et Codage (MIC) M-aire 1-10 Théorème de la capacité dinformation

56 TIC - EII3 & DEA STIR Distorsion de linformation Dans plusieurs situations pratiques, des contraintes forcent le codage à être imparfait, ce qui implique de la distorsion. Exemples : –un débit maximum peut être spécifié, impliquant une limite pour la longueur moyenne des mots-code. –signal de parole : nécessite une quantification pour représentation numérique. On parle alors de codage avec critère de fidélité, et la théorie associée est celle de la distorsion de débit. Application dans deux situations : –Codage de source pour les sources continues (compression du signal), –Transmission dinformation à débit supérieur à la capacité du canal.

57 TIC - EII3 & DEA STIR La compression dinformation est une des applications de la théorie de la distorsion dinformation. Un compresseur de signal est un dispositif fournissant des mots-code avec un minimum de symboles et sujet à une distorsion contrôlée. Le compresseur de signal retient le contenu informationnel pertinent, en gommant les détails fins. On parle alors de compression avec perte (lossy compression) : lentropie diminue et donc linformation est perdue Compression dinformation

58 TIC - EII3 & DEA STIR Source discrète : lobjectif est de transmettre à des taux de codage (longueur moyenne) inférieurs à lentropie de la source. –Exemple : codage dimages numériques fixes ou animées (JPEG, MPEG). Source continue : on ne peut faire autrement pour mettre en œuvre une communication numérique –Exemple : codage de parole sur réseau téléphonique (MICDA). Dans les deux cas, la distorsion du codage est mesurée en fonction : –de critères objectifs : maximisation du rapport S/N, minimisation de la distorsion quadratique, –de critères subjectifs : qualité visuelle ou auditive Compression dinformation


Télécharger ppt "TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions fondamentales de théorie de linformation (7h) Définitions."

Présentations similaires


Annonces Google