La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Pr. I. Zambettakis La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique.

Présentations similaires


Présentation au sujet: "1 Pr. I. Zambettakis La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique."— Transcription de la présentation:

1 1 Pr. I. Zambettakis La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique de la communication » avec W. Weaver quantité dinfo issue dune source propriété des canaux relation entre linfo à transmettre et le canal pour une utilisation optimale

2 2 Pr. I. Zambettakis Les 3 niveaux des problèmes de communication A technique: exactitude de transmission B sémantique : précision de la signification C efficacité : influence sur la conduite sourceémetteurcanalrécepteurdestination message signal émis signal reçu message codagedécodage bruit

3 3 Pr. I. Zambettakis Quatre questions comment mesurer la quantité dinformation ? Comment mesurer la capacité dun canal ? Quest-ce quun codage efficace ? Comment diminuer le bruit et jusquà quel point ?

4 4 Pr. I. Zambettakis Entropie : mesure de la quantité dinfo Information signification sa mesure est liée non pas à ce que lon dit, mais à ce que lon pourrait dire cest une mesure de la liberté de choix basée sur la fonction log 2 : fn du nombre de cas possibles nulle si pas de choix unité si 2 choix possibles : bit si infinité de choix

5 5 Pr. I. Zambettakis Entropie dune source Les messages ou symboles sont équiprobables E = log 2 (nbre de symboles possibles) Les symboles ne sont pas équiprobables processus de Markoff : système produisant une séquence finie de symboles (s 1, s 2,… s i,…s n ) selon certaines probabilités p i dépendant ou non des symboles précédents 1- cas simple : symboles indépendants E = - i p i log 2 (p i ) 2- symboles dépendant du précédent p i (j) : probabilité davoir s j après s i f i : fréquence du symbole i E = - i,j p i p i (j)log 2 (p i (j)) E s = - i,j f i p i (j)log 2 (p i (j))

6 6 Pr. I. Zambettakis E = quantité dinfo (nombre de bits) produite par la source, par symbole E s = quantité dinfo (nombre de bits) produite par la source, par seconde E = 0 : pas de choix, pas dinformation E max = log 2 (n) max dincertitude pour p i =1/n E augmente avec le nombre de symboles possibles

7 7 Pr. I. Zambettakis Capacité dun canal C = débit maximal possible ( en bits/s) mesure la quantité dinfo. transmise, issue dune source dépend : - des propriétés statistiques de la source - de laptitude du canal à transmettre les signaux c.a.d. du codage utilisé

8 8 Pr. I. Zambettakis Codage Efficacité: = E / E max redondance :r = 1- en % + r est grand + on perd de tps à la transmission Pour diminuer r : coder des extensions dordre m de la source Le meilleur codage est celui qui assure C = E s cest-à-dire la plus grande entropie pour le signal

9 9 Pr. I. Zambettakis Codage optimal Le codage qui assure le débit moyen le plus grand peut- être obtenu par : ranger les messages de longueur N par ordre de probabilité décroissante p s coder chaque message en binaire, la longueur m s du code vérifiant : 1/(2 ms ) p s 1/(2 ms-1 ) Le nombre moyen de bits utilisés par symbole est : E N = 1/N m s p s quand N augmente, tend vers lentropie E de la source

10 10 Pr. I. Zambettakis Théorème 1 de Shannon Il est possible de comprimer une source dinformation à laide dun codage de source tel que la longueur moyenne E N du code tende vers lentropie de la source E Il nest pas possible de transmettre à un débit moyen supérieur à C / E symb/s. C : capacité du canal (bits / sec.) E : entropie de la source (bits / symboles)

11 11 Pr. I. Zambettakis Cas dun canal bruité 1) Distorsion : Un signal X donne tjs le même signal Y = f(X) correction possible par f -1 (Y) = X si f inversible : x 1 x 2 f(x 1 ) f(x 2 ) 2) Source X et bruit B : 2 signaux aléatoires E(X) = entropie de la source (entrée du canal) E Y (X) = entropie de lentrée connaissant la sortie E(X) - E Y (X) = E(Y) - E X (Y) = I(X,Y) info réellement transmise

12 12 Pr. I. Zambettakis Capacité dun canal bruité léquivoque E X (Y) mesure lambiguité du signal reçu, donc linfo supplémentaire à ajouter pour le corriger E X (Y) = sourceX p(x i )E xi (Y) où E xi (Y) = - recY p yi (x i ) log 2 (p yi (x i )) le débit max possible de transmission, c.a.d. quand la source est correctement adaptée au canal est : C = max(I s (X,Y)) Si E s C il existe un codage tel que la sortie de la source soit transmise avec une fréquence derreur (équivoque) arbitrairement petite Si E s C il est possible de coder la source avec E sY E s - C

13 13 Pr. I. Zambettakis Théorème 2 de Shannon Si le canal peut acheminer linformation issue de la source ( E s < C ), alors il peut le faire avec une probabilité derreur aussi petite que lon veut : TEB < Codage de canal

14 14 Pr. I. Zambettakis inutile, pour annuler les erreurs, daccroître indéfiniment la redondance, ( débit de transmission 0 ) On ne peut pas avoir de transmission sans erreur si E s C, le code idéal, assurant E sY = min(E s - C), na pas été trouvé ! cas particulier du canal AGB à bande limitée L B pour une puissance d'émission P S : C= L B log (1 +P S /P B ).


Télécharger ppt "1 Pr. I. Zambettakis La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique."

Présentations similaires


Annonces Google