La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique de la communication » avec W. Weaver quantité d’info issue d’une source propriété des canaux relation entre l’info à transmettre et le canal pour une utilisation optimale Pr. I. Zambettakis

Les 3 niveaux des problèmes de communication A technique : exactitude de transmission B sémantique : précision de la signification C efficacité : influence sur la conduite bruit bruit bruit bruit bruit source émetteur canal récepteur destination message signalémis signalreçu codage décodage Pr. I. Zambettakis

Quatre questions comment mesurer la quantité d’information ? Comment mesurer la capacité d’un canal ? Qu’est-ce qu’un codage efficace ? Comment diminuer le bruit et jusqu’à quel point ? Pr. I. Zambettakis

Entropie : mesure de la quantité d’info Information  signification sa mesure est liée non pas à ce que l’on dit, mais à ce que l’on pourrait dire c’est une mesure de la liberté de choix basée sur la fonction log2 : fn  du nombre de cas possibles nulle si pas de choix unité si 2 choix possibles : bit   si infinité de choix Pr. I. Zambettakis

Entropie d’une source Les messages ou symboles sont équiprobables E = log2 (nbre de symboles possibles) Les symboles ne sont pas équiprobables processus de Markoff : système produisant une séquence finie de symboles (s1 , s2 ,… si ,…sn) selon certaines probabilités pi dépendant ou non des symboles précédents 1- cas simple : symboles indépendants E = - ipi log2 (pi) 2- symboles dépendant du précédent pi(j) : probabilité d’avoir sj après si fi : fréquence du symbole i E = - i,jpi pi(j)log2 (pi(j)) Es = - i,jfi pi(j)log2 (pi(j)) Pr. I. Zambettakis

E = quantité d’info (nombre de bits) produite par la source, par symbole Es = quantité d’info (nombre de bits) produite par la source, par seconde E = 0 : pas de choix, pas d’information Emax= log2(n) max d’incertitude pour pi =1/n E augmente avec le nombre de symboles possibles Pr. I. Zambettakis

Capacité d’un canal C = débit maximal possible ( en bits/s) mesure la quantité d’info. transmise, issue d’une source dépend : - des propriétés statistiques de la source - de l’aptitude du canal à transmettre les signaux c.a.d. du codage utilisé Pr. I. Zambettakis

Codage Efficacité :  = E / Emax redondance : r = 1-  en % + r est grand + on perd de tps à la transmission Pour diminuer r : coder des extensions d’ordre m de la source Le meilleur codage est celui qui assure C = Es c’est-à-dire la plus grande entropie pour le signal Pr. I. Zambettakis

Codage optimal Le codage qui assure le débit moyen le plus grand peut-être obtenu par : ranger les messages de longueur N par ordre de probabilité décroissante ps coder chaque message en binaire, la longueur ms du code vérifiant : 1/(2 ms)  ps 1/(2 ms-1) Le nombre moyen de bits utilisés par symbole est : EN = 1/N  ms ps quand N augmente, tend vers l’entropie E de la source Pr. I. Zambettakis

Théorème 1 de Shannon Il est possible de comprimer une source d’information à l’aide d’un codage de source tel que la longueur moyenne EN du code tende vers l’entropie de la source E Il n’est pas possible de transmettre à un débit moyen supérieur à C / E symb/s. C : capacité du canal (bits / sec.) E : entropie de la source (bits / symboles) Pr. I. Zambettakis

Cas d’un canal bruité 1) Distorsion : Un signal X donne tjs le même signal Y = f(X) correction possible par f -1(Y) = X si f inversible : x1  x2  f(x1)  f(x2) 2) Source X et bruit B : 2 signaux aléatoires E(X) = entropie de la source (entrée du canal) EY(X) = entropie de l’entrée connaissant la sortie E(X) - EY(X) = E(Y) - EX(Y) = I(X,Y) info réellement transmise Pr. I. Zambettakis

Capacité d’un canal bruité  l’équivoque EX(Y) mesure l’ambiguité du signal reçu, donc l’info supplémentaire à ajouter pour le corriger EX(Y) = SsourceXp(xi)Exi(Y) où Exi(Y) = - SrecY pyi(xi) log2(pyi(xi)) le débit max possible de transmission, c.a.d. quand la source est correctement adaptée au canal est : C = max(Is (X,Y)) Si Es  C il existe un codage tel que la sortie de la source soit transmise avec une fréquence d’erreur (équivoque) arbitrairement petite Si Es  C il est possible de coder la source avec EsY  Es - C Pr. I. Zambettakis

Théorème 2 de Shannon Si le canal peut acheminer l’information issue de la source ( Es < C ), alors il peut le faire avec une probabilité d’erreur aussi petite que l’on veut : TEB <  Codage de canal Pr. I. Zambettakis

inutile, pour annuler les erreurs, d’accroître indéfiniment la redondance, ( débit de transmission  0 )  On ne peut pas avoir de transmission sans erreur si Es  C,  le code idéal, assurant EsY = min(Es - C), n’a pas été trouvé !  cas particulier du canal AGB à bande limitée LB pour une puissance d'émission PS : C= LB log₂(1 +PS /PB). Pr. I. Zambettakis