La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique de la communication » avec W. Weaver quantité d’info issue d’une source propriété des canaux relation entre l’info à transmettre et le canal pour une utilisation optimale Pr. I. Zambettakis
Les 3 niveaux des problèmes de communication A technique : exactitude de transmission B sémantique : précision de la signification C efficacité : influence sur la conduite bruit bruit bruit bruit bruit source émetteur canal récepteur destination message signalémis signalreçu codage décodage Pr. I. Zambettakis
Quatre questions comment mesurer la quantité d’information ? Comment mesurer la capacité d’un canal ? Qu’est-ce qu’un codage efficace ? Comment diminuer le bruit et jusqu’à quel point ? Pr. I. Zambettakis
Entropie : mesure de la quantité d’info Information signification sa mesure est liée non pas à ce que l’on dit, mais à ce que l’on pourrait dire c’est une mesure de la liberté de choix basée sur la fonction log2 : fn du nombre de cas possibles nulle si pas de choix unité si 2 choix possibles : bit si infinité de choix Pr. I. Zambettakis
Entropie d’une source Les messages ou symboles sont équiprobables E = log2 (nbre de symboles possibles) Les symboles ne sont pas équiprobables processus de Markoff : système produisant une séquence finie de symboles (s1 , s2 ,… si ,…sn) selon certaines probabilités pi dépendant ou non des symboles précédents 1- cas simple : symboles indépendants E = - ipi log2 (pi) 2- symboles dépendant du précédent pi(j) : probabilité d’avoir sj après si fi : fréquence du symbole i E = - i,jpi pi(j)log2 (pi(j)) Es = - i,jfi pi(j)log2 (pi(j)) Pr. I. Zambettakis
E = quantité d’info (nombre de bits) produite par la source, par symbole Es = quantité d’info (nombre de bits) produite par la source, par seconde E = 0 : pas de choix, pas d’information Emax= log2(n) max d’incertitude pour pi =1/n E augmente avec le nombre de symboles possibles Pr. I. Zambettakis
Capacité d’un canal C = débit maximal possible ( en bits/s) mesure la quantité d’info. transmise, issue d’une source dépend : - des propriétés statistiques de la source - de l’aptitude du canal à transmettre les signaux c.a.d. du codage utilisé Pr. I. Zambettakis
Codage Efficacité : = E / Emax redondance : r = 1- en % + r est grand + on perd de tps à la transmission Pour diminuer r : coder des extensions d’ordre m de la source Le meilleur codage est celui qui assure C = Es c’est-à-dire la plus grande entropie pour le signal Pr. I. Zambettakis
Codage optimal Le codage qui assure le débit moyen le plus grand peut-être obtenu par : ranger les messages de longueur N par ordre de probabilité décroissante ps coder chaque message en binaire, la longueur ms du code vérifiant : 1/(2 ms) ps 1/(2 ms-1) Le nombre moyen de bits utilisés par symbole est : EN = 1/N ms ps quand N augmente, tend vers l’entropie E de la source Pr. I. Zambettakis
Théorème 1 de Shannon Il est possible de comprimer une source d’information à l’aide d’un codage de source tel que la longueur moyenne EN du code tende vers l’entropie de la source E Il n’est pas possible de transmettre à un débit moyen supérieur à C / E symb/s. C : capacité du canal (bits / sec.) E : entropie de la source (bits / symboles) Pr. I. Zambettakis
Cas d’un canal bruité 1) Distorsion : Un signal X donne tjs le même signal Y = f(X) correction possible par f -1(Y) = X si f inversible : x1 x2 f(x1) f(x2) 2) Source X et bruit B : 2 signaux aléatoires E(X) = entropie de la source (entrée du canal) EY(X) = entropie de l’entrée connaissant la sortie E(X) - EY(X) = E(Y) - EX(Y) = I(X,Y) info réellement transmise Pr. I. Zambettakis
Capacité d’un canal bruité l’équivoque EX(Y) mesure l’ambiguité du signal reçu, donc l’info supplémentaire à ajouter pour le corriger EX(Y) = SsourceXp(xi)Exi(Y) où Exi(Y) = - SrecY pyi(xi) log2(pyi(xi)) le débit max possible de transmission, c.a.d. quand la source est correctement adaptée au canal est : C = max(Is (X,Y)) Si Es C il existe un codage tel que la sortie de la source soit transmise avec une fréquence d’erreur (équivoque) arbitrairement petite Si Es C il est possible de coder la source avec EsY Es - C Pr. I. Zambettakis
Théorème 2 de Shannon Si le canal peut acheminer l’information issue de la source ( Es < C ), alors il peut le faire avec une probabilité d’erreur aussi petite que l’on veut : TEB < Codage de canal Pr. I. Zambettakis
inutile, pour annuler les erreurs, d’accroître indéfiniment la redondance, ( débit de transmission 0 ) On ne peut pas avoir de transmission sans erreur si Es C, le code idéal, assurant EsY = min(Es - C), n’a pas été trouvé ! cas particulier du canal AGB à bande limitée LB pour une puissance d'émission PS : C= LB log₂(1 +PS /PB). Pr. I. Zambettakis