La théorie de la communication de C. Shannon

Slides:



Advertisements
Présentations similaires
de l’algorithme de Viterbi
Advertisements

Chapitre IV Protection contre les erreurs
La théorie de l’information
Architecture de machines Codage des informations
STATISTIQUE INFERENTIELLE L ’ESTIMATION
Classification et prédiction
Recherche de motifs par méthodes exploratoires: Comparaisons de performances et statistiques sur le score.
PRINCIPE SIMPLIFIE DE LA COMPRESSION MP3
SuivantPrécédent ESSI 1 - Auto TS © Jean-Paul Stromboni (Mai 2000) Consolidation: tester les connaissances acquises 1 Etude de la commande du système.
Correction des flats-fields Nadège Meunier Atelier MTR, 17 janvier 2006, Tarbes.
Du signal continu au numérique
Modulation numérique.
La couche physique.
Temps de réaction et facteurs computationnels
Le FORUM RADIOCOMS est parrainé par :
1. L’ADN et l’information génétique
4. Notions de la théorie de l’information
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin Introduction 2. Vue densemble 3. Sources discrètes & Entropie.
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 1 Théorie de linformation Hugues BENOIT-CATTIN.
LES TRANSMISSIONS DE DONNEES DANS LE SECTEUR INDUSTRIEL. ZOBRIST Julien TS1 ETA.
Maria-João Rendas CNRS – I3S Novembre 2006
Partage de ressources par codes CDMA pseudo- aléatoires pour les réseaux ad-hoc Nicolas MARECHAL ème année Master ISSI INSA Lyon Encadrants : Jean-Marie.
Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X). Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X)
I CRYPTOLOGIE traditionnelle Sommaire 1.Les fondements p. 9 2.Confusion & Diffusion p Cryptages composés p. 39.
Introduction à la Théorie de l’Information
Transmission fiable et codes correcteurs
Chapitre VII :Commande par retour d’état
1 Introduction Problèmes et exigences rencontrés Codages et modulations employés Les technologies xDSL Conclusion Les technologies xDSL.
1 Introduction Problèmes et exigences rencontrés Codages et modulations employés Les technologies xDSL Conclusion Travail dInitiative Personnel Encadré
Révision des systèmes LIT, convolution et série de Fourier
Chaîne de Transmission
Codage et Protection contre les Erreurs
NOTE : Pour faire évoluer le diaporama, si le clic de souris ne fait rien utilisez les touches du clavier : Pg up Pg down.
Théorie de l’Information et Codage
Chapitre 3bis Applications linéaires et Matrices
Implémentation analogique de décodeurs correcteurs d’erreurs
Signaux aléatoires.
INF4420: Sécurité Informatique
Alors, sur retour unitaire
Institut Supérieur des Etudes Technologiques de Djerba Exposé du Traitement de Données Réalisé par: Khalifa Marwa Magroun Amira Jawadi Souad L2MDW.
Méthodes de prévision (STT-3220)
Télécommunications numériques
Les Codes Spatio-Temporels Correcteurs d’Erreurs
Cours n° 2 Liaison de données et trames
INF3500 : Conception et implémentation de systèmes numériques Pierre Langlois Performance de circuits.

TNS et Analyse Spectrale
Modélisation d'un modulateur et démodulateur OFDM
MODULATION I - Définitions et généralités s(t)
Chapitre 1 - Introduction.
Algorithme de Huffman Mis au point en 1952 par David Huffman
Recherche de motifs par projections aléatoires
Codes cycliques Hypothèse sur V = vocabulaire source Code linéaire - caractérisation Codage et décodage d’un code linéaire Code cyclique – caractérisation.
Codage de l’information
DU TRAITEMENT DU SIGNAL
DU TRAITEMENT DU SIGNAL
Tests d’ajustement à une distribution théorique
Cours 8 La transmission.
CHAPITRE 3. Acquisition d’information et révision des croyances
Commande en temps fini (boucle ouverte)
Les techniques de transmission
Séquence Chaîne de base Episode 5 « Pour aller plus loin »
CHAPITRE 2 La couche physique.
Introduction au traitement numérique du signal
    Type de signal, valence, débit symbole, débit source, fréquence de Nyquist, efficacité spectrale, bande passante nécessaire (a = 0,3), représentation.
Introduction aux statistiques Intervalles de confiance
1 Plan du cours Introduction Notions de mécanique : force, énergie, travail, puissance… Température et chaleur Systèmes, transformations et échanges thermodynamiques.
Psychologie sociale de la communication C. van de Leemput 16 février 2004.
Psychologie sociale de la communication
Psychologie sociale de la communication
Transcription de la présentation:

La théorie de la communication de C. Shannon Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques 1949 « Théorie mathématique de la communication » avec W. Weaver quantité d’info issue d’une source propriété des canaux relation entre l’info à transmettre et le canal pour une utilisation optimale Pr. I. Zambettakis

Les 3 niveaux des problèmes de communication A technique : exactitude de transmission B sémantique : précision de la signification C efficacité : influence sur la conduite bruit bruit bruit bruit bruit source émetteur canal récepteur destination message signalémis signalreçu codage décodage Pr. I. Zambettakis

Quatre questions comment mesurer la quantité d’information ? Comment mesurer la capacité d’un canal ? Qu’est-ce qu’un codage efficace ? Comment diminuer le bruit et jusqu’à quel point ? Pr. I. Zambettakis

Entropie : mesure de la quantité d’info Information  signification sa mesure est liée non pas à ce que l’on dit, mais à ce que l’on pourrait dire c’est une mesure de la liberté de choix basée sur la fonction log2 : fn  du nombre de cas possibles nulle si pas de choix unité si 2 choix possibles : bit   si infinité de choix Pr. I. Zambettakis

Entropie d’une source Les messages ou symboles sont équiprobables E = log2 (nbre de symboles possibles) Les symboles ne sont pas équiprobables processus de Markoff : système produisant une séquence finie de symboles (s1 , s2 ,… si ,…sn) selon certaines probabilités pi dépendant ou non des symboles précédents 1- cas simple : symboles indépendants E = - ipi log2 (pi) 2- symboles dépendant du précédent pi(j) : probabilité d’avoir sj après si fi : fréquence du symbole i E = - i,jpi pi(j)log2 (pi(j)) Es = - i,jfi pi(j)log2 (pi(j)) Pr. I. Zambettakis

E = quantité d’info (nombre de bits) produite par la source, par symbole Es = quantité d’info (nombre de bits) produite par la source, par seconde E = 0 : pas de choix, pas d’information Emax= log2(n) max d’incertitude pour pi =1/n E augmente avec le nombre de symboles possibles Pr. I. Zambettakis

Capacité d’un canal C = débit maximal possible ( en bits/s) mesure la quantité d’info. transmise, issue d’une source dépend : - des propriétés statistiques de la source - de l’aptitude du canal à transmettre les signaux c.a.d. du codage utilisé Pr. I. Zambettakis

Codage Efficacité :  = E / Emax redondance : r = 1-  en % + r est grand + on perd de tps à la transmission Pour diminuer r : coder des extensions d’ordre m de la source Le meilleur codage est celui qui assure C = Es c’est-à-dire la plus grande entropie pour le signal Pr. I. Zambettakis

Codage optimal Le codage qui assure le débit moyen le plus grand peut-être obtenu par : ranger les messages de longueur N par ordre de probabilité décroissante ps coder chaque message en binaire, la longueur ms du code vérifiant : 1/(2 ms)  ps 1/(2 ms-1) Le nombre moyen de bits utilisés par symbole est : EN = 1/N  ms ps quand N augmente, tend vers l’entropie E de la source Pr. I. Zambettakis

Théorème 1 de Shannon Il est possible de comprimer une source d’information à l’aide d’un codage de source tel que la longueur moyenne EN du code tende vers l’entropie de la source E Il n’est pas possible de transmettre à un débit moyen supérieur à C / E symb/s. C : capacité du canal (bits / sec.) E : entropie de la source (bits / symboles) Pr. I. Zambettakis

Cas d’un canal bruité 1) Distorsion : Un signal X donne tjs le même signal Y = f(X) correction possible par f -1(Y) = X si f inversible : x1  x2  f(x1)  f(x2) 2) Source X et bruit B : 2 signaux aléatoires E(X) = entropie de la source (entrée du canal) EY(X) = entropie de l’entrée connaissant la sortie E(X) - EY(X) = E(Y) - EX(Y) = I(X,Y) info réellement transmise Pr. I. Zambettakis

Capacité d’un canal bruité  l’équivoque EX(Y) mesure l’ambiguité du signal reçu, donc l’info supplémentaire à ajouter pour le corriger EX(Y) = SsourceXp(xi)Exi(Y) où Exi(Y) = - SrecY pyi(xi) log2(pyi(xi)) le débit max possible de transmission, c.a.d. quand la source est correctement adaptée au canal est : C = max(Is (X,Y)) Si Es  C il existe un codage tel que la sortie de la source soit transmise avec une fréquence d’erreur (équivoque) arbitrairement petite Si Es  C il est possible de coder la source avec EsY  Es - C Pr. I. Zambettakis

Théorème 2 de Shannon Si le canal peut acheminer l’information issue de la source ( Es < C ), alors il peut le faire avec une probabilité d’erreur aussi petite que l’on veut : TEB <  Codage de canal Pr. I. Zambettakis

inutile, pour annuler les erreurs, d’accroître indéfiniment la redondance, ( débit de transmission  0 )  On ne peut pas avoir de transmission sans erreur si Es  C,  le code idéal, assurant EsY = min(Es - C), n’a pas été trouvé !  cas particulier du canal AGB à bande limitée LB pour une puissance d'émission PS : C= LB log₂(1 +PS /PB). Pr. I. Zambettakis