Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 1 Théorie de linformation Hugues BENOIT-CATTIN
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 2 1. Introduction……………………….. D Sources discrètes & Entropie ……. D Canaux discrets & Capacité …….. D Codage de source ………………. D Codage de canal …………………. D Cryptographie ……………………. D75-D Conclusion ……………………….. D113 Plan
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 3 1. Introduction Vue densemble dun système de communication indépendante des moyens techniques & physiques
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 4
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 5 Paradigme de Shannon = modèle sys. com.
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 6 Modèle détaillé
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 7
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 8 2. Sources discrètes & Entropie Sources débitant des messages sous forme discrète !
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 9
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 10
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 11 Quantité d'information & Entropie Quantité d'information propre
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 12 Règle de Bayes : si x et y indépendants
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 13 Entropie
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 14 Ex : Source binaire
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 15 Redondance Propriétés de l entropie
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 16 Entropie & Débit d information Source Qaire
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin Canaux discrets & Capacité
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 18 Probabilités marginales
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 19 Canaux non perturbés Entropie réunie ou conjointe Entropie conditionnelle ou équivoque Canaux très perturbés
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 20 Transinformation & capacité Information mutuelle Transinformation
Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 21 Capacité dun canal Redondance dun canal Efficacité dun canal