Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 1 Théorie de linformation Hugues BENOIT-CATTIN.

Présentation au sujet: "Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 1 Théorie de linformation Hugues BENOIT-CATTIN."— Transcription de la présentation:

1 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 1 Théorie de linformation Hugues BENOIT-CATTIN

2 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 2 1. Introduction……………………….. D3-7 2. Sources discrètes & Entropie ……. D8-16 3. Canaux discrets & Capacité …….. D17-21 4. Codage de source ………………. D23-39 5. Codage de canal …………………. D41-73 6. Cryptographie ……………………. D75-D112 7. Conclusion ……………………….. D113 Plan

3 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 3 1. Introduction Vue densemble dun système de communication indépendante des moyens techniques & physiques

4 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 4

5 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 5 Paradigme de Shannon = modèle sys. com.

6 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 6 Modèle détaillé

7 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 7

8 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 8 2. Sources discrètes & Entropie Sources débitant des messages sous forme discrète !

9 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 9

10 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 10

11 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 11 Quantité d'information & Entropie Quantité d'information propre

12 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 12 Règle de Bayes : si x et y indépendants

13 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 13 Entropie

14 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 14 Ex : Source binaire

15 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 15 Redondance Propriétés de l entropie

16 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 16 Entropie & Débit d information Source Qaire

17 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 17 3. Canaux discrets & Capacité

18 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 18 Probabilités marginales

19 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 19 Canaux non perturbés Entropie réunie ou conjointe Entropie conditionnelle ou équivoque Canaux très perturbés

20 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 20 Transinformation & capacité Information mutuelle Transinformation

21 Dpt. Télécommunications, Services & Usages Théorie de l information H. Benoit-Cattin 21 Capacité dun canal Redondance dun canal Efficacité dun canal