Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X). Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X)

Présentation au sujet: "Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X). Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X)"— Transcription de la présentation:

1 Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X)

2 Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X) FAUX, en général

3 Entropie mutuelle On considère les variables discrètes aléatoires X et Y. Y = f (X) avec f une fonction déterministe. I(X;Y) = H(Y)

4 Entropie mutuelle On considère les variables discrètes aléatoires X et Y. Y = f (X) avec f une fonction déterministe. I(X;Y) = H(Y) VRAI I(X;Y) = H(Y) – H(Y|X) = H(Y) – H(f (X)|X) = H(Y)

5 Capacité de canal Soit C la capacité dun canal en bits/seconde. Il nest pas possible de transmettre des données à un débit supérieur à R, avec R = C bits/s.

6 Capacité de canal Soit C la capacité dun canal en bits/seconde. Il nest pas possible de transmettre des données à un débit supérieur à R, avec R = C bits/s. FAUX R > C est possible mais avec erreurs R = C est la limite garantissant une transmission sans erreur.

7 Capacité de canal Soit C( ) la capacité dun canal BSC, avec désignant la probabilité derreur. Alors C(1) < C(0.5)

8 Capacité de canal Soit C( ) la capacité dun canal BSC, avec désignant la probabilité derreur. Alors C(1) < C(0.5) FAUX C( ) = 1 – H( ) H( ) = - log( ) – (1- )log(1- ) H(0.5) = 1 C(0.5) = 0 H(1) = 0 C(1) = 1

9 Capacité de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance émise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la même largeur de bande et pour la même puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la même. Le capacité de C2 est supérieure à celle de C1.

10 Capacité de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance émise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la même largeur de bande et pour la même puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la même. Le capacité de C2 est supérieure à celle de C1. FAUX Le bruit blanc est le pire cas.

11 Capacité de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas être transmis sans erreur sur un canal BSC dont la probabilité derreur vaut = 0.05.

12 Capacité de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas être transmis sans erreur sur un canal BSC dont la probabilité derreur vaut = 0.05. VRAI Entropie de la source: H Source 0.53 + 0.44 = 0.97 Débit pour la source : H = 0.97 bits/seconde Capacité du canal : C 0.714 bits/seconde H > C