Entropie mutuelle I(X;X) = H(X) H(X|Y) = H(Y|X)

Entropie mutuelle I(X;X) = H(X) VRAI I(X;Y) = H(Y) – H(Y|X) I(X;X) = H(X) – H(X|X) = H(X) H(X|Y) = H(Y|X) FAUX, en général

Entropie mutuelle On considère les variables discrètes aléatoires X et Y. Y = f (X) avec f une fonction déterministe. I(X;Y) = H(Y)

Entropie mutuelle On considère les variables discrètes aléatoires X et Y. Y = f (X) avec f une fonction déterministe. I(X;Y) = H(Y) VRAI I(X;Y) = H(Y) – H(Y|X) = H(Y) – H(f (X)|X) = H(Y)

Capacité de canal Soit C la capacité dun canal en bits/seconde. Il nest pas possible de transmettre des données à un débit supérieur à R, avec R = C bits/s.

Capacité de canal Soit C la capacité dun canal en bits/seconde. Il nest pas possible de transmettre des données à un débit supérieur à R, avec R = C bits/s. FAUX R > C est possible mais avec erreurs R = C est la limite garantissant une transmission sans erreur.

Capacité de canal Soit C( ) la capacité dun canal BSC, avec désignant la probabilité derreur. Alors C(1) < C(0.5)

Capacité de canal Soit C( ) la capacité dun canal BSC, avec désignant la probabilité derreur. Alors C(1) < C(0.5) FAUX C( ) = 1 – H( ) H( ) = - log( ) – (1- )log(1- ) H(0.5) = 1 C(0.5) = 0 H(1) = 0 C(1) = 1

Capacité de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance émise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la même largeur de bande et pour la même puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la même. Le capacité de C2 est supérieure à celle de C1.

Capacité de canal Soit C1 un canal AWGN de largeur de bande W, avec une puissance émise P et une dsp de bruit N 0 /2. Soit C2 un canal AWGN avec la même largeur de bande et pour la même puissance que C1, mais une dsp de bruit valant S n (f). La puissance totale de bruit pour les 2 canaux est la même. Le capacité de C2 est supérieure à celle de C1. FAUX Le bruit blanc est le pire cas.

Capacité de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas être transmis sans erreur sur un canal BSC dont la probabilité derreur vaut = 0.05.

Capacité de canal Soit X n {0,1} avec Pr(X n =1) = 0.4, et produisant 1 bit/seconde. {X n } ne peut pas être transmis sans erreur sur un canal BSC dont la probabilité derreur vaut = VRAI Entropie de la source: H Source = 0.97 Débit pour la source : H = 0.97 bits/seconde Capacité du canal : C bits/seconde H > C