INFORMATIONS Selon G-B Davis, l'information représente les données transformées sous une forme significative pour la personne qui les reçoit : elle a une valeur pour ses décisions et ses actions.

Information > Plan Théorie de l’information Codage MPEG,MP3 Cryptage .

Théorie de l’information D’une point de vue de sa théorie l’ information désigne la réalisation de un ou plusieurs événements parmi un ensemble fini d’événements possibles Si on a N possibilités et que le message consiste à préciser laquelle s’est réalisée. Si N a deux éléments ( 0 et 1) on transmet une information « unité » SI N a 2n éléments Il faudra donner n information « unités » ( par exemple en numérotant les éléments et en donnant le numéro en base 2) Spécifier un élément parmi N revient à donner log2(N) d’unités d’information Si on a N possibilités à l’origine et si on les réduit à n On passe de Log2(N) à Log2(n) informations Donc l’information est Log2(N/n) Si je considère l’ensemble des personnes du CSTB et si je dis que celle dont je parle travaille à Champs je donne une information. Si j’ajoute qu’elle fait de l’informatique j’en donne un peu plus. Si N était le nombre de choix possibles initiaux et si je l’ai réduit à n j’ai donné Quantité d’information = log2(N/n) ( exprimé en logons) Travaille à champs N/n =800/400= 1 logon Travaille à l’informatique N/n=800/20 = 5,2 logon

Information > entropie et néguentropie Soit un ensemble N ayant n partition Ni, l’entropie de la partition est : C’est la mesure de l’information moyenne que donne la réalisation d’un événement Si je sais qu’une suite de 8 bits à 6 bits à 1 et 2 à 0. La probabilité d’apparition d’un 0 est de 2/8=1/4 celle d’un 1 de 6/8=3/4 Si je vois apparaître un zéro l’information est de 2 logon, si je vois apparaître un 1 elle est de 0,415 logon. L’entropie d’un tel type de suite sera ¼ x 2+ 3/4x 0,415 = 0,8 Une suite de 8 bits complètement aléatoire a une entropie 1x1/2+1x1/2= 1 Une suite complètement déterminée a une entropie nulle car une expérience supplémentaire ne me fournira aucune information L’entropie est maximale quand les possibilités sont équiprobables Elle peut être réécrite : -  p(x) log2(p(x)) L’entropie d’un couple de variables aléatoires indépendantes est égale à la somme des entropies Sur entropie et information consultez Yann OLLIVIER

Information> complexité Un ami est parti sur Mars. Il vous demande de lui transmettre Les tables de trigonométrie ( il a les sinus mais malheureusement a renversé du café sur les cosinus ) Les résultats du championnat de première division Dans le premier cas il suffit de lui rappeler que Cos(x) = sqrt ( 1-sin2(x)) Dans le second cas vous êtes obligé de lui transmettre tous les résultats -> la suite des sin(x) a une structure -> la suite des résultats de foot n’en a pas (On a déjà vu cela avec la complexité de Kolmogorov)

Information > incomplétude Une suite de bits ayant une certaine complexité a une description qui a aussi une complexité ( la description est aussi une suite de bits) La description « minimale » ne peut avoir une complexité supérieure à la suite qu’elle génère. Une description « exacte » est un système formel cad: Un ensemble de symboles avec une grammaire Un ensemble d’axiomes Une liste finie de règles de déductions permettant d’établir des théorèmes Dans un système formel de complexité n il est impossible de démontrer que la complexité d’une suite est supérieure à n ( théorème de Gödel)

Information > Codage On considère un alphabet AL={A B C D….] et un autre al = {a, b, c, d ..} On va faire correspondre à l’alphabet source AL des symboles de al qui constitueront le codage. Le code suivant n’est pas utilisable A -> 0 B->10 C-> 00 D->01 En effet si on reçoit la séquence 010100 Elle est interprétable comme 0!10!10!0 -> ABBA 01!01!00 -> DDC 01!0!10!0 -> DABA

Information > efficacité de codage Considérons les probabilités d’apparition des symboles dans l’alphabet source. Il est clair qu’il faut utiliser les symboles les plus courts pour ceux qui apparaissent le plus souvent. Le morse a été inventé bien avant la théorie de l’information mais respecte cette règle

Information >Efficacité de codage Soit un alphabet source comprenant deux symboles A et B de probabilité d’apparition respective 0,8 et 0,2 L’entropie de la source est 0,8 x lg(1/0,8) +0,2 lg(1/0,2)= 0,723 Si on fait correspondre le code A -> 0 B-> 1 En transmettant un symbole codé par symbole source on n’utilise pas l’information sur la probabilité d’apparition de A et B : on obtiendra donc 0,723 logon par symbole reçu

Information > efficacité du codage Pour diminuer la redondance on code par paquets de symboles source plutôt que symbole par symbole On considère les séquences de 2 symboles Message Probabilité code AA 0,64 AB 0,16 11 BB 0,04 101 BA 100 On aura alors pour un message reçu 0,64 lg(1/0,64)+0,16lg(1/016)+0,04lg(1/0,04) +0,16lg(1/0,16) Soit 1,45 logon par message alors que la longueur moyenne du code est 0,64x1+0,16x2+0,04x3+0,16x3=1,56 D’où une efficacité de 1,45/1,56 = 0,93 logon par symbole

Information > codage de caractères en longueur fixe Baudot ( 5 bits °+ basculement) ASCII ( 7 bits et parité, puis 8 bits )

Information > compression Codage entropique : ne tire pas partie des propriétés du signal à coder EX : 23400000000000077 = 234 12 0 2 7 Codage de source : tire partie des propriétés ( fréquence de symboles, palette de couleur, différence entre deux images …) SECAM : on part d’une image RVB, l’œil est plus sensible à la luminance ( noir et blanc) qu’à la chrominance ( 2 valeurs de « couleur » en soustraction de la luminance ), on ne transmettra à chaque ligne qu’une seule valeur de chrominance. JPEG : on commence par transformer RVB en luminance, chrominances ( calculées par moyenne sur des blocs de 4 pixels ) On divise en blocs de 8x8 , on calcule sur chacun deux la transformée en cosinus discrètes ( DCT). On élimine les coefficients les plus faibles ( en divisant à l’aide d’une table de quantification spécifique à chaque application ce qui permet d’obtenir beaucoup de 0 avec les coefficients non nuls dans la partie gauche en haut de la matrice 8x8 ) Pour chaque composante principale de bloc ( coin gauche en haut) on ne prend que sa différence avec celle du bloc précédent On code « entropique » le résultat en balayant la matrice en zig zag. ( pour ramasser de longues suites de 0)

Information > MPEG La vidéo 625 lignes de 625 pixels 4096 couleurs consomme ( 625x625x12x3x25= 350 MBs) + audio MPEG = JPEG + différences entre images 4 types d’images I : Images complètes JPEG ( référence) P : Différence bloc à bloc ( personnage se déplaçant sur fond fixe) B : Différence avec la précédente ou la suivante ( objet passant devant derrière un autre) D : Moyenne de bloc ( visualisation en avance rapide) MPEG1 ( NTSC, PAL/SECAM): bloc 8x8 MPEG2 ( TV numérique, 4 résolutions ): bloc 10x10, pas d’image D MPEG4 ( toutes applications) : DivX, XviD, WMV...

Information > MPEG 1 audio codeurs audio en sous-bandes (SBC ) modèle psycho acoustique (masquage d’une fréquence par une autre de niveau sonore plus élevé) quantification constitution de trame Layer 1 : 384 kbit/s, compression 4:1 32 sous bandes, FFT 512, quantification 6 bits Layer 2 : 192..256 kbit/s, compression 6:1..8:1 + FFT 1024 Layer 3 : 112..128 kbit/s, compression 10:1..12:1 + transformation en cosinus discrets ( DCT) et allocation dynamique des bandes MP3 = MPEG-1/2 Audio Layer 3

Information > transmission bruitée Supposons un canal qui transforme un 1 en 0 ou réciproquement avec une probabilité de 0,1 Pour améliorer la réception je peux : Répéter plusieurs fois chaque symbole Si je répète 3 fois 000, 001, 010,100 -> 0 111, 011,101,110 -> 1 On néglige la probabilité de 2 ou 3 erreurs simultanées Soit 3( 10-2+10-3) La probabilité d’erreur décroît mais la vitesse de transmission aussi.

Information > détection d’erreurs Parité Parité croisée CRC ( cyclic redundancy check) : on considère le message comme un polynôme M 10101 =x4+ x2+1 On prend un polynôme de contrôle R Le résultat de la division polynomiale (M+CRC)/R doit être nul. Cette méthode est utilisée en transmission pour valider des trames mais aussi sur les disques pour valider l’information de chaque secteur. Elle apparaît dès que l’on a des blocs d’information de longueur fixe Le polynôme de contrôle d’Ethernet est : CRC32 = X32 + X26 + X23 + X22 + X16 + X12 + X11 + X10 + X8 + X7 + X5 + X4 + X2 + X + 1

Information utile, inutile et probabilité Durant ses études d’économie Valérie était féministe Maintenant elle: Travaille dans une banque Travaille dans une banque et est féministe Soit un jeu télévisé. Vous êtes devant trois portes. Derrière deux d’entre elles il y a un carambar, derrière la troisième la fortune. Vous choisissez une porte ( mettons celle du centre) Le présentateur ( qui ne ment pas ) dit « derrière la porte de gauche il y a un carambar » Devez vous : Maintenir votre choix Choisir la porte de droite

Information > hasard calculé On a souvent besoin de générer des valeurs aléatoires Un générateur aléatoire élémentaire est formé par une récurrence xn=axn-1+b modulo(n) La période maximale d’un tel générateur est n si a et b sont bien choisis (pour les machines 32 bits a=16807,c=0,n=231-1) Pour simuler une distribution de poisson on fait marcher ce générateur aléatoire en n’acceptant que des valeurs comprises dans une fourchette le nombre d’essais entre deux réussites suit une distribution de poisson Supposons que l’on est à mesurer la surface d’une figure complexe comprise dans un carré . On peut tirer des coordonnées au hasard et voir si elle tombent dans la surface. Le rapport entre le nombre tirages dans la surface et le nombre de tirage total donne la surface

Information > cryptage Algorithme RSA Bob choisit deux nombres premiers p et q q. Il forme pq=N Il choisit un nombre c n’ayant pas de diviseur commun avec (p-1)(q-1) Il envoie à Alice publiquement N et c Alors Alice peut envoyer un message codé à Bob (un nombre a < N) en formant b=Ac modulo (N) Bob décode le message en utilisant N et d tel que cd=1 modulo(p-1)(q-1) Il retrouve le message par l’opération : bd modulo( N) = a Voyons d’abord sur un exemple p=3, q=7, N=21, (p-1)(q-1)= 12. On prend c= 5 (qui n’a pas de facteur commun avec 12), on a alors d=5 car 5 x 5= 2x12+1 Bob envoie N=21,c=5 Alice veut envoyer 4 elle calcule 45 modulo( 21) = 1024=21x48+16 modulo (21) = 16 Bob calcule 165 modulo (21) = 49932x21+4 modulo(21) = 4 Magique !

Cryptage > les maths de RSA Les entiers premiers avec N forment un groupe vis-à-vis de la multiplication modulo N Soit b c premiers avec N alors bc est premier avec N Soit bc=be modulo(N) alors d=e Il existe d, inverse de c, tel que cd= 1 modulo(N) L’ordre k d’un élément est le plus petit entier tel que ak=1 modulo(N) . Si N est premier alors k=N-1 Soit deux nombres premiers p et q et un entier a qui n’est divisible ni par p ni par q on a a(p-1)(q-1)=1 mod(pq) cd= 1+ s(p-1)(q-1) ( car cd=1 modulo(p-1)(q-1)) a1+s(p-1)(q-1)= a modulo(pq) bd=acd= a modulo(pq)