Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)

Présentation au sujet: "Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)"— Transcription de la présentation:

1 Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)

2 Séminaire Biblio LISC - 3/04/02 Logico-empirisme Systèmes formels logiques Divers empirique Structurent

3 Séminaire Biblio LISC - 3/04/02 Langage formel u Ensemble de signes u axiomes u règles dinférence qui permettent de dériver des formules à partir des axiomes

4 Séminaire Biblio LISC - 3/04/02 Machine de Turing 111100 Nombre détats fini Règles de transition de type : (étati, clu, étatf, cécrit, dpl) On appelle M ( n ) le résultat en écriture

5 Séminaire Biblio LISC - 3/04/02 Thèse de Church-Turing u Toute fonction définissable par un algorithme est définissable par une machine de Turing u Equivalence avec les fonction récursives partielles ou les fonctions lambda- définissables.

6 Séminaire Biblio LISC - 3/04/02 0 Calculateur 111100Programme 111100Travail 01100Résultats Uniquement lecture vers la droite Uniquement écriture vers la droite

7 Séminaire Biblio LISC - 3/04/02 Calculateur universel u Il existe des calculateurs universels Ci tels que pour tout calculateur Ck, pour tout programme réduit pr de Ck, il existe pr un programme réduit de Ci tel que pour toute donnée s : Ci ( pr, s )= Ck ( pr, s ) et longueur( pr ) <longueur( pr )+simul( Ck )

8 Séminaire Biblio LISC - 3/04/02 Complexité de Kolmogorov u Soit une chaine de caractères (binaires) s finie u K ( s ) est définie comme la taille du plus petit programme tel que, pour Cu calculateur universel : Cu ( pr, )= s

9 Séminaire Biblio LISC - 3/04/02 Complexité de Chaitin et Levin u Idem complexité de Kolmogorov, mais programmes auto-délimités u Permet de définir une probabilité de tirage au hasard dun programme et de faire un lien avec lentropie

10 Séminaire Biblio LISC - 3/04/02 Théorie de linformation de Shannon u La quantité dinformation correspond à la longueur moyenne des programmes minimaux permettant de de reconstituer des chaines s de caractères c i dont les probabilités dapparition sont p i valeur : longueur( s )(- p i log p i )

11 Séminaire Biblio LISC - 3/04/02 Chaînes de caractères infinies u Chaine binaire infinie s u Partie A de N : Si sn =1 alors n A, si sn =0 alors n A u Ensemble de formules dun système formel : on numérote les formules dans lordre lexicographique.

12 Séminaire Biblio LISC - 3/04/02 Cinq classes densembles Récursifs Récursivement énumérables Approximables Inapproximables Incompressibles

13 Séminaire Biblio LISC - 3/04/02 Récursif u Il existe une machine de Turing M telle que pour tout entier n : M ( n )=1 si n A et M ( n )=0 si n A u Il existe un système formel correct et complet pour les énoncés de la forme n A et de la forme n A u Exemples : u lensemble des entiers pairs u lensemble des nombres premiers

14 Séminaire Biblio LISC - 3/04/02 Récursivement énumérable u Il existe une machine de Turing telle que M ( n )=1 pour tout n A (mais ne sarrête pas forcément pour n A ) u Il existe un système formel correct et complet pour les énoncés de la forme n A u Exemple u Lensemble E tel que Mi ( i ) existe

15 Séminaire Biblio LISC - 3/04/02 E est récursivement énumérable u Soit M la machine qui, à partir de i : u Reconstitue la machine Mi, en utilisant les règles de numérotation (cette opération est récursive et se termine) u Fait tourner Mi sur i et inscrit 1 comme résulat après larrêt u M est telle que M ( i )=1 pour tout i E

16 Séminaire Biblio LISC - 3/04/02 E nest pas récursif (Turing 1936) u Soit M la machine qui donne M ( i ) =1 si Mi ( i ) sarrête, M ( i ) = 0 si Mi ( i ) ne sarrête pas. u alors on peut en déduire M telle que M ( i ) nexiste pas si Mi ( i ) existe, et M ( i ) = 0 si Mi ( i ) nexiste pas. u Posons M = Mk, alors on a : Mk ( k ) existe => Mk ( k ) nexiste pas

17 Séminaire Biblio LISC - 3/04/02 Ensemble approximable u A est approximable si et seulement si A est fini ou contient un ensemble infini récursivement énumérable u Exemple : u Lensemble des formules vraies pour larithmétique est approximable, mais pas récursivement énumérable

18 Séminaire Biblio LISC - 3/04/02 Arithmétique u Formules du calcul des prédicats du premier ordre utilisant =, 0, s, +,. u On peut numéroter les formules de larithmétique, par exemple par taille croissante et par ordre lexicographique u Soit Arith lensemble des formules vraies de larithmétique u Arith est approximable car il contient lensemble des formules vraies m + n = p

19 Séminaire Biblio LISC - 3/04/02 Arith est non récursivement énumérable (Gödel 1931) u si cétait possible alors il existerait une machine de Turing capable de prédire si Mi ( i ) sarrête (car ce sont des formules de larithmétique), ce qui est impossible

20 Séminaire Biblio LISC - 3/04/02 Ensemble inapproximable u Lensemble des formules de larithmétique vraies de la forme la suite s est de complexité n u Cad : Tout système formel correct pour les énoncés de la forme la suite s est complexité n nen produit quun nombre fini

21 Séminaire Biblio LISC - 3/04/02 Ensemble incompréssible u A est incompréssible si et seulement si : il existe une constante c telle que tout système formel S correct pour les énoncés de la forme n est dans A et de la forme n nest pas dans A en produit au plus H ( S )+c

22 Séminaire Biblio LISC - 3/04/02 Exemple densemble incompressible u La partie de N associée au nombre réel : = n A 2 -H( n ) où A est récursivement énumérable infini est un ensemble incompressible u Un système formel ne peut donner un nombre de digits du début de quégal à sa propre complexité (à une constante près)

23 Séminaire Biblio LISC - 3/04/02 Profondeur logique de Bennett u Définition : Soit s une chaine binaire finie, P ( s ) est le lemps de calcul du programme minimal de s u Intérêt : donne une idée de la complexité organisée. La profondeur diminue avec laléatoire, alors que la complexité de Kolmogorov augmente

24 Séminaire Biblio LISC - 3/04/02 Problème de décision polynomial u Soit A un ensemble récursif, A est dans P sil existe M une machine prédisant lappartenance ou la non-appartenance de n à A, avec un temps de calcul majoré par une fonction polynomiale de la taille de n.

25 Séminaire Biblio LISC - 3/04/02 Problème NP u Un ensemble A est dans NP ssi il existe un ensemble B et une machine M telle que : u Pour tout n tel que n A, il existe m B, de taille polynomiale avec n, tel que M ( n, m )=1 en temps polynomial u Pour tout n A, pour tout m N, M ( n, m )=0 (en temps polynomial)

26 Séminaire Biblio LISC - 3/04/02 Problème NP complet u Un problème A de décision est dit NP complet sil est NP, et que tout problème NP peut être transformé en A en temps polynomial. u Exemple de problème NP complet : la satisfiabilité des conjonctions de disjonctions (CNF)

27 Séminaire Biblio LISC - 3/04/02 Problème NP difficile u Un problème (pas forcément NP) tel que sil était résolu, alors il permettrait de résoudre en temps polynomial un problème NP complet.

28 Séminaire Biblio LISC - 3/04/02 Conclusion u Importance de la machine de Turing universelle qui donne du sens aux complexités de Kolmogorov et Bennett u Pas de sens unique pour complexité ou information u Lien avec la physique (entropie) la biologie et la cognition à manipuler avec beaucoup de prudence