V. Complexité  Exemples pour démarrer (tri insertion, tri fusion)

Présentation au sujet: "V. Complexité  Exemples pour démarrer (tri insertion, tri fusion)"— Transcription de la présentation:

1 V. Complexité  Exemples pour démarrer (tri insertion, tri fusion)
Maths appliquées Notations asymptotiques (Knuth) Récurrences T(n) = aT(n/b) + f(n) et études de cas Autres cas Euclide Exponentiation rapide Classes de complexité, NP-Complétude

2 Complexité algorithmique
Rappel de l’équifinalité 1 problème, plusieurs algorithmes (façons de le résoudre) Equivalence fonctionnelle… … mais différence en termes de performance Temps de réalisation Nombre et durée des opérations de production de la solution  Complexité temporelle Ressources mobilisées Nombre et taille des variables et SDD (résultats intermédiaires)  Complexité spatiale Complexité Principe

3 Analyse algorithmique
Besoin de pouvoir Connaître a priori les performances d’un algorithme En fonction de la taille (et de la nature) de l’entrée  Analyse algorithmique But : évaluer la complexité d’un algorithme Moyen Méthodes et techniques de mathématiques Dénombrement, comportements asymptotiques, récurrences, … Le premier à systématiser la démarche Don Knuth dans TAOCP Dans la suite du chapitre Focalisation sur l’analyse de la complexité temporelle Transposable sans difficulté à l’analyse de la complexité spatiale Complexité Evaluation

4 Tri par insertion But Principe
Trier en ordre croissant un tableau A d’entiers Principe On positionne le 2nd élément par rapport au 1er Puis on positionne le 3ème par rapport aux 2 premiers Et ainsi de suite… Complexité Evaluation Exemple 1

5 Algorithme Complexité Evaluation Exemple 1

6 Temps d’exécution Temps d’exécution de l’algorithme
Somme sur l’ensembles des instructions i élémentaires Du temps constant ai pour l’instruction Multiplié par Le nombre ki de répétitions de cette instruction Qui va naturellement dépendre de la taille n de l’entrée Ici la taille du tableau à trier Mais aussi de la nature de l’entrée Est-il déjà, au moins partiellement, trié ? Complexité Evaluation Exemple 1

7 Application au cas Instruction indexée d’après le numéro de ligne
 Instructions 2, 3, 4, 5, 6, 7, 9 Par exemple L’affectation j  i – 1 Prend un temps constant a4 Est répétée k4 = n – 1 fois L’évaluation de l’expression j > 0 et A[j] > e Prend un temps constant a5 Elle est répétée un nombre de fois qui varie suivant i 1 ≤ k5(i) ≤ i Notons ti = k5(i) Complexité Evaluation Exemple 1

8 Bilan Bilan Impact de la nature de l’entrée
Si le tableau est déjà trié (meilleur des cas) Si le tableau est trié en ordre inverse (pire des cas) Cas général Complexité Evaluation Exemple 1

9 Meilleur et pire des cas
Si le tableau est déjà trié (meilleur des cas) Le temps d’exécution est asymptotiquement proportionnel à n  Complexité linéaire Si le tableau est trié en ordre inverse (pire des cas) Le temps d’exécution est asymptotiquement proportionnel à n²  Complexité quadratique Complexité Evaluation Exemple 1

10 Le pire des cas fait référence
Cas moyen Même ordre de grandeur que le pire des cas Pire des cas borne supérieure quelque soit l’entrée Pas de mauvaise surprise  On s’intéresse surtout au pire des cas  On s’intéresse surtout à l’ordre de grandeur Constantes et termes non dominants peu significatif Le tri par insertion est de complexité quadratique dans le pire des cas, ce que l’on note Complexité Evaluation Exemple 1

11 Tri-fusion But Stratégie
Trier en ordre croissant un tableau A d’entiers Stratégie Paradigme « diviser pour régner » Descente Divisions successives du tableau en parties Remontée Fusion des parties triée (Procédure auxiliaire Fusionner en ) Terminaison de la descente récursive Une partie à un seul élément est naturellement triée Complexité Evaluation Exemple 2

12 Algorithme Complexité Evaluation Exemple 2

13 Temps d’exécution Temps d’exécution de l’algorithme
On distingue T(n) : temps d’exécution sur une entrée de taille n D(n) : temps passé à diviser le problème en a sous-problèmes de taille n/b (la plupart du temps a = b) S(n) : temps passé à synthétiser la solution À partir des solutions aux sous-problèmes Il existe un seuil ε : n < ε  T(n) constant Traduction formelle : Complexité Evaluation Exemple 2

14 Application au cas D(n) : division du tableau en deux parties :
S(n) : Procédure fusion : n < 1  T(1) = Expression du temps d’exécution du tri-fusion Cette récurrence se résout en En attendant de savoir le démontrer : … Complexité Evaluation Exemple 2

15 Application au cas Montrer par induction que : Complexité Evaluation
Exemple 2

16 Comparaison Le tri-fusion est, dans le pire des cas, bien plus performant que le tri par insertion n = 109 Machine qui effectue 109 opérations par seconde Tri par insertion : ~30 ans Tri-fusion : ~30 secondes Complexité Evaluation Exemple 2

17 V. Complexité Exemples pour démarrer (tri insertion, tri fusion)
Maths appliquées  Notations asymptotiques (Knuth) Récurrences T(n) = aT(n/b) + f(n) et études de cas Autres cas Euclide Exponentiation rapide Classes de complexité, NP-Complétude

18 Borne approchée Définition formelle de
Si alors on dit que est une borne approchée asymptotiquement pour est une classe d’équivalence doit être asymptotiquement positive Complexité Nota. Asympt. Borne approchée

19 Borne approchée Exercice On note abusivement pour
Soit une fonction polynomiale Montrer que Indice On note abusivement pour Si vous vous demandiez encore en L1 à quoi peut bien vous servir concrètement l’analyse en informatique, vous avez là un début de réponse Complexité Nota. Asympt. Borne approchée

20 Borne supérieure Définition formelle
Si alors on dit que est une borne asymptotique supérieure pour est une classe d’équivalence La borne peut être asymptotiquement approchée Complexité Nota. Asympt. Borne supérieure

21 Borne inférieure Définition formelle
Si alors on dit que est une borne asymptotique inférieure pour est une classe d’équivalence Complexité Nota. Asympt. Borne inférieure

22 Borne strictement supérieure
Définition formelle Si alors on dit que est asymptotiquement négligeable devant Classe usuelle en analyse (développements limités) Complexité Nota. Asympt. Borne >

23 Borne strictement inférieure
Définition formelle Si alors on dit que est asymptotiquement négligeable devant Complexité Nota. Asympt. Borne <

24 Illustrations Classes d’équivalence, i.e. Relation d’équivalence
Transitivité Réflexivité Symétrie Valable pour les 5 notations Complexité Nota. Asympt. Exemples, propriétés

25 V. Complexité Exemples pour démarrer (tri insertion, tri fusion)
Maths appliquées Notations asymptotiques (Knuth)  Récurrences T(n) = aT(n/b) + f(n) et études cas Autres cas Euclide Exponentiation rapide Classes de complexité, NP-Complétude

26 Problématique Algorithmes conçus cf. diviser pour régner
Ne conduisent pas directement à T(n) en fonction de n Mais à une récurrence, i.e. T(n) en fonction de T(n – 1) Rappel pour tri-fusion Comment établir que ? Complexité Récurrences Problématique

27 3 méthodes de résolution
Des récurrences de la forme 1. Inductive On connait l’expression fonction de n a priori (conject.) On utilise un argument de récurrence 2. Itérative On transforme la récurrence en sommations que l’on peut ensuite borner (pour les fans de Faulhaber) 3. Méthode (quasi) générale de résolution Un théorème à appréhender en profondeur Trois cas à envisager en pratique Reste quelques cas irrésolubles (avec cette méthode) Complexité Récurrences Méthodes

28 Méthode générale Soit deux constantes a ≥ 1 et b ≥ 1, une fonction f(n) définie pour les entiers positifs par la récurrence Alors T(n) peut être borné asymptotiquement comme suit : 1. 2. 3. Récurrences Méth. générale Théorème

29 Interprétation Comparaison asymptotique de f(n) et
Si l’une des deux domine l’autre (cas 1 et 3) Elle fixe la complexité de T(n) Cas 1 : Cas 3 : Sinon (cas 2), si elle sont équivalentes La complexité de T(n) est leur complexité fois ln n Cas 2 : Mais attention aux conditions !!  Certains cas ne peuvent être résolus Récurrences Méth. générale Intuitivement

30 Exemples d’application
Tri-fusion Karatsuba Récurrences Méth. générale Exemples

31 Exemple d’application 1
est naturellement dominée par Formellement : Le cas 1 s’applique et par conséquent : Récurrences Méth. générale Exemple 1

32 Exemple d’application 2
est du même ordre que Formellement : Le cas 2 s’applique et par conséquent : Récurrences Méth. générale Exemple 2

33 Exemple d’application 3
domine : Pour : Le cas 3 s’applique et par conséquent : Récurrences Méth. générale Exemple 3

34 Exemple d’application 4
domine : On pourrait s’attendre à pouvoir appliquer le cas 3 Mais : Donc, pour tout , Par conséquent, le théorème ne peut s’appliquer Récurrences Méth. générale Exemple 3

35 Application au tri-fusion
est du même ordre que Formellement : Le cas 2 s’applique et par conséquent : Récurrences Méth. générale Tri-fusion

36 Application à Karatsuba
Multiplication de deux nombres en numération de position Nombres de 2n chiffres Décomposition en deux moitiés Représentation algébrique de la multiplication naïve Les multiplications sont plus coûteuses que les additions Version naïve : 4 multiplications intermédiaires Forme équivalente de Karatsuba Complexification Mémorisation et réutilisation de résultats intermédiaires Ajout de 3 opérations additives supplémentaires On tombe à 3 multiplications ! Application récursive du procédé : O(n2)  O(n1,58) Récurrences Méth. générale Karatsuba

37 Application à Karatsuba
est dominée d’un exposant 0,58 par Formellement : Le cas 1 s’applique et par conséquent : Récurrences Méth. générale Karatsuba

38 V. Complexité Exemples pour démarrer (tri insertion, tri fusion)
Maths appliquées Notations asymptotiques (Knuth) Récurrences T(n) = aT(n/b) + f(n) et études de cas  Autres cas Euclide Exponentiation rapide Classes de complexité, NP-Complétude

39 Complexité de l’algorithme d’Euclide
Quelle complexité ? Réponse au + 5 fois le nombre de chiffre en base 10 du plus petit de a et b. Pas facile d’appliquer ce qui a été vu plus haut Nous allons démontrer le théorème de Lamé Les nombres de Fibonacci s’invitent dans la partie Au tableau, avec la participation des volontaires NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

40 Complexité de l’algorithme d’Euclide
Temps d’exécution T(n) de l’algorithme d’Euclide Grosso modo le nombre k d’appels récursifs Premier point : soit le PGCD(a, b) On force la convention a > b ≥ 0 Raisonnable Si b > a ≥ 0 alors un seul appel récursif supplémentaire a mod b = a et donc le 1er appel récursif est PGCD(b, a) Si a = b ≥ 0 alors un seul appel récursif a mod b = 0 et donc le 1er appel PGCD(b, 0) retourne b Si cet ordre est vérifié pour un appel récursif Elle sera alors vérifiée pour tous les appels suivants NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

41 Fibonacci (Léonard de Pise, dit)
Suite de Fibonacci Suite de nombres entiers Etude de la reproduction des lapins Interviennent dans la nature vivante Définition Premiers termes : 0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144 NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

42 Propriétés de la suite de Fibonacci
Strictement croissante à partir du rang 2 Reliée au nombre d’or (phi) D’où NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

43 Lemme Si a > b ≥ 0 et si PGCD(a, b) effectue k appels récursifs alors et Preuve par récurrence P(1) : Supposons P(k) Soit a > b ≥ 0 tq PGCD(a, b) effectue k + 1 appels récursifs Alors PGCD(a, b) appelle PGCD(b, a mod b) qui effectue k appels récursifs et donc, d’après P(k) : et Or, de Il vient Et donc , soit P(k + 1) NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

44 Théorème de Lamé Si a > b ≥ 0 et si alors PGCD(a, b) effectue moins de k appels récursifs Preuve : contraposée du lemme Propriété : la borne de Lamé est optimale Preuve : elle peut être atteinte Cas où a et b sont deux nombres de Fibonacci successifs un seul appel récursif Soit k ≥ 2, on vérifie aisément que Par conséquent appelle C’est-à-dire que effectue k – 1 appels récursifs NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

45 Conséquences Borne de Lamé : La règle empirique :
La complexité de l’algorithme d’Euclide est linéaire par rapport à la longueur de son plus petit opérande La règle empirique : D’où la règle empirique bien connue : Le nombre d’appels récursifs de l’algorithme d’Euclide est au + 5 fois le nombre de chiffre en base 10 du plus petit de a et b Exemple : PGCD(144, 89) : 10 appels NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

46 Complexité de l’expon. rapide
Voir corrigé du DE L2 2015, exo 6 En tirer un argument pour affirmer la complexité en log2 n Corrigé détaillé dans « Exercices et problèmes d’algorithmique numérique » p 191 NDLR : Euclide était un martien Complexité Cas spéciaux Euclide

47 V. Complexité Exemples pour démarrer (tri insertion, tri fusion)
Maths appliquées Notations asymptotiques (Knuth) Récurrences T(n) = aT(n/b) + f(n) et études de cas Autres cas Euclide Exponentiation rapide  Classes de complexité, NP-Complétude

48 NP-complétude De quoi est-il question ?
Exemples de problèmes NP-complets Le problème ouvert : P = NP ? Consultation de la littérature pour les plus motivés Complexité Classes NP-Complétude