MATHÉMATIQUES DISCRÈTES Chapitre 4 (sec 4-5) François Meunier DMI

Pourquoi les Probabilités? Dans plusieurs situations nous ne pouvons savoir avec exactitude si une proposition est vraie ou fausse. En théorie des probabilités nous pouvons raisonner sur des propositions avec un degré d’incertitude. Les probabilités sont utilent pour pondérer des informations (évidence), diagnostiquer les problèmes, et analyser des situations où tous les détails ne sont pas connus. Applications en informatique: Réseautique, algorithmes aléatoires, algorithmes génétiques …

Expérimentation & Espace d’échantillonnage Quand nous effectuons une expérimentation comme: lancer un cinq ¢, lancer un dé, sélectionner deux étudiants aléatoirement à partir d’une classe de 20 pour faire la promotion des programmes du DMI, un ensemble de toutes les possibilités de combinaisons de 2 étudiants est un espace d’Échantillonnage ou un espace de probabilité. Espace d’échantillonage = Domaine d’une Variable aléatoire

Evénements (observations) Un événement E est n’importe quels sous-ensembles de résultats de l’ensemble fondamental S… En fait: E  S Ex: L’événement “moins que 25 étudiants viennent au prochain cours de PIF1005” est représenté par l’ensemble {1, 2, …, 24} de valeurs de la variable V = (# d’étudiants dans le prochain cours). V peut prendre une valeur entre 1 et 24

Probabilité La probabilité p = Pr[E]  [0,1] d’un événement E est un nombre réel représentant le degré de certitude que E survienne. Si Pr[E] = 1, alors E surviendra sûrement, Si Pr[E] = 0, alors E ne surviendra pas, Si Pr[E] = ½, alors E a autant de chance de survenir que non (incertitude maximale). Comment interpréter d’autres valeurs de p?

Quatre Définitions (Probabilité) Quatre approches pour exprimer les probabilités : Fréquentiste, Bayesien, Laplacien, Axiomatique Chacune des approches a ses forces et faiblesses. Mais, peuvent dans la majorité des cas interagir entre elles.

Probabilité: Laplacien Supposons d’abord que chacune des observations provenant de l’espace d’échantillonnage sont équiprobables. Donc, la probabilité d’un événement E est donnée par, Pr[E] = |E|/|S|. Problèmes: Besoin de définir la notion de probabilité d’occurrence équiprobable, et dépend de l’existence d’un espace fini S dans lequel toutes les observations dans S sont équiprobables.

Exemple Quelle est la probabilité qu’une main de 5 cartes de Poker contienne exactement un as? Il existe 4 (1 as/ sorte) façons de spécifier un as. Quand un as est pigé il reste alors C(48,4) façons de choisir les cartes non-as Donc il existe 4*C(48,4) mains avec exactement un as. Étant donné qu’il peut y avoir C(52,5) mains de probabilité d’occurrences équiprobables Alors: 4*C(48,4)/C(52,5) = .30

Exemple Quelle est la probabilité qu’une main de Poker de 5 cartes contienne 3 as et 2 valets? (4,3) = 4 façons de piger 3 as (4,2) = 6 façons de piger 2 valets Alors 64/(52,5) = .000009234

Distribution de Probabilité Quand il existe n observations possibles x1, x2, x3, … xn et chaque observation est assignée à une probabilité p(s), avec p(s) un nombre réel positif entre 0 et 1 et la somme des p(s) donne 1, Alors: La fonction p associée à l’ensemble de tous les événements de l’espace des échantillons S est appelée une fonction de distribution de probabilité.

Probabilités: Événements mutuellement complémentaires Avec E un événement dans un espace d’échatillonnage S. Alors, E représente un événement complémentaire, sachant que la valeur réelle de VE. Théorême: Pr[E] = 1 − Pr[E] La défénition Laplacienne des probabilités nous permet de prouver, avec Pr[E] = |E|/|S| = (|S|−|E|)/|S| = 1 − |E|/|S| = 1 − Pr[E].

Probabilité vs. Cote (odds) Une cote (odds) n’est pas la même chose que la probabilité Mais sont liés. Les cotes (odds) en faveur d’un événement E signifie que la probabilité relative de E comparée avec sont complément E. O(E) :≡ Pr(E)/Pr(E). Ex: si p(E) = 0.6 alors p(E) = 0.4 et O(E) = 0.6/0.4 = 1.5. La cote (odd) est en fait un ratio de 2 nombres entiers. Ex: 3/2 ou 3:2 comme le cas précédent. “3 à 2 en faveur.” La cote (odd) contre E est: 1/O(E).

Exemple 1: Balles/Urne Supposons une urne contenant 4 balles bleu et 5 balles rouge. An exemple d’ expérience: Brasser l’urne, prendre une balle dans l’urne ….. sans regarder. Une variable aléatoire V: Identifie la balle choisie. L’espace d’échantillonnage S: L’ensemble des valeurs possibles de V: Dans ce cas, S = {b1,…,b9} Un événement E: “La balle choisie est bleu”: E = { ______________ } Quelles sont les odds en faveur de E? Quelle est la probabilité de E? (Utiliser la définition de Laplace) b1 b2 b7 b9 b3 b5 b8 b4 b6

Exemple 2: 7 sur 2 Dés Expérience: Lancer 2 dés de 6-côtés. Décrivez un espace d’échantillonnage de cette expérimentation en regard de la définition de Laplace. Avec cet espace d’échantillonnage, représentons un événement E correspondant à: “la somme des 2 dés est 7.” Quelle est la probabilité de E?

Probabilité de l’Union des Événements Avec E1,E2  S Nous avons alors: Théorême: Pr[E1 E2] = Pr[E1] + Pr[E2] − Pr[E1E2] Par le principe d’inclusion-exclusion, avec la définition de la probabilité de Laplace.

Exemple Quelle est la probabilité qu’un entier positif sélectionné de façon aléatoire à partir d’un ensemble d’entiers positifs <= 100 soit divisible par 2 ou 5? Posons E1 l’événement qu’un entier + est divisible par 2. Posons E2 l’événement qu’un entier + est divisible par 5. Alors E1 ∪ E2 est l’événement un entier + est divisible par 2 ou 5 et E1 ∩ E2 l’événement un entier + est divisible par 2 et 5 ou aussi par 10. p(E1 ∪ E2 ) = p(E1) + p(E2) – p(E1 ∩ E2) = 50/100 + 20/100 – 10/100 = 3/5

Événements Mutuellement Exclusifs 2 événements E1, E2 sont mutuellement exclusifs si il sont disjoints: E1E2 =  Notez que des événements mutuellement exclusifs ne peuvent survenir simultanément pour une expérimentation donnée. La probabilité d’événement mutuellement exclusif: Pr[E1  E2] = Pr[E1] + Pr[E2]. Découle de la règle de la somme en combinatoire.

Ensemble Exhaustif d’Événements Un ensemble E = {E1, E2, …} d’événements dans l’espace d’échantillonnage S est exhaustif SSI Un ensemble exhaustif E d’événements mutuellement exclusif possède la propriété:

Événements Indépendants 2 événements E,F sont indépendants si Pr[EF] = Pr[E]·Pr[F]. Réfère à la règle du produit qui donne le nombre de façons de faire 2 tâches indépendantes. Exemple: Lancer un dé et un 25 ¢. Pr[(H)  (dé à 1)] = Pr[H] × Pr[dé à 1] = ½×1/6 =1/12.

Probabilté Conditionnelle Posons E,F des événements avec Pr[F]>0. Alors, la probabilité conditionnelle de E étant donné F, Pr[E|F], est définie par: Pr[E|F] :≡ Pr[EF]/Pr[F]. Nous donne la probabilité que l’événement E survienne, si nous savons que l’événement F est déjà survenu. SI E et F sont indépendants alors Pr[E|F] = Pr[E].  Pr[E|F] = Pr[EF]/Pr[F] = Pr[E]×Pr[F]/Pr[F] = Pr[E]

Probabilité Conditionnelle Si nous avons 2 ours – 1 blanc et un brun. Quelle est p(2 mâles) S = (ff, mf, fm, mm), E = (mm), P(E) = ¼ Quelle serait cette probabilité si nous savions à priori qu’au moins 1 des 2 ours est un mâle? E = (mm), F : un de deux est un mâle = (mf, fm, mm) P(F) = 3/4 E∩F = (mm) P(E∩F) = 1/4 P(E | F) = P(E∩F) / P(F) = ¼ / ¾ = 1/3

Expérience de Bernoulli Une expérience de Bernoulli est une expérience, ex: lancer une pièce de monnaie, avec deux résultats possibles, mais avec des probabilitiés différentes. Par exemple, les probabilités de gagner le gros lot à la 6/49 ou de ne pas le gagner sont: p (gagner) = 1 / C(49,6) = 1 /13983816 = 0.000000071511238420… p (perdre) = 1 - p (gagner) = 0.9999999284887615798…

Expérience de Bernoulli Formule de Bernoulli: Considérons une répétition de n expériences de Bernoulli. Chaque expérience de Bernoulli à 2 résultats possibles A, B avec les probabilités respectives p et 1-p. La probabilité que A survienne k fois sur n expériences est: p k · (1-p)n-k ·C (n,k ) Ex: Supposons qu’une expérience de Bernoulli consiste au lancement d’une pièce de monnaie. Quelle sont les prob. A, B, p et 1-p.

Expérience de Bernoulli A = monnaie côté “heads” B = monnaie côté “tails” p = 1-p = ½ Ex: Quelle est la probabilité d’avoir 10 H si vous effectuez 20 lancers? P (A survient k fois sur n) = p k · (1-p)n-k ·C (n,k ) (avec k = 10 et n = 20) = (1/2)10 · (1/2)10 ·C (20,10) = 184756 / 220=184756 / 1048576 = 0.1762…

Variable aléatoire Une variable aléatoire (VA) est une fonction qui projette les observations d’un espace d’échantillonnage associé à une expérimentation sur l’ensemble des nombres réels. Une VA assigne un nombre réel à chacun des résultats possibles d’une expérimentation.

Variable aléatoire Une variable aléatoire peut correspondre à une valeur numérique découlant d’une expérimentation non-déterministe ou un mécanisme non-déterministe générant un résultat aléatoire. Lancer un dé et enregistrer les résultats donnent une variable aléatoire X avec un domaine et une portée {1, 2, 3, 4, 5, 6} X (1) = 1, X(2) =2, …., X(6)=6

Exemple: Variable aléatoire Si une pièce de monnaie est lancée 4 X, l’espace d’échantillonnage de cette expérimentation aléatoire donne: S = { HHHH, HHHT,HHTH,HTHH,THHH HHTT,HTHT,THHT,THTH,TTHH, HTTT,THTT,TTHT,TTTH, TTTT}. Pour chacune des 16 chaînes de H’s et T’s dans S, nous définissons la variable aléatoire X avec X(x1x2x3x4) : qui compte le nombre de H’s dans les 4 composantes x1, x2, x3, x4

Exemple: Variable aléatoire X (HHHH) = 4 X (HHHT) = X(HHTH) = X(HTHH) = X(THHH) = 3 X (HHTT) = (HTHT) = X(HTTH) = X(THHT) = X(THTH) = X(TTHH) = 2 X (HTTT) = X(THTT) = X(TTHT) = X(TTTH) = 1 X (TTTT) = 0 ∴ X associe chacune des 16 chaînes de H’s et T’s dans S avec une des entiers positifs dans {0, 1, 2, 3, 4}, i.e. X est une fonction avec un domaine de S et un codomaine de R (nombres réels).

Exemple: Variable aléatoire Nous pouvons utiliser la variable aléatoire X pour exprimer la probabilité de certains événements. Comme un événement A correspondant à 2 H’s et 2 T’s. La probabilité de A est la probabilité que X=2 P(A) = P(X = 2) = 6/16 La distribution de probabilité de X x P(X = x) 0 1/16 1 4/16 = 1/4 2 6/16 = 3/8 P(X = x) = 0 pour x ≠ 0, 1, 2, 3, 4. 3 4/16 = 1/4 4 1/16

Espérance Sachant qu’une variable aléatoire peut être décrite par sa distribution de probabilité, elle peut être caractérisée par sa moyenne/espérance, qui est une mesure de tendance centrale, et sa variance, qui est une mesure de sa dispersion par rapport à la moyenne. La complexité moyenne en temps d’un algorithme peut être estimée par: Espérance

Espérance La moyenne ou espérance de X est définie par: ex: quand une pièce de monnaie est lancée 4 X = 0 . 1/16 + 1 . 4/16 + 2 . 6/16 + 3 . 4/16 + 4 . 1/16 0+4+12+12+4 = 2 16 i.e. l’espérance E(X) correspond à X = 2 avec une probabilité de 3/8.

Variance d’une variable aléatoire Posons X une variable aléatoire définie sur l’espace d’échantillonnage Sx={a, b, c},où X(a)= -1, X(b)= 0, X(c)= 1 et P(X=x) = 1/3, pour x= -1, 0, 1, alors E(X) = 0. Y est une variable aléatoire définie sur l’espace d’échantillonnage Sy = {r, s, t, u, v}, où Y(r) = -4, Y(s) = -2, Y(t) = 0, Y(u) = 2, Y(v) = 4, et P(Y = y) = 1/5, pour y= -4, -2, 0, 2, 4, E(Y) = 0. Mais, les valeurs de Y sont plus dispersées par rapport à la moyenne 0 que les valeurs déterminées par X. La dispersion est mesurée par la variance, dénotée par σ2x.

Variance d’une variable aléatoire σ2x= Var(x) = E(X – E(X))2 =∑(x –E(X))2 . P(X = x) Supposons que la distribution de probabilité de X est x P(X = x) 1 1/5 E(X) = 17/5 3 2/5 σ2x= 66/25 4 1/5 et l’écart-type de X 6 1/5. σx= 1.62

Espérance et Variance Lancer d’une pièce de monnaie 4 X x P(X = x) E(X) = 2 0 1/16 et 1 4/16 = 1/4 σx = 1 2 6/16 = 3/8 3 4/16 = 1/4 4 1/16

Espérance VS complexité computationnelle moyenne Le calcul de la complexité computationnelle d’un algorithme correspond au calcul de l’espérance d’une variable aléatoire. Supposons l’ensemble fondamental d’une expérience est l’ensemble des entrées possibles aj pour j=1,2,3,….n. Supposons que la variable aléatoire X associe aj aux nombres d’opérations utilisées par l’algorithme quand aj est l’entrée. Avec aj connu, un probabilité p(aj) peut alors être attribuée à chaque valeur d’entrée aj.

Espérance VS complexité computationnelle moyenne La complexité moyenne de l’algorithme est: E(X) =  p(aj) X(aj) pour j = 1,2,3, …n Cette expression correspond à l’expérance de X

Complexité computationnelle moyenne: fouille linéaire Soit un élément x et une liste de n nombres réels distincts. Supposons que la probabiltié que x se trouve dans la liste est p. Supposons que la probabilité que x soit dans une des n positions de la liste est 1/n. Les nombres d’entrées différentes est n+1, n nombres dans la liste et un qui n’est pas dans la liste.

Complexité computationnelle moyenne: fouille linéaire 2i + 1 comparaisons sont utilisées pour localiser x à la position i (x correspond à ai) 2n + 2 comparaisons sont utilisées si x n’est pas dans la liste. La probabilité que x=ai est p/n, la probabilité que x soit dans la liste ET (règle du produit) que x soit à la position i: p X 1/n. La probabilité que x ne soit pas dans la liste est q = 1-p.

Complexité computationnelle moyenne: fouille linéaire La complexité moyenne de l’algo. de fouille linéaire est: E(X) =  p/n (2j+1) + q(2n+2) pour j = 1,2,3, …n E(X) = 3p/n + 5p/n + …+ (2n+1)p/n + (2n+2)q E(X) = p/n(3+5+7+….+(2n+1)) + q(2n+2) E(X) = p/n((n+1)2-1) + q(2n+2) E(X) = p(n+2) + q(2n+2)

Complexité computationnelle moyenne: fouille linéaire La complexité moyenne de l’algo. de fouille linéaire est: E(X) = p(n+2) + q(2n+2) Par exemple, si x est assurément (p = 1 et q = 0) dans la liste nous aurons alors E(X) = (n+2) Si p=q=1/2, E(X) = (n+2)/2 + (n+1) = (3n+4)/2 Si p = ¾ et q = 1/4, E(X) = 3(n+2)/4 + (n+1)2 = (5n+8)/4 Si p = 0 et q = 1, E(X) = 2n+2