La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

IFT 615 – Intelligence artificielle Raisonnement probabiliste Éric Beaudry Département dinformatique Université de Sherbrooke.

Présentations similaires


Présentation au sujet: "IFT 615 – Intelligence artificielle Raisonnement probabiliste Éric Beaudry Département dinformatique Université de Sherbrooke."— Transcription de la présentation:

1 IFT 615 – Intelligence artificielle Raisonnement probabiliste Éric Beaudry Département dinformatique Université de Sherbrooke

2 Sujets couverts Introduction au raisonnement probabiliste – Raisonnement avec incertitude – Théorie des probabilités: syntaxe et sémantique – Inférences simples – Indépendance entre des variables aléatoires – Règle de Bayes – Illustration avec le monde des wumpus IFT6152Raisonnement probabiliste

3 Rappel: Utility-based agents IFT615Raisonnement probabiliste3 Les actions peuvent avoir des effets incertains ! Les capteurs peuvent être bruités… État incertain.

4 Incertitude Soit A t laction daller à laéroport t minutes avant le départ de lavion. A t me permettra-t-il darriver à temps? Problèmes: – Observabilité partielle (conditions routières, etc.) – Senseurs bruités (annonces du trafic, etc.) – Incertitude dans leffet des actions (crevaisons, pannes, etc.) – Immense complexité pour modéliser les actions et le trafic. Un raisonnement purement logique – Risque de tirer des conclusions erronées: « A 25 me permettra darriver à temps », ou – Risque de tirer des conclusions peu exploitable du point de vue « prise de décision »: « A 25 me permettra darriver à temps, sil ne pleut pas, sil ny a pas daccident, si mes pneus ne crèvent pas, etc. » « A 1440 me permettra raisonnable darriver à temps, mais je devrai passer une nuit à laéroport. » IFT6154Raisonnement probabiliste

5 Méthodes pour le raisonnement avec incertitude Logique non-monotone (nonmonotonic/default logic): – Supposer que ma voiture naura pas de crevaison – Supposer que A 25 suffit à moins dinformation/évidence contradictoire – Enjeux: Quelles hypothèses sont raisonnables? Comment gérer les contradictions? Règles de production avec facteurs de certitude: – A arriver à temps – Arroseur 0.99 PelouseMouillée – PelouseMouillé 0.7 Pluie – Enjeux: Problèmes avec les combinaisons de règles pour faire des déduction. Par exemple: Arroseur causes Pluie !? Probabilités – Modélise la croyance/certitude des agents: Les connaissances de lagent peuvent au mieux donner un degré de croyance dans les faits. – Étant donné linformation/évidence disponible jusquici, A 25 me permettra darriver avec une probabilité de 0.4 IFT6155Raisonnement probabiliste

6 Probabilités Les assertions probabilistes facilitent la modélisation: – Des faits et de règles complexes: comparée aux règles de production, lapproche est moins sensible à la non possibilité dénumérer toutes les exceptions, antécédents ou conséquences de règles. – De lignorance: Lapproche est moins sensible à lomission/oubli des faits, de prémisses ou des conditions initiales à un raisonnement. Probabilité subjective/bayésienne: Les probabilités expriment le degré de croyance dun agent dans des propositions/faits. Par exemple: P(A 25 | aucun accident rapporté) = 0.06 Les probabilités ne sont pas des assertions sur ce qui est vrai. – Nexpriment pas forcément des tendances/fréquences dune situation; mais pourraient être apprises automatiquement à partir dexpériences. Les probabilités des propositions changent avec lacquisition de nouvelles informations. Par exemple: P(A 25 | aucun accident rapporté, 5h du matin) = 0.15 IFT6156Raisonnement probabiliste

7 Prise de décisions avec incertitude Supposons que je crois ceci: P(A 25 me permet darriver à temps | …) = 0.04 P(A 90 me permet darriver à temps | …) = 0.70 P(A 120 me permet darriver à temps | …) = 0.95 P(A 240 me permet darriver à temps | …) = P(A 1440 me permet darriver à temps | …) = Quelle action devrai-je choisir? Cela dépend de mes préférences: manquer lavion vs. trop dattente. La théorie de lutilité est utilisée pour modéliser et inférer sur les préférences. – Une préférence exprime le degré dutilité dune action/situation. Théorie de la décision = théorie des probabilités + théorie de lutilité IFT6157Raisonnement probabiliste

8 Probabilités: notions de base Exprime le degré de croyance. Commencer avec un ensemble - espace déchantillonnage – Exemple: 6 possibilités si on roule un dé. – est un échantillon (un état ou un événement atomique). Lespace/modèle de probabilités est lespace déchantillonnage avec une distribution de probabilité P( ) pour chaque élément. 0 P( ) 1 P( ) = 1 Par exemple: P(1)=P(2)=P(3)=P(4)=P(5)=P(6)=1/6 Un événement est un sous-ensemble de. Probabilité dun événement (c.à-d., dun élément de ) P(A)= { A} P( ) Exemple: P(dé < 4) = P(w=1 w=2 w=3) = 1/6+1/6+1/6=1/2 IFT6158Raisonnement probabiliste

9 Variable aléatoire Une variable aléatoire est une variable décrivant une partie des connaissances incertaines. Chaque variable a un domaine de valeurs quelle peut prendre (ex.: binaire, entier, réelle, états, etc.). On peut voir une variable comme une fonction définie sur lespace déchantillonnage et donnant une valeur à chaque échantillon en entrée: Types de variables aléatoires: – Booléennes : le domaine est. Exemple: DentCariée = true. – Discrètes: le domaine est énumérable. Exemple: Météo = v, avec v { soleil, pluie, nuageux, neige } – Continues: le domaine continu (par exemple, lensemble des réels). Exemples: x 4.02, postionx 4.02, speed P induit une distribution de probabilité pour chaque variable aléatoire X: P(X=x i ) = { :X( )=xi } P( ) – Exemple: Lancer un dé: P(nombre impair) = P(1)+P(3)+P(5) = 1/6+1/6+1/6=1/2 IFT6159Raisonnement probabiliste

10 Propositions Une proposition est une assertion de ce qui est vrai, c.-à-d., une assertion sur la valeur dune variable. – En dautre mots, un événement (ensemble dévénements atomiques ou échantillons) pour lequel la proposition est vraie. Exemple: Carie= true. Noté: carie. Étant donné deux variables booléennes A et B: – Lévénement a est lensemble déchantillons pour lesquels A( ) = true – Lévent a (not a) est lensemble déchantillons pour lesquels A( ) = false – Lévent a b est lensemble des pour lesquels A( )=true et B( )=true Souvent nous considérerons des échantillons sur des ensembles de variables aléatoires : lespace déchantillonnage est le produit cartésien des domaines des variables aléatoires. – Exemple: Avec les variables booléennes, un événement correspond à une proposition ou combinaison booléenne de propositions en logique propositionnelle. – Exemple: A = true (a), B = false (b), ou a b IFT61510Raisonnement probabiliste

11 Propositions (suite) Proposition = disjonction dévénements atomiques pour lesquels la proposition est vraie: – Exemple: (a b) ( a b) (a b) (a b) P(a b) = P( a b) + P(a b) + P(a b) IFT61511Raisonnement probabiliste

12 Syntax des propositions Élément de base: variable aléatoire Similaire à la logique propositionnelle: les états sont définis en assignant des valeurs à des variables aléatoires. Variables aléatoires propositionnelles ou booléenne – Exemple: Carie (ai-je la carie?) Variables aléatoires discrètes (domaines finis or infinis) – Exemple: Météo Météo = pluie est une proposition. Les valeurs du domaine doivent être exhaustives et mutuellement exclusives. Les propositions élémentaires sont définies en assignant des valeurs aux variables: – Exemple: Météo = soleil, Carie = false (noté Carie) Les propositions complexes sont définies par des combinaisons booléennes: – Exemple: (Météo = soleil) (Carie = false) Variables aléatoires continues (bornées ou non bornées) – Les valeurs R, ou par exemple sur lintervalle [0, 1]. – Exemple: Temp=21.6 signifie que la variable Temp a exactement la valeur 21.6 – Exemple: Temp < 22.0 signifie que la variable Temp a une valeur inférieure à 22. IFT61512Raisonnement probabiliste

13 Syntaxe des propositions Un événement atomique est une spécification complète de létat pour lequel lagent est incertain. – Par exemple, si le « monde » de lagent est décrit par seulement deux variables aléatoires booléennes (Carie et MalDeDents), il y a exactement quatre états / événements atomiques possibles: Carie = false MalDeDents = false Carie = false MalDeDents = true Carie = true MalDeDents = false Carie = true MalDeDents = true Les événements atomiques sont exhaustifs et mutuellement exclusifs. IFT61513Raisonnement probabiliste

14 Axiomes de la théorie des probabilités: Axiomes de Kolmogorov Pour toute propositoions A, B – 0 P(A) 1 – P(true) = 1 et P(false) = 0 – P(A B) = P(A) + P(B) - P(A B) IFT61514Raisonnement probabiliste

15 Probabilité à priori/inconditionnelle La probabilité à priori ou inconditionnelle de propositions exprime le degré de croyance dans ces propositions avant lacquisition de toute (nouvelle) information /évidence. – Exemple: P(Carie = true) = 0.1 et P(Météo = soleil) = 0.72 La distribution des probabilités donne les valeurs de probabilités pour toutes les assignations possibles de valeurs aux variables: – Exemple: P(Météo) = – Fonction de densité de probabilités: distribution de probabilité pour une variable continue. La distribution conjointe de probabilités pour un ensemble de variables donne la probabilité pour chaque événement atomique décrit par ces variables. – Exemple, la distribution conjointe P(Météo, Carie) est une matrice 4 × 2 : Météo = soleil pluie nuageux neige Carie = true Carie = false IFT61515Raisonnement probabiliste

16 Probabilité à postériori/conditionnelle La probabilité conditionnelle ou à postériori tient compte des nouvelles informations/évidences disponibles. – Exemple: P(carie | MalDeDents) = 0.8 C.-à-d., étant donné que la seule chose que je sais est MalDeDents. – Si on constate quun patient a mal aux dents et aucune autre information nest encore disponible, la probabilité quil ait une carie est de 0.8. Si on en apprend plus, (par exemple, on découvre une carie), on a: P(carie | MalDeDents, carie) = 1 Toutes les nouvelles informations ne sont pas pertinentes, donc on peut simplifier: – Exemple: P(carie | MalDeDents, Les Canadiens ont gagné) = P(carie | MalDeDents) = 0.8 Ce type dinférence, supportée par les connaissances du domaine, est crucial. IFT61516Raisonnement probabiliste

17 Définition de la probabilité conditionnelle: P(a | b) = P(a b) / P(b) if P(b) 0 – La probabilité de a, étant donné (que tout ce quon sait est) b. Formulation équivalente (règle du produit): P(a b) = P(a|b) P(b) = P(b|a)P(a) Il existe une version plus générale pour les distributions de probabilité. – Exemple: P(Météo, Carie) = P(Météo | Carie) P(Carie) La règle suivante (chain rule) est obtenue par une application successive de la règle du produit: P(X 1, …,X n ) = P(X 1,...,X n-1 ) P(X n | X 1,...,X n-1 ) = P(X 1,...,X n-2 ) P(X n-1 | X 1,...,X n-2 ) P(X n | X 1,...,X n-1 ) = … = π i=1..n P(X i | X 1, …,X i-1 ) Probabilité à postériori/conditionnelle IFT61517Raisonnement probabiliste

18 Inférence par énumération Commencer avec la distribution conjointe des probabilités: Pour chaque proposition φ, faire une somme sur les événements atomiques pour lesquels elle est vraie: P(φ) = Σ ω:ω φ P(ω) MalDeDents Croche Carie Carie IFT61518Raisonnement probabiliste

19 Commencer avec la distribution conjointe des probabilités: Pour chaque proposition φ, faire une somme sur les événements atomiques pour lesquels elle est vraie : P(φ) = Σ ω:ω φ P(ω) P(MalDeDents) = = 0.2 Inférence par énumération MalDeDents Croche Carie Carie IFT61519Raisonnement probabiliste

20 Inférence par énumération Commencer avec la distribution conjointe des probabilités: Pour chaque proposition φ, faire une somme sur les événements atomiques pour lesquels elle est vraie : P(φ) = Σ ω:ω φ P(ω) P(carie MalDeDents) = = 0.28 MalDeDents Croche Carie Carie IFT61520Raisonnement probabiliste

21 Inférence par énumération Commencer avec la distribution conjointe des probabilités: On peut aussi calculer les probabilités conditionnelles: P( carie | MalDeDents) = P( carie MalDeDents) P (MalDeDents) = ( ) / ( ) = 0.4 MalDeDents Croche Carie Carie IFT61521Raisonnement probabiliste

22 Normalisation Le dénominateur peut être vu comme constante de normalisation α P (Carie | MalDeDents) = α P (Carie, MalDeDents) = α [P (Carie, MalDeDents, croche) + P (Carie, MalDeDents, croche)] = α [ + ] = α = avec = 1 / P(MalDeDents) = 1/( ) = 1/0.2 = 5. Idée générale: Calculer la contribution à la variable dinterrogation en fixant les variables dévidences (observées) et en faisant la somme sur les variables cachées. MalDeDents Croche Carie Carie IFT61522Raisonnement probabiliste

23 Inférence par énumération En général on veut calculer la probabilité conjointe à postériori sur un ensemble de variables dinterrogations X étant donné les valeurs e pour les variables dévidence E. Soit Y lensemble des variables cachées (non encore observées), X la valeur recherchée, et E lensemble des variables dévidence. On obtient la probabilité pour linterrogation P(X | E = e) en faisant une sommation sur les variables cachées: P(X | E = e) = α P(X, E = e) = α Σ y P(X, e, y) Les termes dans la somme sont des probabilités jointes vu que X, E et H pris ensembles couvrent toutes les variables aléatoires. Défis: 1.Complexité en temps: O(d n ), avec d la taille du plus grand domaine des variables. 2.Complexité en espace: O(d n ), pour stocker la distribution. 3.Comment trouver les valeurs de chacune des O(d n ) entrées? IFT61523Raisonnement probabiliste

24 Indépendance Les variables A et B sont indépendantes si et seulement si P(A|B) = P(A) ou P(B|A) = P(B) ou P(A, B) = P(A) P(B) P(MalDeDents, Croche, Carie, Météo) = P(MalDeDents, Croche, Carie) P(Météo) 32(=2 3 *4) entrées réduites à 12; pour n variables indépendantes, O(2 n ) O(n) Lindépendance totale est puissante mais rare. – Lindépendance entre les assertions permet de réduire la taille de la distribution des probabilités et rendre les inférences plus efficaces, mais cest difficile de séparer tout lensemble de variables. La dentisterie est un domaine avec un grand nombre de variables, mais très peu dentre elles sont indépendantes. Que faire? IFT61524Raisonnement probabiliste

25 Indépendance conditionnelle Si jai une carie, la probabilité que la sonde croche dans la dent ne dépend pas du fait que jaie mal à la dent ou non: (1) P(Croche | MalDeDents, Carie) = P(Croche | Carie) Même chose si je nai pas la carie: (2) P(Croche | MalDeDents, Carie) = P(Croche | Carie) croche est conditionnellement indépendant de MalDeDents étant donné carie: P(Croche | MalDeDents, Carie) = P(Croche | Carie) Formulations équivalentes: P(MalDeDents | Croche, Carie) = P(MalDeDents |Carie) P(MalDeDents, Croche | Carie) = P(MalDeDents |Carie) P(Croche|Carie) IFT61525Raisonnement probabiliste

26 Indépendance conditionnelle Réécrivons la distribution conjointe en utilisant la règle en chaîne (chain rule): P(MalDeDents, Croche, Carie) = P(MalDeDents | Croche, Carie) P(Croche, Carie) = P(MalDeDents | Croche, Carie) P(Croche | Carie) P(Carie) = P(MalDeDents | Carie) P(Croche | Carie) P(Carie) C-à-d., = 5 nombre indépendants Dans des cas idéals, lexploitation de lindépendance conditionnelle réduit la complexité représentation de la distribution conjointe dune exponentielle (O(2 n )) en linéaire (O(n)). En raisonnement probabiliste, lindépendance conditionnelle est le concept de représentation des connaissances le plus basique et robuste. IFT61526Raisonnement probabiliste

27 Règle de Bayes Règle du produit: P(a b) = P(a | b) P(b) = P(b | a) P(a) – Règle de Bayes: P(a | b) = P(b | a) P(a) / P(b) ou, pour les distributions, – P(Y|X) = P(X|Y) P(Y) / P(X) = αP(X|Y) P(Y) Utile pour calculer/interroger une probabilité diagnostique à partir dune probabilité causale: – P(Cause|Effect) = P(Effect|Cause) P(Cause) / P(Effect) Exemple: – soit m (méningite), s(stiff neck / nuque raide), P(s|m)=0.5, P(m)=1/50000 et P(s)=1/20. – P(m|s) = P(s|m) P(m) / P(s) = 0.5 × / 0.05 = Règle diagnostique: Effets observés causes cachées Règle causale: causes cachées effets observées IFT61527Raisonnement probabiliste

28 Règle de Bayes et indépendance conditionnelle P(Carie | MalDeDents Croche) = αP(MalDeDents Croche | Carie) P(Carie) = αP(MalDeDents | Carie) P(Croche | Carie) P(Carie) Example dun modèle Bayes simple (Bayesian classifier): P(Cause,Effect 1, …,Effect n ) = P(Cause) π i P(Effect i |Cause) IFT61528Raisonnement probabiliste

29 Le monde des Wumpus Problème: calculer la probabilité que [1,3], [2,2] et [3,1] contienne une fosse? 1. Identifier lensemble de variables aléatoires nécessaires: – P ij =true ssi il y a une fosse dans [i,j] (Pij=0.2 partout sauf dans [1,1]). – B ij =true ssi il y a une brise dans [i,j] Inclure seulement les variables observées B 11, B 12, B 21 dans la distribution des probabilités (modèle). IFT61529Raisonnement probabiliste

30 Spécifier la distribution des probabilités 2. La distribution conjointe est P(P 11, …,P 44,B 11,B 12,B 21 ) Appliquer la règle du produit: P(B 11,B 12,B 21 |P 11,…,P 44 ) P(P 11,…,P 44 ) (On a donc P(Effect|Cause). ) Premier terme: P(B 11,B 12,B 21 |P 11,…,P 44 ) – Probabilité conditionnelle dune configuration/état de brises, étant donné une configuration de fosses. – 1 si les fosses sont adjacentes aux brises, 0 sinon. Second terme: P(P 11,…,P 44 ): – Probabilité à priori des configurations des fosses. – Les fosses sont placés aléatoirement, avec une probabilité de 0.2 par chambre: P(P 11,…,P 44 ) = (i,j)=(1,1) …(4,4) P(P i,j ) = 0.2 n * n pour n fosses. IFT61530Raisonnement probabiliste

31 Observations et Interrogations On sait ce qui suit: b= b 11 b 12 b 21 known = p 11 p 12 p 21 Interrogation: P(P 1,3 | known, b) ? Définir Unknown comme étant lensemble des variables P i,j autres que celles qui sont connues (known ) et la variable dinterrogation P 1,3. Avec linférence par énumération, on obtient: P(P 1,3 | known, b) = unknown P(P 1,3, unknown, known, b) Croit exponentiellement avec le nombre de chambres. – Avec12 chambre unknown: 2 12 =4096 termes. IFT61531Raisonnement probabiliste

32 Utiliser lindépendance conditionnelle Idée de base: les observations sont conditionnellement indépendantes des chambres cachées étant données les chambres adjacentes. – C.-à-d., les autres chambres ne sont pas pertinentes. Définir Unknown = Fringe Other P(b|P 1,3, known, Unknown) = P(b|P 1,3, known, Fringe, Other) Réécrire la probabilité dinterrogation P(P 1,3 | known, b) pour exploiter cette indépendance. IFT61532Raisonnement probabiliste

33 Utiliser lindépendance conditionnelle P(P 1,3 | known, b) = unknown P(P 1,3, unknown, known, b) = unknown P(b|P 1,3, known, unknown) P(P 1,3, known, unknown) = fringe other P(b| known, P 1,3, fringe, other) P(P 1,3, known, fringe, other) = fringe other P(b| known, P 1,3, fringe) P(P 1,3, known, fringe, other) = fringe P(b| known, P 1,3, fringe) other P(P 1,3, known, fringe, other) = fringe P(b| known, P 1,3, fringe) other P(P 1,3 )P(known) P(fringe) P(other) = P(known) P(P 1,3 ) fringe P(b| known, P 1,3, fringe) P(fringe) other P(other) = P(P 1,3 ) fringe P(b| known, P 1,3, fringe) P(fringe) IFT61533Raisonnement probabiliste

34 Utiliser lindépendance conditionnelle (a)(b) Modèles consistant pour les variables P 2,2 et P 3,1, montrant P(fringe) Pour chaque modèle: (a) 3 modèles avec P 1,3 =true montrant 2 ou 3 fosses. (b) 2 modèles avec P 1,3 =false montrant 1 ou 2 fosses. P(P 1,3 |known, b) = P(P 2,2 |known, b) IFT61534Raisonnement probabiliste

35 Résumé La théorie des probabilités est un formalisme consistent pour raisonner avec lincertitude. Une distribution conjointe spécifie la probabilité pour chaque événement atomique. On peut répondre aux interrogations en faisant une somme sur les événements atomiques. Pour les domaines dapplication réalistes, on doit trouver une façon de réduire la taille de la distribution conjointe. Lindépendance et lindépendance conditionnelles nous fournissent les outils de base. IFT61535Raisonnement probabiliste


Télécharger ppt "IFT 615 – Intelligence artificielle Raisonnement probabiliste Éric Beaudry Département dinformatique Université de Sherbrooke."

Présentations similaires


Annonces Google