La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

INTELLIGENCE ARTIFICIELLE

Présentations similaires


Présentation au sujet: "INTELLIGENCE ARTIFICIELLE"— Transcription de la présentation:

1 INTELLIGENCE ARTIFICIELLE
IAR-1001

2 Apprentissage Automatique: Appproches statistiques de la classification
Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle LECTURES: Chapitres 18 Russell & Norvig Notes de cours (site ftp UQTR)

3 Introduction Beaucoup de systèmes intelligents spécialisés en reconnaissance de formes (RF) utilisent des techniques de classification basées sur des modèles statistiques Ces modèles requièrent l’utilisation de paramètres descriptifs devant être estimés à partir des données d’entraînement disponibles En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur En apprentissage supervisé les données d’entraînement fournissent l’identificateur de classe (sortie) de chaque données

4 Introduction De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristiques descriptives de chaque classe connue permettant la création des critères de discrimination Les critères de discrimination servent par la suite pour classer des observations de classe inconnue (sample) dont nous voulons connaître la classe d’appartenance L’entraînement du système correspond à un apprentissage par l’exemple exprimé par: "Étant donné une collection de paire (entrées, sorties) appelés exemples d’apprentissage, comment apprendre au système à prédire correctement une sortie (classe) étant donnée une nouvelle entrée"

5 Introduction Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques d’apprentissage non-paramétriques (nonparametric classification) (ex: estimation de densité) D’autres méthodes d’apprentissage permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning) Les approches d’apprentissage par renforcement est basé sur les signaux d’apprentissage découlant d’expériences donnant des récompenses ou des punitions

6 Introduction Avec la classification paramétrique (parametric classification) nous connaissons la forme générale des pdfs de chaque classe Les paramètres des pdfs (moyenne et variance) ne sont pas connus Avant d’utiliser les pdfs, il faut d’abord estimer les valeurs de ces paramètres

7 Introduction Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes Le classificateur choisi alors la classe la plus vraisemblable

8 Théorème de Bayes Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par:

9 Théorème de Bayes Le théorème de Bayes s’écrit alors
Probabilité d’avoir la classe C étant donné le vecteur de caractéristiques (sample) x

10 Théorème de Bayes Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) Le théorème de Bayes pour la classe C=Ci devient

11 Frontières de décision
Nous pouvons aussi faire le design du classificateur en créant des régions ceinturées par des frontières Chaque région représente l’intervalle des valeurs de x associé à chaque classe Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation (sample) et associe x à la classe correspondant à la région Ri

12 Frontières de décision
Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

13 Frontières de décision
Calculer la frontière de décision entre 2 classes A et B

14 Frontières de décision
Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdfs sont continues et se chevauchent donnant:

15 Frontières de décision
Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale:

16 Frontières de décision
En simplifiant nous obtenons Nous pouvons alors déduire une fonction discri- minante de la forme

17 Frontières de décision
Les règles de décision (classification) deviennent: SI D = 0 classer x dans A ou B SI D > 0 classer x dans B SI D < 0 classer x dans A

18 Caractéristiques multiples
Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

19 Caractéristiques multiples
Le théorème de Bayes multidimensionnel donne:

20 Caractéristiques multiples
Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient:

21 Frontières de décision multidimensionnelles
Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

22 Frontières de décision multidimensionnelles
La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par:

23 Frontières de décision multidimensionnelles
La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques:

24 Frontières de décision multidimensionnelles
Après simplification nous obtenons la frontière donnée par: x2 C1 C2 x1

25 Frontières de décision multidimensionnelles
Sur la frontière La fonction discriminante est donnée par:

26 Frontières de décision multidimensionnelles
Les règles de décision (classification) deviennent: SI D = 0 classer l’observation dans C1 ou C2 SI D > 0 classer l’observation dans C1 SI D < 0 classer l’observation dans C2

27 Frontières de décision multidimensionnelles
La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par:

28 Frontières de décision multidimensionnelles
La pdf jointe bivariée associée à chaque classe prend la forme: Coefficient de corrélation

29 Frontières de décision multidimensionnelles
Nous pouvons alors déduire les probabilités conditionnelles Sachant que sur la frontière: En prenant le logarithme naturel de chaque côté:

30 Frontières de décision multidimensionnelles
Après simplifications nous obtenons la frontière donnée par: Classes avec la même variance et corrélation

31 Frontières de décision multidimensionnelles
La fonction discriminante devient dans ce cas: Les règles de décision (classification) deviennent:

32 Frontières de décision d-dimensionnelle en notation matricielle
Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes:

33 Frontières de décision d-dimensionnelle en notation matricielle
Les variances et covariances des caractéristiques de chaque classe Ci sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

34 Frontières de décision d-dimensionnelle en notation matricielle
Le théorème de Bayes stipule qu’une observation x ou x est un vecteur de caractéristiques est classée dans Ci qui maximise

35 Frontières de décision d-dimensionnelle en notation matricielle
Le numérateur de l’expression précédente peut s’écrire: En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise:

36 Frontières de décision d-dimensionnelle en notation matricielle
Nous pouvons alors déduire une distance géné-ralisée: Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par:

37 Frontières de décision d-dimensionnelle en notation matricielle
Sachant que La frontière entre les classes Ci et Cj devient:

38 Frontières de décision d-dimensionnelle en notation matricielle
De plus, si les matrices de covariances sont égales pour chaque classe

39 Frontières de décision d-dimensionnelle en notation matricielle
L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

40 Frontières de décision d-dimensionnelle en notation matricielle
i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

41 Frontières de décision d-dimensionnelle en notation matricielle
Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uniforme de 1/3

42 Frontières de décision d-dimensionnelle en notation matricielle
Les pdfs de P(Ci)p(x|Ci) de chaque classe:

43 Frontières de décision d-dimensionnelle en notation matricielle
Les fonctions discriminantes (Bayes rules) sont:

44 Frontières de décision d-dimensionnelle en notation matricielle
Les frontières de décisions sont

45 Frontières de décision d-dimensionnelle en notation matricielle
Diagramme de dispersion de 1000 observations

46 Frontières de décision d-dimensionnelle en notation matricielle
Autre exemple de classification d-dimensionnelle IR R G B

47 Frontières de décision d-dimensionnelle en notation matricielle
Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang


Télécharger ppt "INTELLIGENCE ARTIFICIELLE"

Présentations similaires


Annonces Google