INTELLIGENCE ARTIFICIELLE IAR-1001

Apprentissage Automatique: Appproches statistiques de la classification Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle LECTURES: Chapitres 18 Russell & Norvig Notes de cours (site ftp UQTR)

Introduction Beaucoup de systèmes intelligents spécialisés en reconnaissance de formes (RF) utilisent des techniques de classification basées sur des modèles statistiques Ces modèles requièrent l’utilisation de paramètres descriptifs devant être estimés à partir des données d’entraînement disponibles En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur En apprentissage supervisé les données d’entraînement fournissent l’identificateur de classe (sortie) de chaque données

Introduction De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristiques descriptives de chaque classe connue permettant la création des critères de discrimination Les critères de discrimination servent par la suite pour classer des observations de classe inconnue (sample) dont nous voulons connaître la classe d’appartenance L’entraînement du système correspond à un apprentissage par l’exemple exprimé par: "Étant donné une collection de paire (entrées, sorties) appelés exemples d’apprentissage, comment apprendre au système à prédire correctement une sortie (classe) étant donnée une nouvelle entrée"

Introduction Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques d’apprentissage non-paramétriques (nonparametric classification) (ex: estimation de densité) D’autres méthodes d’apprentissage permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning) Les approches d’apprentissage par renforcement est basé sur les signaux d’apprentissage découlant d’expériences donnant des récompenses ou des punitions

Introduction Avec la classification paramétrique (parametric classification) nous connaissons la forme générale des pdfs de chaque classe Les paramètres des pdfs (moyenne et variance) ne sont pas connus Avant d’utiliser les pdfs, il faut d’abord estimer les valeurs de ces paramètres

Introduction Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes Le classificateur choisi alors la classe la plus vraisemblable

Théorème de Bayes Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par:

Théorème de Bayes Le théorème de Bayes s’écrit alors Probabilité d’avoir la classe C étant donné le vecteur de caractéristiques (sample) x

Théorème de Bayes Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) Le théorème de Bayes pour la classe C=Ci devient

Frontières de décision Nous pouvons aussi faire le design du classificateur en créant des régions ceinturées par des frontières Chaque région représente l’intervalle des valeurs de x associé à chaque classe Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation (sample) et associe x à la classe correspondant à la région Ri

Frontières de décision Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

Frontières de décision Calculer la frontière de décision entre 2 classes A et B

Frontières de décision Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdfs sont continues et se chevauchent donnant:

Frontières de décision Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale:

Frontières de décision En simplifiant nous obtenons Nous pouvons alors déduire une fonction discri- minante de la forme

Frontières de décision Les règles de décision (classification) deviennent: SI D = 0 classer x dans A ou B SI D > 0 classer x dans B SI D < 0 classer x dans A

Caractéristiques multiples Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

Caractéristiques multiples Le théorème de Bayes multidimensionnel donne:

Caractéristiques multiples Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient:

Frontières de décision multidimensionnelles Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par:

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques:

Frontières de décision multidimensionnelles Après simplification nous obtenons la frontière donnée par: x2 C1 C2 x1

Frontières de décision multidimensionnelles Sur la frontière La fonction discriminante est donnée par:

Frontières de décision multidimensionnelles Les règles de décision (classification) deviennent: SI D = 0 classer l’observation dans C1 ou C2 SI D > 0 classer l’observation dans C1 SI D < 0 classer l’observation dans C2

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par:

Frontières de décision multidimensionnelles La pdf jointe bivariée associée à chaque classe prend la forme: Coefficient de corrélation

Frontières de décision multidimensionnelles Nous pouvons alors déduire les probabilités conditionnelles Sachant que sur la frontière: En prenant le logarithme naturel de chaque côté:

Frontières de décision multidimensionnelles Après simplifications nous obtenons la frontière donnée par: Classes avec la même variance et corrélation

Frontières de décision multidimensionnelles La fonction discriminante devient dans ce cas: Les règles de décision (classification) deviennent:

Frontières de décision d-dimensionnelle en notation matricielle Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes:

Frontières de décision d-dimensionnelle en notation matricielle Les variances et covariances des caractéristiques de chaque classe Ci sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

Frontières de décision d-dimensionnelle en notation matricielle Le théorème de Bayes stipule qu’une observation x ou x est un vecteur de caractéristiques est classée dans Ci qui maximise

Frontières de décision d-dimensionnelle en notation matricielle Le numérateur de l’expression précédente peut s’écrire: En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise:

Frontières de décision d-dimensionnelle en notation matricielle Nous pouvons alors déduire une distance géné-ralisée: Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par:

Frontières de décision d-dimensionnelle en notation matricielle Sachant que La frontière entre les classes Ci et Cj devient:

Frontières de décision d-dimensionnelle en notation matricielle De plus, si les matrices de covariances sont égales pour chaque classe

Frontières de décision d-dimensionnelle en notation matricielle L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

Frontières de décision d-dimensionnelle en notation matricielle i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

Frontières de décision d-dimensionnelle en notation matricielle Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uniforme de 1/3

Frontières de décision d-dimensionnelle en notation matricielle Les pdfs de P(Ci)p(x|Ci) de chaque classe:

Frontières de décision d-dimensionnelle en notation matricielle Les fonctions discriminantes (Bayes rules) sont:

Frontières de décision d-dimensionnelle en notation matricielle Les frontières de décisions sont

Frontières de décision d-dimensionnelle en notation matricielle Diagramme de dispersion de 1000 observations

Frontières de décision d-dimensionnelle en notation matricielle Autre exemple de classification d-dimensionnelle IR R G B

Frontières de décision d-dimensionnelle en notation matricielle Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang