INTELLIGENCE ARTIFICIELLE

INTELLIGENCE ARTIFICIELLE
IAR-1001

Apprentissage Automatique: Appproches statistiques de la classification
Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle Exemple Python LECTURES: Chapitres 18 Russell & Norvig Notes de cours (site ftp UQTR)

Introduction Beaucoup de systèmes intelligents spécialisés en reconnaissance de formes (RF) utilisent des techniques de classification basées sur des modèles statistiques Ces modèles requièrent l’utilisation de paramètres descriptifs devant être estimés à partir des données d’entraînement disponibles En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur En apprentissage supervisé les données d’entraînement fournissent l’identificateur de classe (sortie) de chaque données

Introduction De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristiques descriptives de chaque classe connue permettant la création des critères de discrimination Les critères de discrimination servent par la suite pour classer des observations de classe inconnue (sample) dont nous voulons connaître la classe d’appartenance L’entraînement du système correspond à un apprentissage par l’exemple exprimé par: "Étant donné une collection de paire (entrées, sorties) appelés exemples d’apprentissage, comment apprendre au système à prédire correctement une sortie (classe) étant donnée une nouvelle entrée"

Introduction Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques d’apprentissage non-paramétriques (nonparametric classification) (ex: estimation de densité) D’autres méthodes d’apprentissage permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning) Les approches d’apprentissage par renforcement est basé sur les signaux d’apprentissage découlant d’expériences donnant des récompenses ou des punitions

Introduction Avec la classification paramétrique (parametric classification) nous connaissons la forme générale des pdfs de chaque classe Les paramètres des pdfs (moyenne et variance) ne sont pas connus Avant d’utiliser les pdfs, il faut d’abord estimer les valeurs de ces paramètres

Introduction Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes Le classificateur choisi alors la classe la plus vraisemblable

Théorème de Bayes Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par:

Théorème de Bayes Le théorème de Bayes s’écrit alors
Probabilité d’avoir la classe C étant donné le vecteur de caractéristiques (sample) x

Théorème de Bayes Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) Le théorème de Bayes pour la classe C=Ci devient

Frontières de décision
Nous pouvons aussi faire le design du classificateur en créant des régions ceinturées par des frontières Chaque région représente l’intervalle des valeurs de x associé à chaque classe Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation (sample) et associe x à la classe correspondant à la région Ri

Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

Calculer la frontière de décision entre 2 classes A et B

Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdfs sont continues et se chevauchent donnant:

Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale:

En simplifiant nous obtenons Nous pouvons alors déduire une fonction discriminante de la forme

Les règles de décision (classification) deviennent: SI D = 0 classer x dans A ou B SI D > 0 classer x dans B SI D < 0 classer x dans A

Caractéristiques multiples
Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

Le théorème de Bayes multidimensionnel donne:

Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient:

Frontières de décision multidimensionnelles
Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par:

La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques:

Après simplification nous obtenons la frontière donnée par: x2 C1 C2 x1

Sur la frontière La fonction discriminante est donnée par:

Les règles de décision (classification) deviennent: SI D = 0 classer l’observation dans C1 ou C2 SI D > 0 classer l’observation dans C1 SI D < 0 classer l’observation dans C2

La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par:

La pdf jointe bivariée associée à chaque classe prend la forme: Coefficient de corrélation

Nous pouvons alors déduire les probabilités conditionnelles Sachant que sur la frontière: En prenant le logarithme naturel de chaque côté:

Après simplifications nous obtenons la frontière donnée par: Classes avec la même variance et corrélation

La fonction discriminante devient dans ce cas: Les règles de décision (classification) deviennent:

Frontières de décision d-dimensionnelle en notation matricielle
Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes:

Les variances et covariances des caractéristiques de chaque classe Ci sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

Le théorème de Bayes stipule qu’une observation x ou x est un vecteur de caractéristiques est classée dans Ci qui maximise

Le numérateur de l’expression précédente peut s’écrire: En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise:

Nous pouvons alors déduire une distance géné-ralisée: Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par:

Sachant que La frontière entre les classes Ci et Cj devient:

De plus, si les matrices de covariances sont égales pour chaque classe

L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uniforme de 1/3

Les pdfs de P(Ci)p(x|Ci) de chaque classe:

Les fonctions discriminantes (Bayes rules) sont:

Les frontières de décisions sont

Diagramme de dispersion de 1000 observations

Autre exemple de classification d-dimensionnelle IR R G B

Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

Exemple Python (Pima-indians-diabetes)
Diagnostique automatique du diabète chez des femmes de 21 ans et plus Fichier de données: 0 sans diabète 1 avec diabète

Lecture du fichier de données (pima-indians-diabetes.data.csv)

Lecture du fichier de données (pima-indians-diabetes.data.csv): création de l’ensemble d’entraînement et de test

Calcule des moyennes et écart-type de chaque caractéristiques de chaque classe (0/1)

Calcule de la probabilité d’appartenance à une classe (PRÉDICTION)

Calcule de la précision de la classification

INTELLIGENCE ARTIFICIELLE

Présentations similaires

Présentation au sujet: "INTELLIGENCE ARTIFICIELLE"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back

Entrer

S'autoriser via un réseau social:

INTELLIGENCE ARTIFICIELLE

Présentations similaires

Présentation au sujet: "INTELLIGENCE ARTIFICIELLE"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back