INTELLIGENCE ARTIFICIELLE

Slides:



Advertisements
Présentations similaires
RECONNAISSANCE DE FORMES
Advertisements

RECONNAISSANCE DE FORMES
Atelier 1 Le problème du surpoids sur géogébra. Etude de la prévalence du surpoids: (document Ressources pour la classe de terminale) Situation: On souhaite.
Auteur : Patrice LEPISSIER Les probabilités  Notions de base Notions de base  Variable aléatoire Variable aléatoire  La loi Normale La loi Normale.
Comparing color edge detection and segmentation methods Projet TIM.
Cour Régulation AII3 Chapitre I: Modélisation des systèmes automatiques Abdelkhalek.S 1.
Chapitre 6. Introduction à l’échantillonnage Les sondages Notions fondamentales Fluctuations d’échantillonnage d’une moyenne Théorème central limite C6-1.
Présentation  Objectif : Une initiation au « Machine learning ».  Comprendre et assimiler les différentes techniques permettant d’indexer ou de classifier.
Les rprésentation des signaux dans le cadre décisionnel de Bayes Jorge F. Silva Shrikanth S. Narayanan.
1 METHODE DEMPSTER-SHAFER Présenté: Guy Richard SAMEDY MASTER M2 RECHERCHE INFORMATIQUE UE : Cognition et Connaissance INSA de Lyon ( )
Cours d’Econométrie de la Finance (Stat des choix de portf. IV 1-2)
Corrélation et régression linéaire simple
Analyse, Classification,Indexation des Données ACID
Statistiques descriptives univariées
Pierre Joli Cours de Mathématique Pierre Joli
Cours d’Econométrie de la Finance (STA202 – IV 3-4)
Cours d’Econométrie de la Finance (STA202 – IV 4-5)
Loi Normale (Laplace-Gauss)
2.1. Présentation de l’exemple
Analyse en Composantes Principales A.C.P. M. Rehailia Laboratoire de Mathématiques de l’Université de Saint Etienne (LaMUSE).
POL1803: Analyse des techniques quantitatives
Technologies de l’intelligence d’affaires Séance 11
Introduction aux Statistiques Variables aléatoires
Objectifs du chapitre 5: Plans corrélationnels
Technologies de l’intelligence d’affaires Séance 12
République Algérienne Démocratique et Populaire Ministère de l'Enseignement Supérieur et de la Recherche Scientifique Université Saad.
Gestion du cours Aissa Boulmerka.
Concepts avancés en mathématiques et informatique appliquées
INTELLIGENCE ARTIFICIELLE
Chapitre 6: Réduction de dimensionnalité paramétrique
INTELLIGENCE ARTIFICIELLE
4.2 Estimation d’une moyenne
Cours N°10: Algorithmiques Tableaux - Matrices
Modélisation Spatio-temporelle de la pluviométrie " Application du prédicteur Filtre de Kalman":Cas du bassin versant de Cheliff -Algérie- Présentée par Samra Harkat
GRAPHISME PAR ORDINATEUR
ACP Analyse en Composantes Principales
LOG770 Systèmes Intelligents
Pierre Dumouchel 20 juillet 2009
LOG770 Annexe A Éléments de probabilité
Calculs des incertitudes Lundi 30 Avril 2018 Master de Management de la Qualité, de la Sécurité et de l’Environnement.
 1____Probabilité  2______variables aléatoires discrètes et continues  3______loi de probabilités d’une v a  4_______les moyens et les moyens centraux.
Introduction Dès les premières tentatives de classification s’est posé le problème du nombre de classes, de la validation, et de l’existence.
Les méthodes non paramétriques
CHAPTER 2: Apprentissage supervisé
Arbres de décision.
CHAPITRE 5: Méthodes multivariables
CHAPTER 10: Discrimination Linéaire
Chapitre 4: Caractéristiques de dispersion
Présentation 3 : Sondage aléatoire simple
Présentation 5 : Sondage à probabilités inégales
Mesures de Position Dispersion et Forme
2. Méthode du simplexe et son analyse.
Position, dispersion, forme
Reconnaissance de formes: lettres/chiffres
Contribution du LHyGeS
Moteurs de recherches Data mining Nizar Jegham.
GRAPHISME PAR ORDINATEUR
PROGRAMMATION SCIENTIFIQUE EN C
INTELLIGENCE ARTIFICIELLE
Programme d’appui à la gestion publique et aux statistiques
PROGRAMMATION SCIENTIFIQUE EN C
Introduction à Python.
INTELLIGENCE ARTIFICIELLE
INTELLIGENCE ARTIFICIELLE
INTELLIGENCE ARTIFICIELLE
PROGRAMMATION SCIENTIFIQUE EN C
Laboratoire 3 Implémentation d’un classifieur bayésien
INTELLIGENCE ARTIFICIELLE
STATISTIQUE INFERENTIELLE LES TESTS STATISTIQUES.
Transcription de la présentation:

INTELLIGENCE ARTIFICIELLE IAR-1001

Apprentissage Automatique: Appproches statistiques de la classification Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle Exemple Python LECTURES: Chapitres 18 Russell & Norvig Notes de cours (site ftp UQTR)

Introduction Beaucoup de systèmes intelligents spécialisés en reconnaissance de formes (RF) utilisent des techniques de classification basées sur des modèles statistiques Ces modèles requièrent l’utilisation de paramètres descriptifs devant être estimés à partir des données d’entraînement disponibles En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur En apprentissage supervisé les données d’entraînement fournissent l’identificateur de classe (sortie) de chaque données

Introduction De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristiques descriptives de chaque classe connue permettant la création des critères de discrimination Les critères de discrimination servent par la suite pour classer des observations de classe inconnue (sample) dont nous voulons connaître la classe d’appartenance L’entraînement du système correspond à un apprentissage par l’exemple exprimé par: "Étant donné une collection de paire (entrées, sorties) appelés exemples d’apprentissage, comment apprendre au système à prédire correctement une sortie (classe) étant donnée une nouvelle entrée"

Introduction Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques d’apprentissage non-paramétriques (nonparametric classification) (ex: estimation de densité) D’autres méthodes d’apprentissage permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning) Les approches d’apprentissage par renforcement est basé sur les signaux d’apprentissage découlant d’expériences donnant des récompenses ou des punitions

Introduction Avec la classification paramétrique (parametric classification) nous connaissons la forme générale des pdfs de chaque classe Les paramètres des pdfs (moyenne et variance) ne sont pas connus Avant d’utiliser les pdfs, il faut d’abord estimer les valeurs de ces paramètres

Introduction Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes Le classificateur choisi alors la classe la plus vraisemblable

Théorème de Bayes Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par:

Théorème de Bayes Le théorème de Bayes s’écrit alors Probabilité d’avoir la classe C étant donné le vecteur de caractéristiques (sample) x

Théorème de Bayes Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) Le théorème de Bayes pour la classe C=Ci devient

Frontières de décision Nous pouvons aussi faire le design du classificateur en créant des régions ceinturées par des frontières Chaque région représente l’intervalle des valeurs de x associé à chaque classe Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation (sample) et associe x à la classe correspondant à la région Ri

Frontières de décision Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

Frontières de décision Calculer la frontière de décision entre 2 classes A et B

Frontières de décision Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdfs sont continues et se chevauchent donnant:

Frontières de décision Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale:

Frontières de décision En simplifiant nous obtenons Nous pouvons alors déduire une fonction discri- minante de la forme

Frontières de décision Les règles de décision (classification) deviennent: SI D = 0 classer x dans A ou B SI D > 0 classer x dans B SI D < 0 classer x dans A

Caractéristiques multiples Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

Caractéristiques multiples Le théorème de Bayes multidimensionnel donne:

Caractéristiques multiples Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient:

Frontières de décision multidimensionnelles Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par:

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques:

Frontières de décision multidimensionnelles Après simplification nous obtenons la frontière donnée par: x2 C1 C2 x1

Frontières de décision multidimensionnelles Sur la frontière La fonction discriminante est donnée par:

Frontières de décision multidimensionnelles Les règles de décision (classification) deviennent: SI D = 0 classer l’observation dans C1 ou C2 SI D > 0 classer l’observation dans C1 SI D < 0 classer l’observation dans C2

Frontières de décision multidimensionnelles La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par:

Frontières de décision multidimensionnelles La pdf jointe bivariée associée à chaque classe prend la forme: Coefficient de corrélation

Frontières de décision multidimensionnelles Nous pouvons alors déduire les probabilités conditionnelles Sachant que sur la frontière: En prenant le logarithme naturel de chaque côté:

Frontières de décision multidimensionnelles Après simplifications nous obtenons la frontière donnée par: Classes avec la même variance et corrélation

Frontières de décision multidimensionnelles La fonction discriminante devient dans ce cas: Les règles de décision (classification) deviennent:

Frontières de décision d-dimensionnelle en notation matricielle Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes:

Frontières de décision d-dimensionnelle en notation matricielle Les variances et covariances des caractéristiques de chaque classe Ci sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

Frontières de décision d-dimensionnelle en notation matricielle Le théorème de Bayes stipule qu’une observation x ou x est un vecteur de caractéristiques est classée dans Ci qui maximise

Frontières de décision d-dimensionnelle en notation matricielle Le numérateur de l’expression précédente peut s’écrire: En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise:

Frontières de décision d-dimensionnelle en notation matricielle Nous pouvons alors déduire une distance géné-ralisée: Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par:

Frontières de décision d-dimensionnelle en notation matricielle Sachant que La frontière entre les classes Ci et Cj devient:

Frontières de décision d-dimensionnelle en notation matricielle De plus, si les matrices de covariances sont égales pour chaque classe

Frontières de décision d-dimensionnelle en notation matricielle L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

Frontières de décision d-dimensionnelle en notation matricielle i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

Frontières de décision d-dimensionnelle en notation matricielle Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uniforme de 1/3

Frontières de décision d-dimensionnelle en notation matricielle Les pdfs de P(Ci)p(x|Ci) de chaque classe:

Frontières de décision d-dimensionnelle en notation matricielle Les fonctions discriminantes (Bayes rules) sont:

Frontières de décision d-dimensionnelle en notation matricielle Les frontières de décisions sont

Frontières de décision d-dimensionnelle en notation matricielle Diagramme de dispersion de 1000 observations

Frontières de décision d-dimensionnelle en notation matricielle Autre exemple de classification d-dimensionnelle IR R G B

Frontières de décision d-dimensionnelle en notation matricielle Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

Exemple Python (Pima-indians-diabetes) Diagnostique automatique du diabète chez des femmes de 21 ans et plus Fichier de données: 0 sans diabète 1 avec diabète

Exemple Python (Pima-indians-diabetes) Lecture du fichier de données (pima-indians-diabetes.data.csv)

Exemple Python (Pima-indians-diabetes) Lecture du fichier de données (pima-indians-diabetes.data.csv): création de l’ensemble d’entraînement et de test

Exemple Python (Pima-indians-diabetes) Calcule des moyennes et écart-type de chaque caractéristiques de chaque classe (0/1)

Exemple Python (Pima-indians-diabetes) Calcule des moyennes et écart-type de chaque caractéristiques de chaque classe (0/1)

Exemple Python (Pima-indians-diabetes) Calcule de la probabilité d’appartenance à une classe (PRÉDICTION)

Exemple Python (Pima-indians-diabetes) Calcule de la probabilité d’appartenance à une classe (PRÉDICTION)

Exemple Python (Pima-indians-diabetes) Calcule de la précision de la classification