Reconnaissance des formes cours de D.E.A. Introduction

Présentation au sujet: "Reconnaissance des formes cours de D.E.A. Introduction"— Transcription de la présentation:

1 Reconnaissance des formes cours de D.E.A. Introduction
S. Canu psichaud.insa-rouen.fr/~scanu/RdF

2 Objectifs du cours Principes de base de la RdF méthodes et Algorithmes
règle de décision cout, règle de Bayes matrice de confusion courbe C.O.R. Méthode de développement d’une application de RdF méthodes et Algorithmes méthodes « historiques » (analyse discriminante) kppv, CART (arbres de décision) réseaux de neurones : optimisation EM Ouvertures et perspectives (fusion de données, flou, DS,…)

3 Aspects pratiques du cours
Exam final % de la note TP 1 : étude biblio : % TP 2 : page web : % TP 3 : programme matlab, octave,… 15 % quiz : % (0 ou +1) Biblio : les livres du cours K. Fukunaga, Introduction to Statistical Pattern Recognition (Second Edition), Academic Press, New York, 1990. P.A. Devijver and J. Kittler, Pattern Recognition, a Statistical Approach, Prentice Hall, Englewood Cliffs, 1982. R.O. Duda and P.E. Hart, Pattern classification and scene analysis, John Wiley & Sons, New York, 1973. L. Breiman, J.H. Friedman, R.A. Olshen, and C.J. Stone, Classification and regression trees, Wadsworth, 1984. L. Devroye, L. Györfi and G. Lugosi, A Probabilistic Theory of Pattern Recognition, (Springer-Verlag 1996) S. Haykin, Neural Networks, a Comprehensive Foundation. (Macmillan, New York, NY., 1994) V. N. Vapnik, The nature of statistical learning theory (Springer-Verlag, 1995) B. Dubuisson, Diagnostic et reconnaissance des formes (Hermès, 1990) M. Milgram, Reconnaissance des formes, méthodes numériques et connexionnistes, (Armand Colin, collection 2ai, 1993 les journaux pattern recognition les conférences

4 Quelques exemples de RdF

5 Quelques exemples de RdF

6 Quelques exemples de RdF
C’est un rond, c’est un carré, (une forme quoi !) le feu est vert, (je passe, ou je m’arrête ! Classe = action possible) votre électrocardiogramme est normal : diagnostic = détection : signal ou bruit (inspection : qualité, monitoring) c’est une facture téléphone (reconnaissance syntaxique : les « règles ») odeur : c’est une madeleine caractère - écriture (c’est une lettre, un mot, une phrase, un sens) parole (forme temporelle) voix, identification : c’est Chirac aux guignol, localisation d’une source et séparation visage (vision) identification : visage + voix + odeur + empreintes : c’est « Chirac » une voiture (concept imprécis) il va pleuvoir (fusion de données - décision incertaine) Aspects humains

7 Quelques problèmes de RdF
C’est un rond, c’est un carré, Distance avec des formes de références le feu est vert, (je passe, ou je m’arrête) Représentation des caractéristiques votre électrocardiogramme est normal : diagnostic = détection : signal ou bruit Cadre aléatoire c’est une facture téléphone Modèle = les « règles » (même source) odeur : c’est une madeleine capteur complexe caractère - écriture complexité de la tâche (c’est une lettre, un mot,...) modélisation par apprentissage parole (forme temporelle) Temps (système évolutif :environnement) voix (c’est Chirac aux guignol), complexité de l’espace des caractéristiques visage (vision) invariances identification fusion - (informations hétérogènes) une voiture (concept imprécis) définition des classes (monitoring) il va pleuvoir décision aléatoire

8 Les différentes phases des algorithmes de reconnaissance des formes
Prétraitement extraction de caractéristiques Algorithme de R des F capteur source représentation caractéristiques décision (action) espace des caractéristiques espace des décisions espace des sources

9 Quelques problèmes de RdF
problème sources caractéristiques actions C’est un rond, c’est un carré, le feu est vert, (je passe, ou je m’arrête) votre électrocardiogramme est normal : diagnostic = détection : signal ou bruit c’est une facture téléphone odeur : c’est une madeleine caractère - écriture (c’est une lettre, un mot,...) parole (forme temporelle) voix (c’est Chirac aux guignol), visage (vision) identification une voiture (concept imprécis) il va pleuvoir

10 des caractéristiques)
Buts de la RdF Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y » 1. Un algorithme de reconnaissance des formes est une règle de Décision (déterministe dans le cours) 2. Une règle de décision déterministe établie un partitionnement de l’espace des caractéristiques C’est le problème de discrimination « je ne sais pas », « inconnue »

11 Sources - Actions - Classes Règles de décision
Xn Frontière de décision fonction b(x)=0 telle que D(x-e) = D(x+e) x x x x + + x x x x x + + x x x + + x prototypes + x + X1 Rejet de distance Rejet d’ambiguïté Xn x x Xn x x x x x x + + x x + + x x x x x x x x + + + x x + x x x x + + + + x x + x + x + + X1 X1

12 des caractéristiques)
Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

13 Coûts : matrice de confusion
Vraie classe … k … K Décision 1 2 3 . L ? ?? Rejet (ambiguïté et distance) Si je décide l’action al alors que la « vraie » classe est sk Combien coûte cette décision ?

14 Coûts : matrice de confusion
Vraie classe … k … K Décision 1 2 3 . L ? ?? La réalité notre décision Malade pas malade On soigne 1 Rejet (ambiguïté et distance) on ne soigne pas 100 Si je décide l’action al alors que la « vraie » classe est sk Combien coûte cette décision ?

15 Coûts : matrice de confusion
Vraie classe … k … K Décision 1 2 3 . L ? ?? La réalité notre décision Malade pas malade 14 On soigne 5 Rejet (ambiguïté et distance) on ne soigne pas 1 1480 Sur les 1500 « cas » testés, voici les résultats de l’algorithmes de RdF

16 Algorithme de coût minimum

17 Coût minimum : cadre probabiliste
La source S est une variable aléatoire P(observer un « E ») exemple des malades P(malade) = 15/1000 cas équiprobable P(S=sk) = 1/K (1/2 si K=2)

18 Coût minimum : cadre probabiliste
La source S est une variable aléatoire P(observer un « E ») exemple des malades P(malade) = 15/1000 cas équiprobable P(S=sk) = 1/K (1/2 si K=2)

19 Coût minimum : cadre probabiliste
Illustration 1d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1)

20 Coût minimum : cadre probabiliste
Toutes les classes En moyenne On recherche la règle de décision de coût minimum

21 A savoir Variable aléatoire cas discret (un exemple)
cas continu (un exemple) Probabilité, probabilité conditionnelle fonction de répartition et densité loi usuelles : bernouilli, binomiale, poisson, normale Espérance, Variance Quiz de 5 minutes la semaine prochaine

22 Buts de la RdF 2 points de vue : utilisateur - concepteur
Algorithme de Reconnaissance des Formes Une forme (vecteur forme des caractéristiques) C’est la forme « y » Méthode de construction de l’Algorithme de Reconnaissance des Formes

23 Les enjeux de la RdF L’apprentissage :
ce qu’un bébé réalise en deux ans, aucune machine n’est aujourd’hui capable de la réaliser : et il a besoin d’exemples (cf les expériences folles du duc de Bavière) modéliser l’information, dépasser la complexité fusion de données représentation des incertitudes

24 Problèmes de la RdF Décision apprentissage sélection d’entrée
évaluation des performances prise en compte du temps fusion de données hétérogènes

25 Les différentes étapes d’une application de RdF
Recueil des données brutes génération de caractéristiques sélection des caractéristiques pertinentes étiquetage des classes conception du classifieur évaluation du système

26 notations J coût d ’une règle de décision (erreur de prédiction)
espace des sources J coût d ’une règle de décision (erreur de prédiction)

27 Méthodes de RdF

28 La RdF par apprentissage

29