Les méthodes non paramétriques

Les méthodes non paramétriques Estimation d’une densité de probabilité pour laquelle aucune régularité fonctionnelle n’est connue a priori. Hypothèse : les densités recherchées sont localement régulières. Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Estimation non paramétrique d’une densité Soit un ensemble de données X={x1,….,xN} Diviser les données en plusieurs de parties (ou volume) de taille h. Histogramme: Histogramme Naïf Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Estimation non paramétrique d’une densité Estimation à l’aide des fonctions noyaux Estimateur à base de fonction noyau (fenêtre de Parzen) Noyau Gaussien: Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Densité de probabilité multidimensionnelles Estimateur à base de noyau noyau Gaussien multi-variable sphérique ellipsoïde Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

k-plus proches voisins Fenêtre de Parzen : fixer la taille du volume puis calculer le nombre d’échantillon dans le volume obtenu. K-plus proches voisins (k-ppv) : fixer le nombre d’éléments et faire varier la taille du volume. dk(x) est la distance pour atteindre les k plus proches voisins de k Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Exemple à deux dimension 2 classes, k=1 et 3 3 classes, k=1 et 3 Livre «Apprentissage artificiel : concepts et algorithmes » by Antoine Cornuejols Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Classification Densité de probabilité: Théorie bayésienne: Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

K-ppv et la théorie Bayesienne La méthode des k-ppv compare les densités de probabilités des classes voisinant la donnée x et elle choisit la plus probable. La méthode k-ppv approxime la théorie de Bayes Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Les surfaces séparatrices de la règle de décision du k-ppv Pavage de Voronoi Exécuter l’algorithme 1-ppv Regrouper les zones de la même classe. Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Algorithme du k-ppv Début On cherche à classer le point x Pour chaque exemple (y,w) de l’ensemble d’apprentissage faire Calculer la distance D(y,x) entre x et y Fin pour Dans les k points les plus proches de x Compter le nombre d’occurrences de chaque classe Attribuer à x la classe qui apparaît le plus souvent fin Livre «Apprentissage artificiel : concepts et algorithmes » by Antoine Cornuejols Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Inconvénients Très coûteux en calcul car il faut évaluer à chaque classification N fois une distance. N correspond au nombre de données dans la base d’apprentissage Incrémentation à chaque fois du nombre N après une classification. Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Algorithme avancé du k-ppv Algorithme de nettoyage: Début Diviser aléatoirement l’ensemble d’apprentissage en deux sous-ensembles S1 et S2 Tant que la stabilisation de S1et S2 n’est pas réalisée faire Classer tous les points de S1 sur S2 par la règle 1-ppv Éliminer de S1tous les points dont la classe n’est pas la même que celle de leur plus proche voisin dans S2. Classer tous les points de S2 sur le nouveau S1 par la règle 1-ppv Éliminer de S2tous les points dont la classe n’est pas la même que celle de leur plus proche voisin dans S1. Fin tant que L’ensemble d’apprentissage nettoyé est composé des deux ensembles S1,S2 Fin Livre «Apprentissage artificiel : concepts et algorithmes » by Antoine Cornuejols Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Algorithme avancé du k-ppv Algorithme de condensation Début Ordonner les N exemples d’apprentissage de x1,…,xN Initialiser S par x1et G par x2,…,xN Tant que S et G ne sont pas stabilisés faire Pour Chaque point gi de G faire Si le 1-ppv de gi dans S n’as pas la même classe que gi alors Enlever gi de G et le mettre dans S Fin Si Fin pour Fin tant que L’ensemble d’apprentissage condensé est S Livre «Apprentissage artificiel : concepts et algorithmes » by Antoine Cornuejols Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Algorithme avancé du k-ppv L’algorithme de nettoyage n’est pas efficace tous seul. L’algorithme de nettoyage est un excellent prétraitement pour l’algorithme de condensation. L’algorithme de nettoyage élimine les points isolés. L’algorithme de condensation garde juste les points proches de la frontière de décision. Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Après condensation Après nettoyage Après nettoyage et condensation Livre «Apprentissage artificiel : concepts et algorithmes » by Antoine Cornuejols Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Excercice sur ppv Soit les données d’apprentissage bidimensionnelles : [0 0;.5 .5;1 1] group = [1;2;3] Classer les données suivantes en utilisant ppv : [.9 .8;.1 .3;.2 .6] Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Excercice sur ppv Soit les données d’apprentissage bidimensionnelles : [0 0;.5 .5;1 1] group = [1;2;3] Classer les données suivantes en utilisant ppv : [.9 .8;.1 .3;.2 .6] Réponse : 3, 1, 2 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

Excercice sur 2-ppv Soit les données d’apprentissage bidimensionnelles : Groupe 1 : [0 0; .5 .5] Groupe 2 : [.9 .8; 1 1] Classer les données suivantes en utilisant la 2-ppv : [.1 .3;.2 .6] Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)