La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Méthode des k plus proches voisins Christelle Scharff IFI 2004.

Présentations similaires


Présentation au sujet: "1 Méthode des k plus proches voisins Christelle Scharff IFI 2004."— Transcription de la présentation:

1 1 Méthode des k plus proches voisins Christelle Scharff IFI 2004

2 2 Généralités Apprendre par analogie Recherchant dun ou des cas similaires déjà résolus Classifier ou estimer Dis moi qui sont tes amis, et je te dirais qui tu es Pas de construction de modèle C'est l'échantillon d'apprentissage, associé à une fonction de distance et d'une fonction de choix de la classe en fonction des classes des voisins les plus proches, qui constitue le modèle

3 3 Algorithme Paramètre : le nombre k de voisins Donnée : un échantillon de m exemples et leurs classes La classe dun exemple X est c(X) Entrée : un enregistrement Y 1. Déterminer les k plus proches exemples de Y en calculant les distances 2. Combiner les classes de ces k exemples en une classe c Sortie : la classe de Y est c(Y)=c

4 4 Exemple: Client loyal ou non K = 3

5 5 Distance entre 2 exemples

6 6 Distance Le choix de la distance est primordial au bon fonctionnement de la méthode Les distances les plus simples permettent d'obtenir des résultats satisfaisants (lorsque c'est possible) Propriétés de la distance: d(A,A)=0 d(A,B)= d(B,A) d(A,B) d(A,C) + d(B,C)

7 7 Distance entre numériques d(x,y) = |x-y| ou d(x,y) = |x-y|/d max, où d max est la distance maximale entre deux numériques du domaine considéré

8 8 Distance entre nominaux Données binaires : 0 ou 1. On choisit d(0,0)=d(1,1)=0 et d(0,1)=d(1,0)=1. Données énumératives : la distance vaut 0 si les valeurs sont égales et 1 sinon. Données énumératives ordonnées : elles peuvent être considérées comme des valeurs énumératives mais on peut également définir une distance utilisant la relation d'ordre. Exemple: Si un champ prend les valeurs A, B, C, D et E, on peut définir la distance en considérant 5 points de l'intervalle [0,1] avec une distance de 0,2 entre deux points successifs, on a alors d(A,B)=0,2 ; d(A,C)=0,4 ;... ; d(E,E)=0,2.

9 9 Distance Euclidienne entre 2 exemples Soit X = (x 1,..., x n ) et Y = (y 1,..., y n ) deux exemples, la distance euclidienne entre X et Y est:

10 10 Autres distances Sommation: Distance euclidienne ponderée:

11 11 Pourquoi pondérer les attributs? Certains attributs peuvent dominer le calcul de la distance Exemple:

12 12 Choix de la classe

13 13 Choix de la classe Choix de la classe majoritaire Choix de la classe majoritaire pondérée Chaque classe d'un des k voisins sélectionnés est pondéré Soit V le voisin considéré. Le poids de c(V) est inversement proportionnel à la distance entre l'enregistrement Y à classer et V Calculs derreur

14 14 Exemple (1)

15 15 Exemple (2) K = 3

16 16 Mise en oeuvre de la méthode Choisir les attributs pertinents pour la tâche de classification considérée et les données Choix de la distance par champ et du mode de combinaison des distances en fonction du type des champs et des connaissances préalables du problème Choix du nombre k de voisins déterminé par utilisation d'un ensemble test ou par validation croisée Une heuristique fréquemment utilisée est de prendre k égal au nombre d'attributs plus 1

17 17 Discussion Interprétations: La classe attribuée à un exemple peut être expliquée en exhibant les plus proches voisins qui ont amené à ce choix La méthode peut s'appliquer dès qu'il est possible de définir une distance sur les champs La méthode permet de traiter des problèmes avec un grand nombre d'attributs. Mais, plus le nombre d'attributs est important, plus le nombre d'exemples doit être grand.

18 18 Discussion Tous les calculs doivent être effectués lors de la classification (pas de construction de modèle) Le modèle est l'échantillon Espace mémoire important nécessaire pour stocker les données, et méthodes d'accès rapides nécessaires pour accélérer les calculs Les performances de la méthode dépendent du choix de la distance, du nombre de voisins et du mode de combinaison des réponses des voisins. En règle générale, les distances simples fonctionnent bien.

19 19 Références Cours de modélisation et de fouilles de données de Prof. Ravi Mantena, New York University.


Télécharger ppt "1 Méthode des k plus proches voisins Christelle Scharff IFI 2004."

Présentations similaires


Annonces Google