La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Classification multiclasses Maxime Benoît-Gagné. Introduction.

Présentations similaires


Présentation au sujet: "Classification multiclasses Maxime Benoît-Gagné. Introduction."— Transcription de la présentation:

1 Classification multiclasses Maxime Benoît-Gagné

2 Introduction

3 Énoncé du problème Pour un ensemble dentraînement constitué de points de données appartenant à N classes différentes, le but est de trouver une fonction qui prédit correctement la classe à laquelle appartient un nouveau point de données.

4 Exemple 0 CouleurClasse Bleu1 Vert2 Mauve3 X est le point de données de classe inconnue dont on veut prédire la classe.

5 Plan de la présentation Introduction OVA (one-versus-all) AVA (all-versus-all) DAG (Directed Acyclic Graph) Discussion Conclusion

6 OVA one-versus-all

7 Phase dentraînement de OVA Soit N le nombre de classes. Soit classifieurs un tableau de longueur N contenant des classifieurs binaires. Pour i de 1 à N Classifieurs[i] Entraîner un classifieur binaire sur toutes les données. Les données de la classe i sont considérées 1. Les données qui ne sont pas de la classe i sont considérées -1.

8 Exemple de la phase dentraînement de OVA 0 Classe 1 Classe 2Classe 3 Classe 1 Classe -1 i = i = 2 0 i = 3 1-vs-2 et 3 2-vs-1 et 3 3-vs-1 et 2

9 Phase de test de OVA Soit x un point de classe inconnue. Soit résultats un tableau de longueur N contenant des nombres. Soit meilleurRésultat un nombre. Soit résultat un entier représentant une classe. meilleurRésultat - Résultat 0 Pour i de 1 à N résultats[i] Tester x sur classifieurs[i] Pour i de 1 à N Si résultats[i] > meilleurRésultat meilleurRésultat résultats[i] résultat i Retourner résultat

10 Exemple de la phase de test pour OVA 0 Classe 1 Classe 2Classe 3 1-vs-2 et 3 2-vs-1 et 3 3-vs-1 et 2 0,9 -0, Résultat: La classe de x est 1.

11 AVA all-versus-all ou all-pairs

12 Phase dentraînement de AVA Soit N le nombre de classes. Soit classifieurs une file contenant des classifieurs binaires. Soit classifieur un classifieur binaire. Pour chaque ensemble distinct {i, j} pour i et j de 1 à N tels que i j classifieur Entraîner un classifieur binaire sur les données. Celles- ci contiennent seulement les données des classes i et j. Ajouter classifieur à classifieurs. À la fin, classifieurs contient classifieurs.

13 Exemple de la phase dentraînement pour AVA 0 Classe 1 Classe 2Classe 3 i = 1 et j = vs-2 0 i = 1 et j = 3 1-vs-3 0 i = 2 et j = 3 2-vs-3

14 Phase de test avec AVA Soit x un point de classe inconnue. Soit résultat un entier représentant une classe. Tant que classifieurs nest pas vide classifieur Défiler classifieurs. résultat Tester x sur le classifieur. Choisir la classe à partir des résultats.

15 Phase de test de AVA avec la Max Wins rule Soit votes un tableau de longueur N contenant des entiers représentant le nombre de votes obtenus pour chaque classe. Soit x un point de classe inconnue. Soit résultat un entier représentant une classe. Soit meilleurRésultat un entier représentant le nombre de votes obtenus par la meilleure classe jusquà maintenant. meilleurRésultat -1 Tant que classifieurs nest pas vide classifieur Défiler classifieurs. résultat Tester x sur classifieur. Pour i de 1 à N Si résultat = i votes[i] votes[i] + 1 Pour i de 1 à N Si votes[i] > meilleurRésultat meilleurRésultat votes[i] résultat i Retourner résultat

16 Phase de test pour AVA avec la Max Wins rule 0 Classe 1 Classe 2Classe 3 1-vs-2 1-vs-3 2-vs Résultat: La classe de x est 1.

17 DAG Directed Acyclic Graph (graphe acyclique orienté)

18 DAG Les arêtes du graphe sont orientées. Les arêtes ne forment pas de cycles. Un nœud peut être la destination de plusieurs arêtes. Le DAG utilisé est enraciné et binaire.

19 DAG Le DAG a nœuds internes et N feuilles. Chaque feuille contient une classe différente. Les nœuds sont arrangés en triangle avec une seule racine au sommet, 2 nœuds à la deuxième couche et ainsi de suite jusquà la dernière couche de N feuilles. La hauteur du DAG est N.

20 DAG Chaque nœud interne a un fils gauche et un fils droit. Le fils gauche est le nœud de la couche suivant immédiatement à gauche. Le fils droit est le nœud de la couche suivante immédiatement à droite.

21 DAG Chaque nœud interne est un classifieur binaire. Soit le nœud_ij. Ce nœud contient un classifieur binaire entre les classes i et j.

22 DAG Soit un point de données x. Le résultat du test du classifieur contenant le nœud_ij sur x est soit i soit j. Chaque feuille contient une classe plutôt quun classifieur.

23 Assignation de i et j à un nœud interne Soit le niveau m, m N, du DAG. –Chacun des m nœuds aura i pour i de 1 à m. –j est tel que N – j + i = m. –Les m nœuds internes sont placés de gauche à droite en ordre décroissant de i.

24 Remarques Pour tout i, j i < j et le nœud interne_ij est situé à lintersection de la diagonale contenant la feuille de la classe i et de la diagonale contenant la feuille de la classe j.

25 Parcours dévaluation Le parcours à travers le DAG sappelle percours dévaluation (evaluation path).

26 Phase dentraînement de DAG Faire la même phase dentraînement pour AVA. Combiner les classifieurs binaires obtenus en un DAG.

27 Phase de test avec DAG Soit x un point de classe inconnue. Soit nœudCourant un nœud. Soit classifieur un classifieur binaire. Soit résultat un entier. // i ou j noeudCourant racine Tant que noeudCourant nest pas une feuille classifieur Le classifieur binaire qui correspond à nœudCourant. résultat Tester x sur le classifieur. Si résultat = j noeudCourant Le fils gauche de noeudCourant Sinon noeudCourant Le fils droit de noeudCourant // noeudCourant est maintenant une feuille. Retourner la classe correspondant à noeudCourant.

28 Exemple de la phase de test avec DAG 0 Classe 1 Classe 2Classe 3 2-vs vs vs-3 1

29 Discussion

30 Rifkin et Klautau R. Rifkin et K. Klautau. In Defense of One- Vs-All Classification. Journal of Machine Learning Research, 5: , But: Comparer lexactitude de OVA par rapport à AVA et à dautres algorithmes de classification multiclasses (mais pas DAG).

31 Rifkin et Klautau Revue de la littérature Expérimentations en utilisant des classifieurs binaires qui étaient des SVMs bien ajustés (well-tuned SVMs).

32 Rifkin et Klautau Conclusion: OVA est un algorithme aussi exact quun autre algorithme plus compliqué de classification multiclasses à condition dutiliser des classifieurs binaires bien ajustés.

33 Platt, Cristianini et Shawe-Taylor J. Platt, N. Cristianini et J. Shawe-Taylor. Large Margin DAGs for multiclass Classification. Advances in Neural Information Processing Systems, 12 ed. S. A. Solla, T. K. Leen et K.-R. Muller, MIT Press, But: Comparer lexactitude et le temps dexécution de OVA, AVA et DAG.

34 Expérimentations avec des classifieurs binaires qui sont des SVMs. Conclusion –DAG a une exactitude comparable à celle de OVA et AVA. –DAG est plus rapide autant à la phase dentraînement quà la phase de test. Platt, Cristianini et Shawe-Taylor

35 Conclusion Les algorithmes de classification multiclasses OVA, AVA et DAG ont une exactitude comparable quand on utilise des classifieurs binaires bien ajustés. OVA est lalgorithme le plus simple. DAG est lalgorithme le plus rapide tant à la phase dentraînement quà la phase de test.

36 Références 1.J. Platt, N. Cristianini et J. Shawe-Taylor. Large Margin DAGs for multiclass Classification. Advances in Neural Information Processing Systems, 12 ed. S. A. Solla, T. K. Leen et K.-R. Muller, MIT Press, R. Rifkin et K. Klautau. In Defense of One-Vs- All Classification. Journal of Machine Learning Research, 5: , 2004.


Télécharger ppt "Classification multiclasses Maxime Benoît-Gagné. Introduction."

Présentations similaires


Annonces Google