La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

P Geurts - séminaire LIP6 1 Ensembles darbres extrêmement aléatoires Application à la classification dimages Pierre Geurts Département dElectricité, dElectronique.

Présentations similaires


Présentation au sujet: "P Geurts - séminaire LIP6 1 Ensembles darbres extrêmement aléatoires Application à la classification dimages Pierre Geurts Département dElectricité, dElectronique."— Transcription de la présentation:

1 P Geurts - séminaire LIP6 1 Ensembles darbres extrêmement aléatoires Application à la classification dimages Pierre Geurts Département dElectricité, dElectronique et dInformatique, Université de Liège, Belgique 19 février 2004

2 P Geurts - séminaire LIP62 Plan de la présentation Arbres extrêmement aléatoires Arbres extrêmement aléatoires Arbres de décision et méthodes densemble Arbres de décision et méthodes densemble Arbres extrêmement aléatoires Arbres extrêmement aléatoires Analyse biais-variance Analyse biais-variance En pratique En pratique Arbre totalement aléatoire Arbre totalement aléatoire Application à la classification dimages Application à la classification dimages

3 P Geurts - séminaire LIP63 Arbres de décision/régression X1 t 1 X2 t 2 X1 t 3 X2 t 4 r1r1 r2r2 r3r3 r4r4 r5r5 r2r2 r1r1 r3r3 r5r5 r4r4 t2t2 t1t1 t3t3 X1X1 X2X2

4 P Geurts - séminaire LIP64 Arbres de décision/régression Construction de larbre à partir de données Construction de larbre à partir de données De haut en bas De haut en bas À chaque étape: À chaque étape: On choisit un nœud terminal On choisit un nœud terminal On cherche le meilleur attribut et la meilleure question selon une mesure de score On cherche le meilleur attribut et la meilleure question selon une mesure de score On éclate le nœud On éclate le nœud Variable numérique: question de type [A

5 P Geurts - séminaire LIP65 Arbres de décision/régression Points forts de la méthode: Points forts de la méthode: Interprétable Interprétable Flexible Flexible Relativement efficace Relativement efficace Point faible: Une variance importante Point faible: Une variance importante Interprétabilité remise en question Interprétabilité remise en question Précision en deçà dautres méthodes Précision en deçà dautres méthodes

6 P Geurts - séminaire LIP66 Réduction de variance Différentes approches possibles: Différentes approches possibles: Stabiliser les paramètres de larbre Stabiliser les paramètres de larbre Améliore linterprétabilité mais pas la précision Améliore linterprétabilité mais pas la précision « Fuzzyfier » les tests: arbres flous, arbres probabilistes… « Fuzzyfier » les tests: arbres flous, arbres probabilistes… Améliore la précision et préserve linterprétabilité Améliore la précision et préserve linterprétabilité Agréger plusieurs arbres: méthodes densemble Agréger plusieurs arbres: méthodes densemble Améliore la précision mais on perd linterprétabilité Améliore la précision mais on perd linterprétabilité

7 P Geurts - séminaire LIP67 Méthodes densemble Deux approches: Deux approches: Algorithmes de type boosting: construction séquentielle (itérative) des modèles Algorithmes de type boosting: construction séquentielle (itérative) des modèles Réduit essentiellement le biais mais aussi la variance Réduit essentiellement le biais mais aussi la variance Algorithme de randomisation: construction en parallèle des modèles Algorithme de randomisation: construction en parallèle des modèles Réduit essentiellement la variance, augmente le biais Réduit essentiellement la variance, augmente le biais

8 P Geurts - séminaire LIP68 Randomisation Idée: agréger les prédictions de plusieurs modèles instables Idée: agréger les prédictions de plusieurs modèles instables goodbadgood

9 P Geurts - séminaire LIP69 Randomisation Pour obtenir les différents modèles, il faut perturber soit: Pour obtenir les différents modèles, il faut perturber soit: les données: les données: Bagging (Breiman, 1996): ré-échantillonnage avec remplacement Bagging (Breiman, 1996): ré-échantillonnage avec remplacement Méthode subspace (Ho, 1998): bruite la liste des attributs Méthode subspace (Ho, 1998): bruite la liste des attributs lalgorithme dapprentissage directement: lalgorithme dapprentissage directement: Random trees (Dietterich, 2000): choix aléatoire dun test parmi les 20 meilleurs Random trees (Dietterich, 2000): choix aléatoire dun test parmi les 20 meilleurs Random forests (Breiman, 2001): bagging + choix du meilleur test parmi un sous-ensemble aléatoire de k attributs Random forests (Breiman, 2001): bagging + choix du meilleur test parmi un sous-ensemble aléatoire de k attributs

10 P Geurts - séminaire LIP610 Randomisation Deux observations: Deux observations: Les méthodes densemble fournissent toutes un test différent de loptimal mais recherchent quand même ce test optimal. Les méthodes densemble fournissent toutes un test différent de loptimal mais recherchent quand même ce test optimal. Les paramètres des arbres sont très instables Les paramètres des arbres sont très instables Buts de létude proposée ici: Buts de létude proposée ici: Évaluer une variante totalement aléatoire Évaluer une variante totalement aléatoire Vérifier si le degré de randomisation est dépendant du problème. Vérifier si le degré de randomisation est dépendant du problème.

11 P Geurts - séminaire LIP611 Randomisation proposée Lors du développement dun nœud: Lors du développement dun nœud: On génère K tests aléatoirement et on prend le meilleur test parmi ceux-ci On génère K tests aléatoirement et on prend le meilleur test parmi ceux-ci Pour générer un test aléatoire: Pour générer un test aléatoire: On choisit un attribut aléatoirement On choisit un attribut aléatoirement Sil est numérique, on choisit un seuil de discrétisation au hasard (entre le min et le max de lattribut dans léchantillon) Sil est numérique, on choisit un seuil de discrétisation au hasard (entre le min et le max de lattribut dans léchantillon) Sil est symbolique, on choisit un sous-ensemble aléatoire des valeurs possibles de lattribut Sil est symbolique, on choisit un sous-ensemble aléatoire des valeurs possibles de lattribut On développe larbre complètement On développe larbre complètement (« extra-trees » pour « extremely randomized trees ») (« extra-trees » pour « extremely randomized trees »)

12 P Geurts - séminaire LIP612 Extra-trees K contrôle le degré de randomisation: K contrôle le degré de randomisation: Si K=1, la structure de larbre est déterminée totalement aléatoirement, sans référence à la sortie. Si K=1, la structure de larbre est déterminée totalement aléatoirement, sans référence à la sortie. Si K, la structure tend vers celle dun arbre classique Si K, la structure tend vers celle dun arbre classique

13 P Geurts - séminaire LIP613 Expérimentations Sur 12 problèmes de classification et 12 problèmes de régression Sur 12 problèmes de classification et 12 problèmes de régression Comparaison de plusieurs méthodes: Comparaison de plusieurs méthodes: Arbres classiques (élagués) Arbres classiques (élagués) Méthodes densemble (100 arbres, non-élagués) Méthodes densemble (100 arbres, non-élagués) Bagging Bagging Random Forests (k optimisé) Random Forests (k optimisé) Arbres totalement aléatoires (K=1) Arbres totalement aléatoires (K=1) Extra-trees (K optimisé) Extra-trees (K optimisé)

14 P Geurts - séminaire LIP614 Problèmes de classification

15 P Geurts - séminaire LIP615 Problèmes de classification Erreurs relatives moyennes Erreurs relatives moyennes Extra-trees meilleurs que bagging et légèrement meilleurs que random forests Extra-trees meilleurs que bagging et légèrement meilleurs que random forests Arbres totalement aléatoires compétitifs par rapport aux autres méthodes Arbres totalement aléatoires compétitifs par rapport aux autres méthodes 1 arbre BaggingRFET (K=1) ET (K opt.) 1,0 0,58 0,42 0,50 0,37

16 P Geurts - séminaire LIP616 Problèmes de classification Influence de K sur lerreur Influence de K sur lerreur K Erreur (%) Arbre totalement aléatoire Arbre classique Letter Two-norm

17 P Geurts - séminaire LIP617 Problèmes de régression

18 P Geurts - séminaire LIP618 Problèmes de régression Erreurs relatives moyennes Erreurs relatives moyennes Bagging, Random Forests et Extra-trees très proches. Bagging, Random Forests et Extra-trees très proches. Arbres totalement aléatoires pas très bons sur certains problèmes Arbres totalement aléatoires pas très bons sur certains problèmes 1 arbre BaggingRFET (K=1) ET (K opt.) 1,0 0,67 0,66 2,06 0,61 1,16

19 P Geurts - séminaire LIP619 Problèmes de régression Influence de K sur lerreur Influence de K sur lerreur K Erreur Elevators Housing Arbre totalement aléatoire Arbre classique

20 P Geurts - séminaire LIP620 Conclusion des expérimentations On peut aller très loin en terme de randomisation avec les méthodes densemble et quand même améliorer la précision par rapport à un seul arbre On peut aller très loin en terme de randomisation avec les méthodes densemble et quand même améliorer la précision par rapport à un seul arbre Différence importante entre problèmes de classification et problèmes de régression Différence importante entre problèmes de classification et problèmes de régression En classification, la randomisation peut aller très loin et améliore fortement la précision par rapport au bagging En classification, la randomisation peut aller très loin et améliore fortement la précision par rapport au bagging En régression, la randomisation permise est plus faible et le bagging va généralement suffisamment loin de ce point de vue En régression, la randomisation permise est plus faible et le bagging va généralement suffisamment loin de ce point de vue Analyse basée sur les notions de biais et de variance Analyse basée sur les notions de biais et de variance

21 P Geurts - séminaire LIP621 Notion de biais et de variance Biais=erreur systématique commise par une méthode (indépendamment de léchantillon) Biais=erreur systématique commise par une méthode (indépendamment de léchantillon) Variance=erreur due à la variabilité du modèle (en fonction de léchantillon) Variance=erreur due à la variabilité du modèle (en fonction de léchantillon) En régression: En régression: Err. quad. Moyenne (MSE)= erreur min.+biais+variance

22 P Geurts - séminaire LIP622 Compromis biais/variance Sur un problème de régression (Friedman1) Sur un problème de régression (Friedman1) Lorsque K augmente (la randomisation diminue), le biais diminue et la variance augmente. Lorsque K augmente (la randomisation diminue), le biais diminue et la variance augmente.

23 P Geurts - séminaire LIP623 Variables non pertinentes Si K=1, la méthode est incapable de détecter (localement ou globalement) des variables non pertinentes Si K=1, la méthode est incapable de détecter (localement ou globalement) des variables non pertinentes Par exemple, sil y a 50% de variables inutiles, 50% des tests dans larbre seront inutiles Par exemple, sil y a 50% de variables inutiles, 50% des tests dans larbre seront inutiles la complexité effective de larbre diminue de moitié et le biais augmente fortement la complexité effective de larbre diminue de moitié et le biais augmente fortement Exemple: Friedman1 sans/avec 5 attributs bruités Exemple: Friedman1 sans/avec 5 attributs bruités MSEBiaisVariance Sans bruit 5,725,210,51 Avec bruit 11,7311,270,46

24 P Geurts - séminaire LIP624 Biais et variance en classification La plupart des méthodes de classification cherchent une fonction f (x) et prédisent la classe en x par: La plupart des méthodes de classification cherchent une fonction f (x) et prédisent la classe en x par: Une erreur systématique (biais) sur f na pas dimportance tant que f reste du bon côté de la frontière de décision Une erreur systématique (biais) sur f na pas dimportance tant que f reste du bon côté de la frontière de décision En classification, le biais (sur f ) a moins dimportance que la variance (sur f ) En classification, le biais (sur f ) a moins dimportance que la variance (sur f ) 5,0)( si 5,0)( )( 2 1 xfc xfc xC

25 P Geurts - séminaire LIP625 Compromis biais/variance Sur un problème de classification (Waveform) Sur un problème de classification (Waveform) Le minimum du taux derreur correspond à plus de randomisation (K plus petit) que le minimum de lerreur quadratique. Le minimum du taux derreur correspond à plus de randomisation (K plus petit) que le minimum de lerreur quadratique.

26 P Geurts - séminaire LIP626 En pratique Quelle valeur de K par défaut ? Quelle valeur de K par défaut ? En classification, K=5 En classification, K=5 En régression, K=min(30,nombre dattributs) En régression, K=min(30,nombre dattributs) Ce quon perd en moyenne en précision: Ce quon perd en moyenne en précision: 1 arbreBaggingK déf.K opt.1 arbreBaggingK déf.K opt. ClassificationRégression 1,0 0,58 0,37 0,41 1,0 0,67 0,610,62

27 P Geurts - séminaire LIP627 Temps de calcul Avantage important en classification, marginal en régression. Dautant plus important quil y a de variables. Exemple sur Isolet (N=6238 m=617): Avantage important en classification, marginal en régression. Dautant plus important quil y a de variables. Exemple sur Isolet (N=6238 m=617): 1 arbre: 37s 1 arbre: 37s Bagging: 37m Bagging: 37m Extra-trees (déf.): 4s Extra-trees (déf.): 4s 1 arbreBaggingK déf.K=11 arbreBaggingK déf.K=1 1 62,2 4,1 7,4 1 57,0 11,3 49,1 ClassificationRégression

28 P Geurts - séminaire LIP628 Complexité du modèle Les arbres aléatoires sont beaucoup plus complexes (surtout en classification). Les arbres aléatoires sont beaucoup plus complexes (surtout en classification). Heureusement, le test reste très rapide car la profondeur augmente seulement avec le logarithme de la complexité. Heureusement, le test reste très rapide car la profondeur augmente seulement avec le logarithme de la complexité. 1 arbreBagging K déf. K=1 1 arbreBaggingK déf.K= Classification Régression

29 P Geurts - séminaire LIP629 Variante totalement aléatoire Étonnamment, cette variante fonctionne assez bien sur plusieurs problèmes (particulièrement de classification) Étonnamment, cette variante fonctionne assez bien sur plusieurs problèmes (particulièrement de classification) Totalement non paramétrique (pas dhypothèse sur le problème, pas de mesure de score…) Totalement non paramétrique (pas dhypothèse sur le problème, pas de mesure de score…) Extrêmement rapide et complexité indépendante de la dimension du problème Extrêmement rapide et complexité indépendante de la dimension du problème la structure de larbre est totalement indépendante de la sortie On peut lutiliser pour une autre sortie en changeant simplement les prédictions aux feuilles la structure de larbre est totalement indépendante de la sortie On peut lutiliser pour une autre sortie en changeant simplement les prédictions aux feuilles

30 P Geurts - séminaire LIP630 Comparaison avec le k-NN Points communs: Points communs: Les deux méthodes sont basées sur une métrique indépendante de la sortie: Les deux méthodes sont basées sur une métrique indépendante de la sortie: Deux points sont proches sils tombent souvent ensemble dans les mêmes feuilles des arbres de lensemble Deux points sont proches sils tombent souvent ensemble dans les mêmes feuilles des arbres de lensemble Elles sont sensibles à la présence de variables non pertinentes Elles sont sensibles à la présence de variables non pertinentes Modèles relativement lourds Modèles relativement lourds Mais grâce aux arbres: Mais grâce aux arbres: Distance invariante à certaines transformations des variables, insensible aux outliers, normalisation inutile … Distance invariante à certaines transformations des variables, insensible aux outliers, normalisation inutile … Traitement naturel de variables symboliques Traitement naturel de variables symboliques Prédiction très rapide, O(log(N)) si N est la taille du LS Prédiction très rapide, O(log(N)) si N est la taille du LS

31 P Geurts - séminaire LIP631 Comparaison avec le k-NN Erreur Erreur Temps de calcul Temps de calcul 1 1,25 1,1 1 1,42 0,87 ET(K=1) 1-NNK-NN1-NNK-NN 1-NN test 1-NN test ET(K=1) test E-T(K=1) Constr.+test 1 14,7 13,7 1 9,2 4,1 ET(K=1) test ET(K=1) Constr.+test ClassificationRégression Classification Régression

32 P Geurts - séminaire LIP632 Conclusions et perspectives Extra-trees surtout intéressants en classification: Extra-trees surtout intéressants en classification: Précision comparable aux autres méthodes densemble Précision comparable aux autres méthodes densemble Très rapide (surtout si beaucoup de variables) Très rapide (surtout si beaucoup de variables) Relativement robuste Relativement robuste Travaux futurs: Travaux futurs: Comparaison avec dautres méthodes: boosting, SVM… Comparaison avec dautres méthodes: boosting, SVM… Version incrémentale, adaptative Version incrémentale, adaptative Apprentissage non supervisé avec des ensembles darbres Apprentissage non supervisé avec des ensembles darbres Interprétation dun ensemble darbres Interprétation dun ensemble darbres

33 P Geurts - séminaire LIP6 33 Application à la classification dimages Raphaël Marée, Pierre Geurts, Justus Piater, Louis Wehenkel Université de Liège, Belgique

34 P Geurts - séminaire LIP634 Classification automatique dimages À partir dune base de données dimages pré- classifiées, construire un modèle qui classera aussi bien que possible de nouvelles images À partir dune base de données dimages pré- classifiées, construire un modèle qui classera aussi bien que possible de nouvelles images Exemples dapplications: Exemples dapplications: reconnaissance de caractères manuscrits reconnaissance de caractères manuscrits reconnaissance de visages reconnaissance de visages reconnaissance dobjets reconnaissance dobjets reconnaissance de textures reconnaissance de textures

35 P Geurts - séminaire LIP635 Aperçu de bases de données MNIST: MNIST: ORL: ORL: COIL-100: COIL-100: OUTEX: OUTEX:

36 P Geurts - séminaire LIP636 Algorithme générique Solution traditionnelle en deux étapes: Solution traditionnelle en deux étapes: Extraction de caractéristiques Extraction de caractéristiques Application de techniques dapprentissage ou dappariement (matching) sur ces caractéristiques Application de techniques dapprentissage ou dappariement (matching) sur ces caractéristiques Inconvénient: la première étape de prétraitement est laborieuse et dépendante du problème Inconvénient: la première étape de prétraitement est laborieuse et dépendante du problème Avancées en apprentissage proposent des méthodes capables de traiter des problèmes complexes de dimension très importante Avancées en apprentissage proposent des méthodes capables de traiter des problèmes complexes de dimension très importante Que peut-on faire pour ce problème particulier en apprenant directement sur les valeurs brutes des pixels ? Que peut-on faire pour ce problème particulier en apprenant directement sur les valeurs brutes des pixels ?

37 P Geurts - séminaire LIP637 Exemple de base de données OUTEX: base de données de 864 images en couleurs (54 textures différentes) de 128x128 pixels OUTEX: base de données de 864 images en couleurs (54 textures différentes) de 128x128 pixels Une image = (128x128x3) valeurs entières comprises dans [0,255] et une classe (nom de texture) Une image = (128x128x3) valeurs entières comprises dans [0,255] et une classe (nom de texture) LS = 432 images (8 images par texture) LS = 432 images (8 images par texture) TS = 432 images (8 images restantes par texture) TS = 432 images (8 images restantes par texture)

38 P Geurts - séminaire LIP638 Algorithmes proposés Extra-trees Extra-trees Très efficaces pour traiter un grand nombre de variables Très efficaces pour traiter un grand nombre de variables Extra-trees + sous-fenêtres Extra-trees + sous-fenêtres Extraction et classification de sous-fenêtres dans les images Extraction et classification de sous-fenêtres dans les images Permet de tenir compte de caractéristiques plus locales dans les images et augmente artificiellement lensemble dapprentissage Permet de tenir compte de caractéristiques plus locales dans les images et augmente artificiellement lensemble dapprentissage

39 P Geurts - séminaire LIP639 Extraction de sous-fenêtres Apprentissage: Apprentissage: Etant donné une taille de fenêtre W 1 xW 2 et un nombre de fenêtres N w : Extraire N w sous-fenêtres aléatoirement à partir des images de lensemble dapprentissage et assigner à chaque sous-fenêtre la classe de limage originale Extraire N w sous-fenêtres aléatoirement à partir des images de lensemble dapprentissage et assigner à chaque sous-fenêtre la classe de limage originale Construire un modèle pour classer ces N w images en utilisant les W 1 xW 2 pixels qui les décrivent Construire un modèle pour classer ces N w images en utilisant les W 1 xW 2 pixels qui les décrivent ……

40 P Geurts - séminaire LIP640 Extraction de sous-fenêtres Test dune image: Test dune image: Etant donné la taille de sous-fenêtres W 1 xW 2 : Extraire tous les sous-fenêtres possibles de taille W 1 xW 2 dans limage à tester Extraire tous les sous-fenêtres possibles de taille W 1 xW 2 dans limage à tester Appliquer le modèle sur chaque sous-fenêtre Appliquer le modèle sur chaque sous-fenêtre Attribuer à limage la classe majoritaire parmi les classes attribuées aux sous-fenêtres Attribuer à limage la classe majoritaire parmi les classes attribuées aux sous-fenêtres

41 P Geurts - séminaire LIP641 Extraction de sous-fenêtres Test Test … ………… Fleur Métal Fleur

42 P Geurts - séminaire LIP642 Extraction de sous-fenêtres Les sous-fenêtres permettent de tenir compte de caractéristiques plus locales dans les images et augmente artificiellement léchantillon ( N w >>) Les sous-fenêtres permettent de tenir compte de caractéristiques plus locales dans les images et augmente artificiellement léchantillon ( N w >>) La taille des sous-fenêtres dépend du problème La taille des sous-fenêtres dépend du problème dautant plus petite que les classes dimages dépendent de caractéristiques locales dautant plus petite que les classes dimages dépendent de caractéristiques locales Exemple: classification de caractères manuscripts ! grandes fenêtres, classification de texture ! fenêtres plus petites Exemple: classification de caractères manuscripts ! grandes fenêtres, classification de texture ! fenêtres plus petites En pratique, détermination de la taille optimale par validation croisée pour rester générique. En pratique, détermination de la taille optimale par validation croisée pour rester générique.

43 P Geurts - séminaire LIP643 DBs#images#attributs#classes MNIST (28x28x1) 10 ORL (92x112x1) 40 COIL (32x32x3) 100 OUTEX (128x128x3) 54 Base de données

44 P Geurts - séminaire LIP644 Protocoles dexpérimentation MNIST MNIST LS = premières images LS = premières images TS = dernières images TS = dernières images ORL ORL 100 groupes de données: 100 groupes de données: LS = 200 images (5 images par personne) LS = 200 images (5 images par personne) TS = 200 images (5 images restantes par personne) TS = 200 images (5 images restantes par personne) COIL-100 COIL-100 LS = 1800 images (k*20°, k=0..17) LS = 1800 images (k*20°, k=0..17) TS = 5400 images (36 images restantes par objet) TS = 5400 images (36 images restantes par objet) OUTEX OUTEX LS = 432 images (8 images par texture) LS = 432 images (8 images par texture) TS = 432 images (8 images restantes par texture) TS = 432 images (8 images restantes par texture)

45 P Geurts - séminaire LIP645 Précision BDsExtra-treesSous-fenêtresLittérature MNIST3.26%2.63% (w 1 =w 2 =24) 12%…0.7% ORL 4.56% ± % ± 1.18 (w 1 =w 2 =32) 7.5%…0% COIL %0.39% (w 1 =w 2 =16) 12.5%…0.1% OUTEX64.35%2.78% (w 1 =w 2 =4) 9.5%…0.2%

46 P Geurts - séminaire LIP646 Comparaison avec dautres méthodes MethodMNISTORLCOIL-100OUTEX One classical DT 11.5%29.25%20.80%89.35% Bagging DT 4.42%9.5%2.24%73.15% Boosting DT 2.29%3.75%0.54%69.44% Random Forests 3.0%1.25%1.17%66.90% Extra-trees3.17%1.25%1.96%65.05% Extra-trees + SW 2.54%0.5%0.35%2.78% SVMs1.95%1.25%0.44%71.99% Nearest Neighbours 5.5%2.25%1.94%80.79% State-of-the-art0.7%-0.1%0.2%

47 P Geurts - séminaire LIP647 Temps de calcul Apprentissage sur COIL-100 (1800x3072) Apprentissage sur COIL-100 (1800x3072)

48 P Geurts - séminaire LIP648 Temps de calcul Test sur COIL-100 (5400 images) Test sur COIL-100 (5400 images)

49 P Geurts - séminaire LIP649 Robustesse Linconvénient dune approche générique est peut-être le manque de robustesse à différentes transformations des images Linconvénient dune approche générique est peut-être le manque de robustesse à différentes transformations des images Exemples de transformations: Exemples de transformations: Rotation Rotation Changement déchelle Changement déchelle Occultation Occultation

50 P Geurts - séminaire LIP650 Robustesse: rotation Rotation planaire des images (COIL-100) Rotation planaire des images (COIL-100) Ok, jusque 20° avec des sous-fenêtres Ok, jusque 20° avec des sous-fenêtres

51 P Geurts - séminaire LIP651 Robustesse: échelle Seule la variante avec des sous-fenêtres peut encore être appliquée Seule la variante avec des sous-fenêtres peut encore être appliquée Le modèle est construit sur des images 32x32 (sous-fenêtres de 16x16) Le modèle est construit sur des images 32x32 (sous-fenêtres de 16x16) Ok seulement pour de faibles variations Ok seulement pour de faibles variations

52 P Geurts - séminaire LIP652 Robustesse: occultation La partie droite de limage est occultée La partie droite de limage est occultée Ok jusquà environ 40% doccultation avec les sous-fenêtres Ok jusquà environ 40% doccultation avec les sous-fenêtres

53 P Geurts - séminaire LIP653 Conclusions et perspectives Méthode générique comparable aux meilleurs méthodes spécifiques bien que légèrement inférieure en précision par rapport à létat de lart Méthode générique comparable aux meilleurs méthodes spécifiques bien que légèrement inférieure en précision par rapport à létat de lart Est-ce quune amélioration légère de la précision justifie une approche spécifique ? La réponse dépend de lapplication Est-ce quune amélioration légère de la précision justifie une approche spécifique ? La réponse dépend de lapplication Perspectives: Perspectives: Combinaison des sous-fenêtres avec dautres méthodes dapprentissage (SVM, boosting…) Combinaison des sous-fenêtres avec dautres méthodes dapprentissage (SVM, boosting…) Amélioration de la robustesse Amélioration de la robustesse Étudier le compromis entre efficacité et précision pour faire une prédiction. Étudier le compromis entre efficacité et précision pour faire une prédiction.

54 P Geurts - séminaire LIP654 Réferences Extra-trees: (http://www.montefiore.ulg.ac.be/~geurts) Extra-trees: (http://www.montefiore.ulg.ac.be/~geurts)http://www.montefiore.ulg.ac.be/~geurts Contribution to decision tree induction: bias/variance tradeoff and time series classification, P.Geurts, Thèse de doctorat, Contribution to decision tree induction: bias/variance tradeoff and time series classification, P.Geurts, Thèse de doctorat, Traitement de grands volumes de données par ensemble darbre de décision, P.Geurts, Journées de Statistiques, Lyon, Juin Traitement de grands volumes de données par ensemble darbre de décision, P.Geurts, Journées de Statistiques, Lyon, Juin Extremely randomized trees, P.Geurts, Rapport interne, Mai Extremely randomized trees, P.Geurts, Rapport interne, Mai Classification dimages: (http://www.montefiore.ulg.ac.be/~maree) Classification dimages: (http://www.montefiore.ulg.ac.be/~maree)http://www.montefiore.ulg.ac.be/~maree Une méthode générique pour la classification automatique dimages à partir des pixels, R.Marée, P.Geurts et L.Wehenkel, Journées de Statistiques, Lyon, Juin Une méthode générique pour la classification automatique dimages à partir des pixels, R.Marée, P.Geurts et L.Wehenkel, Journées de Statistiques, Lyon, Juin A generic approach for image classification based on decision tree ensembles and local subwindows, R. Marée, P. Geurts, J. Piater, L. Wehenkel, Sixth Asian Conference on Computer Vision, Jeju (Corée), janvier 2004 A generic approach for image classification based on decision tree ensembles and local subwindows, R. Marée, P. Geurts, J. Piater, L. Wehenkel, Sixth Asian Conference on Computer Vision, Jeju (Corée), janvier 2004 A comparison of generic machine learning algorithms for image classification, R.Marée, P. Geurts, G. Visimberga, J. Piater, L. Wehenkel, 23rd SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence, Cambridge (UK), Décembre A comparison of generic machine learning algorithms for image classification, R.Marée, P. Geurts, G. Visimberga, J. Piater, L. Wehenkel, 23rd SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence, Cambridge (UK), Décembre 2003.


Télécharger ppt "P Geurts - séminaire LIP6 1 Ensembles darbres extrêmement aléatoires Application à la classification dimages Pierre Geurts Département dElectricité, dElectronique."

Présentations similaires


Annonces Google