La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Phénomènes de Complexité et Concentration en Classification Richard Nock Groupe de.

Présentations similaires


Présentation au sujet: "Phénomènes de Complexité et Concentration en Classification Richard Nock Groupe de."— Transcription de la présentation:

1 Phénomènes de Complexité et Concentration en Classification Richard Nock Groupe de Recherche en Informatique et Mathématiques Appliquées des Antilles-Guyane Département Scientifique Interfacultaire Application à lApprentissage Automatique, au Data Mining et à lAnalyse dImages

2 Background Ingénieur Agronome (1993) DEA Informatique (1993) Doctorat Informatique (1998) directeur: O. Gascuel Mcf UAG Guadeloupe ( ) Mcf UAG Martinique (2000-)

3 Plan Présentation de léquipe Deux résultats... Un résultat négatif (apprentissage/complexité) Un résultat positif (analyse dimages) Encadrements et collaborations Encadrement de thèse Collaborations scientifiques Collaborations industries & collectivités Production scientifique

4 Algorithmes dapprentissage/classification Théorie (Complexité, stats/probas) Analyse dimages comment clusteriser plus finement ?

5 Production scientifique Données Méthode Théorie images AutreRéd. donnéesInduction nonouinon ALT 00 oui PKDD 99 ISIDA 99 CAIC 98 ICML 98 IC2IN 97 ICML 95 IJ-IDA(99) IJ-PRAI(98) ICASSP 02 ICIP 02 CVPR 01 ICIP 00 BMVC 00 ICTAI 98 EWCBR 00 PRL(01) TCS(02) JAIR(02) PRL(01) ECML 02 ALT 99 ISAAC 98 ILP 98 ICCS 98 ICML 96 ICML 01 FLAIRS 01 ICML 00 UAI 00 PKDD 00 CAIC 00 FLAIRS 00 PKDD 99 JMLR(02) PR(02) IJ-AIT(00) Book(00) IJ-CSS(00)

6 Deux résultats… Un résultat Positif « Fast and Reliable Region Merging inspired by Decision-Tree Pruning » R. Nock, IEEE Int. Conf. on Computer Vision and Pattern Recognition 2001 Un résultat (très) Négatif « Generalized Colorability and the Compressibility of Boolean Formulae » R. Nock, P. Jappy, J. Sallantin Int. Symposium on Algorithms And Computation 1998

7 Un résultat (très) Négatif

8 Un résultat Négatif Apprendre =capacité pour une entité daméliorer ses capacités de manière automatique, par lexpérience. Valiant (1984) = 2 contraintes: algorithmique: apprendre rapide statistique: apprendre fiable Modèle PAC: Probablement Approximativement Correct

9 Un résultat Négatif Valiant (C. ACM 1984, IJCAI 1985): les humains semblent être enclins à utiliser des systèmes de règles pour représenter leur connaissance. Ces systèmes de règles sont-ils PAC apprenables? Formes Normales Disjonctives (DNF)

10 Plan général (résultat Négatif) -Observations, Exemples, Concepts -Le modèle PAC de Valiant -Optimisation & approximation -Preuves traditionnelles -Notre solution: réductions « self-improving » -Parallèle « intéressant » -Conclusion & extensions

11 -Observations et Exemples On dispose de n variables Booléennes d observation: Chacune génère 2 littéraux Correspond au test Par ex.:

12 -Observations et Exemples On veut prédire l appartenance à une classe, comme fonction de ces variables d observation: Par exemple:« bon payeur »« mauvais payeur »versus Classe « positive » Classe « négative » Classe 1Classe 0 Un élémentest appelé une observationUn élémentest appelé un exemple

13 -Exemples et Concepts L ensemble des exemples observables = domaine Par exemple: clients potentiels d un assureur Le sous-ensemble du domaine constitué des exemples positifs=concept cible (à apprendre) Par exemple: bons payeurs pour un assureur Représentations extensionnelles de concepts Pour apprendre, représentation intensionnelle dun concept Concept cible domaine

14 -Exemples et Concepts Représentation intensionnelle dun concept= succincte elle est élément dune classe de représentation de concepts Par exemple: la classe des monômes Booléens Un monôme Booléen=conjonction de littéraux Par exemple: Une observation qui satisfait un monôme est classée positive par ce monôme (sinon, classée négative) Par exemple: Concept cible et concept hypothèse (quon construit) sont éléments de classes de représentations de concepts

15 -Le modèle PAC Apprendre C au sens de PAC, cest, étant donné c C, induire à partir d(un aperçu de) sa représentation extensionnelle, une formule h C: dont la représentation extensionnelle soit une bonne approximation de celle de c (whp), en temps polynomial en divers paramètres

16 Pour prouver que C n est pas PAC: Trop dexemples nécessaires pour satisfaire à la condition statistique Temps de calcul rédhibitoire pour satisfaire à la condition algorithmique -Le modèle PAC

17 Pour prouver que C n est pas PAC: Temps de calcul rédhibitoire pour satisfaire à la condition algorithmique -Le modèle PAC On utilise la difficulté dapproximation dun problème de minimisation (C gde)

18 -Optimisation & approximation Définition (pour une classe de rep. de concepts C): Instance Solutions faisables Ensemble dexemples LS Formules de C consistantes avec LS Fonction de coût Taille de la formule Objectif Trouver une solution faisable minimisant la fonction de coût …nous étudions un pb doptimisation

19 Comment démontrer un ratio dinapproximabilité transfert de ratio dinapprox. dun pb de min. vers un autre Le coût dune instance est le coût optimal dune solution pour cette instance Un problème de minimisation est approximable à moins de ssi il existe un algorithme poly permettant, pour une instance de coûtde trouver une solution de coût au plus -Optimisation & approximation ? …définition de lapproximabilité: …retour sur les pbs doptimisation preuves traditionnelles en apprentissage:

20 -Optimisation & approximation NP Classe des problèmes de décision admettant un algorithme non déterministe de résolution de temps polynomial en la taille de linstance NP …retour sur les pbs de décision NP-Complet Problèmes « difficiles »

21 -Optimisation & approximation Sous certaines …retour sur les pbs de décision hypothèses ces pbs difficiles nadmettent pas dalgo. déterministepolynomial déterministequasi-polynomial déterministesous-exponentiel randomisépolynomial

22 -Optimisation & approximation …des pbs de décision difficiles aux ratios dinapproximabilité Pb. de décision difficile Oui Non Pb. de minimisation Coût des instances Réduction « gap »

23 Un monôme (Booléen): conjonction de littéraux: Une DNF: disjonction de monômes: Une k-term-DNF: disjonction d au plus k monômes -Preuves traditionnelles …pour DNF

24 k=3 « Oui » -Preuves traditionnelles …la réduction de Kearns, Li, Pitt, Valiant, STOC87 Graphe k colorablek-term-DNF consistante

25 Propriété: Le nombre minimal de couleurs taille minimale de la DNF consistante = -Preuves traditionnelles …la réduction de Kearns & al conservation du ratio dinapproximabilité

26 -Preuves traditionnelles …le théorème de départ La colorabilité de graphe pas approximable à moins de Théorème de Feige & Kilian 96: Renvoie Oui, Non, ? (Pr(?)=cst<1)

27 -Preuves traditionnelles En utilisant Kearns & al Feige & Kilian 96, on obtient: Théorème: La DNF minimale consistante pas approximable à moins de Problème ?

28 -Preuves traditionnelles Sachant que la colorabilité est (trivialement) approximable à moins dun ratio on ne peut donc pas obtenir de ratio dinapproximabilité pour la DNF consistante minimale De plus, on nobtient rien dintéressant en replaçant lhypothèse de complexité par une hypothèse plus forte On est très loin de démontrer la non apprenabilité de DNF on a tout juste la non-apprenabilité de minuscules sous-classes et après ?

29 -Notre solution: réductions « self-improving » A) Faire des réductions directement « à lintérieur » du problème dapprentissage. Réduction ordinaire AB Pbs BBB d fois LS 1 LS 2 LS 3

30 B) Sarranger pour que le ratio dinapproximabilité augmente « brutalement » avec les réductions Réduction ordinaire Pb A ratio BBBB d fois conservation -Notre solution

31 C) Sarranger pour que le ratio dinapproximabilité « explose » en remplaçant lhypothèse de complexité Réduction ordinaire Pb A ratio B conservation -Notre solution

32 D) Résultat principal: le ratio « devient » …mais la complexité augmente aussi: -Notre solution

33 réduction de Kearns & al. Colorabilité LS 1 On combine les observations On combine les classes par et-logique + LS 2

34 -Notre solution On ajoute quelques astuces supplémentaires: On a besoin de graphes très particuliers On combine en réalité 4 réductions

35 Si d est constant: la réduction est encore polynomiale, mais le ratio « explose » -Notre solution …conséquences I

36 Si d devient polylog La réduction est quasi-polynomiale, Mais le ratio est « boosté » davantage Résultat « extrème » (d encore + gd): -Notre solution …conséquences II

37 Le résultat de complexité permet de donner des bornes inférieures sur la complexité de tout algorithme PAC pour DNF de montrer la non-apprenabilité de larges sous-classes de DNF -Notre solution …conséquences III On est pas loin de démontrer la non apprenabilité de DNF …mais on ne la démontre pas encore

38 -Parallèle « intéressant » Une technique de classification récente extrèmement puissante (Breiman96) combine les solutions dalgorithmes dapprentissage modérément fiables, et retourne une nouvelle solution beaucoup plus fiable (Boosting).

39 -Parallèle « intéressant » Notre technique combine les instances de problèmes doptimisation en apprentissage/classification modérément difficiles, et retourne une nouvelle instance beaucoup plus difficile.

40 -Conclusion & extensions Apprenabilité et approximabilité de DNF=un des problèmes fondamentaux de la théorie de Valiant, conjecturé négatif par Valiant en En 1998, nous avions le ratio dinapproximabilité le plus important pour DNF (mais pas encore « maximal » !). Apparemment toujours le + important (Hellerstein 01)

41 -Conclusion & extensions Jai utilisé cette technique « self- improving » dans quelques autres cas: –(In)approximabilité de lerreur sur de grands ensembles de Clauses de Horn –Difficulté des problèmes de réduction de données (variables/exemples) –Et dautres (en soumission)

42 Un résultat Positif

43 Segmentation dimages = PixelsArrangement de régions = ++...

44 Un résultat Positif Notre objectif = & compromis Complexité algorithmique vs qualité statistique Segmentation par fusion de régions 16 pixels= 16 régions 15 régions14 régions2 régions

45 Plan général (résultat Positif) +Segmentation dimages & élagage +Un modèle de génération dimage +Théorème (utile) +Lalgorithme + analyse de complexité +Expérimentations +Conclusion partielle extensions actuelles

46 +Segmentation & élagage Fusion de régions similaire à lélagage de DT Segmentation dimage = (très) larges domaines Kearns & Mansour ICML 97, 98 statistiquement algorithmiquement redoutable & Théoriquement Mais, en pratique petits domaines=pb

47 +Modèle : génération dimage On crée un modèle supposant que limage observée est obtenue à partir dune image « théorique » Dans cette image théorique, on peut « observer » la partition idéale en régions (celle quon cherche à reconstruire sur la base de limage observée seulement) Modèle donne une mesure objective de la qualité de segm.

48 +Modèle (2) Pixel théoriquePixel observé Qg v.a. Indép./canal, + sommes born. 1 pixel=3 ens. (RGB) de Q v.a. ind., SANS plus dhypothèse sur les v.a.

49 +Modèle (3) Image théoriqueImage observée objectif

50 +Modèle (4) Dans limage théorique, Peut-on reconnaître les vraies régions sur la seule base de limage observée ? R vraie région de I*, a {R,G,B}, Lespérance mathématique de a est la même sur R R R vraies régions de I* Lespérance mathématique diffère pour R,G, ou B

51 +Théorème Concentration des valeurs observées: Utilisation pour un algorithme ?

52 +Lalgorithme (1) Composants suffisants pour un algorithme de fusion de régions: Comment concevoir un algorithme fonctionnant sur notre modèle ? (I) Prédicat de fusion (II)Un ordre pour tester les fusions

53 +Lalgorithme (2): prédicat Le prédicat de fusion= renvoie « Oui » ssi les valeurs observées ne sont pas trop éloignées RGB, à laide du théo.:

54 +Lalgorithme (3): ordre Supposons quon fasse les tests t.q. chaque test dans une vraie rég. soit fait avant tout test entre un de ses pixels et une région adj. Alors, à laide du théorème 2 et le prédicat, w.h.p. notre segmentation est une sous- segmentation (toute vraie rég. est inclue dans 1 région segmentée). Notre solution: on ordonnance les tests en ordre croissant de la plus grande différence parmi (R, G, B), avant les tests de fusion.

55 +Lalgorithme (4): synthèse 1er2nd 3me 4me

56 +Lalgorithme (5): complexité Complexité en espace : presque O(|I|) Complexité en temps : Notre implémentation : O(|I|log|I|) (en moyenne…) (presque) optimal Avec un peu de réflexion : O(|I|) optimal Possible sans effort : O(|I|loglog|I|)

57 +Expérimentations (1) Setup: pour tous les tests (pas de tuning en fonction des images), Les images sont segmentées sans aucun prétraitement (débruitage, filtrage, etc.)

58 +Expérimentations (2) Image Originale Segmentation Plus grandes régions

59 +Expérimentations (3) Snowy road Hand

60 +Expérimentations (4) Vessel Rock in sea

61 +Expérimentations (5) Formula 1 Street

62 +Expérimentations (6) Lighthouse Castle

63 +Conclusion partielle a) Complexité en espace quasiment optimale b) Complexité en temps optimale f) Comportement robuste/occlusions ? c) Prédicat utilise des propriétés de concentration de v.a. d) Algo approxime une sorte d algorithme de « maximum de vraisemblance » e) Erreur (sous-segmentation limitée ?) Résultats en soumission (+F. Nielsen): OUI (w.h.p.) Algorithme robuste ?

64 +Extensions actuelles (+bruit transmission: 5%) Nock, CVPR 01 Felzenszwalb & Huttenlocher, CVPR 97

65 +Extensions actuelles (+bruit transmission: 15%)

66 +Extensions actuelles (+bruit transmission: 30%)

67 +Extensions actuelles (+bruit poivre et sel: 60%)

68 +Extensions actuelles (+bruit transmission: 70%)

69 +Extensions actuelles Contrat avec Sony CS Labs Tokyo (invité: Février/Mars 2003) Objectif: poursuite algorithmique / statistique autour de lidée (vidéo, images sans bords, …)

70 Encadrement & collaborations

71 Encadrement Thèses (100%): (09/01): P. Lefaucheur- Boosting robuste (09/02): J.-C. Atine- Segmentation et suivi Conseils: 2 thèses en Géographie 2 mémoires dIngénieur Agronome 1 mémoire MST

72 Collaborations scientifiques Données Méthode Théorie images AutreRéd. donnéesInduction nonoui Théorie nonoui Stéphane LALLICH (U. Lyon 2) Marc SEBBAN (U. St-Etienne) Tapio ELOMAA (Helsinki U.) Matti KÄÄRIÄINEN (Helsinki U.) Patrice LEFAUCHEUR (Thésard UAG) Babak ESFANDIARI (Carleton U.) Olivier GASCUEL (LIRMM) Pascal JAPPY (Hummingbird) Joël QUINQUETON (LIRMM) Jean SALLANTIN (LIRMM) Christophe FIORIO (LIRMM) Frank NIELSEN (Sony CSL Tokyo) Marc SEBBAN (U. St-Etienne) Didier BERNARD (UAG-LPAT)

73 Autres collaborations Industrielles SACDROP Antilles – Data Mining Crédit Moderne Antilles – Data Mining Recherche (contrats/financements) SONY CS Labs Tokyo – Algo/Imagerie NOKIA (Fondation) – Data Mining Collectivités DDAF Martinique – Analyse de données CIRAD Martinique – Data Mining

74 Présentation de léquipe

75 Très très succincte Le mot-clef à retenir: turn-over ! Première équipe : Deuxième équipe :TRIVIA Troisième équipe :GRIMAAG E.C.: 5 E.C.: 7 E.C.: 19 ! Th.: 0 Th.: 6 10/9806/0201/99

76 Merci pour votre attention !


Télécharger ppt "Phénomènes de Complexité et Concentration en Classification Richard Nock Groupe de."

Présentations similaires


Annonces Google