La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Apprentissage de règles à partir de données multi-instances Soutenance de thèse de Yann Chevaleyre sous la direction de Jean-Daniel Zucker Université de.

Présentations similaires


Présentation au sujet: "Apprentissage de règles à partir de données multi-instances Soutenance de thèse de Yann Chevaleyre sous la direction de Jean-Daniel Zucker Université de."— Transcription de la présentation:

1 Apprentissage de règles à partir de données multi-instances Soutenance de thèse de Yann Chevaleyre sous la direction de Jean-Daniel Zucker Université de Paris VI – LIP6 - équipe ACASA

2 Cadre et motivation Représentation intermédiaire ? Une image contient un extincteur ssi R > 110 et B < 180 Contient un extincteur + Ne contient pas d extincteur - RVB RVB mutagène + non mutagène - Une molécule M est mutagène ssi atom(M,A1,X),charge(A1,0.17), atom(M,A2,c),bond(A1,A2),... atom(m1,a1,c), charge(a1,0.21), atom(m1,a2,h), charge(a2,-0.1), bond(a1,a2), atom(m1,a3,c),... Représentation relationelle Représentation Att/Val multi-instances

3 La représentation multi-instances est représenté par Vecteur A/V x i exemple i est représenté par Vecteur A/V x i,1 Vecteur A/V x i,2 Vecteur A/V x i,r exemple i instances sac Représentation Att/Val classique: Représentation multi-instance: RVB

4 Sources de données multi-instances Données « naturellement » multi-instances, i.e. ayant plusieurs configurations Données « naturellement » multi-instances, i.e. ayant plusieurs configurations Reformulation de représentations plus complexes (clauses prolog, BD relationelles …) [Zucker et Ganascia 96], [Alphonse et Rouveirol 2000],[Lavrac01] Reformulation de représentations plus complexes (clauses prolog, BD relationelles …) [Zucker et Ganascia 96], [Alphonse et Rouveirol 2000],[Lavrac01] x1x1 x2x2 45° x1x1 x2x2 atom(m1,a1,c), charge(a1,0.21), atom(m1,a2,h), charge(a2,-0.1), bond(a1,a2), atom(m1,a3,c),...

5 Problématique Concevoir des algorithmes efficaces traiter des données symboliques et numériques générer des hypothèses compréhensibles Concevoir des algorithmes efficaces traiter des données symboliques et numériques générer des hypothèses compréhensibles IteratedDiscrimAPR [Dietterich97] * hyper-rectangles DiverseDensity [Maron98] * point dans l espace des inst. citation-kNN [Zucker et Wang 00] * k-ppv Les algorithmes existants Numériques Symboliques & numériques Enigme+ [Zucker et Ganascia94] * ensembles de règles Relic [Ruffo00] * arbres de décision

6 Plan 1) L apprentissage multi-instances linéaire 2) Extension d un algorithme top-down - principe, extension de RIPPER, complexité 3) Analyse et amélioration de l extension multi-instances de Ripper –les littéraux indiscernables, les modèles génératifs, mesure de couverture probabiliste 4) Prise en compte du bruit multi-instances 5) Expérimentations Conclusion et perspectives

7 Le problème d apprentissage A partir de B +,B - ensembles de sacs positifs (resp. négatifs), trouver une hypothèse correcte Problème d apprentissage multi-instances langage k-linéaire un sac est classé + ssi il possède une instance ayant la propriété P1 et une instance ayant la propriété P2,etc... langage multi-linéaire

8 Le problème d apprentissage A partir de B +,B - ensembles de sacs positifs (resp. négatifs), trouver une hypothèse correcte un sac est classé + ssi il possède k instances ayant la propriété P Problème d apprentissage multi-instances langage k-linéaire

9 Le problème d apprentissage MI linéaire A partir de B +,B - ensembles de sacs positifs (resp. négatifs), trouver une hypothèse correcte Problème d apprentissage multi-instances Problème multi-instances [Dietterich 97] Trouver une fonction h qui couvre au moins une instances de chaque sac positif et aucune instance des sacs négatifs un sac est classé + ssi il possède une instance ayant la propriété P langage linéaire Avec le langage linéaire, on cherche un concept h propositionnel. Avec le langage linéaire, on cherche un concept h propositionnel. Algorithmes propositionnels efficaces et précis Ripper (Cohen 95), C4.5 (Quinlan 93) Algorithmes propositionnels efficaces et précis Ripper (Cohen 95), C4.5 (Quinlan 93) adapter un algorithme propositionnel au cas multi-instances

10 Approche: Approche: Extension d un algorithme d apprentissage top-down Représenter l ensemble des sacs sous la forme d un ensemble de vecteurs. Représenter l ensemble des sacs sous la forme d un ensemble de vecteurs. b1+ b2- ajout de bag-id et du label à chaque instance Mesurer la couverture au sens multi-instances de l hypothèse en cours de raffinement Mesurer la couverture au sens multi-instances de l hypothèse en cours de raffinement

11 Extension de l algorithme Ripper (Cohen 95) Naive-RipperMi [Chevaleyre, Zucker 00] est l extension de Ripper au cas multi-instances Naive-RipperMi [Chevaleyre, Zucker 00] est l extension de Ripper au cas multi-instances AlgorithmeAccuracyType d'hypothèse Iterated Discrimin92.4APR Diverse Density88.9point dans l'espace des inst Ripper-MI88ens. de règles (avg 7 litterals) Tilde87arbre de décision d'ordre 1 All positive APR80.4APR Multi-Inst76.7APR Naive-Ripper-MI a été testé sur les bases multi-instances musk (Dietterich 97) Sur musk1 (5,2 inst. par sac en moyenne), bonnes performances. Sur musk2 (65 instances par sac), performances moyennes (77%). Naive-Ripper-MI a été testé sur les bases multi-instances musk (Dietterich 97) Sur musk1 (5,2 inst. par sac en moyenne), bonnes performances. Sur musk2 (65 instances par sac), performances moyennes (77%).

12 Complexité et précision de NaiveRipperMi Validation de NaiveRipperMi sur des BD artificielles Temps CPU : linéaire en fonction du nb de sacs et d instances (50000 sacs, 10 inst / sac, 12 attributs : 1 min) Nombre d instances par sac Taux d erreur (%) TILDE [blockheel98] FOIL [quinlan90] NaiveRipperMI 90 s 700 s 3 s

13 Chausses trappes de l apprentissage multi-instances 3 chausses trappes survenant lors de l apprentissage Les littéraux erronés modification de l élagage Les littéraux erronés modification de l élagage Les littéraux contradictoires partitionnement de l espace des instances Les littéraux contradictoires partitionnement de l espace des instances Les littéraux indiscernables Les littéraux indiscernables 5 sacs + 5 sacs + sac de triangles blancs sac de carrés blancs... sac de triangles noirs sac de carrés noirs... 5 sacs - 5 sacs - Y X

14 X Y Chausses trappes: les littéraux indiscernables Quand le nombre d instances par sac augmente, les littéraux initiaux couvrent tous les sacs. Quand le nombre d instances par sac augmente, les littéraux initiaux couvrent tous les sacs. Concept cible Y > 5

15 X Y Chausses trappes: les littéraux indiscernables Quand le nombre d instances par sac augmente, les littéraux initiaux couvrent tous les sacs. Quand le nombre d instances par sac augmente, les littéraux initiaux couvrent tous les sacs. Concept cible X > 7

16 Important lorsque nb d instances >> nb d attributs Important lorsque nb d instances >> nb d attributs Remèdes en PLI lookahead Foil [Quinlan90], Tilde [Blockheel98] top-down / bottom-up Progol [Muggleton 95] relational clichés [Morin, Matwin 00] Accroissement de la complexité Remèdes en PLI lookahead Foil [Quinlan90], Tilde [Blockheel98] top-down / bottom-up Progol [Muggleton 95] relational clichés [Morin, Matwin 00] Accroissement de la complexité Prendre en compte le nombre d instances couvertes Prendre en compte le nombre d instances couvertes Chausses trappes: les littéraux indiscernables

17 Modèles génératifs multi-instances Modèle (d après [Blum 98]) r instances sont tirées i.i.d. d une distribution D le sac résultant est étiqueté selon un concept f Limitations Nb instance/sac Proba(sac- ) Une seule distribution pour les + et les - Les données réelles respectent rarement ce modèle il modélise la façon dont les données ont été construites

18 Un nouveau modèle génératif multi-instances Modèle Modèle Caractéristiques Pr(sac- ) = q neg Deux distributions pour les + et les - Facilement extensible à un nombre variable dinstances Ne subsume pas + r-1 instances tirées de D + 1 instance tirée du concept f - r instances tirées de D -

19 Une heuristique basée sur le nouveau modèle Calculer pour chaque sac positif: Pr(lune des instances couvertes concept cible) Calculer pour chaque sac positif: Pr(lune des instances couvertes concept cible) X Y Concept cible Y > 5

20 Calcul Analytique de la Probabilité k= nb d instances de b+ couvertes r= nb d inst. total de b+ k= nb d instances de b+ couvertes r= nb d inst. total de b+ Pr(l une des instances couvertes de b+ concept cible) = Pr(l une des instances couvertes de b+ concept cible) = Nombre d instance variable 0 instances couvertes Pr = 0 r instances couvertes Pr = 1 Si les données ne respectent pas ce modèle, cela n a pas trop d impact négatif k Propriétés

21 Analyse de RipperMi: expérimentations Sur le problème de la mutagénèse représenté sous forme multi- instances, NaiveRipperMi: 78% RipperMi-refined-cov: 82% Sur le problème de la mutagénèse représenté sous forme multi- instances, NaiveRipperMi: 78% RipperMi-refined-cov: 82% Nombre d instances par sac Taux d erreur (%) TILDE FOIL NaiveRipperMI RipperMI- refined-cov

22 Le bruit multi-instances Modèles usuels de bruit: bruit de classification, dattribut, bruit malicieux Modèles de bruit typiquement multi-instances Instances de sac + remplacée par des instances de sac - Instances manquantes Sources de bruit d instances manquantes Propositionalisation stochastique [Sebag 97] occlusion d une partie de l objet

23 Soit b, un sac positif, et h une hypothèse On suppose que q instances par sac ont été retirées Si h ne couvre aucune instance de b : Le bruit multi-instances: q instances retirées connaissance de q exponentiellement imprécis en q Alternative à la mesure de couverture probabiliste Même si le nombre « q réel » est grand, utiliser q petit plutot que rien - +

24 Prise en compte du bruit multi-instances BD Musk1: Seules les configurations les plus probables ont été encodées q (10-validation croisée)

25 Application : apprentissage perceptif d un robot [Collaboration Bredeche] W IF Color = red AND size > 53 THEN Extincteur Que vois tu ? Je vois un extincteur lab = extinct

26 Images étiquetées 350 images 160 x 120 pixels 6,3 Mo Porte Humain Porte Cendrier Ascenseur Description abstraite de limage m x n pixels Porte Cendrier Extincteur Ascenseur Application à apprentissage perceptif d un robot: résultats

27 Application à apprentissage perceptif d un robot: complexité

28 Application à l apprentissage supervisé d un robot Description abstraite de l image 8 x 6 pixels … …… Motif de reformulation: Reformulation itérative d une grille de pixels PLIC [Bredeche,chevaleyre 01] : Reformulation itérative d une grille de pixels

29 Conclusion La représentation MI offre une bonne alternative à Att/val La représentation MI offre une bonne alternative à Att/val Analyse de la spécificité de l apprentissage MI Analyse de la spécificité de l apprentissage MI Nouveau modèle génératif plus réaliste Nouveau modèle génératif plus réaliste Identification de trois chausses-trappes Identification de trois chausses-trappes Conception et validation d un modèle de bruit MI Conception et validation d un modèle de bruit MI Algorithme RipperMI capable de gros volumes de données (40Mo) rapidement (linéaire) et générant des hyp. concices Algorithme RipperMI capable de gros volumes de données (40Mo) rapidement (linéaire) et générant des hyp. concices Les littéraux erronés modification de l élagage Les littéraux erronés modification de l élagage Les littéraux contradictoires partitionnement de l espace des instances Les littéraux contradictoires partitionnement de l espace des instances Les littéraux indiscernables couverture probabiliste Les littéraux indiscernables couverture probabiliste

30 Perspectives Développement de modèles plus réalistes, pour obtenir de meilleurs heuristiques (éventuellement non linéaire) Développement de modèles plus réalistes, pour obtenir de meilleurs heuristiques (éventuellement non linéaire) Développement de techniques de sélection dinstances et d attributs lorsque le nombre d instances est grand, lors d une MI-propositionalisation par exemple Développement de techniques de sélection dinstances et d attributs lorsque le nombre d instances est grand, lors d une MI-propositionalisation par exemple Autres algorithmes : méthode bottom-up Autres algorithmes : méthode bottom-up Extension des techniques d estimation de densité et p-concepts au multi-instances Extension des techniques d estimation de densité et p-concepts au multi-instances Fiabilité et rapidité de RipperMI => Nombreuses applications, en particulier intégrées dans des robots mobiles Fiabilité et rapidité de RipperMI => Nombreuses applications, en particulier intégrées dans des robots mobiles

31 calling RippMi RippMi -m -R -k10 -c -a+freq -ins "/home/bredeche/Experimentations/SdgAll/w23.data" Handling MIP problem option: will set random seed from clock 10-fold cross-validation data is noisy find rules for least frequent classes first allow numerical symbolic improvements Final hypothesis is: true :- valH1>=254, stdevB1<=56, stdevS1<=58, valB2<=128 (64/0). true :- ampH3>=254, y1>=3, ampV1>=250, S1<=91 (47/0). true :- ampH3>=254, V3<=110.5, ampR3<=220.5, S1<=185 (31/0). true :- ampH3>=253, ampV1>=239, ampG3 =47 (12/0). true :- ampH3>=253, y1>=3, ampR1>=245, stdevV2 =71 (7/0). true :- B3 =44, R1<=74 (4/0). true :- R3>=244, B1>=211, ampR1>=151 (3/0). true :- stdevV1>=89, ampH2<=23, B3<=44 (2/0). default false (178/1). =============================== summary =============================== Train error rate: 14.93% +/- 0.70% << Average time: / sec Hypothesis size: 8 rules, 40 conditions 1 23


Télécharger ppt "Apprentissage de règles à partir de données multi-instances Soutenance de thèse de Yann Chevaleyre sous la direction de Jean-Daniel Zucker Université de."

Présentations similaires


Annonces Google