Yann Chevaleyre et Jean-Daniel Zucker

Présentation au sujet: "Yann Chevaleyre et Jean-Daniel Zucker"— Transcription de la présentation:

1 Algorithmes pour l’apprentissage de règles à partir de données multi-instance
Yann Chevaleyre et Jean-Daniel Zucker Université de Paris VI – LIP6 - CNRS

2 Représentation Att/Val Représentation relationelle
Motivations Le choix du langage de représentation des données a un effet déterminant sur l ’apprentissage + très expressif - difficilement apprenable, nécessite des biais forts description atomique description globale - peu expressif + algorithmes performants Représentation Att/Val Représentation MI Représentation relationelle La plupart des algorithmes d ’apprentissage MI utilisent des données numériques, et génèrent des hypothèses difficilement interprétables Notre but: concevoir des algorithmes efficaces, utilisant des données symboliques et numériques, et générant des hypothèses compréhensibles comme des listes de décision

3 Plan 1) L ’apprentissage multi-instances
La représentation multi-instances, sources de données multi-instances, le problème d ’apprentissage multi-instances 2) Extension d ’un algorithme d ’apprentissage propositionnel Méthode, extension de l ’algorithme Ripper 3) Analyse de l ’extension multi-instances de Ripper Les littéraux contradictoires, les littéraux non significatifs, les littéraux indiscernables Conclusion et perspectives

4 La représentation multi-instances: définition
Représentation Att/Val classique: Représentation multi-instance: est représenté par exemplei + Vecteur A/V xi labi  {0,1} Vecteur A/V xi,1 exemple i est représenté par Vecteur A/V xi,2 + labi  {0,1} Vecteur A/V xi,r instances sac

5 Sources de données multi-instances
Les objets complexes (images, molécules, …) sont facilement représentables sous forme de sacs d ’instances Les Bases de données relationelles peuvent l ’être aussi 1 0,n Des langages de représentations plus complexes (faits datalog, clauses prolog,…) peuvent être MI-propositionalisés [zucker98], [Alphonse et Rouveirol 2000]

6 Le problème d ’apprentissage MI
A partir de B+,B- ensembles de sacs positifs (resp. négatifs), trouver H, hypothèse consistante Problème d ’apprentissage multi-instances sans biais Il existe un fonction f, telle que : lab(b)=1 ssi x  b, f (x) biais single-tuple Trouver une fonction h qui couvre au moins une instancesde chaque sac positif et aucune instance des sacs négatifs Problème multi-instances [Dietterich 97] Note: la fonction h a pour domaine l ’espace des instances, et non plus l ’espace des sacs.

7 Extension d ’un algorithme d apprentissage de règles
Représenter l ’ensemble des sacs sous la forme d ’un ensemble de vecteurs. b1+ ajout de bag-id et du label à chaque instance b2- Mesurer le degré de consistance au sens multi-instances de l ’hypothèse en cours de raffinement Au lieu de mesurer p(r), n(r), nombre de vecteurs couverts par r, on calcule p*(r), n*(r), le nombre de sacs dont r couvre au moins une instance

8 Extension de l ’algorithme Ripper (Cohen 95)
Ripper (Cohen 95) est un algorithme d ’apprentissage de règles rapide, pouvant traiter un grand nombre d ’exemples, et se comparant à C4.5 Naive-RipperMi est l ’extension de Ripper au cas multi-instances Naive-Ripper-MI a été testé sur les bases multi-instances musk (Dietterich 97). Sur musk1 (5,2 instances par sac en moyenne), il obtint de bonnes performances. Sur musk2 (65 instances par sac), performances très moyennes (77%).

9 Analyse de l ’algorithme Naive-RipperMI
Objectif: Analyse des pathologies liées au problème multi-instances et à l ’algorithme Naive-Ripper-MI. Les littéraux contradictoires Les littéraux non significatifs Les littéraux indiscernables Moyen: étude de NaiveRipperMi sur une BD simple Y X 2 4 6 8 10 12 le sac des triangles blancs le sac des carrés blancs ... 5 sacs positifs: 5 sacs négatifs: le sac des triangles noirs le sac des carrés noirs ...

10 Analyse de l ’algorithme Naive-RipperMI
Tâche d ’apprentissage: découvrir une règle couvrant au moins une instance de chaque sac positif Concept cible : X > 5 & X < 9 & Y > 3 Y X 2 4 6 8 10 12

11 Analyse de Naive-RipperMi: les littéraux contradictoires
1ière étape: Naive-RipperMi génère une première règle X > 11 & Y < 5 Littéraux contradictoires Concept cible : X > 5 & X < 9 & Y > 3 Y X 2 4 6 8 10 12

12 Analyse de Naive-RipperMi: les littéraux contradictoires
2ième étape: Naive-RipperMi supprime le(s) sac(s) couvert(s) par la règle induite, et induit une nouvelle règle... Y X 2 4 6 8 10 12

13 Analyse de Naive-RipperMi: les littéraux contradictoires
Phénomène spécifiquement multi-instances Contrairement aux autres pathologies mono-instances (overfitting, problèmes de sélection d ’attributs), l ’accroissement du nombre d ’exemples ne résout rien. On ne peut pas « rattraper » une règle comportant un littéral contradictoire par raffinage successifs Le principe de l ’algorithme par couverture élimine réduit les chances de trouver le concept cible Si le littéral l est contradictoire, alors l ne l ’est pas. Il suffit donc, lorsqu ’on choisit le littéral l d ’examiner en même temps l => partition de l ’espace des instances

14 Analyse de Naive-RipperMi: les littéraux contradictoires
Construction d ’une partition de l ’espace des instances On extrait la meilleure règle : X < 11 & Y < 6 & X > 5 & Y > 3 Y X 6 8 10 2 4 2 4 12

15 Analyse de Naive-RipperMi: les littéraux non significatifs
En apprentissage multi-instances, les littéraux non significatifs peuvent se trouver n ’importe où dans la règle, et non plus seulement à la fin Utiliser un élagage global Y < 6 & Y > 3 & X > 5 & X < 9 Y X 2 4 6 8 10 12

16 Analyse de Naive-RipperMi: les littéraux indiscernables
Quand le nombre d ’instances par sac augmente, les littéraux initiaux couvrent tous les sacs. On ne dispose pas d ’assez d ’information pour en choisir un X Y 2 4 6 8 10 12

17 Analyse de Naive-RipperMi: les littéraux indiscernables
Quand le nombre d ’instances par sac augmente, les littéraux initiaux couvrent tous les sacs. On ne dispose pas d ’assez d ’information pour en choisir un X Y 2 4 6 8 10 12

18 Analyse de Naive-RipperMi: les littéraux indiscernables
Solution : Prendre en compte le nombre d ’instances couverts à l ’aide d ’un modèle sur les données Calculer Pr(instance couverte  concept cible) Y 6 Y > 5 4 Concept cible 2 2 4 6 8 10 12 X

19 Analyse de Naive-RipperMi: les littéraux indiscernables
Modèle choisit: Un sac b+ ayant r instances est composé de: instance  concept cible r-1 instances tirées aléatoirement d ’une distribution D Calcul de Pr(instance couverte  concept cible)

20 Ce phénomène est fréquent lorsque ne nombre d ’instances par sac est grand
Construire une partition de l ’espace des instances

21 Taux d ’erreur (%) Nombre d ’instances par sac