Calculer efficacement les générateurs et les fermetures associées : l’algorithme Flake FRANÇOIS WEBER 22/06/2016.

Présentation au sujet: "Calculer efficacement les générateurs et les fermetures associées : l’algorithme Flake FRANÇOIS WEBER 22/06/2016."— Transcription de la présentation:

1 Calculer efficacement les générateurs et les fermetures associées : l’algorithme Flake FRANÇOIS WEBER 22/06/2016

2 Présentation du problème

3 céréalesœufsbaconlaitbols Client 1xxx Client 2xx Client 3xxx Client 4xx Client 5xxx Client 6xxxx Transactions /objets Attributs/items Un itemset Le support de l’itemset

4 céréalesœufsbaconlaitbols Client 1xxx Client 2xx Client 3xxx Client 4xx Client 5xxx Client 6xxxx

5 céréalesœufsbaconlaitbols Client 1xxx Client 2xx Client 3xxx Client 4xx Client 5xxx Client 6xxxx

6 Conditions pour valider 1 règle A→B  2 seuils s et σ :  supp(AUB)>s*NbClients  supp(AUB)>σ*supp(A)  Règles d’association, règles d’implication

7 Problème  « Tous les clients qui achètent des céréales achètent aussi du lait et des bols »  « Tous les clients qui achètent des céréales achètent aussi du lait »  « Tous les clients qui achètent des céréales, du bacon et des œufs achètent aussi du lait et des bols »  Problème de redondance, perte de lisibilité et de mémoire

8

9 Des classes d’équivalences

10 Des fermés Des générateurs

11

12

13

14

15

16

17 Présentation de l’algorithme

18

19

20 ABCDE 1xxx 2xxxx 3xxx 4xxx 5xx Minsup=1

21 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4}{1,2,3} {5} {1,2,3} {4} {2} {2,4} {2}

22 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {1,2,3} {5} {1,2,3} {4} {2} {2,4} {2} (Like D) (Like BC) (Like A) infrequent Non generator – the proper subset with same support is indecated below the node generator (Like AB) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

23 {1,2,3,4,5} {2,4} {1,2,3,5}{1,2,3,4} {1,2,3}{4,5}

24 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5}

25 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4}

26 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4}{1,2,3}

27 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5}

28 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3}

29 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3}

30 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}

31 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4} {2}

32 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4} {2} {2,4}

33 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2}

34 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AA 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABD 1235BB Faux !! {2,4}

35 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABD 1235BB Faux !!

36 Le problème de la fermeture

37 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABD 1235BB

38 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-AB AB C D 1235BB

39 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABCD 1235BB

40 {A,C} {A,C,E} {B} {C} {E} {B,E} {A,B,C,D} {B,C,D}

41 Validité de flake

42 Le problème BCX CX Y ABZ AZ F

43 Le générateur canonique

44 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABCD 1235BB

45 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABCD 1235BB

46 Validité de flake

47 Version actuelle de flake  Pendant la première passe :  Calculer les générateurs canoniques  Les conserver dans l’ordre croissant des tailles  Deuxième passe :  Passer en revue uniquement les générateurs canoniques, dans l’ordre croissant des tailles

48 ABC 1xx 2xx 3x 4x

49 ABC 1xx 2xx 3x 4x

50 B D C A

51 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-ABABD 1235BB

52 {1,2,3,4,5} {2,4} {1,2,3,5} {1,2,3,4} {1,2,3}{4,5} {4} {5} {1,2,3} {4}{2} TIDSetGénérateursFermetureTIDSetGénérateursFermeture 1234524AAC 45EE4CE-AEACE 123D-BCBCD5BE 1234CC2AD-AB AB C D 1235BB

53