Contriubtions du CRIL dans le cadre de l’ACI Daddi

Présentation au sujet: "Contriubtions du CRIL dans le cadre de l’ACI Daddi"— Transcription de la présentation:

1 Contriubtions du CRIL dans le cadre de l’ACI Daddi
Mars 2006 Présenté par: Zied Elouedi

2 Introduction Traitement du problème de détection d’intrusions comme un problème de classification.

3 Modèle de classification
Ensemble d’apprentissage Classifieur Choix de la technique Phase de construction (apprentissage) Phase de classification (inférence) Certain Incertain Certain Incertain

4 Cadre stanadrd

5 Ensemble d’apprentissage certain (détection d’intrusions)
Nature des connexions Protocole Service Flag Classe tcp http SF Normal RSTO REJ Probing time SO DOS auth private udp domain_u …

6 Techniques utilisées Arbres de décision Réseaux Bayésiens naïfs
Une technique de classification. Expression simple de la connaissance. Compréhension et interprétation facile des résultats. Réseaux Bayésiens naïfs Un nœud racine (classe). Plusieurs nœuds enfants (attributs). Forte hypothèse (naïve) d'indépendance entre les enfants. dans le contexte de leur parent.

7 Arbres de décision flag protocole service D N service N P D P N P SF
RSTO REJ protocole service D tcp udp http private domain-u N service N P D http private domain-u Expression simple de la connaissance. Compréhension et interprétation facile des résultats. P N P Nouvelle connexion udp Private C=? SF

8 Réseaux Bayésiens naïfs
Classe P(Classe) Flag Protocole Service P(Protocole | Classe) P(Service | Classe) P(Flag | Classe) Nouvelle connexion udp Private C=? RSTO E Max P(Classes | E)

9 Méta-classifieur AD RBN Méta-classifieur AD+RBN Type de la connexion

10 Arbre de décision crédibiliste
Cadre incertain: Arbre de décision crédibiliste (BDT)

11 Ensemble d’apprentissage incertain
Protocole Service Flag Classe tcp http SF Normal RSTO REJ Probing ou DOS time Probing SO DOS auth ? private DOS avec degré 1 et U2R avec degré 2 udp domain_u DOS avec degré 1 et (U2R ou R2L) avec degré 2

12 Théorie des fonctions de croyance
Fonction de masse de croyance élémentaire (bba) m(A) Partie de croyance attribuée exactement à A m: 2  [0,1] Exemple = {A, H, M}; A: Avion; H: Hélicoptère; M: Missile 2 = {, {A}, {H}, {M}, {A, H}, {A, M}, {H, M},{A, H, M}} m({A}) = 0.6; m({A, H}) = 0.2; m() = 0.2

13 Idée Utilisation de la théorie des fonctions de croyance qui permet:
L'expression des croyances partielles. La possibilité d'exprimer l'ignorance partielle ou totale. Le traitement des jugements subjectifs et personnels. La représentation des informations mathématiques et épistémiques. La combinaison de l’évidence survenue de plusieurs sources d’information. L’adaptation aux systèmes de raisonnement (système expert, système d’aide à la décision, IDS,…).

14 Théorie des fonctions de croyance
Combinaison Règle conjonctive: Construire une bba quand toutes les pièces d’évidence sont acceptées. Règle disjonctive: Construire une bba quand au moins une pièce d’évidence est acceptée mais on ne connaît pas laquelle. Exemple m1({A}) = 0.6; m1({A, H}) = 0.2; m1() = 0.2; m2({H}) = 0.4; m2({A, H}) = 0.3; m2() = 0.3; Règle conjonctive: (m1m2)() = 0.24; (m1m2)({A}) = 0.36; (m1m2)({H})=0.16; (m1m2)({A, H}) = 0.18; (m1m2)() = 0.06; Règle disjonctive: (m1 m2)({A, H}) = 0.56; (m1 m2)() = 0.44;

15 Théorie des fonctions de croyance
Prise de décision Niveau de croyance Niveau pignistique Transformation pignistique Exemple m({H}) = 0.4; m({A, H}) = 0.3; m() = 0.3 betP({A}) = 0.25; betP({H}) = 0.65; betP({M}) = 0.1;

16 Exemple Protocole Service Flag Classe tcp http SF m{I1} RSTO m{I2} REJ
time m{I4} SO m{I5} auth m{I6} m{I7} private m{I8} m{I9} m{I10} m{I11} m{I12} udp domain_u m{I13} m{I14} m{I15} m{I16} m{I17}

17 Connexions d’apprentissage
N : Normal; D: DOS; U: U2R; R: R2L; P: Probing tcp http N SF m{I1} m{I1}(N) = 1 tcp http REJ m{I2} P  D m{I2}(P  D) = 1 tcp auth m{I3} SF N(70%),D(30%) m{I3}(N) = 0.7; m{I3}(D) = 0.3

18 Connexions d’apprentissage
udp private m{I4} SF D(60%),U  R(40%) m{I4}(D) = 0.6; m{I4}(U  R) = 0.4 udp domain-u m{I5} SF N(80%),? m{I5}(N) = 0.8; m{I5}() = 0.2  = {N, D, P, U, R} tcp auth m{I6} SO ? m{I6}() = 1

19 Arbre de décision crédibiliste
Arbres de décision crédibilistes (BDT) Arbres de décision + Théorie des fonctions de croyance (TBM) Arbre de décision crédibiliste Traiter l’incertitude au niveau de la détection d’intrusions

20 Arbres de décision crédibilistes (BDT)
flag SF protocol-type RSTO udp tcp http domain-u private service REJ m1 m5 m6 m4 m3 m2 m7 m8 Comment construire un classifieur (BDT) avec des classes de connexions d’apprentissages incertaines ?

21 Le principe: Mesure de sélection d’attributs
Stratégie de partitionnement Critères d’arrêt Structure des feuilles

22 Mesure de sélection d’attributs
Extension de l’algorithme de Quinlan (C4.5). Approche par moyenne Adaptation du ratio de gain au conexte incertain Utilisation de distance entre les objets. Approche conjunctive Basée sur les concepts de base du TBM

23 Choisir l’attribut qui offre le plus de ratio de gain
Approche par moyenne Ensemble d’apprentissage T I4 I1 I2 I3 m{I1} m{I2} m{I3} m{I4} . L’entropie de la distribution des classes dans T. L’entropie de la distribution des classes dans les sous ensembles d’apprentissage (suite au partitionnement). Calculer la ratio de gain de chaque attribut. Choisir l’attribut qui offre le plus de ratio de gain (le plus discriminant)

24 Approche conjunctive Ensemble d’apprentissage T
m{I1} m{I2} m{I3} m{I4} . I4 I1 I2 I3 Développer une distance entre bba’s Tous les objets d’une feuiles doivent être proches les uns des autres Minimiser la distance intra-groupe. Maximiser la distance inter-group.

25 Création d’une branche pour chaque valeur d’attributs.
Stratégie de pratitionnement Attributs symboliques Création d’une branche pour chaque valeur d’attributs. Attributs continus Découper en sous-ensembles ordonnés

26 Critères d’arrêt Le nœuds contient une seule connexion (objet).
Le nœud contient des connexions ayant la même bba. Il n’ y a plus d’attributs à tester. La valeur de la mesure de sélection sur les attributs restants est inférieure ou égale à zéro.

27 Structure d’une feuille
bba sur les classes Un seul objet appartenant à la feuille bba de la feuille = bba de l’objet Plusieurs objets appartenant à la feuille bba de la feuille = bba jointe

28 Comment utiliser le BDT pour trouver les classes des connexions ?
Arbres de décision crédibilistes (BDT) flag SF protocol-type RSTO udp tcp http domain-u private service REJ m1 m5 m6 m4 m3 m2 m7 m8 Comment utiliser le BDT pour trouver les classes des connexions ?

29 Classification off-line
Valeurs d’attributs disponibles flag: RSTO service: http Protocol-type: udp flag SF protocol-type RSTO udp tcp http domain-u private service REJ m1 m5 m6 m4 m3 m2 m7 m8 m6(Probing) =0.5; m6() = 0.5 Normal: 0.1 Dos: 0.1 U2R: 0.1 R2L: 0.1 Probing: 0.6

30 Classification off-line/on-line
Qu’en est-il de la classification on-line/anticipée ? Est-ce qu’on peut arrêter une connexion (douteuse) avant sa terminaison ?

31 Cas disjonctif valeurs d’attributs disjonctives flag protocol-type
flag: RSTO service: http  domain-u Protocol-type: udp flag SF protocol-type RSTO udp tcp http domain-u private service REJ m1 m5 m6 m4 m3 m2 m7 m8 Règle disjonctive: m6  m7 Normal: 0.05; Dos: 0.05; U2R: 0.05 R2L: 0.05: Probing: 0.8

32 Cas des valeurs manquantes
valeurs d’attributs manquantes flag: SF service: http protocol-type: ? flag SF protocol-type RSTO udp tcp http domain-u private service REJ m1 m5 m6 m4 m3 m2 m7 m8 Règle disjonctive: m1  m2 Normal: 0; Dos: 0.8; U2R: 0 R2L: 0; Probing: 0.2

33 Cas général: attributs incertains
Incertitude dans les valeurs de certains attributs bba pour chaque attribut flag: m(RSTO) = 1 service: m(http  domain-u) = 0.8; m(private) = 0.2 protocol-type: m(udp) = 0.6; m(udp  tcp) = 0.4 flag SF RSTO REJ protocol-type m5 service tcp udp http private domain-u m1 service m6 m8 m7 http private domain-u Tenir compte de toutes les bba’s m2 m4 m3

34 Arbre de décision possibiliste (Approche qualitative)
Cadre incertain: Arbre de décision possibiliste (Approche qualitative)

35 Exemple flag service count wrong_fragment SF 3 REJ 4 RSTO 1
http domain-u 3 private < 2 >=1, <= > 2 flag service count > <=0 3 wrong_fragment

36 Théorie des possibilités
Distribution de possibilités :  :   [0,1] Possible / Impossible :  ()=1 /  ()=0, Ignorance :  , () = 1 Normalisation :   /  ()=1 Ordinale Numérique A(a1) > A(a2) : A= a1 est plus plausible que A= a2 complètement possible (()=1) quelque peu possible totalement impossible (()=0) Minimum Produit

37 Arbres de décision possibilistes
+ Théorie des possibilités Différentes façons pour classer des connexions avec des attributs incertains/manquants en utilisant la théorie des possibilités.

38 Travail effectué Plusieurs propositions:
Méthode basée sur les opérateurs Min/max ou Min/leximax Méthode basée sur les opérateurs Min/leximax Méthode basée sur les opérateurs Leximin/leximax

39 Méthode basée sur le Leximin/leximax
Établir un pré-ordre total de tous les chemins utilisant l’opérateur leximin Sélectionner un premier ensemble des classes candidates correspondant aux classes libellant les meilleurs chemins dans le pré-ordre total. Si cet ensemble contient plus qu’une classe, il faut le raffiner en sélectionnant les classes leximax préférées en utilisant l’ordre leximin-leximax.

40 Exemple SF 3 REJ 4 RSTO 1 http domain-u 3 private < 2 >=1, <= > 2 flag service count > <=0 3 wrong_fragment service http private domain-u 1 1 3 count flag P (P4) >46 <=46 SF REJ RSTO 2 1 3 3 4 1 N (P1) count Wrong_fragment Wrong_fragment P (P9) >=1 <1 <=0 >0 <=0 >0 3 1 2 2 1 3 1 1 D (P5) N (P2) N (P6) P (P7) N (P8) D (P3) 3 3 4 4 3 1 P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7

41 Donc la classe candidate est P
Exemple service http private domain-u 1 1 3 count flag P (P4) >46 <=46 SF REJ RSTO 2 1 3 3 4 1 C={ P, D} P=(P9, P4, P7) >leximin-leximax D=(P3, P5) N (P1) count Wrong_fragment Wrong_fragment P (P9) >=1 <1 <=0 >0 <=0 >0 3 1 2 2 1 3 1 1 D (P5) N (P2) D (P3) N (P6) P (P7) N (P8) 3 3 4 4 3 1 P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7 Donc la classe candidate est P

42 Autre options Arbres de décision possibiliste (incertitude au niveau de l’apprentissage). Arbres de décision qualitatifs (possibilistes) avec options Evaluation des classifieurs

43 Travaux en cours Réseaux naïfs crédibilistes
Réseaux naïfs possibilistes Expérimentations

44 Publications "Qualitative classification with possibilistic decision trees" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, Chapitre of The Tenth International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU 2006. "Réseaux Bayésiens naïfs et arbres de décision dans les systèmes de détection d'intrusions" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, A paraître dans le journal Technique et Science Informatiques (TSI), 2006. "Qualitative inference in possibilistic option decision trees“ Ilyes Jenhani, Zied Elouedi, Nahla Ben Amor, Khaled. Mellouli, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, , 6-8 Juillet 2005. "Towards a definition of evaluation criteria for probabilistic classifiers“ Nahla Ben Amor, Salem Benferhat, Zied Elouedi, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, ,6-8 Juillet 2005. “On the combination of Naïve Bayes and decision trees for intusion detection“ Salem Benferhat, Karim Tabia, The International Conference of Intelligence, Control and Automation, CIMCA 2005.