La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Agrégation dalarmes faiblement structurées Alexandre Vautier, Marie Odile Cordier, Mireille Ducassé et René Quiniou.

Présentations similaires


Présentation au sujet: "Agrégation dalarmes faiblement structurées Alexandre Vautier, Marie Odile Cordier, Mireille Ducassé et René Quiniou."— Transcription de la présentation:

1 Agrégation dalarmes faiblement structurées Alexandre Vautier, Marie Odile Cordier, Mireille Ducassé et René Quiniou

2 Normalisation des alarmes (1/6) Contexte Journal dalarmes clients Concentrateur VPN : Composant réseau chargé de gérer des connexions VPN connexions DateTypeAutres champs (client; message) 05/09/ :11: IKE/ ; « Received local Proxy Host data in ID Payload: Address , Protocol 17, Port 0 » 05/09/ :12: IKE/41 ;IKE Initiator: Rekeying Phase 2, Intf 2, IKE Peer local Proxy Address , remote Proxy Address , SA (WindowsServer1) alarmes …. plus dun million dalarmes

3 Problématique Représentation Journal dalarmes Interactivité incrémentale Opérateur Aider lopérateur à exprimer ses connaissances Extraire un résumé du journal Processus dextraction des connaissances

4 Plan Introduction Un exemple concret Les 3 étapes du processus Normalisation Agrégation Généralisation Perspectives Conclusion

5 Normalisation DateTypeAttributs 0A[paul, server1] 2C[paul, 0x10] 9A[pierre, server1] 11C[pierre,0x11] 45B[0x11, 44] 46B[0x11, 112] 47D [server1, 0x11, pierre] 68B[0x10, 54] 70B[0x10, 40] 102E[0x10, 486A14FE] Modèles de normalisation

6 Agrégation 0A[paul, server1] 2C[paul, 0x10] 9A[pierre, server1] 11C[pierre,0x11] 45B[0x11, 40] 46B[0x11, 112] 47D[server1, 0x11, pierre] 102E[0x10, 486A14FE] DateTypeAttributs 0A[paul, server1] 2C[paul, 0x10] 9A[pierre, server1] 11C[pierre,0x11] 45B[0x11, 40] 46B[0x11, 112] 47D [server1, 0x11, pierre] 68B[0x10, 54] 70B[0x10, 40] 102E[0x10, 486A14FE] 68B[0x10, 54] 70B[0x10, 40] paramètres

7 Généralisation 0A[paul, server1] 2C[paul, 0x10] 9A[pierre, server1] 11C[pierre,0x11] 45B[0x11, 40] 46B[0x11, 112] 47D[server1, 0x11, pierre] 102E[0x10, 486A14FE] 68B[0x10, 54] 70B[0x10, 40] 0t1[m=paul, n=server1, o=0x10] 9t1[m=pierre, n=server1, o=0x11] 45t2 [p=0x11, q=40, r=112, s=server1, t=pierre] 68t3[u=0x10, v=54, w=40] 102t4[x=0x10, y=486A14FE] TypeAttributs t1:A[m,n] C[m,o] t2:B[p,q] B[p,r] D[s,p,t] t3:B[u,v] B[u,w] t4:E[x,y] Modèles de transaction m 2 *; n=server1; o=0x1?; … ; y=…

8 Construction des connexions perspectives 0t1[m=paul, n=server1, o=0x10] 9t1[m=pierre, n=server1, o=0x11] 45t2 [p=0x11, q=40ms, r=112, s=server1, t=pierre] 68t3[u=0x10, v=54, w=40] 102t4[x=0x10, y=486A14FE] 9t1[m=pierre, n=server1, o=0x11] 0t1[m=paul, n=server1, o=0x10] 45t2 [p=0x11, q=54, r=40, s=server1, t=pierre] 68t3[u=0x10, v=40, w=112] 102t4[x=0x10, y=486A14FE] Connexion « paul » Connexion « pierre » …construction de modèles de connexions

9 Normalisation des alarmes But : uniformiser la représentation des alarmes Problème : message faiblement structuré Solution : extraction dune liste dattributs à partir des messages Contrainte : A un type dalarme correspond une liste de types dattribut.

10 Exemple de normalisation dalarmes Par signature dattribut Par signature dalarme No answer from handle number 0x11 after 40ms Nombres hexadécimaux Nombres décimaux [0x11, 40] Expressions régulières : Message : Message normalisé : Attribution of handle (Nombre hexadécimal) to user (chaîne de caractères) Attribution of handle 0x11 to user pierre Expression régulière : Message : Message normalisé : [0x11, pierre]

11 Normalisation des alarmes (3/6) Méthode Journal Journal normalisé Signatures dattibut : (nombres - base 10 ou 16) Signatures dalarme :

12 Normalisation des alarmes (4/6) Signature dattribut Définition : expression régulière représentant la forme dun attribut à extraire dans le message dune alarme. Moyen dintroduire des connaissances approximatives sur le journal par lopérateur Exemples : Adresse IP: « 25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3} 25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9] » Nom dutilisateur : « User\s\[(\w*)\] »

13 Normalisation des alarmes (5/6) Signature dalarmes Sous la forme dexpressions régulières Propre à un type dalarme Résultat et paramètre de la normalisation. Synthèse et spécification de la façon dont les attributs sont extraits pour un type dalarme donné. Moyen dexprimer les connaissances précises de lopérateur Utile pour des messages très variables

14 Normalisation des alarmes (6/6) Étude de cas -> plus graphique !! dalarmes du journal du concentrateur VPN (1 mois de fonctionnement) 4 signatures dattributs présents à la première extraction automatique 4 extractions automatiques Ajout de 3 signatures dattribut 37 signatures générées ont du être modifiées et utilisées pour lextraction

15 Agrégation des alarmes (1/4) Propriétés du journal : des transactions identiques de types dalarme apparaissent dans le journal. ) propriété permettant de synthétiser linformation. Problème : déterminer quelles transactions sont à extraire. Les alarmes dune transaction partagent des valeurs dattribut identique. Solution : corréler les valeurs des attributs pour agréger des alarmes proches dans le temps en transactions primitives puis analyser ces transactions.

16 Agrégation des alarmes (2/4) Corrélation relationnelle Deux alarmes sont corrélées si : Elles partagent au moins n a attributs identiques. Et si le délai qui les sépare est inférieur à maxGap. Une alarme a est agrégée à une transaction T si il existe une alarme b de T corrélée à lalarme a. Les paramètres maxGap et n a sont donnés a priori par lopérateur « Lagrégation donne un aperçu rapide. » Pour des paramètres donnés et un journal donné, Il existe une unique façon dagréger les alarmes

17 Agrégation des alarmes (4/4) Influence du paramètre maxGap DateTypeAttributs 0A[paul, server1] 2C[paul, 0x10] 9A[pierre, server1] 11C[pierre,0x11] 45B[0x11, 40] 46B[0x11, 112] 47D[server1, 0x11, pierre] 68B[0x10, 54] 70B[0x10, 40] 102E[0x10, 486A14FE] maxGap n a = 1 Empêcher la corrélation entre attributs non pertinents

18 Organisation des transactions (1/6) Généralisation des transactions primitives sous la forme de modèles de transaction dans un espace muni dune relation dordre. But : organiser linformation afin de mieux la compresser relativement aux connaissances de lopérateur Moyen : Visualisation des transactions et modifications par lopérateur Méthodes automatiques (règles dassociations)

19 Organisation des transactions (2/6) Modèle de transaction Un modèle dalarme : Alarme sans date dont les attributs sont remplacés par des variables. Le type reste inchangé. Une variable possède un type et son domaine est contraint. Exemple : Alarme : 47 D [server1, 0x11, pierre] Modèle dalarme : D [a,b,c] Variables : a[s] 2 *, b[i] 2 0x00..0xFF, c[s] 2 * Un modèle de transaction : Séquence de modèles dalarme associés à leurs variables. Un modèle de transaction (resp. alarme) couvre des transactions (resp. alarmes) appelées ses instances.

20 Organisation des transactions (4/) Représentation B[p,q] B[p,r] D[s,p,t] p[i]=*, q[i]=*, r[i]=*, s[s]=*, t[s]=* B[u,v] B[u,w] u[i]=0x1?, v[i]=*, w[i]=* D[x,y,z] x[s]=*, y[i]=0x10, z[s]=* t2 t3 t4

21 Organisation des transactions (4/6) Relation dordre partiel Relation sur les modèles dalarme : Une alarme A g est plus général quune alarme A s ssi Leurs types sont identiques les domaines des variables de A s sont plus contraints ou égaux à ceux de A g Relation sur les modèles de transaction Une transaction T g est plus générale quune transaction T s « intuition : toutes les alarmes de T g sont dans T s » ssi Il existe un appariement entre toutes les alarmes de T g et des alarmes de T s respectant le relation dordre sur les alarmes.

22 Organisation des transactions (5/6) Étude de cas-1 Effectuée sur les 5000 premières alarmes du journal Maxgap = 10s et n a = 1 Construction de 628 transactions primitives généralisées par 81 modèles de transactions.

23 Organisation des transactions (6/6) Étude de cas-2 Un modèle de transaction de 8 alarmes couvre 41% des alarmes du journal 80 % des modèles générés nont quune seule instance dans le journal

24 Perspectives modifications des transactions Modifications des transactions : par fusion/découpage par addition de corrélations statistiques règles dassociations entre transactions manuelles puis automatiques (opérateur) analyse des variables (en post-traitement)

25 Perspective amélioration de la normalisation Inférence grammaticale pour extraire les attributs Pas super important car la tache nest pas lourde actuellement

26 Perspectives (1/2) Caractérisation des attributs Des transactions primitives sont construites à partir dattributs inintéressants (date, serveur…) Classification des attributs en Identifiant de connexion/transaction Paramètres Classification manuelle puis automatique (technique dapprentissage)

27 Agrégation dalarmes faiblement structurées Conclusion Données en nombre et faiblement structurées. Techniques simples mises en œuvres sur des données réelles. Toujours assisté, lopérateur contrôle la chaîne de processus afin quelle lui fournisse une représentation du journal. « Acquisition de connaissances par lexpert tout au long du processus dextraction manipulation seule des résultats »

28 Agrégation dalarmes faiblement structurées Alexandre Vautier, Marie Odile Cordier, Mireille Ducassé et René Quiniou Processus interactif dassistance à lexpression et à lextraction des connaissances MERCI !

29 Soient deux modèles dalarmes A g et A s. A g est plus général que A s, A g.type == A s.type et 8 v g 2 A g, 9 v s 2 A s, dom(v s ) 2 dom(v g )

30 Normalisation des alarmes (2/7) Problématique Extraction assistée (par lopérateur) des attributs DateTypeListe dattributs […;…;…] DateTypeChamps « texte » - Quels attributs ? - Quelles sont mes connaissances sur la structure des alarmes ? Caractéristique essentielle : pour un type dalarme donné, seuls les attributs changent dans le message… normalement…

31 Problématique « Résumé » Un journal dalarmes processus Opérateur Caractéristiques : alarmes datées, typées faiblement structurées, en grand nombre et implicitement liées à un contexte Caractéristiques : - compréhensible par lopérateur (taille et sémantique) - perd le moins possible dinformations par rapport au journal : sous la forme de séquences de modèle dalarme - basé sur des corrélations relationnelles entre alarmes Résultats intermédiaires Connaissances

32 Problématique Les données : un journal composées dalarmes qui sont : datées, typées et faiblement structurées (essentiellement du texte) en grand nombre ( > ) Un opérateur avec peu de connaissances sur le journal et sans question précise Quelles connaissances extraire du journal ? Ya-t-il eu des attaques (dans un contexte réseau) ?

33 Normalisation des alarmes (3/6) Méthode Signatures dattribut Signatures dalarme Journal Journal normalisé Signatures dalarmes Extraction automatique


Télécharger ppt "Agrégation dalarmes faiblement structurées Alexandre Vautier, Marie Odile Cordier, Mireille Ducassé et René Quiniou."

Présentations similaires


Annonces Google