Mesures et Caractérisation du Trafic dans le Réseau National Universitaire Thèse effectuée par Khadija Ramah Houerbi Sous la direction du Professeur Farouk.

Slides:



Advertisements
Présentations similaires
Mais vous comprenez qu’il s’agit d’une « tromperie ».
Advertisements

Introduction à l’analyse
Le Marché Publicitaire de la Presse Professionnelle
Qualité de Service sur Linux
1 Plus loin dans lutilisation de Windows Vista ©Yves Roger Cornil - 2 août
Karima Boudaoud, Charles McCathieNevile
Résolution de problèmes et logiciel de calcul symbolique
10/31/02 Leïla Merghem - LIP6 Une approche Multi-Agents pour la Simulation de Réseaux de Télécommunications Leïla Merghem (LIP 6) Dominique Gaïti (LIP.
A NETWORK-AWARE DISTRIBUTED STORAGE CACHE FOR DATA INTENSIVE ENVIRONMENTS Brian L. TIERNEY, Jason LEE, Brian CROWLEY, Mason HOLDING Computing Sciences.
Modélisation de l’hydrodynamique du plateau atlantique
Institut Français de recherche pour l'exploitation de la mer Variabilité hydrologique et courantologique dans le golfe de Gascogne, déterminées à partir.
Epidémiologie et qualité de la prise en charge du diabète du sujet âgé
Laboratoire Environnement et Minéralurgie (LEM)
De lanalyse des données … … au Datamining Aide à la prise de décision.
- Couche 4 - Couche transport. Sommaire 1) Caractéristiques de la couche transport 2) Les protocoles TCP & UDP 3) Méthode de connexion TCP.
Métrologie pour lInternet. Jean-Loup Guillaume Journées Franciliennes de Recherche Opérationnelle.
Colloque "Mesures de l'Internet", Nice, mai 2003 Invariance déchelle dans lInternet P. Abry, P. Flandrin (Cnrs - Éns Lyon) N. Hohn, D. Veitch (Univ.
CLASSES MOYENNES EN FRANCE: UNE PERSPECTIVE INTERNATIONALE Steven Pressman Department Of Economics & Finance Monmouth University West Long Branch, NJ
Les réseaux locaux sans fil : normes, domaines d'utilisation et enjeux
DADDi Réunion de travail 11 octobre 2007 : Analyse des données brutes fournies par Supélec.
FLSI602 Génie Informatique et Réseaux
Technologies et pédagogie actives en FGA. Plan de latelier 1.Introduction 2.Les technologies en éducation 3.iPads 4.TNI 5.Ordinateurs portables 6.Téléphones.
Kavé Salamatian MESURES SUR LES RÉSEAUX CHALLENGES POUR LES ANNÉES À VENIR.
wireless sensor networks
Tarification et QoS dans l'Internet Jim Roberts BD-CNET/DAC/OAT Centre National d'Etudes des Télécommunications © France Télécom 1999 Versailles le
Application des algorithmes génétiques
Présentation générale
Analyse des protocoles de la couche application
Etude longitudinale d’essais multilocaux: apports du modèle mixte
Quels modèles pluie-débit globaux pour le pas de temps horaire
Et la disparition de notre
M. OUKILI*, S. ZOUGGAR*, F. VALLEE**, M. SEDDIK*, T. OUCHBEL*
Simulateur Interactif de Qos dans un Routeur
Qualité de service (QOS)
Les Monnaies et billets du FRANC Les Monnaies Euro.
Interprétation de séquences dimages pour des applications MédiaSpace Alberto AVANZI François BREMOND Monique THONNAT Projet ORION INRIA de Sophia Antipolis.
I.Aperçu du projet II.Organisation du projet III.Processus de gestion IV.Processus technique V.Conclusion.
Soutenue par MHALLA Sami Le 06/03/2009
1 Algotel /05/04 Modélisation analytique des algorithmes dordonnancement GPS & WFQ BOCKSTAL Charles, GARCIA J.M. et BRUN Olivier.
Année universitaire Réalisé par: Dr. Aymen Ayari Cours Réseaux étendus LATRI 3 1.
Réseaux optiques multiservices Impact de la technologie sur l ingénierie du trafic G. Hébuterne.
MIDI Sans Frontières Analyse des problèmes relatifs à la communication musicale sur IP Mémoire présenté en vue de lobtention du grade de Licencié en informatique.
La différentiation de service basée sur des mesures
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
Optimisation des systèmes de santé d’urgence
Les Nombres 0 – 100 en français.
Timur FRIEDMAN Maîtrise Polyvalente Internet et Multimédia Cours 7 : Le « TCP-Friendly » à lUniversité Pierre et Marie Curie, le 22 mars 2004.
Observatoire de lUFR, janvier 2011 (Master SPI, GI, 1 ère année ) 1 PROFIL DES ETUDIANTS Responsables de la formation: Emmanuel CAILLAUD, Bertrand.
Simulateur interactif de QOS dans un routeur
Commutation de niveau 5 Guillaume CASSIN Charles DESMOULINS 24 Mars 2001.
Développement en série de FOURIER
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
Vue d'ensemble Configuration d'adresses IP
- La commutation de niveau 5- - La commutation de niveau 5 - Option RIO 2003 – FP04 Fabien DAGOMMER Fernando LUIS.
Comparaison entre RIP et OSPF en utilisant OPNET
PLATO Ticagrelor versus clopidogrel in patients with acute coronary syndromes undergoing coronary artery bypass surgery. Held C et al. ACC 2010.
Module 8 : Surveillance des performances de SQL Server
Rappels de statistiques descriptives
La formation des maîtres et la manifestation de la compétence professionnelle à intégrer les technologies de l'information et des communications (TIC)
Ethereal Analyseur de trafic réseau Romain AUFFRET Maxime HERVÉ Soutenance orale de Réseaux.
Cours de programmation web
Ministère de l’Enseignement Supérieur et de la Recherche Scientifique
Transfert radiatif dans les sprays. Application aux rideaux d’eau.
Les Réseaux Informatiques
Une évolution économique du contrôle des réseaux de télécommunication
IPSec Formation.
La métrologie sur les réseaux : enjeux et quelques problèmes intéressants Métropolis METROlogie Pour L’Internet et les Services.
Architecture Client/Serveur
Comparaison multi-échelle des précipitations du modèle Méso-NH et des données radar Colloque CNFSH – Ecole des Ponts ParisTech – 11/12 juin 2009 A., Gires.
Régulation des vitesses sur l’autoroute A7 Analyse de données individuelles Aurélien Duret Ingénieur des TPE.
Transcription de la présentation:

Mesures et Caractérisation du Trafic dans le Réseau National Universitaire Thèse effectuée par Khadija Ramah Houerbi Sous la direction du Professeur Farouk Kamoun ENSI, 31 octobre 2009 École Nationale des Sciences de lInformatique Laboratoire CRISTAL / Pôle RAMSIS

2 / 44 Problématique Étudier les caractéristiques du trafic RNU Exposer les usages du réseau Comparer le trafic RNU avec celui dautres réseaux Interpréter les phénomènes observés Proposer des approches pour la détection et la surveillance danomalies de trafic Propagation des vers informatiques Attaques de déni de service (DoS)

3 / 44 Plan 1.Caractérisation du trafic Internet 2.Détection danomalies de volume 3.Surveillance du trafic de scan 4.Conclusions et perspectives

4 / 44 Plan 1.Caractérisation du trafic Internet Métrologie Internet Le réseau RNU Répartitions du trafic Dépendance à long terme Types des connexions 2.Détection danomalies de volume 3.Surveillance du trafic de scan 4.Conclusions et perspectives

5 / 44 Métrologie Internet Techniques actives Paramètres de qualité de service (QoS) Techniques passives Paramètres descriptifs: paquet, flux Quels protocoles, quelles applications? Quelles tailles ont les paquets? Quelles tailles, quelles durées ou débits ont les flux? Effet des caractéristiques observées sur la QoS Relation entre caractéristiques observées et protocoles Modèles de prévision du trafic Ingénierie du trafic

6 / 44 Métrologie Internet: Quelques résultats Extrême variabilité temporelle et spatiale du trafic Paquet/flux Disparité entre flux: taille, durée, débit effectif, protocoles applicatifs utilisés, … Dépendance à long terme (LRD) dans larrivée des paquets La LRD implique un faible gain statistique et une nécessité de surdimensionnener les réseaux La LRD est liée aux protocoles (TCP, HTTP, P2P,..) Dépendance au niveau des flux ?

7 / 44 Architecture du RNU

8 / 44 Trace collectée PériodeLienDurée Totale Taille [Goctets] Paquets [10 6 ] 07/04/06CCK-el Kasbah/ATI24h31,8356

9 / 44 Répartition du trafic par classe dapplication Classe dapplication Trafic entrantTrafic sortantTrafic total % paquets% octets% paquets% octets% connexions Web81,389,577,638,857,3 FTP, mail, ssh, telnet 1,51,71,61,41 P2P8,73,215,350,90,4 Services Windows 3,80, ,8 Autres4,75,4 8,91,5

10 / 44 Distribution des tailles des connexions 85% octets 15% flux 85% octets 1% des flux génèrent 52% des octets

11 / 44 Processus darrivée des paquets : Paramètre de Hurst 0,7<H<0,8 LRD au niveau des arrivées des paquets Pas de LRD pour les flux

12 / 44 87% des connexions annulées comportent un transfert de données Répartition des connexions TCP par type

13 / 44 Conclusions: Trafic dans RNU Des éléphants et des souris Dépendance à long terme des arrivés de paquets Surdimensionner la capacité des liens est nécessaire Pas de dépendance entre les flux 50% des connexions TCP transportent des données 42% sont des balayages de ports : Vers et réseaux zombies Dégradation des performances des firewalls et IDSs à états Filtrer ce trafic est une nécessité Pourcentages calculés sur 24H !

14 / 44 Plan 1.Caractérisation du trafic RNU 2.Détection danomalies Approches existantes Approche proposée Évaluation de lapproche proposée 3.Surveillance du trafic de scan 4.Conclusions et perspectives

15 / 44 Anomalies du Trafic Anomalie : un changement non conforme à une référence au niveau dun ou de plusieurs attributs du trafic Technique détection danomalies Référence Attributs surveillés Fouille de données, Apprentissage automatique, Statistiques, Théorie de linformation, Théorie spectrale, … Métrologie

16 / 44 Détection danomalies: Approches existantes Techniques de détection différent: Paramétriques/non-paramétriques Selon les attributs surveillés VolumeRépartitionsDétaillées Coût (Ressources matérielles) FaibleImportant Anomalies détectésAnomalies de forte intensité Pannes, scans, foules subites, DDoS,.. Toute sorte danomalie Identification de lorigine des anomalies NonPossibleOui

17 / 44 Détection danomalies à partir dattributs de volume Pour détecter les attaques DDoS, les scans, les foules subites et les pannes, les techniciens obsevent: # Paquets / # Octets Trafic entrant / Trafic sortant Trafic sur un lien X/ Trafic sur un lien Y Approches mono-attribut/ approches multi-attributs Nombre de flux par minute sur un lien OC12 par sens du trafic [Floy03]

18 / 44 Approche retenue: Détection danomalies de volume Approche non paramétrique Approche au niveau réseau Attributs choisis (par lien) Nombre des paquets en entrée Nombre doctets en entrée Nombre des paquets en sortie Nombre doctets en sortie Détecter les anomalies comme des points excentriques dans lespace de dimension 4*N (N= Nombre de liens) Utiliser le classificateur de Mei-Ling Shyu

19 / 44 Approche retenue: Classificateur de Mei-Ling Shyu Phase dapprentissage Calculer les estimateurs robustes de la matrice de corrélation et du vecteur moyenne (trimming) Effectuer lanalyse en composantes principales q composantes majeures + r composantes mineures Calculer les distributions des distances Mahanalobis par rapport aux axes principaux mineurs et majeurs Phase de détection Calcul des distances de Mahanalobis par rapport aux axes principaux majeurs et mineurs

20 / 44 Approche retenue: Récapitulatif Collecter les compteurs SNMP au niveau de tous les routeurs du réseau surveillé, pour chaque lien: Nombre de paquets en entrée Nombre doctets en entrée Nombre de paquets en sortie Nombre doctets en sortie Implémenter le classificateur de Shyu avec Matlab Adopter les mêmes paramètres de détection que Shyu

21 / 44 Fenêtre de détection Trafic menaçant Trafic normal Faux positifs Faux négatifs Métriques dévaluation Il nous faut une trace étiquetée

22 / 44 Évaluation de lapproche de détection : Plate-forme de test

23 / 44 Évaluation de lapproche de détection : Performances globales Taux fixé de fausses alarmes 2 % 4%6% Taux réel de faux positifs 1,1 % 1,7 %2,5 % Taux de détection 47,1 % 62,9 %68,6 % Précision 91,7% 56,4 %41,7 %

24 / 44 Évaluation de lapproche de détection : Performances par attaque Taux fixé de fausses alarmes 2%4% 6% bdrTrepbdrTrep bdrTrep Smurf93%197%0 0 SYN Fload 100%0 0 0 Scan3%1932%1944%3

25 / 44 Détection danomalies dans RNU 799 anomalies détectés durant 45 jours (avril/mai 2004) Anomalies de courte durée (88% des anomalies durent moins de 5 min)

26 / 44 Approche non paramétrique Anomalies au niveau dun réseau Attributs faciles à collecter Validation expérimentale Bonne performance pour la détection des attaques par inondation (Syn fload, Smurf) Incapable de détecter les scans Conclusion: Détection danomalies de volume

27 / 44 Plan 1.Caractérisation du trafic RNU 2.Détection danomalies 3.Surveillance du trafic de scan Balayages de ports Approche proposée Évaluation de lapproche proposée 4.Conclusions et perspectives

28 / 44 Balayages de ports Omniprésents sur les liens Internet Envoyer une requête vers un numéro de port inférer létat du port Opération de reconnaissance Scans automatiques: vers, réseaux zombies Techniques raffinées SYN scans: Scan demi ouvert Non-SYN scans: UDP scan, paquets TCP sans flags SYN, RST, ACK Scan aveugle Stratégies multiples

29 / 44 Balayages de ports: Techniques de détection « Counting methods » Règle de SNORT : qui essaye de se connecter à X adresses destinations ou Y ports destinations durant une fenêtre de temps W est considérée comme scanneur Bro Threshold Random walk : un score est calculé pour il est mis à jour à chaque nouvelle connexion « Non-counting » Probabiliste, fouille de données, entropiques, … génèrent beaucoup de faux positifs ( NAT) peuvent être facilement contournés

30 / 44 Surveillance du trafic de scan : Idée clé Le trafic de scan est un rayonnement de fond inévitable Surveiller le trafic de scan et détecter les changements pouvant laffecter Détecter la propagation de nouveaux vers Détecter les réseaux zombies Il nous faut collecter le trafic de scan !

31 / 44 Surveillance des scans: Comment collecter le trafic de scan ? Collecter les paquets SYN sans réponses Ce trafic est principalement composé par des scans Toute activité de scan génère un grand nombre de SYN sans réponses Ne nécessite pas beaucoup de ressources

32 / 44 Surveillance des scans: Quels attributs surveiller ? (1/3) Scan vertical : une adresse IP envoie plusieurs scans à une destination sur plusieurs # src

33 / 44 Surveillance des scans: Quels attributs surveiller ? (2/3) Scan horizontal: une adresse IP envoie plusieurs probes à diverses destination sur un même numéro # src # dst)

34 / 44 Surveillance des scans: Quels attributs surveiller ? (3/3) Scans collaboratifs Effectués par les réseaux de zombies Plusieurs sources envoient des scans à une ou plusieurs destinations sur un ou plusieurs # src # Distribution # src, # dst)

35 / 44 Surveillance des scans: Comment inférer les distributions? Calculer la distribution conjointe nécessite de manipuler des vecteurs à 2 96 entrées infaisable Estimer la distribution dun histogramme agrégé Calculer la distribution des attributs hachés Facile à implémenter Aboutit à une agrégation flexible Immune aux attaques

36 / 44 Soit P la distribution de référence du trafic de scan, Q n une distribution calculée pour une fenêtre quelque w la détection de changement peut être réduite au test dhypothèse: { H1 : Q n est conforme à P { H2 : Q n nest pas conforme à P Surveillance des scans: Comment détecter les changements ? où T est le seuil de détection Le test dhypothèse classique peut être remplacé par un test sur la DKL :

37 / 44 Validation expérimentale: Traces utilisées Trace réelle Période avril 2006 Durée 24H 10 millions de paquets SYN sans réponses Traces artificiellement modifiées TraceDescriptionIntensit é TTrace de scan dorigine0 % T-V20pc3 scans verticaux sont injectés dans T20 % T-H20pc2 scans verticaux sont injectées dans T 20 %

38 / 44 Validation : à partir de traces réelles

39 / 44 Validation : à partir de traces artificiellement modifiées (1/2)

40 / 44 Validation : à partir de traces artificiellement modifiées (2/2)

41 / 44 Conclusion: Surveillance des scans Détecter les changements dans les répartitions des scans # src, # dst Validation expérimentale KLD de la distribution conjointe permet dexposer les scans verticaux et horizontaux KLD des trois autres distributions permet de déterminer la stratégie de scan utilisée

42 / 44 Plan 1.Caractérisation du trafic RNU 2.Détection danomalies 3.Surveillance du trafic de scan 4.Conclusions et perspectives

43 / 44 Conclusion Relever les caractéristiques du trafic dans RNU Usages multiples, mais importance du web Importance de la propagation des vers LRD Nécessité de surdimensionner le réseau Détection danomalies de volume et surveillance des scans Outils de notification précoces Deux approches complémentaires Peuvent être implémentées au niveau du réseau

44 / 44 Perspectives Valider les approches proposées face à de nouvelles traces Traces provenant dautres réseaux /de plus longue durée Traces étiquetées Évaluer les performances de détection Étudier leffet des paramètres de détection sur les performances Adapter lapproche de surveillance des scans à la détection danomalies de trafic Stabilité de la DKL sur le court et moyen terme ? Détection danomalies coopératives Coopération entre administrateurs de réseaux différents Techniques de calcul distribuées

Merci pour votre attention

46 / 44 Évaluation des systèmes de détection danomalies Courbe ROC (Receiver Operating Characteristics) Trouver le seuil de détection optimal Calibrer les paramètres de détection Comparer des ADSs

47 / 44 Distribution cumulative complémentaire des durées des connexions

48 / 44

49 / 44 Détection danomalies: Architecture globale Source surveillée Stockage de donnés daudit Générateur dalarmes Analyse et détection RéférenceConfiguration

50 / 44 Première architecture du RNU

51 / 44 2eme architecture du RNU

52 / 44 Plateformes de mesures dans RNU Sonde de mesures passives niveau paquet: Basée sur les outils libres TCPdump et Libpcap Sonde de mesures passives niveau agrégé Collecte des valeurs de compteurs SNMP (tels que nombre de paquets envoyés/reçus par une interface) Emplacement des sondes de mesures a suivi le développement du réseau

53 / 44 Détection danomalies Les caractéristiques du trafic Internet présentent des variations « normales » sur différentes échelles du temps Approches paramétriques Modéliser le trafic par un modèle mathématique Marquer comme anomalie toute déviation par rapport au modèle Approches non paramétriques La référence est construite par apprentissage

54 / 44 Estimation du volume du trafic malicieux 2 types de trafics malicieux : Manuel Automatique : spam, vers informatiques, réseaux zombies Affectent aussi bien les adresses IP valides que celles inutilisées Lanalyse du trafic lié inutilisées permet dexposer les caractéristiques du trafic malicieux automatique

55 / 44 Trafic lié aux adresses IP inutilisées

56 / 44 Trafic lié aux adresses inutilisées (1/2)

57 / 44 Trafic lié aux adresses inutilisées (2/2)

58 / 44 Estimation du volume du trafic malicieux

59 / 44 Lapproche proposée: surveillance des scans 1.Collecter le trafic de scan 2.Agr é ger ce trafic dans des fenêtres de w paquets 3.Calculer pour chaque fenêtre, les distributions dans l espace SrcIP, SrcPort, DstIP, DstPort 4.Comparer ces distributions par rapport à des distributions de r é f é rence d é tecter les changements