DRDRDRDR BetaSonde JRES 2003 Outils de collecte pour réseaux gigabit Une alternative à la technologie Cisco Netflow david.rideau AT grenet.fr.

Présentation au sujet: "DRDRDRDR BetaSonde JRES 2003 Outils de collecte pour réseaux gigabit Une alternative à la technologie Cisco Netflow david.rideau AT grenet.fr."— Transcription de la présentation:

1 DRDRDRDR BetaSonde JRES 2003 Outils de collecte pour réseaux gigabit Une alternative à la technologie Cisco Netflow david.rideau AT grenet.fr

2 DRDRDRDR JRES 2003BetaSonde2/33 …Pour ne plus se faire pirater !!! …Pour essayer de se faire pirater un peu moins :-() De quoi va-t-on discuter ? D'une "beta" Sonde Pour réseaux haut-débit Indépendante du matériel actif Qui génère des Netflows Cisco Compatible avec NetMET et NetSEC Dont le concept de "flows" pourra être exploité… OpenSource

3 DRDRDRDR JRES 2003BetaSonde3/33 NetMET NetSEC Netflows Cisco Réseau En Étoile Routeur d'entrée de site Dans quel contexte ? Mirroring NetMET NetSEC Netflows BetaSonde Réseau extérieur

4 DRDRDRDR JRES 2003BetaSonde4/33

5 DRDRDRDR BetaSonde JRES 2003 Commençons par le moins drôle… Théorèmes et Définitions

6 DRDRDRDR JRES 2003BetaSonde6/33 Qu'est-ce qu'un Flow ? Données Ethernet Entête Ethernet Entête IP Données IP Entête UDP/TCP Données UDP/TCP SrcAddr DstAddr Protocol DOctets Input Output SrcPort DstPort Clé d'identification du Flow FirstDPkts Last Créer = TS = 1 TS Cumuler += TS ++ NewTS

7 DRDRDRDR JRES 2003BetaSonde7/33 Qu'est-ce qu'un Netflow V5 ? Un Netflow est un datagramme UDP Count SysUptime VersionUnixNSecs UnixSecs Reserved FlowSequence Entête de Netflow V5 = 24 octets 30 flows de 48 octets dans le corps du Netflow DstAddr NextHopSrcAddr DstPortSrcPort DOctets First DPkts Last Protpad1flagTos DstASSrcAS OutputInput Src mask Dst mask Pad2 24 + 30 x 48 = 1464 octets de données + 8 (entête UDP) + 8 (entête UDP) c'est l'Amérique :-) c'est l'Amérique :-) + 20 (entête IP) + 20 (entête IP) = 1492 octets inférieur à 1500 (MTU ethernet) = 1492 octets inférieur à 1500 (MTU ethernet) FlowSequence DstAddr SrcAddr DstPortSrcPort DOctets First DPkts Last Prot OutputInput

8 DRDRDRDR JRES 2003BetaSonde8/33 Octobre 2002 Mars 2003 Juillet 2003 Octobre 2003 Août 2003 Du concept à la Version "beta" Début du projet Version 0 dans le guidon ! Ntop :-( Reflexions… Version 1 RTT :-) Tests… Concluants :-) JRES 2003 Champagne !

9 DRDRDRDR JRES 2003BetaSonde9/33 La Version beta Stocker le flow Extraire le flow Interface réseau Capturer toutes les trames Interface réseau Envoyer les Netflows V5 Créer processus Processus Collecte Créer processus Processus Export Allouer la mémoire Stock de Flows en Mémoire partagée Programme principal Gestion mémoire Etape Critique !!!

10 DRDRDRDR JRES 2003BetaSonde10/33 Le mot d'ordre : efficacité Allocation dynamique en une seule étape pour N flows SrcAddr Clé d'identification DstAddrProtSrcPortDstPortPèreFilsGFilsD Chaînage firstlastdPktsdOctets Données indice 0 1 n - 1 2 3 n - 2 Espace libre Flows en cours d'utilisation Flows à exporter current first export max

11 DRDRDRDR JRES 2003BetaSonde11/33 cléindicefirstlastdPkts e b a h i 0 1 2 3 4 100 110 200 400 600 100 110 830 480 700 1 8 4 2 64 1024 8192 4096 2048 65536 dOctets Cumuler dans un flow existant a b h i e Existe ? Oui Cumuler Update +1 += 87022048 Trame 1 (ts = 870) Flow 1 (dOctets = 1024 ; clé = e)

12 DRDRDRDR JRES 2003BetaSonde12/33 s5 Créer un nouveau flow s Trame 1 (ts = 870) Flow 1 (dOctets = 1024 ; clé = e) e b a h i clé 0 1 2 3 4 indice 100 110 200 400 600 first 870 110 830 480 700 last 2 8 4 2 64 dPkts 2048 8192 4096 2048 65536 dOctets Existe ? Non Créer a b h i e = =1 = 900900 11024 Trame 2 (ts = 900) Flow 2 (dOctets = 1024 ; clé = s)

13 DRDRDRDR JRES 2003BetaSonde13/33 Equilibrer l'arbre binaire Trame 1 (ts = 870) Flow 1 (dOctets = 1024 ; clé = e) Trame 2 (ts = 900) Flow 2 (dOctets = 1024 ; clé = s) Rotation Gauche e i s h b a AlerteDéséquilibreArbreré-équilibré a b h i e s

14 DRDRDRDR JRES 2003BetaSonde14/33 Exporter les flows e i s h b a s590090011024 e b a h i clé 0 1 2 3 4 indice 100 110 200 400 600 first 870 110 830 480 700 last 2 8 4 2 64 dPkts 2048 8192 4096 2048 65536 dOctets Racine = NULL EXPORT.................. Créer nouveaux Flows ici

15 DRDRDRDR JRES 2003BetaSonde15/33

16 DRDRDRDR BetaSonde JRES 2003 Quels résultats obtenus ? Une plateforme adaptée Quelques chiffres Quelques graphes

17 DRDRDRDR JRES 2003BetaSonde17/33 bes.grenet.fr PC Bi-Processeur Intel P4 2,2 Ghz 2 Go de RAM 2 Ethernet Gigabit Plateforme de test NetMET seth.grenet.fr Netflows Cisco Sites Universitaires Grenoblois et Grands Organismes de Recherche tigre1.grenet.fr Cisco 6500 Renater Mirroring

18 DRDRDRDR JRES 2003BetaSonde18/33 Quelques chiffres sur 3 semaines 76,8 millions de netflows générés 15,2 milliards de paquets traités 2,3 milliards de flows distincts Soit 416 Go de moyenne par jour Dont Pour 1Pour29,948

19 DRDRDRDR JRES 2003BetaSonde19/33 Quelques chiffres… 2/2 Environ 4,6 Mo par seconde Débit moyen Pic de trafic le 23/10 à 13:31:17 48774 paquets reçus, dont 47271 traités 1 netflow pour 200 paquets traités Taux de compression soit 29 298 589 octets en une seconde 1 octet généré pour 80 traités

20 DRDRDRDR JRES 2003BetaSonde20/33 Trois semaines, 0 paquet perduWeek-End Jours ouvrés Vacances Toussaint

21 DRDRDRDR JRES 2003BetaSonde21/33 NetMET, le 22 octobre 2003 NetMET BetaSonde

22 DRDRDRDR JRES 2003BetaSonde22/33 Ressources mémoires Mémoire Utilisée

23 DRDRDRDR JRES 2003BetaSonde23/33 Deux Processus asynchrones Export toutes les minutes Flows exportés à recréer

24 DRDRDRDR JRES 2003BetaSonde24/33

25 DRDRDRDR BetaSonde JRES 2003 Pour finir… Points forts, faibles Evolutions Détection de scan

26 DRDRDRDR JRES 2003BetaSonde26/33 Quels avantages ? Économie de CPU du routeur Sélection du trafic (libpcap) Métrologie indépendante Packaging avec NetSEC sans netflow

27 DRDRDRDR JRES 2003BetaSonde27/33 Quels inconvénients ? Qualification des flows TCP Besoin d'un commutateur (mirroring)

28 DRDRDRDR JRES 2003BetaSonde28/33 Demain Évolution de protocoles Interface Homme-Machine Paramétrage du programme Filtrage libpcap Spécification modulaire

29 DRDRDRDR JRES 2003BetaSonde29/33 Détecter un scan : facile ! Isoler une provenance commune Fixer un seuil d'alerte Des flows triés par adresse IP Conserver les flux suffisamment longtemps (scans lents)

30 DRDRDRDR JRES 2003BetaSonde30/33 Bloquer un scan : plus difficile ? Agir sur le routeur d'entrée de site Temps de réaction Alerter l'administrateur réseau Bloquer l'attaque à venir

31 DRDRDRDR JRES 2003BetaSonde31/33 Plateforme Linux OpenSource P1P2 Gigabit Libpcap Mémoire Partagée Netflow Pirate Killer Langage C / C++

32 DRDRDRDR JRES 2003BetaSonde32/33

33 DRDRDRDR JRES 2003BetaSonde33/33 Questions ?

34 DRDRDRDR BetaSonde JRES 2003 Outils de collecte pour réseaux gigabit Une alternative à la technologie Cisco Netflow david.rideau@grenet.fr