Le Stockage SAN Philippe Sèvre le 05/10/2010 V 1.2.

Présentation au sujet: "Le Stockage SAN Philippe Sèvre le 05/10/2010 V 1.2."— Transcription de la présentation:

1 Le Stockage SAN Philippe Sèvre le 05/10/2010 V 1.2

2 Principe SAN : Storage Area Network français : réseau de stockage consiste à utiliser un réseau spécialisé pour relier les unités de stockage (baies de disques et libraires de bandes)‏ permet de ne pas surcharger le réseau utilisateur en cas de fort trafic sur les périphériques de stockage (en particulier lors des sauvegardes)‏ utilise habituellement FC-AL ou ISCSI

3 La gestion des disques Permet de mutualiser les espaces de stockage : ajout simple de disques avec utilisation de LVM (Logical Volume Manager)‏ –Possibilité de retailler des partitions –RAID5, RAID6 ou RAID50

4 La problématique des sauvegardes la “fenêtre temporelle “ dédiée à la sauvegarde est souvent très réduite du fait des gros volumes mis en oeuvre et des nombreuses applications en batch. Le SAN est une solution à ce problème

5 NAS et SAN les deux termes n’ont rien à voir : NAS : Network Attached Storage : serveur dédié au stockage (fonctionne au niveau 7 OSI)‏ Le SAN fonctionne au niveau bloc : un serveur voit une partition sur la baie Une partition n’est utilisée que par un seul serveur : pas de gestion des accès concurrents une baie de stockage SAN peut être utilisée dans un NAS

6

7 Le câblage à l'origine : FC (Fiber Channel) en version AL (Arbitrated Loop)‏ Débit : 2, 4 ou 10 Gb/s Très couteux Switch : 5 à 10000 € Carte adaptateur HBA : à partir de 600 €

8 Fiber Channel pas seulement un support physique : protocole de type réseau routable à 5 couches FC-0 : interface physique (câblage)‏ FC-1 : Encodage des octets FC-2 : Livraison des données (Trames, contrôle de flux, classes de service)‏ FC-3 : Services en commun : Sous construction (compression, cryptage, etc)‏ FC-4 : Conversion SCSI (IP en Fibre Channel, etc)‏

9 Le support physique utilise généralement un support fibre mais aussi support cuivre ANSI-X3.230-1994 : peut encapsuler SCSI, SNMP, IP débit 1, 2 Gb/s (=> DMA) et bientôt 4 G/s puis 10 G/s selon le support En FO: maxi 30 Km

10 Eléments de connexion les nodes : noeuds de communication disposant d’un nom unique de 64 bits (le WWN (World Wide Name). Un node dispose de un ou plusieurs ports hubs ou switch SAN FC - peuvent être mis en cascade Cartes : les HBA prix : à partir de 5 000 €

11 Topologie du SAN - 1 point à point : connexion dédiée entre deux périphériques - utilisée dans les config minimales (ex : simple disque)‏ Arbitrated Loop (AL) : permet de partager 126 noeuds plus une fiaison fabric (sur un hub ou switch) sur la même boucle) - Fonctionnement similaire à celui d’un Token-Ring, l’arbitrage étant fait par le hub

12 Topologie du SAN Switched Fabric : permettent d’isoler une partie du traffic comme avec un switch ethernet ou un routeur - plus complexes que les hubs

13 Les classes de service - 1 Elles déterminent le type de transmission - Gérée au niveau de la couche 2 Classe 1 : connexion dédiée avec accusé de reception - Le switch maintient un canal entre les deux ports communicants et utilise toute la bande passante => blocage des autres connexions Classe 2 : connexion non dédiée avec accusé de réception - utilisation des ressources disponibles AL : livraison des trames ds le bon ordre

14 Les classes de service - 2 Classe 3 : connexion non dédiée sans accusé de réception - un certain manque de fiabilité Classe 4 : circuits virtuels - permettent des circuits non dédiés => réservation de BP pour chaque circuit avec sa propre QOS Classe 6 : multi-cast avec accusé de réception : mécanisme de crédit utilisé par un périphérique

15 Le zoning Pb d’interruption de flux : vidéo, audio en streaming Pb du au protocole AL : Loop Initialisation Procedure lors de la connexion d’un nouveau périphérique Un SAN est partageable en zones permettant d’isoler les différentes parties physique d’un SAN le filtrage peut également s’effectuer au niveau du firmware sur le WWN

16 Remarque les périphs n’appartiennent pas un serveur mais sont vus par tous les serveurs (en fonction du zoning)‏ Nécessiter d’implanter des systèmes de verrouillage pour l’accès au périphérique (bande)‏ rien n’est prévu pour l’accès concurrent à une même partition

17 Quelques prix Dell : – switch 8 ports :10500 euros, –Baie 180 Go : 67500 euros Compaq –vend pour sa part 11000 euros, un produit intégrant un switch 6 ports et une baie vide (compter 10 000 euros par tranche de 36 Go). –Cartes : 400 euros –Librairie de cartouches - 13000 euros pour le Scalar 24 d´Adic, doté de deux lecteurs et d´une capacité de 2 To.

18 Les alternatives à Fiber Channel Ethernet Gigabit : 125 Mo/s théorique Ethernet 10 Gb/s : 1250 Mo/s Permettent d'utiser les dispositifs Ethernet beaucoup moins cher Deux options : –ISCSI : les commandes SCSI passent sur TCP/IP –AOE : Ata On Ethernet : les commandes ATA passent sur Ethernet

19 Terminologie Serveur (exporte la partition) : Target Client (utilise la partition distante) : Initiator

20 AOE – Ata On Ethernet Permet de mettre en oeuvre des SAN à coût peu élevé On n'utilise que les couches OSI 1 et 2 => moins de pertes Standard assez simple (8 pages de spécif contre 257 pour ISCSI)‏ Pas de gestion de routage => se limite au « petits » SAN Pas de sécurité (pas de chiffrement) : utiliser les VLAN

21 AOE Utilisable avec Linux et Windows, Mac OS, FreeBSD Matériel : Coraid vend des baies AOE

22 AOE – Mise en oeuvre Objectifs: –Sur un serveur Debian, exporter une partition avec AOE –Sur un serveur Debian client, utiliser cette partition distante et la monter

23 AOE – Mise en oeuvre serveur Charger le module AOE : modprobe AOE Installer le paquetage vblade : aptitude install vblade Exporter la partition : vbladed 0 1 eth0 /dev/sda6 0 : id majeur 1 : id mineur eth0 : interface utilisée par AOE /dev/hda6 : partition à exporter

24 AOE – Mise en oeuvre client - 1 Installer le paquetage aoetools : apt-get install aoetools Taper : aoe-discover Puis : ao-estats e0.1 1.000 GB eth0 up Taper : ls -al /dev/etherd/

25 AOE – Mise en oeuvre client - 2 total 4 drwxr-xr-x 2 root root 140 2007-10-10 13:30. drwxr-xr-x 16 root root 14660 2007-10-10 13:30.. c-w--w---- 1 root disk 152, 3 2007-10-10 13:30 discover brw-rw---- 1 root disk 152, 16 2007-10-10 13:30 e0.1 cr--r----- 1 root disk 152, 2 2007-10-10 13:30 err c-w--w---- 1 root disk 152, 4 2007-10-10 13:30 interfaces -rw-r--r-- 1 root root 5 2007-10-10 13:00 revalidate Utilisation : mkfs.ext3 /dev/etherd/e0.1 puis mount

26 AOE – Remarques Les couches 1 et 2 sont primordiales pour assurer de bonnes performances : –Utilisation de Jumbo Frames (9 Ko)‏ –Utilisation de switch de bonnes qualité (Cisco, HP)

27 L’ISCSI On utilise cette ici une couche Ethernet Gigabit avec des switches classiques pour convoyer les commandes SCSI Coût et performances moins élevés que FC Mais plus cher et plus complexe que AOE Offre assez large chez les fabricants Utilisable sur les grands réseaux : routable Fonctionne sous Linux, Windows, Solaris, Aix, BSD, Vmware...

28 ISCSI – Target C'est le serveur Hardware : baie de stockage, librairie bandes Ou logiciel : serveur exportant des partitions en mode bloc (Linux, Windows 2003)‏

29 ISCSI TOE Carte TCP OffLoad Engine : carte Ethernet prenant en compte par hardware la transmission TCP => meilleures performances

30 ISCSI – Initiator C'est le client ISCSI Software : pilote + pile réseau hardware

31 ISCSI – LUN ISCSI utilise des LUN : Logical Unit Number ( ~ disque SCSI individuel) Un Initiator se connecte à un LUN

32 ISCSI – Adressage 3 format d'adressage pour les ressources : iSCSI Qualified Name (IQN)‏ –Format: iqn.yyyy-mm.{reversed domain name} (p.e. iqn.2008-09.com.acme:storage.tape.sys1.xyz)‏ Extended Unique Identifier (EUI)‏ –Format: eui.{EUI-64 bit addresse} (p.e. eui.02004567A425678D)‏ T11 Network Address Authority (NAA)‏ –Format: naa.{NAA 64 or 128 bit identifier} (p.e. naa.52004567BA64678D)

33 ISCSI – Securité Authentification grâce au protocole CHAP Utilisation possible d'IPSEC Sinon problèmes de transfert en clair et d'attaques classiques TCP/IP

34 ISCSI – Mise en oeuvre Objectifs : –Sur un serveur Ubuntu 8.04 (Target), exporter une partition avec ISCSI –Sur un serveur Ubuntu client (Initiator), utiliser cette partition distante et la monter

35 ISCSI – Mise en oeuvre Target Installer paquetage iscsi-target : aptitude install iscsi-target Edit le fichier /etc/ietf.conf et ajouter: Target iqn.2009-09.local.lostcreations:storage.disk1 Lun 0 Path=/dev/sda6,Type=blockio Lancer le démon /etc/init.d/iscsi-target start (cf bug script #!/bin/bash)‏

36 ISCSI – Mise en oeuvre Initiator -1 Installer paquetage open-iscsi : aptitude install open-iscsi Verification : /etc/init.d/open-iscsi status sudo /etc/init.d/open-iscsi start Découverte : iscsiadm --mode discovery --type sendtargets -- portal,0 iqn.1986- 03.com.hp:fcgw.mpx100.1.500XXXbcab0.500XXXcaba :,0 iqn.1986- 03.com.hp:fcgw.mpx100.1.5000XXXbcab0.50001XXXbcab c

37 ISCSI – Mise en oeuvre Initiator -2 Connexion au SAN iscsiadm -m node -p -T iqn.1986- 03.com.hp:fcgw.mpx100.0.5000XXX1270.5 0001XXX127e -l Replacer l'IQN par celui exporté Test de connexion : fdisk -l sudo /etc/init.d/open-iscsi status

38 ISCSI – Remarques Openfile : NAS/SAN iscsi Target libre –RAID/LVM/NFS/SMB/LDAP/snapshots,... FreeNas : utilisable également en tant que Target ISCSI

39 SAN - Remarques ticket d’entrée très élevé malgré une baisse des prix attaqué par tous les acteurs importants : IBM, Dell, HP, Compaq-Digital, Sun, Siemens, Bull. Normalisation en cours de nombreuses incompatibilités

40 Perspectives ISCSI ? AOE pour les petits sites ? HyperSCSI : SCSI Over Ethernet ? Arrivée du 10Gb Ethernet ? Cf suite : FCOE ou Infiniband

41 FCOE Fiber Channel Over Ethernet Spécification en juin 2009 Remplace FC-0 et FC-1 Utilisation de CNA (Converged Network Adapter) à la place des HBA Adaptation nécessaire des switchs OpenFCOE pour Linux Fonctionne en 10 Gb

42 InfiniBand - 1 Bus bidirectionnel à haut débit et à faible coût – faible temps de latence À partir de Furure-I/O (Compaq – IBM – HP ) et NextGeneration IO (Intel, Microsoft et SUN) Fonctionne en mode DMA Très utilisé dans le HPC (Top 500) Utilise des cartes HCA (HostFCOE CNS Channel Adapter) ou format PCI-E ou pCI-X

43 InfiniBand - 2 Débit : de 10 à 40 Gb/s Temps de latence : 100 à 200 ns Installation simple/FC Coût très intéressant / FC AL ou ISCI 1G/10G Pilotes disponibles sous Linux Fabricants : Mellanox