Le Stockage SAN Philippe Sèvre le 05/10/2010 V 1.2

Principe SAN : Storage Area Network français : réseau de stockage consiste à utiliser un réseau spécialisé pour relier les unités de stockage (baies de disques et libraires de bandes)‏ permet de ne pas surcharger le réseau utilisateur en cas de fort trafic sur les périphériques de stockage (en particulier lors des sauvegardes)‏ utilise habituellement FC-AL ou ISCSI

La gestion des disques Permet de mutualiser les espaces de stockage : ajout simple de disques avec utilisation de LVM (Logical Volume Manager)‏ –Possibilité de retailler des partitions –RAID5, RAID6 ou RAID50

La problématique des sauvegardes la “fenêtre temporelle “ dédiée à la sauvegarde est souvent très réduite du fait des gros volumes mis en oeuvre et des nombreuses applications en batch. Le SAN est une solution à ce problème

NAS et SAN les deux termes n’ont rien à voir : NAS : Network Attached Storage : serveur dédié au stockage (fonctionne au niveau 7 OSI)‏ Le SAN fonctionne au niveau bloc : un serveur voit une partition sur la baie Une partition n’est utilisée que par un seul serveur : pas de gestion des accès concurrents une baie de stockage SAN peut être utilisée dans un NAS

Le câblage à l'origine : FC (Fiber Channel) en version AL (Arbitrated Loop)‏ Débit : 2, 4 ou 10 Gb/s Très couteux Switch : 5 à € Carte adaptateur HBA : à partir de 600 €

Fiber Channel pas seulement un support physique : protocole de type réseau routable à 5 couches FC-0 : interface physique (câblage)‏ FC-1 : Encodage des octets FC-2 : Livraison des données (Trames, contrôle de flux, classes de service)‏ FC-3 : Services en commun : Sous construction (compression, cryptage, etc)‏ FC-4 : Conversion SCSI (IP en Fibre Channel, etc)‏

Le support physique utilise généralement un support fibre mais aussi support cuivre ANSI-X : peut encapsuler SCSI, SNMP, IP débit 1, 2 Gb/s (=> DMA) et bientôt 4 G/s puis 10 G/s selon le support En FO: maxi 30 Km

Eléments de connexion les nodes : noeuds de communication disposant d’un nom unique de 64 bits (le WWN (World Wide Name). Un node dispose de un ou plusieurs ports hubs ou switch SAN FC - peuvent être mis en cascade Cartes : les HBA prix : à partir de €

Topologie du SAN - 1 point à point : connexion dédiée entre deux périphériques - utilisée dans les config minimales (ex : simple disque)‏ Arbitrated Loop (AL) : permet de partager 126 noeuds plus une fiaison fabric (sur un hub ou switch) sur la même boucle) - Fonctionnement similaire à celui d’un Token-Ring, l’arbitrage étant fait par le hub

Topologie du SAN Switched Fabric : permettent d’isoler une partie du traffic comme avec un switch ethernet ou un routeur - plus complexes que les hubs

Les classes de service - 1 Elles déterminent le type de transmission - Gérée au niveau de la couche 2 Classe 1 : connexion dédiée avec accusé de reception - Le switch maintient un canal entre les deux ports communicants et utilise toute la bande passante => blocage des autres connexions Classe 2 : connexion non dédiée avec accusé de réception - utilisation des ressources disponibles AL : livraison des trames ds le bon ordre

Les classes de service - 2 Classe 3 : connexion non dédiée sans accusé de réception - un certain manque de fiabilité Classe 4 : circuits virtuels - permettent des circuits non dédiés => réservation de BP pour chaque circuit avec sa propre QOS Classe 6 : multi-cast avec accusé de réception : mécanisme de crédit utilisé par un périphérique

Le zoning Pb d’interruption de flux : vidéo, audio en streaming Pb du au protocole AL : Loop Initialisation Procedure lors de la connexion d’un nouveau périphérique Un SAN est partageable en zones permettant d’isoler les différentes parties physique d’un SAN le filtrage peut également s’effectuer au niveau du firmware sur le WWN

Remarque les périphs n’appartiennent pas un serveur mais sont vus par tous les serveurs (en fonction du zoning)‏ Nécessiter d’implanter des systèmes de verrouillage pour l’accès au périphérique (bande)‏ rien n’est prévu pour l’accès concurrent à une même partition

Quelques prix Dell : – switch 8 ports :10500 euros, –Baie 180 Go : euros Compaq –vend pour sa part euros, un produit intégrant un switch 6 ports et une baie vide (compter euros par tranche de 36 Go). –Cartes : 400 euros –Librairie de cartouches euros pour le Scalar 24 d´Adic, doté de deux lecteurs et d´une capacité de 2 To.

Les alternatives à Fiber Channel Ethernet Gigabit : 125 Mo/s théorique Ethernet 10 Gb/s : 1250 Mo/s Permettent d'utiser les dispositifs Ethernet beaucoup moins cher Deux options : –ISCSI : les commandes SCSI passent sur TCP/IP –AOE : Ata On Ethernet : les commandes ATA passent sur Ethernet

Terminologie Serveur (exporte la partition) : Target Client (utilise la partition distante) : Initiator

AOE – Ata On Ethernet Permet de mettre en oeuvre des SAN à coût peu élevé On n'utilise que les couches OSI 1 et 2 => moins de pertes Standard assez simple (8 pages de spécif contre 257 pour ISCSI)‏ Pas de gestion de routage => se limite au « petits » SAN Pas de sécurité (pas de chiffrement) : utiliser les VLAN

AOE Utilisable avec Linux et Windows, Mac OS, FreeBSD Matériel : Coraid vend des baies AOE

AOE – Mise en oeuvre Objectifs: –Sur un serveur Debian, exporter une partition avec AOE –Sur un serveur Debian client, utiliser cette partition distante et la monter

AOE – Mise en oeuvre serveur Charger le module AOE : modprobe AOE Installer le paquetage vblade : aptitude install vblade Exporter la partition : vbladed 0 1 eth0 /dev/sda6 0 : id majeur 1 : id mineur eth0 : interface utilisée par AOE /dev/hda6 : partition à exporter

AOE – Mise en oeuvre client - 1 Installer le paquetage aoetools : apt-get install aoetools Taper : aoe-discover Puis : ao-estats e GB eth0 up Taper : ls -al /dev/etherd/

AOE – Mise en oeuvre client - 2 total 4 drwxr-xr-x 2 root root :30. drwxr-xr-x 16 root root :30.. c-w--w root disk 152, :30 discover brw-rw root disk 152, :30 e0.1 cr--r root disk 152, :30 err c-w--w root disk 152, :30 interfaces -rw-r--r-- 1 root root :00 revalidate Utilisation : mkfs.ext3 /dev/etherd/e0.1 puis mount

AOE – Remarques Les couches 1 et 2 sont primordiales pour assurer de bonnes performances : –Utilisation de Jumbo Frames (9 Ko)‏ –Utilisation de switch de bonnes qualité (Cisco, HP)

L’ISCSI On utilise cette ici une couche Ethernet Gigabit avec des switches classiques pour convoyer les commandes SCSI Coût et performances moins élevés que FC Mais plus cher et plus complexe que AOE Offre assez large chez les fabricants Utilisable sur les grands réseaux : routable Fonctionne sous Linux, Windows, Solaris, Aix, BSD, Vmware...

ISCSI – Target C'est le serveur Hardware : baie de stockage, librairie bandes Ou logiciel : serveur exportant des partitions en mode bloc (Linux, Windows 2003)‏

ISCSI TOE Carte TCP OffLoad Engine : carte Ethernet prenant en compte par hardware la transmission TCP => meilleures performances

ISCSI – Initiator C'est le client ISCSI Software : pilote + pile réseau hardware

ISCSI – LUN ISCSI utilise des LUN : Logical Unit Number ( ~ disque SCSI individuel) Un Initiator se connecte à un LUN

ISCSI – Adressage 3 format d'adressage pour les ressources : iSCSI Qualified Name (IQN)‏ –Format: iqn.yyyy-mm.{reversed domain name} (p.e. iqn com.acme:storage.tape.sys1.xyz)‏ Extended Unique Identifier (EUI)‏ –Format: eui.{EUI-64 bit addresse} (p.e. eui A425678D)‏ T11 Network Address Authority (NAA)‏ –Format: naa.{NAA 64 or 128 bit identifier} (p.e. naa BA64678D)

ISCSI – Securité Authentification grâce au protocole CHAP Utilisation possible d'IPSEC Sinon problèmes de transfert en clair et d'attaques classiques TCP/IP

ISCSI – Mise en oeuvre Objectifs : –Sur un serveur Ubuntu 8.04 (Target), exporter une partition avec ISCSI –Sur un serveur Ubuntu client (Initiator), utiliser cette partition distante et la monter

ISCSI – Mise en oeuvre Target Installer paquetage iscsi-target : aptitude install iscsi-target Edit le fichier /etc/ietf.conf et ajouter: Target iqn local.lostcreations:storage.disk1 Lun 0 Path=/dev/sda6,Type=blockio Lancer le démon /etc/init.d/iscsi-target start (cf bug script #!/bin/bash)‏

ISCSI – Mise en oeuvre Initiator -1 Installer paquetage open-iscsi : aptitude install open-iscsi Verification : /etc/init.d/open-iscsi status sudo /etc/init.d/open-iscsi start Découverte : iscsiadm --mode discovery --type sendtargets -- portal,0 iqn com.hp:fcgw.mpx XXXbcab0.500XXXcaba :,0 iqn com.hp:fcgw.mpx XXXbcab XXXbcab c

ISCSI – Mise en oeuvre Initiator -2 Connexion au SAN iscsiadm -m node -p -T iqn com.hp:fcgw.mpx XXX XXX127e -l Replacer l'IQN par celui exporté Test de connexion : fdisk -l sudo /etc/init.d/open-iscsi status

ISCSI – Remarques Openfile : NAS/SAN iscsi Target libre –RAID/LVM/NFS/SMB/LDAP/snapshots,... FreeNas : utilisable également en tant que Target ISCSI

SAN - Remarques ticket d’entrée très élevé malgré une baisse des prix attaqué par tous les acteurs importants : IBM, Dell, HP, Compaq-Digital, Sun, Siemens, Bull. Normalisation en cours de nombreuses incompatibilités

Perspectives ISCSI ? AOE pour les petits sites ? HyperSCSI : SCSI Over Ethernet ? Arrivée du 10Gb Ethernet ? Cf suite : FCOE ou Infiniband

FCOE Fiber Channel Over Ethernet Spécification en juin 2009 Remplace FC-0 et FC-1 Utilisation de CNA (Converged Network Adapter) à la place des HBA Adaptation nécessaire des switchs OpenFCOE pour Linux Fonctionne en 10 Gb

InfiniBand - 1 Bus bidirectionnel à haut débit et à faible coût – faible temps de latence À partir de Furure-I/O (Compaq – IBM – HP ) et NextGeneration IO (Intel, Microsoft et SUN) Fonctionne en mode DMA Très utilisé dans le HPC (Top 500) Utilise des cartes HCA (HostFCOE CNS Channel Adapter) ou format PCI-E ou pCI-X

InfiniBand - 2 Débit : de 10 à 40 Gb/s Temps de latence : 100 à 200 ns Installation simple/FC Coût très intéressant / FC AL ou ISCI 1G/10G Pilotes disponibles sous Linux Fabricants : Mellanox