2018/8/9 CLAP Cluster de virtualisation et de stockage distribué du LAPP Mardi 26 avril 2016 Entrez votre nom

CLAP réunion de service Rappel : fin 2013, pourquoi ? 2 salles à disposition ~20 ESXi en standalone Pas de migration à chaud Difficultés d'administration Difficultés de sauvegarde Acquisition de vSphere (VMware) trop chère Début 2014 : Proxmox + Ceph 2018/8/9 CLAP réunion de service

CLAP réunion de service CEPH + Proxmox Inconvénient Une latence de lecture et surtout d'écriture un peu plus élevée. Avantages Robustesse, nous pouvons perdre une salle complète sans coupure de l'accès aux données (relance des VMs sur l'autre salle) ; Chaque serveur est à la fois hyperviseur Proxmox et Noeud CEPH ; Permet d'utiliser des machines un peu moins fiables mais beaucoup moins chères (contrôleur RAID non obligatoire, disques SATA) ; L'espace utilisé sur CEPH est celui réellement utilisé par les VMs et non l'espace alloué. 2018/8/9 CLAP réunion de service

État de l'infrastructure Fin 2014 11 hyperviseurs/noeuds ~150 vCPUs ~360 Go RAM 11 To Ceph sur 2 réplicas (soit ~5,5 To utiles) ~25 Vms Actuel 15 hyperviseurs/noeuds 288 vCPUs 835 Go RAM 22 To Ceph sur 3 réplicas (soit ~ 7,3 To utiles) ~50 Vms (avec un pic à ~70 Vms lors des masterclass) : Portails et serveurs de calcul interactifs (LappSl, LapthSl) Services labo (Owncloud, serveurs Web, DNS, AV, AD…) Groupes (Lapp-elec04 avec 64 Go de RAM, CTA, Hess...) 2018/8/9 CLAP réunion de service

CLAP réunion de service Évolutions depuis fin 2014 Création d'un groupe de travail Étudier les évolutions matérielles et logicielles Planifier les opérations de maintenance Analyser les soucis rencontrés Remplacement de BtrfFS par Ext4 sur Ceph (souci entre les versions de Ceph, de BtrFS du noyau) Mise à jour au cours de l'été 2015 (Proxmox 3.3 et Ceph 0.90) Passage à 3 réplicas afin d'augmenter la sécurité des données Mise à disposition d'un service de salle de TP virtuelle 2018/8/9 CLAP réunion de service

CLAP réunion de service Avant l'été 2015 : 2 réplicas Fichier Bloc 2 Bloc 1 Bloc 3 Salle LAPP Salle Mécatronique Bloc 1 Bloc2 Bloc 3 Bloc 1 Bloc2 Bloc 3 2018/8/9 CLAP réunion de service

CLAP réunion de service Depuis l'été 2015 : 3 réplicas Ceph a été « tuné »pour accéder prioritairement au serveurs les plus performants Fichier Bloc 2 Bloc 1 Bloc 3 Salle LAPP Salle Mécatronique Réplica 1 Réplica 3 Réplica 2 Bloc2 Bloc 1 Bloc2 Bloc 3 Bloc 1 Bloc 1 Bloc2 Bloc 3 Bloc 3 Serveurs les moins performants 2018/8/9 CLAP réunion de service

Salle de TP virtuelle : avant ... Configuration du système (x fois) Configuration des outils (x fois) 2018/8/9 CLAP réunion de service

Salle de TP virtuelle : maintenant Configure le système du modèle 1 fois Configure les outils du modèle 1 fois ... Démarrage sur une image par PXE Connection sur les Vms via RDP ... 2018/8/9 CLAP réunion de service

CLAP réunion de service Impact sur l'hyperviseur Allocation : 18 Go ([8 + 1] * 2 Go) + CEPH RAM : 13.36 Go / 32 Go KSM Sharing : 5.6 Go Allocation : 10 vCPUs sur 8 Charge maximale : 27 % 2018/8/9 CLAP réunion de service

CLAP réunion de service Perspectives En cours : création d'un « portail » d'administration par Marie afin de d'harmoniser tous les scripts que nous avons créés ; Mettre à jour vers Proxmox 4 cet été, celle-ci aura un impact fort (toutes les Vms devront être stoppées pour être migrées en v4.x ; Migration progressive des Vms ESXi restantes sur l'infrastructure CLAP ; 2018/8/9 CLAP réunion de service

CLAP réunion de service Gains pour le support Maintenance : Migration à chaud (hyperviseur trop chargé, intervention sur un hyperviseur…) ; Redémarrage rapide possible en cas de perte d'un hyperviseur, d'une baie ou d'une salle ; Optimisation du matériel ; Tests : Création de machine de test très rapide avec possibilité de snapshot afin de revenir à un point précis ; Maquette de test afin de faire des essais risquant de mettre en danger ou de surcharger le cluster opérationnel 2018/8/9 CLAP réunion de service

Gains pour les utilisateurs Création d'un machine rapide et adaptée au besoin ; Pas de gestion de machine physique (délégué au support) ; Droits adaptés sur la machine (gestion totale de la VM vs uniquement des droits de gestion d'alimentation...) ; ... Ne pas hésiter à nous contacter pour vos besoins éventuels 2018/8/9 CLAP réunion de service

CLAP réunion de service Liens Proxmox : http://www.proxmox.com/fr/ http://pve.proxmox.com/wiki/Main_Page CEPH : http://ceph.com Contacts : Mathieu GAUTHIER-LAFAYE (LAPTH)Philippe SERAPHIN (LAPP) 2018/8/9 CLAP réunion de service