Devenir d’AFS et remplacement progressif

Présentation au sujet: "Devenir d’AFS et remplacement progressif"— Transcription de la présentation:

1 Devenir d’AFS et remplacement progressif
12/01/2017

2 Etat des lieux AFS AFS élément central du stockage: Constats:
Côté utilisateurs: 23 millions de fichiers, 2 To. Répertoires home de l’ensemble des utilisateurs. $THRONG_DIR: espace d’installations de soft etc… dédié pour chaque groupe (en principe!) $GROUP_DIR: espace de travail dédié pour chaque groupe (logs, fichiers de sortie des jobs etc…: en principe!). /usr/local: espace d’installation de softs et d’outils à destination des utilisateurs et du CC. Constats: AFS excellent produit ! Désengagement des sites HEP utilisant AFS. Mais OpenAFS avenir incertain. Offre Auristor: mais qui de la pérennité ? Investissement conséquent au CC pour maintenir la cellule AFS. Accès entre cellules: moins d’intérêt (cernvmfs, autres moyens de diffusion du soft ou de partage des données). Accès distants à notre cellule: alternatives envisageables (pas nécessairement les mêmes fonctionnalités). Doublons avec d’autres espaces de stockage ayant une extensibilité supérieure (GROUP_DIR et sps).  Sortie de AFS à prévoir au CC.

3 Quid du/des remplacement(s) ?
Vers une sortie de AFS Quid du/des remplacement(s) ? Pour le GROUP_DIR: remplaçant naturel sps, migration en cours d’achèvement (indépendant du devenir AFS car c’est un doublon en terme d’usage!). Peu de groupes restent à migrer: date butoir 30 Juin ! THRONG_DIR: /pbs/throng, montage NFS v4 à venir (pbs = permanent backed-up storage). Tests pour l’instant en NFS v3. HOME: /pbs/home /usr/local: /pbs/? Installations de soft via puppet. Quelque soit la solution, aucunes restrictions pour les softs commerciaux! THRONG_DIR utilisé pour l’accès web: /pbs/www /sps/

4 Solution matériel derrière /pbs
NAS Isilon (110 To utiles actuellement): Performant, extensible. Actuellement: 11 nœuds X200 avec 12 x 1 TB chacun. Prochainement: arrivée de 4 nouveaux nœuds (~ 210 To utiles) 2x800 Go de SSD par nœud pour les métadonnées. Configuration adapté au vu de l’utilisation actuelle de AFS. Plus d’espace  augmentation des quotas sur les throng et les home dirs par rapport à la situation actuelle. Sécurisation de /pbs: Snapshots quotidiens. Sauvegarde dans TSM. 1er objectif: /pbs en NFSv4 (Février/Mars). Quotas sur /pbs délégués au groupe support, czars par la suite pour les sous- arborescences. Droits d’accès NFS v4 plus fins que ceux dispos en NFS v3:

5 Les migrations et points à travailler
Migration des THRONG_DIR: Ne proposer que le THRONG_DIR /pbs sur CentOS7 (plus de THRONG AFS sur CentOS7): migration en douceur vers /pbs. Nécessite modifications des scripts d’initialisation de l’environnement des utilisateurs. Nécessite installation des softs dans /pbs/throng/<group> ACLs. Définition des quotas. Migrations des home:

6 A l’écoute de vos besoins (taille de vos espaces, migration etc…).
Objectifs, jalons Sortir de AFS dans les deux ans (correspond à la durée d’extension de maintenance des serveurs AFS). A l’écoute de vos besoins (taille de vos espaces, migration etc…). GROUP_DIR: Plus de GROUP_DIR en Juin 2017: disparition sans discussion possible (date butoir déjà repoussée de 1 an!). THRONG_DIR: Sur CentOS7 par défaut sur /pbs/throng/<group> Premiers groupes volontaires courant premier semestre. Home: Se fera par vague de migration successive (ex: par groupe unix). Dates à déterminer. Premiers groupes volontaires: migration courant premier semestre 2017. Durant cette période de transition, AFS reste un service à part entière du CC.