Étude de systèmes de fichiers distribués Théorie et pratique Cyril Séguin Directeurs de thèse Gaël Le Mahec Alain Cournier Benjamin Depardon c

SysFera c  Start-up spin-off de l'INRIA créée en 2010  Spécialisée dans les solutions logicielles pour centres de calcul  Lauréate du concours Oséo (entreprise publique qui finance les PME innovantes)  Clients : centres de calcul publics/privés

Sommaire c  Introduction  Systèmes de fichiers distribués  Expérimentation  Conclusion

Introduction c  Les applications du calcul scientifique manipulent de gros volumes de données (dizaine(s) téra-octet/jour/application)  Calcul scientifique  Big Data  Besoins de stockage, partage et analyse des données adaptés  De nombreuses solutions existent  Objectif : déterminer les solutions adaptées en fonction de l'usage des données et des contraintes des applications

Gestion de gros volumes de données c  Protocoles réseaux de type NAS (centralisés): – NFS – AFS – IFS  Systèmes de fichiers distribués (décentralisés)

c Qu'est-ce qu'un Système de fichiers ?

c Qu'est-ce qu'un Système de fichiers distribué ?  Un système de fichiers distribué est une organisation logique d’un ensemble de fichiers destiné à fédérer des ressources de stockage au travers d’un réseau.

Architecture d'un DFS c  Métadonnées : Info sur les données (taille, droits, emplacement, …)  Gérées de manière distribuée ou centralisée  Serveurs de métadonnées : – Gèrent et stockent les métadonnées – Gèrent les requêtes clientes  Serveurs de données  Clients

Fonctionnalités d'un DFS  Extensibilité  Transparence – Interaction avec le système – Accessibilité du système – Détection de pannes  Performances (débits I/0, requêtes/s,...) c

Présentation des DFSs étudiés c  HDFS : utilisé par Yahoo!, Facebook, Twitter, …  Lustre : utilisé sur les plate-formes de calculs distribués  CEPH : intégré au noyau Linux  IRODS : utilisé par IN2P3, CERN  Gluster : populaire, projets indépendants  Moose : académique, projets indépendants

Évaluation de DFSs c  Évaluation sur :  Extensibilité  Transparence  Performances  Objectifs :  Caractériser les DFSs  Choisir le DFS approprié en fonction du type d'application

Évaluation fonctionnelle des DFSs c

Évaluation expérimentale des DFSs c  Que peut-on évaluer ?  La consommation CPU et mémoire  Débits Lecture/Écriture  Utilisation de la bande passante  Requêtes/seconde  …  Objectifs  Évaluer les débits en fonction de la taille des fichiers  Identifier quel(s) système(s) offre(nt) les meilleurs débits en fonction des tailles de fichiers (xMB, 100xMB, xGB)

Protocole c  1 volume de données de 5GB – 1 donnée de 5GB – 100 données de 50MB – données de 500KB  4 serveurs de stockage  Expérimentations effectuées sur Grid5000  Expérimentations reproductibles : – Phénomènes incontrôlables – Combien d'itérations ?  66 itérations réalisées sur un cluster à Sophia Antipolis

Résultats en moyenne c

Médianes des résultats c

Résultats écriture c

Résultats lecture c

Conclusion & Perspectives c  Évaluation qualitative et quantitative d'un ensemble de DFSs  Transparence  Extensibilité  Débits lecture/écriture  Début de caractérisation  Guider un utilisateur dans le choix d'un DFS  Concevoir un méta gestionnaire de données – Prise en compte du placement de données – Adéquation du système de fichiers aux applications – Introduction des gestionnaires type cloud  Analyse de différents types d'applications

Questions ? c Merci de votre attention