Gabriel Antoniu IRISA / INRIA Rennes GDS : Bilan PARIS Gabriel Antoniu IRISA / INRIA Rennes Réunion projet GDS 13 octobre 2006

Le projet GDS Projet de l’ACI Masses de Données (2003) Objectif : Spécifier, réaliser et valider expérimentalement un service de partage de données pour la grille, adapté au calcul scientifique Partenaires Projet GRAAL (LIP, Lyon) Projet PARIS (IRISA, Rennes) Projet REGAL (LIP6, Paris)

GDS : objectifs Propriétés visées Contraintes Accès transparent aux données Persistance des données Contraintes Extensibilité à l’échelle d’une grille Quelques milliers de nœuds Cohérence des données répliquées Tolérance aux fautes Performance Conception et validation expérimentale du service sur la plate-forme JuxMem (PARIS) et intégration avec l’environnement DIET (GRAAL)

GDS : interaction des partenaires GRAAL Environnement de calcul sur grille DIET REGAL Détecteur hiérarchique de défaillances Accès transparent Persistance Ordonnancement conjoint données/calculs GDS Détection de défaillances Techniques de réplication Protocoles de cohérence PARIS Plate-forme de gestion des données Juxmem

Etat du projet à T0+36 12 réunions GDS entre septembre 2003 et octobre 2006 Visites des doctorants (sur 2-3 jours) 2 visites de Mathieu Jan (PARIS) chez GRAAL 1 visite de Fabio Picconi (REGAL) chez PARIS 2 visites de Sébastien Monnet (PARIS) chez REGAL Logiciels en cours de développement : PARIS : plate-forme JuxMem, outils de déploiement JDF et ADAGE REGAL : simulateur de systèmes à large échelle LS3, système de fichiers P2P Pastis GRAAL : plate-forme DIET, outil de déploiement GoDIET de visualisation (VizDIET)

Etat du projet à T0+36 (suite) Intégration réussie ! Détecteur hiérarchique de fautes GFD (REGAL) intégré dans JuxMem (PARIS) Utilisation de JuxMem par DIET Persistance des données Accès transparent Passage des paramètres GridRPC par référence Evaluation avec DGEMM Limitations/commentaires GFD/JuxMem : limité à la version JuxMem-Java DIET/JuxMem : pas encore de validation « dimensionante » avec des applications réelles Expériences préliminaires avec TLSE Travail en cours (Mathieu Jan) Aspects non abordés Accès parallèles aux données et redistribution Ordonnancement conjoint calcul/données

Projet PARIS Personnels impliqués directement dans GDS 2 permanents: Luc Bougé (Prof. ENS Cachan/Bretagne) Gabriel Antoniu (CR INRIA) 3 doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD - GDS) Loïc Cudennec (INRIA/Région Bretagne) 4 stages de Master de recherche/DEA Mathieu Jan (DEA, INSA Rennes) Jean-François Deverge (DEA IFSIC) Loïc Cudennec (M2RI, INSA Rennes) Voichita Almasan (M2RI, ENS Cachan/Bretagne) 4 projets de fin d’études David Noblet (PFE, UNH) Chester Tse (PFE, MIT) Arvind Saraf (PFE, MIT) Landry Breuil (PFE, ISIMA)

Thèse de Mathieu Jan (2003-2006) Architecture et mise en œuvre du service de partage de données (plate-forme JuxMem) Localisation transparente Persistance Architecture P2P Mise en œuvre sur JXTA Validation du modèle d’accès transparent aux données Environnements GridRPC : DIET Environnements à base composants (CCM, CCA) Adaptation de JXTA pour une utilisation sur grilles Déploiement avec JDF/ADAGE Amélioration des performances des communications de JXTA Utilisation de Padico-TM Communication zéro-copie

Thèse de Sébastien Monnet (2003-2006) Architecture découplée générique pour la gestion de la tolérance aux fautes et de la cohérence des données Protocoles hiérarchiques de cohérence Mécanismes hiérarchiques de réplication (gestion de groupe, consensus) Expérimentations multi-protocoles Mise en œuvre dans JuxMem Expérimentations multi-cluster sur Grid’5000 Réseau logique malléable Gestion efficace de groupes de grande taille Collaboration avec Indranil Gupta (UIUC)

Publications GDS 2003-2007 Publications communes GDS Un chapitre de livre (Dagstuhl) Un papier soumis à IPDPS 2007 … ? 2 « thèses GDS » à soutenir en 2006 Journaux internationaux CCPE (2006), SCPE (2005) Conférences internationales 2003 : PACT (WIP) 2004 : CCGRID, Euro-Par 2005 : HPCC 2006 : SRDS, CCGRID (2) 2007 : soumission à IPDPS (avec Sun) Colloques internationaux 2003 : AGRIDM (PACT) 2004 : AGRIDM (PACT) 2005 : GP2PC (CC-GRID) 2006 : WCGC (VECPAR), HPDGrid (VECPAR), HPC-GECO (HPDC) Communications nationales 2003 : RenPar 2004 : Ecole DRUIDE (3), GridUSe 2005 : RenPar, CDUR

Interactions avec d’autres projets Collaborations internationales et industrielles Sun Microsystems : JXTA (Mathieu Jan, Loïc Cudennec) UIUC (Indranil Gupta) : partage de données sur des infrastructures P2P pour des applications à base de groupes (Sébastien Monnet) Grid5000 Evaluations multi-sites à grande échelle ACI MD 2003 GDX – expérimentations sur une grappe de grande taille ACI GRID DataGraal (animation) Ecolé thématique DRUIDE 2004 : Distribution de données à grande échelle (CNRS, INRIA, GDR ARP, Univ. Rennes 1), Le Croisic, mai 2004 AS : Algorithmique Distribuée et Applications Journées thématiques « algorithmique distribuée et applications », Porquerolles, septembre 2004

Et après GDS ? Vers un modèle unifié de programmation pour les grilles Accès transparent aux données, composants, communications efficaces, ordonnancement et déploiement Validation avec de vraies applications ! Projet LEGO (ANR CIGC, 2006-2009) Auto-déploiement de JuxMem Applications à caractère dynamique Ajout de ressources à la demande Interaction transparente avec les gestionnaires de ressources des grilles Thèse de Loïc Cudennec (2005 - 2008)

Et après GDS ? Adaptation de JuxMem pour des applications collaboratives Projet RESPIRE (ANR MDMSA, 2006-2009) Projet DISCUSS (PAI avec l’AIST, Japon, 2006-2007) Collaboration envisagée avec Nanyang Technical University of Singapore/Sun Microsystems Partage de données pour les applications de fouille de données Post-doc de Sébastien Monnet (CoreGRID) Collaboration avec Universita di Calabria 3 sujets de Master de recherche… à la recherche des candidats ! JuxMem + persistance sur disque / collaboration Gfarm + LEGO JuxMem + accès parallèles aux données / LEGO JuxMem et applications collaboratives / collaboration Singapour + RESPIRE

Pour bien finir :-) Mise à jour du site GDS (CD à déposer) Principaux résultats scientifiques Publications, logiciels Visites effectuées/reçues Bilan, apports de GDS (1 paragraphe par équipe) Rapport de fin de projet Même format que le rapport mi-parcours + un paragraphe « Fait(s) marquant(s) Deadline : 15 novembre