 Grand Large ACI MD GdX GdX first meeting1Septembre 16 2003 ACI Masse de données Data Grid Explorer Franck Cappello, Christophe Cérin, Pascale Primet,

Présentation au sujet: " Grand Large ACI MD GdX GdX first meeting1Septembre 16 2003 ACI Masse de données Data Grid Explorer Franck Cappello, Christophe Cérin, Pascale Primet,"— Transcription de la présentation:

1  Grand Large ACI MD GdX GdX first meeting1Septembre 16 2003 ACI Masse de données Data Grid Explorer Franck Cappello, Christophe Cérin, Pascale Primet, Olivier Richard, Pierre Sens. Grand Large INRIA  ACI Masse de données Data Grid Explorer Franck Cappello, Christophe Cérin, Pascale Primet, Olivier Richard, Pierre Sens.

2  Grand Large ACI MD GdX GdX first meeting2Septembre 16 2003 ACI MD Data Grid Explorer Meeting 1: Building 41, second floor, room 203, September 16 2003, Jussieu This first meeting aims at presenting the different partners of the Data Grid Explorer project. 09h00 Welcome address: Franck Cappello (LRI, Inria Grand-Large), 30 min. 09h30 TT1 "Emulation" session. Chair: Pierre Sens -Overall presentation of the Emulation topic: Pierre Sens (Lip6, Inria Regal), 20 min. -GDS: Grid Data Service: Gabriel Antoniu (IRISA), 30 min. -Scheduling Strategy for Large Scale Dist. Scheduling: S. Petiton (LILF, Inria Grand-Large), 30 min. 10h50 Break 11h10 TT1 "Emulation" session. Chair: Pierre Sens (Cont.) -A simulation tool for large scale nearest neighbor sched.: T. Herault (LRI, Inria Grand-Large), 30 min. -Experience with Dummynet, A. Jebali (Inria Ragal), 30 min. 12h10 Lunch at your own 13h40 TT2 "Infrastructure" session. Chair: Olivier Richard -Overall presentation of the Infrastructure topic: Olivier Richard (ID IMAG), 20 min. -Network Trace collection for emulation: Kave Salamatian (Lip6), 30 min -Large Scale Emulation with Proactive: Christian Delbe (INRIA Sophia), 30 min. 15h00 Break 15h10 TT3 "Network" session. Chair: Pascale Primet -Overall presentation of the Infrastructure topic: Pascale Primet (LIP, Inria Reso), 20 min. -Metrology, simulation, emulation limits and needs, Philippe Owersarski (LAAS, Olc), 30 min. 16h00 TT4 "Application" session. Chair Christophe Cerin -Overall presentation of the Infrastructure topic: Christophe Cerin (Laria), 20 min. -Molecular Biology a the Genome Scale, Christophe Blanchet (IBCP), 30 min. 16h50 Break 17h00 General discussion -organization of the first WP: platform hardware definition -next meeting date and topic -Web site/slide copies, etc. 18h00 Closing

3  Grand Large ACI MD GdX GdX first meeting3Septembre 16 2003 Open issues in Grid/P2P Security (GSI, CAS) Data Storage/consultation/movement Multi users/ Multi applications scheduling Coordination (virtual, ephemeral infrastructure) Programming Fault Tolerance! Scalability Performance! Easy/efficient deployment techniques Application characterization techniques Etc.

4  Grand Large ACI MD GdX GdX first meeting4Septembre 16 2003 Netbed (Emulab) Like « Modelnet » Topology description => NS script Uses Dummynet Mapping tools logic routers => actual hardware NSE simulator (ns emulation) External Client nodes (40 DSL) 3 Sites

5  Grand Large ACI MD GdX GdX first meeting5Septembre 16 2003 Grid eXplorer An experimental conditions database or generation An experimental hardware platform A tool set for conducting experiments & measurements, result analysis

6  Grand Large ACI MD GdX GdX first meeting6Septembre 16 2003 Grid eXplorer : an instrument for understanding GRID and P2P systems A set of sensors An experimental Conditions data base A Hardware platform : Emulation Simulation A set of tools for analysis Validation on Real life testbed

7  Grand Large ACI MD GdX GdX first meeting7Septembre 16 2003 Grid eXplorer (GdX) platform for eXperiments A)“Mettre en œuvre, pour la communauté des chercheurs en informatique une plate-forme d’émulation des systèmes à grande échelle de type GRID, P2P ou des systèmes répartis en général : Data Grid Explorer. B)Réaliser des expériences utilisant la plate-forme sur les systèmes à grande échelle en étudiant notamment la problématique des données massives (sécurité, fiabilité, performance). “ 1K CPU clusters, configurable network and OS For Grid/P2P and Network research studies For Science and Application (not production!) Multi-users (batch, interactive, partition, etc.) Located/managed by IDRIS GdX first meeting

8  Grand Large ACI MD GdX GdX first meeting8Septembre 16 2003 Grid eXplorer inside Grid 5000 Grid 5000 Grid eXplorer

9  Grand Large ACI MD GdX GdX first meeting9Septembre 16 2003 IMAG, ID (UMR 5132), Laboratoire d’Informatique et Distribution, Université de Grenoble LaRIA (UPRES EA 2083), Laboratoire de Recherche en Informatique d’Amiens, Université de Picardie Jules Verne LRI (UMR 8623), Laboratoire de Recherche en Informatique, Université de Paris-sud LAAS-CNRS (UPR 8001), Laboratoire d'Analyse et d'Architecture des Systèmes LORIA (UMR 7503), Laboratoire lorrain de recherche en informatique et ses applications LIP-ENS Lyon (URM 5668), Laboratoire de l'Informatique du Parallélisme LIFL (ESA 8022), Laboratoire d’Informatique Fondamentale de Lille INRIA Sophia Antipolis, UNSA, I3S-CNRS LIP6 (UMR 7606), Laboratoire d'Informatique de Paris 6 LABRI (UMR 5800), Laboratoire Bordelais de Recherche en Informatique IBCP (UMR5086), Institut de Biologie et Chimie des Protéines CEA, Direction des Technologies de l'Information (Saclay) IRISA, Institut de Recherche en Informatique et Systèmes Aléatoires Laboratories involved in GdX

10  Grand Large ACI MD GdX GdX first meeting10Septembre 16 2003 Alain Lecluse (IBCP), Alexandre Genoud, (Projet OASIS, INRIA Sophia Antipolis) Antoine Vernois, (IBCP) Arnaud Contes, (Projet OASIS, INRIA Sophia Antipolis) Aurélien Bouteiller, (LRI), Bénedicte Legrand (LIP6) Brice Goglin (doctorant), (INRIA LIP RESO), Brigitte Rozoy (LRI) Cécile Germain (LRI) Christophe Blanchet, (IBCP) Christophe Cérin, (Amiens, Laria) Christophe Chassot, (LAAS-ENSICA), Colette Johnen (LRI) CongDuc Pham, (LIP) Cyril Randriamaro, (LaRIA) Denis Caromel, (Projet OASIS, INRIA Sophia Antipolis) Eddy Caron, (LIP/ENS Lyon), Emmanuel Jeannot, (Loria) Eric Totel (Supélec Rennes) Fabrice Huet, (Projet OASIS, INRIA Sophia Antipolis) Faycal Bouhaf (DEA)(INRIA LIP RESO), Franck Cappello, (LRI) Françoise Baude, (Projet OASIS, INRIA Sophia Antipolis) Frédéric Desprez, (LIP/INRIA Rhône-Alpes), Frédéric Magniette, (LRI) Gabriel Antoniu, (IRISA/INRIA Rennes), George Bosilca, (LRI) Georges Da Costa, (ID-IMAG), Géraud Krawezik (LRI) Gil Utard, (LaRIA) Gilles Fedak, (LRI) Grégory Mounié (ID-IMAG) Guillaume Auriol, (LAAS-ENSICA), Guillaume Mercier, (LaBRI), Guy Bergère, (LIFL, GrandLarge INRIA Futur) Haiwu He, (LIFL, GrandLarge INRIA Futur) Isaac Scherson, (LIFL, GrandLarge, INRIA Futur) Jens Gustedt (LORIA & INRIA Lorraine) Joffroy Beauquier (LRI) Johanne Cohen, (Loria) Kavé Salamatian (LIP6), Lamine Aouad (LIFL, GrandLarge, INRIA Futur) Laurent Baduel, (Projet OASIS, INRIA Sophia Antipolis) Laurent Dairaine, (LAAS) Luc Bougé, (IRISA/ENS Cachan Antenne de Bretagne), Luciana Arantes (LIP6), Ludovic Mé, (Supélec Rennes) Luis Angelo Estefanel, (ID-IMAG) Marin Bertier (LIP6), Mathieu Goutelle, (KIP) Mathieu Jan, (IRISA) Michel Diaz, (LAAS-ENSICA), Michel Koskas (Amiens, Laria) Nicolas Lacorne, (IBCP) Nicolas Larrieu (LAAS-ENSICA), Nicolas Viovy (CEA-DSM-LSCE) Oleg Lodygensky, (LRI) Olivier Richard (ID-IMAG), Olivier Soyez, (LaRIA) Pascal Berthou, (LAAS-ENSICA), Pascale Vicat-Blanc Primet, (INRIA LIP RESO), Patrick Sénac, (LAAS-ENSICA), Philippe d'Anfray (CEA-DTI/SISC), Philippe Gauron, (LRI) Philippe Owezarski (LAAS) Pierre Fraigniaud, (LRI) Pierre Lemarini, (LRI) Pierre Sens (LIP6 / INRIA), Pierre-André Wacrenier, (LaBRI), Raymond Namyst, (LaBRI), Samir Djilali, (LRI) Sébastien Tixeuil (LRI) Serge Petiton, (LIFL, GrandLarge INRIA Futur) Stéphane Vialle (Supélec) Tanguy Pérennou (LAAS) Thierry Gayraud, (LAAS-ENSICA), Thierry Priol, (IRISA) Thomas Hérault, (LRI) Timur Friedman (LIP6) Vincent Danjean, (LaBRI), Vincent Néri (LRI)

11  Grand Large ACI MD GdX GdX first meeting11Septembre 16 2003 4 Research Topics The 4 research topics and their leaders: -Infrastructure (Hardware + system), Olivier Richard (ID-IMAG) -Emulation, Pierre Sens (LIP6) -Network,Pascale Primet (LIP, Inria RESO) -Applications. Christophe Cérin (Laria)

12  Grand Large ACI MD GdX GdX first meeting12Septembre 16 2003 ExpériencesInfrastructureEmulationRéseauApplication I.1 Plate-formeXXXX I.2 VGridXX I.3 GriGridXX I.4 ComplémentaritéX I.5 Nuage réseau et cal.XXX I.6 Emul. HétérogénéitéX I.7 CommunicationX I.8 Emul. InternetXXX II.1 Ingénierie 1XXX II.2 Objets mobilesXX II.3 Gestion des fautesXX II.4 Table de hach.X II.5 Base de donnéesXX II.6 OrdonnancementXX II.7 Compil. Comm.X II.8 Partage de donnéesXX II.9 Unicast et multicastXX II.10 Automate cellul.XX II.11 BioinformatiqueX II.12 Stockage P2PXX II.13 FiabilitéXXX II.14 SécuritéXXX II.15 Internet NG.XXX II.16 Grd sys. couplésX

13  Grand Large ACI MD GdX GdX first meeting13Septembre 16 2003 I.1 Grid Explorer : définition de la plate-forme matérielle et logicielle I.2 VGrid : Un émulateur de systèmes à grande échelle I.3 GRIGrid : Gestion des Ressources Internes à la Grid I.4 Étude de la complémentarité des approches d'évaluation par simulation et émulation I.5 Construction d’un émulateur « nuage réseau » de grille et calibrage des outils de mesures de performance réseau. I.6 Émulation de l’hétérogénéité pour la gestion des ressources I.7 Etudes des communications à grande échelle I.8 Un émulateur réaliste de l’Internet utilisant des informations de métrologie Etudes liées à l’instrument

14  Grand Large ACI MD GdX GdX first meeting14Septembre 16 2003 II.1 Mécanismes, protocoles et ingénierie des systèmes à grande échelle II.2 Protocoles de localisation d'objets mobiles dans les systèmes à grande échelle II.3 Gestion des fautes dans les systèmes à large échelle II.4 Tables de hachage réparties pour les systèmes pair-à-pair II.5 Bases de données II.6 Mise au point et évaluation de stratégies d’ordonnancement pour le calcul grande échelle pair à pair II.7 Compilation de communications volatiles pair à pair II.8 Service de partage de données modifiables pour le calcul sur grille II.9 Evaluation de protocoles pour le transport unicast et multicast de grandes masses de données II.10 Automates cellulaires étendus et leurs simulations transparentes sur la grille II.11 Bioinformatique moléculaire à l’échelle des Génomes : évaluation sur émulateur de très grands systèmes II.12 Evaluation de stratégies de placement et de communication pour le stockage pair à pair II.13 Fiabilité dans les systèmes à large échelle I.14 Sécurité dans les systèmes à large échelle II.15 Architectures protocolaires pour l’Internet nouvelle génération multi-domaines et multi-réseaux II.16 Grands Systèmes Couplés Dynamiques en Simulation Numérique Etudes utilisant l’instrument

15  Grand Large ACI MD GdX GdX first meeting15Septembre 16 2003 Equipement Fonctionnement VacationsCDDTotal (Hors vacations, Hors CDD) Partenaire 1 (LRI) 754 000 €12 572,00 €0,00 €57 500 €824 072,00 € (coordinateur) Partenaire 2 (IMAG-ID) 12 572,00 € 57 500 €70 072,00 € Partenaire 3 12 572,00 € (LaRIA) Partenaire 4 23 000,00 €8 628,00 € 31 628,00 € (LAAS) Partenaire 5 23 000,00 €4 316,00 € 27 316,00 € (LIP6) Partenaire 6 8 628,00 € (LORIA) Partenaire 7 12 572,00 € (LIP-ENS-Lyon)

16  Grand Large ACI MD GdX GdX first meeting16Septembre 16 2003 Partenaire 9 8 628,00 € (INRIA-Sophia) Partenaire 10 8 628,00 € (LABRI) Partenaire 11 8 628,00 € (IBCP) Partenaire 12 8 628,00 € (CEA) Partenaire 13 0,00 € (IRISA) Total800 k €115 k €0,00 €115 k €1 030 k € Partenaire 8 8 628,00 € (LIFL) Equipement Fonctionnement VacationsCDDTotal

17  Grand Large ACI MD GdX GdX first meeting17Septembre 16 2003 A Software architecture for studying the impact of Large Scale in Distributed Syst. and Networks. Visualization toolsParameters2D3D Result generatorsDynamicBatchOne shot Experiment EngineSimulatorEmulatorTestbed Workload/trafic Actual conditions Actual traces Generator

18  Grand Large ACI MD GdX GdX first meeting18Septembre 16 2003 Experimental conditions: Sensors/DB! Number of connected users Accumulated number of users DateClass number A study made by IMAG for “GRID Explorer” User characteristics of French ADSL One week of the ADSL as seen by Lagrenouille # connections increases during daytime up to a maximum Users are behaving differently (if we consider a vector of hours (1 if connected,0 if not), the 4373 users of Jan 7 belong to 1710 different classes !!!) noon2PM Sunday More 4373 users Classification considering User connection vector + hamming distance of 1 Between user conn. Vect (508 classes)

19  Grand Large ACI MD GdX GdX first meeting19Septembre 16 2003 Task negotiation (red)/distrib. (Green) Observing large scale phenomenon: 3D visualisation/traces, etc.

20  Grand Large ACI MD GdX GdX first meeting20Septembre 16 2003 www.lri.fr/~fci/GdX Web site

21  Grand Large ACI MD GdX GdX first meeting21Septembre 16 2003 "Enabling Grid'5000" Action Specifique du RTP 8 du CNRS Meeting 1: September 17 2003, CNRS, Room Frederic Joliot, 3 Rue Michel Ange, Paris This first meeting will present: a) the Grid'5000 effort, b) experience of an early Grid project, and a first mini-workshop on Security. The central issue of the workshop is to investigate how we can setup the security of a Grid runtime environment which should allow the test of Grid middleware such as Globus, Legion, XtremWeb, etc. 09h30 Welcome address + some info about other Grid experimental platforms 10h15 Grid'5000 call for proposal : Michel Cosnard 11h00 Break 11h15 e-toile experience : Pascal Primet, ENS Lyon 12h00 Lunch at your own 13h30 Security : the INRIA VPN : Claude Inglebert, INRIA Futurs 14h15 Security at the LRI : Jean-Claude Barbet, LRI 14h45 Security and Certificats : J.-L. Archimbaud, UREC (tentative) 15h15 Break 15h30 General discussion (1) -which objective(s) for the AS? -discussion groups & leaders ? 16h30 Break 16h45 General discussion (2) -which Grid center(s) to visit? -next meeting date and topic 17h45 Closing

22  Grand Large ACI MD GdX GdX first meeting22Septembre 16 2003 General discussion Very Important Point: We have a BIG responsibility (this is one of the largest budget ever for an academic computer science project in France) -Deliverables A big? Report + developed software + publications +presentations (invited or not) + grants deriving from GdX + -Decentralized coordination Please start your research studies ASAP -Organization of the first WP: platform hardware definition -Cooperation with Emulab/netbed??? (running their software) -Next meeting date and topic -Web site/slide copies, etc. -Publications/presentations: Please mention ACI MD (acknowledgments), use the future ACI MD logo -GdX @ BIG conferences (poster at the INRIA booth of SuperComputing 2003?)