Xtremweb : une plate-forme de calcul global et pair a pair

Présentation au sujet: "Xtremweb : une plate-forme de calcul global et pair a pair"— Transcription de la présentation:

1 Xtremweb : une plate-forme de calcul global et pair a pair
Oleg Lodygensky LAL, LRI - Université Paris sud

2 Collaboration LAL-LRI
LAL-LRI : inter disciplinarité. LRI : Recherches scientifiques sur le calcul distribué LAL : Pratique de l’informatique à grande échelle (calcul et données) Participation active au DataGrid Auger : Plate-forme de tests en grandeur nature 7 décembre 2018 Seillac 2002

3 Le LRI Laboratoire de Recherche en Informatique
Université Paris sud, Orsay Membres: F. Cappello CNRS C. Germain Maître de conférence V. Néri Ingénieur A. Selikhov PostDoc G. Fedak Doctorant G. Bosilca Doctorant G. Krawesik Doctorant A. Djilali Doctorant O. Lodygensky Doctorant (XtremWeb: étude de l’utilisation du calcul parallèle à la simulation de gerbes cosmiques) Sujet de thèse « XtremWeb : étude de l’utilisation du calcul parallèle à la simulation de gerbes cosmiques » 7 décembre 2018 Seillac 2002

4 Sommaire Introduction systèmes calcul global Le système XtremWeb
Le projet d’ACI GRID CGP2P Conclusion Action Concertee Incitative du ministere de la recherche Financement pour 3 trois. Commite de direction : directeur de l’IN2P3 7 décembre 2018 Seillac 2002

5 Grid Grands sites de calcul, Clusters +-1000 Stable Identification
Caractéristiques des nœuds : Grands sites de calcul, Clusters +-1000 Stable Identification individuelle Confiance Les Grilles de calcul 2 types de systèmes distribués PC Windows, Linux Les systèmes a grande échelle ~ Volatile Pas d’ident individuelle Pas de confiance Partage égalitaire Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Systèmes P2P 7 décembre 2018 Seillac 2002

6 Systèmes à grande échelle Calcul global
Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet Un serveur centralise et ordonnance des calculs pour des PC volontaires serveur Application Cliente Params. /résults. Des PC volontaires téléchargent et exécutent les applications, puis retournent les résultats au serveur Ex: PC volontaire Internet 7 décembre 2018 Seillac 2002

7 Systèmes à grande échelle P2P
Toutes les ressources (PC) sont égales, les opérations se font à parité, de pair à pair. Ex: Gnutella, Kazaa Internet PC Volontaire PC volontaire PC Volontaire 7 décembre 2018 Seillac 2002

8 Sommaire Introduction systèmes calcul global Le système XtremWeb
Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

9 XtremWeb Architecture
L’architecture actuelle est centralisée Global Computing 3 entités : client/server/worker PC Worker Mécanisme de mise en relation (P2P) XW Serveur hiérarchique L’architecture actuelle est centralisée Global Computing et Peer to Peer PC Serveur Global Computing PC Worker Internet ou LAN PC Worker PC Worker 7 décembre 2018 Seillac 2002

10 XtremWeb Mise en oeuvre pour Auger
Distribution de la génération de gerbes simulées Base de données de paramètres (Lyon, France) XtremWeb Centres de calcul traditionnels (FNAL, BA, Karlsruhe…) Server paramètres PC Worker Action spécifique PPF Fermi Lab (USA) Internet ou LAN PC Worker PC Worker PC Worker 7 décembre 2018 Seillac 2002

11 Sommaire Introduction systèmes calcul global et P2P
Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

12 26 chercheurs, 7 Laboratoires
Guillaume Alléon EADS Joffroy Beauquier LRI Jacques Briat IMAG-ID Franck Cappello LRI Henri Casanova UCSD (USA) Christophe Cérin LARIA Bernadette Charron Bost LIX Alain Cordier LAL Cécile Germain LRI (LAL) Michel Jouvin LAL Oleg Lodygensky LAL/LRI Vincent Néri LRI Franck Petit LARIA Serge Petiton LIFL/ASCI Cyril Randriamo LARIA Olivier Richard IMAG-ID Brigitte Rozoy LRI Gil Utard LIP Vincent Villain LARIA George Bosilca LRI Samir Djilali LRI Gilles Fedak LRI Anton Selikov LRI Marta Gonzalez LIFL/ASCI Thomas Hérault LRI Laboratoires : ASCI, IMAG-ID LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique, Action Concertee Incitative du ministere de la recherche Financement pour 3 trois. Commite de direction : directeur de l’IN2P3 26 chercheurs, 7 Laboratoires 7 décembre 2018 Seillac 2002

13 Calcul Global et de système Pair à Pair
Fusion des concepts de Calcul Global et de système Pair à Pair (ASCI, IMAG-ID, LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique) + UCSD (USA) + EADS Approche : augmenter les fonctionnalités des systèmes de calcul global stockage communications entre les participants (calcul parallèle) ordonnancement multi utilisateurs Résultats visés : Produire des logiciels interopérants qui assemblés forment une plate-forme CGP2P 7 décembre 2018 Seillac 2002

14 Les thèmes de recherche CGP2P
Architecture générale du système distribué Interface utilisateur / aide à la décision (Sous projet I) Sécurité (Sous projet II) Stockage/Fouille (Sous projet III) Communications inter-nœuds : MPICH-V (Sous projet IV) Ordonnancement (Sous projet IV) Vérification théorique des protocoles (Sous projet V) Interopérabilité avec les grilles (Sous projet V) Validation sur des applications réelles (EADS) 7 décembre 2018 Seillac 2002

15 Interopérabilité avec les grilles (SSP V)
Service Grid Peer Service Grid Peer Transport P2P Chaque nœud propose une variété de services. Une couche P2P gère le réseau de pairs. 7 décembre 2018 Seillac 2002

16 Sommaire Introduction systèmes calcul global et P2P
Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

17 Conclusion Les systèmes P2P ont fait leurs preuves. Ils sont légers et faciles à mettre en œuvre. Le calcul P2P apporte une capacité de calcul importante. La physique s’est engagée dans le calcul global avec les grilles. Des travaux sont en cours pour relier grilles et P2P. La physique pourra tirer partie des ressources offertes par le P2P. 7 décembre 2018 Seillac 2002

18 Pour en savoir plus [1] Projet ACI GRID CGP2P, [2] Projet XtremWeb, [3] IEEE/ACM CCGRID 2002, Berlin, Mai 2002, [4] « Peer-to-Peer Computing », D. Barkai, Intel press, 2001, Octobre 2001. [5] « Harnessing the power of disruptive technologies”, A. Oram éditeur, edition O’Reilly, Mars 2001 [6] « Search in power-law networks », L. A. Adamic et al. Physical Review, E Volume 64, 2001 [7] « The Grid : Blueprint for a new Computing Infrastructure », I. Foster et C. Kesselman, Morgan-Kaufmann, 1998. 7 décembre 2018 Seillac 2002