Xtremweb : une plate-forme de calcul global et pair a pair Oleg Lodygensky LAL, LRI - Université Paris sud

Collaboration LAL-LRI LAL-LRI : inter disciplinarité. LRI : Recherches scientifiques sur le calcul distribué LAL : Pratique de l’informatique à grande échelle (calcul et données) Participation active au DataGrid Auger : Plate-forme de tests en grandeur nature 7 décembre 2018 Seillac 2002

Le LRI Laboratoire de Recherche en Informatique Université Paris sud, Orsay Membres: F. Cappello CNRS C. Germain Maître de conférence V. Néri Ingénieur A. Selikhov PostDoc G. Fedak Doctorant G. Bosilca Doctorant G. Krawesik Doctorant A. Djilali Doctorant O. Lodygensky Doctorant (XtremWeb: étude de l’utilisation du calcul parallèle à la simulation de gerbes cosmiques) Sujet de thèse « XtremWeb : étude de l’utilisation du calcul parallèle à la simulation de gerbes cosmiques » 7 décembre 2018 Seillac 2002

Sommaire Introduction systèmes calcul global Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion Action Concertee Incitative du ministere de la recherche Financement pour 3 trois. Commite de direction : directeur de l’IN2P3 7 décembre 2018 Seillac 2002

Grid Grands sites de calcul, Clusters +-1000 Stable Identification Caractéristiques des nœuds : Grands sites de calcul, Clusters +-1000 Stable Identification individuelle Confiance Les Grilles de calcul 2 types de systèmes distribués PC Windows, Linux Les systèmes a grande échelle ~100 000 Volatile Pas d’ident individuelle Pas de confiance Partage égalitaire Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Systèmes P2P 7 décembre 2018 Seillac 2002

Systèmes à grande échelle Calcul global Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet Un serveur centralise et ordonnance des calculs pour des PC volontaires serveur Application Cliente Params. /résults. Des PC volontaires téléchargent et exécutent les applications, puis retournent les résultats au serveur Ex: seti@home PC volontaire Internet 7 décembre 2018 Seillac 2002

Systèmes à grande échelle P2P Toutes les ressources (PC) sont égales, les opérations se font à parité, de pair à pair. Ex: Gnutella, Kazaa Internet PC Volontaire PC volontaire PC Volontaire 7 décembre 2018 Seillac 2002

Sommaire Introduction systèmes calcul global Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

XtremWeb Architecture L’architecture actuelle est centralisée Global Computing 3 entités : client/server/worker PC Worker Mécanisme de mise en relation (P2P) XW Serveur hiérarchique L’architecture actuelle est centralisée Global Computing et Peer to Peer PC Serveur Global Computing PC Worker Internet ou LAN PC Worker PC Worker 7 décembre 2018 Seillac 2002

XtremWeb Mise en oeuvre pour Auger Distribution de la génération de gerbes simulées Base de données de paramètres (Lyon, France) XtremWeb Centres de calcul traditionnels (FNAL, BA, Karlsruhe…) Server paramètres PC Worker Action spécifique PPF Fermi Lab (USA) Internet ou LAN PC Worker PC Worker PC Worker 7 décembre 2018 Seillac 2002

Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

26 chercheurs, 7 Laboratoires Guillaume Alléon EADS Joffroy Beauquier LRI Jacques Briat IMAG-ID Franck Cappello LRI Henri Casanova UCSD (USA) Christophe Cérin LARIA Bernadette Charron Bost LIX Alain Cordier LAL Cécile Germain LRI (LAL) Michel Jouvin LAL Oleg Lodygensky LAL/LRI Vincent Néri LRI Franck Petit LARIA Serge Petiton LIFL/ASCI Cyril Randriamo LARIA Olivier Richard IMAG-ID Brigitte Rozoy LRI Gil Utard LIP Vincent Villain LARIA George Bosilca LRI Samir Djilali LRI Gilles Fedak LRI Anton Selikov LRI Marta Gonzalez LIFL/ASCI Thomas Hérault LRI Laboratoires : ASCI, IMAG-ID LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique, Action Concertee Incitative du ministere de la recherche Financement pour 3 trois. Commite de direction : directeur de l’IN2P3 26 chercheurs, 7 Laboratoires 7 décembre 2018 Seillac 2002

Calcul Global et de système Pair à Pair Fusion des concepts de Calcul Global et de système Pair à Pair (ASCI, IMAG-ID, LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique) + UCSD (USA) + EADS Approche : augmenter les fonctionnalités des systèmes de calcul global stockage communications entre les participants (calcul parallèle) ordonnancement multi utilisateurs Résultats visés : Produire des logiciels interopérants qui assemblés forment une plate-forme CGP2P 7 décembre 2018 Seillac 2002

Les thèmes de recherche CGP2P Architecture générale du système distribué Interface utilisateur / aide à la décision (Sous projet I) Sécurité (Sous projet II) Stockage/Fouille (Sous projet III) Communications inter-nœuds : MPICH-V (Sous projet IV) Ordonnancement (Sous projet IV) Vérification théorique des protocoles (Sous projet V) Interopérabilité avec les grilles (Sous projet V) Validation sur des applications réelles (EADS) 7 décembre 2018 Seillac 2002

Interopérabilité avec les grilles (SSP V) Service Grid Peer Service Grid Peer Transport P2P Chaque nœud propose une variété de services. Une couche P2P gère le réseau de pairs. 7 décembre 2018 Seillac 2002

Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb Le projet d’ACI GRID CGP2P Conclusion 7 décembre 2018 Seillac 2002

Conclusion Les systèmes P2P ont fait leurs preuves. Ils sont légers et faciles à mettre en œuvre. Le calcul P2P apporte une capacité de calcul importante. La physique s’est engagée dans le calcul global avec les grilles. Des travaux sont en cours pour relier grilles et P2P. La physique pourra tirer partie des ressources offertes par le P2P. 7 décembre 2018 Seillac 2002

Pour en savoir plus [1] Projet ACI GRID CGP2P, www.lri.fr/~fci/CGP2P.html [2] Projet XtremWeb, www.xtremweb.net [3] IEEE/ACM CCGRID 2002, Berlin, Mai 2002, http://www.ccgrid.org/ccgrid2002/ [4] « Peer-to-Peer Computing », D. Barkai, Intel press, 2001, Octobre 2001. [5] « Harnessing the power of disruptive technologies”, A. Oram éditeur, edition O’Reilly, Mars 2001 [6] « Search in power-law networks », L. A. Adamic et al. Physical Review, E Volume 64, 2001 [7] « The Grid : Blueprint for a new Computing Infrastructure », I. Foster et C. Kesselman, Morgan-Kaufmann, 1998. 7 décembre 2018 Seillac 2002