Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris Réunion ACI GRID CGP2P 30 Janvier 2002

Sommaire Le projet CGP2P F. Cappello 50m Archi serveur O. Richard 10m Sous projet 1 S. Petiton 10m Sous projet 2 F. Cappello 10m Sous projet 3 G. Utard 10m Sous projet 4 C. Germain 10m Sous projet 5 J. Beauquier 10m Démo A. Djilali 10m Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Liste des participants (26 pers, 7 labs) Guillaume Alléon EADS Joffroy Beauquier LRI Jacques Briat ID Franck Cappello LRI Henri Casanova SDSC Christophe Cérin LARIA Bernadette Charron Bost LIX Alain Cordier LAL Cécile Germain LRI Michel Jouvin LAL Oleg Lodygensky LAL/LRI Vincent Néri LRI Franck Petit LARIA Serge Petiton LIFL/ASCI Cyril Randriamo LARIA Olivier Richard ID Brigitte Rozoy LRI Gil Utard LIP Vincent Villain LARIA George Bosilca LRI Adberhamanne Djilali LRI Gilles Fedak LRI Oleg Lodygensky LAL/LRI Aton Selikov LRI Marta Gonzalez LIFL/ASCI Thomas Hérauet LRI Liste des doctorants associés Laboratoires : ASCI, IMAG, ID LAL , LARIA, LIFL, LRI, Polytechnique, Réunion ACI GRID CGP2P 30 Janvier 2002

Diversité/Richesse thématique des participants au projet Environnements d’exécution (Lri) Protocoles de communication hautes performances (Lri/Imag) Environnements de programmation/interface (LIFL/ASCI) Systèmes de GRID (Globus et DataGrid) (LAL) Ordonnancement (SDSC/UCSD) Sécurité (Lri/Imag) Ressource stockage dans les applications parallèles (Laria) Recherche/tri/fouille de données (Laria) Utilisateurs (LAL, EADS) Théorie des systèmes distribués (Lri) Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

ACI GRID Globalisation des Ressources Informatiques et des Données Connecter et fédérer des ressources de calcul/stockage/instruments géographiquement distribuées Globalisation des Ressources Informatiques et des Données Apples USA Application-Level Scheduling Bricks USA Performance evaluation for analysis and comparison of various scheduling DOCT USA The Distributed Object Computation Testbed (DOCT) is for handling complex documents Entropia.com USA Desktop software that should provide universal and pervasive source of computing power CERN Data Grid EU middleware for the data-intensive applications Covise DE Collaborative, Visualization and Simulation Environment Folding@Home USA DAS NL Wide-area distributed cluster, parallel and dist. computing Understanding how proteins self-assemble.   EROPPA EU Software to design, implement, and experiments with remote/distributed access to 3D graphic applications GLOBUS USA Basic software infra. for computations that integrate geo. distributed computational and information resources Globe EU Study and implement a unifying paradigm for the large-scale wide area distributed shared objects HARNESS USA Based on PVM. Parallel plug-ins, Peer-to-peer distributed control, and multiple virtual machines JaCo3 EU Java and CORBA Collaborative Env. for Coupled Simulations.. JaWs GR JaWS is an economy-based computing model HTC USA Develop,deploy, and evaluate mechanisms and policies that support high throughput computing MetaMPI DE MetaMPI supports the coupling of heterogeneous MPI METODIS DE Metacomputing Tools for Distributed Systems - A metacomputing MPI for TCP/IP and ATM InfoSpheres USA The Caltech Infospheres Project researches compositional systems, MOL DE Metacomputer OnLine is a toolbox for the coordinated use of WAN/LAN connected systems. Javelin USA Javelin: Internet-Based Parallel Computing Using Java Poznan Metacom. PL Development of tools and methods for metacomputing LEGION USA Object-based metasystem. Transparent scheduling, data management, fault tolerance, site autonomy, WAMM IT WAMM (Wide Area Metacomputer Manager) is a graphical tool, built on top of PVM. NASA IPG USA Testbed that provides access to a grid UNICORE DE The UNiform Interface to Computer Resources allows users to submit jobs to remote high perf. Comp. resources NETSOLVE USA PSE. RPC based client/agent/server system for remote access both hardware and software components DesignDrug AU Molecular Modelling on Peer-to-Peer Grid PARDIS USA DISCWorld AU An infrastructure for service-based metacomputing Building PARallel DIStributed applications from CORBA to implement application-level interaction (GridSim) AU A Java-based Toolkit for Modeling and Simulation of World Wide Grids. WebFlow USA WebFlow can be regarded as a high level, visual user interface and job broker for Globus Nimrod/G AU A global scheduler for parametric computing NINF PSE Réunion ACI GRID CGP2P WebSubmit USA A Web-based Interface to High-Performance Computing Resources 30 Janvier 2002 JP      

Différents types de GRID Les Grilles de calcul ou « GRID » 3 types de grands systèmes distribués Les systèmes distribués à grande échelle Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Les systèmes Pair à Pair Réunion ACI GRID CGP2P 30 Janvier 2002      

Calcul Global Global Computing Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet Client : Lanceur de tâches, ordonnanceur + collect. de résultats Requête Résultat Internet Ou réseau propriétaire Requête Résultat Application(s) Application(s) PC serveur PC serveur Modèle Client-Serveur inversé : 1 client et n serveurs L’application exécutée sur les serveurs est fournie par le client Type de services : principalement calcul distribué (SETI@home) Réunion ACI GRID CGP2P 30 Janvier 2002

Calcul Global Global Computing Applications massivement distribuées SETI@Home, distributed.net, GIMP Plus de 3 Millions d’utilisateurs, 30 TFLOPS Projets de Recherche (plate-formes) Javelin, Bayanihan, JET, Charlotte (fondés sur Java) XtremWeb (LRI), AppLeS (UCSD) Projets en cours Entropia, Parabon, Process Tree, United Devices, Platform Active Cluster Folding@Home, Genome@Home, Xpulsar@Home, Folderol, Gamma Flux, Exodus, Peer review Site Web de K. Pearson : http://www.nyx.net/~kpearson/distrib.html Réunion ACI GRID CGP2P 30 Janvier 2002

Pas de consensus autour d’une définition. Pair à Pair (entre pair) Pas de consensus autour d’une définition. Un système dans lequel toutes les ressources peuvent agir comme des clients, des serveurs et/ou maintiennent le système lui même Gnutella Servent: SERveur et cliENT PC client/serveur Répertoire de services PC client/serveur Internet ou réseau propriétaire Répertoire de services Le service exécuté par le serveur est proposé par le serveur Type de services : partage de documents, calcul délocalisé Requête En principe : X clients, Y serveurs, X=Y Résultat PC client/serveur Systèmes Pair à Pair XtremWeb Mode d’interaction inter-ressource : Toutes les ressources sont à la fois client et serveur Mode de communication : Après la phase de découverte (mise en relation) les nœuds communiquent directement Mode d’organisation système: Système sans serveur centralisé. Système auto-organisé (découverte de ressources, Réunion ACI GRID CGP2P 30 Janvier 2002

Pair à Pair (entre pair) Applications massivement distribuées Napster, Gnutella, Freenet, FastTrack, etc. Nombre d’utilisateurs potentiel ~x Millions, espace de stockage de l’ordre du TeraOctet (beaucoup de redondance) Projets de recherche (plate-formes) Globe (Tann.), Cx (Javalin), OceanStore (USA), XtremWeb (LRI), AppLeS (UCSD), Projets actuels (définition de protocoles) Cosm, Wos, peer2peer.org, JXTA (sun), PtPTL (intel), Conférence : O’Reilly, Livre Peer to Peer, «Harnessing the Power of Disruptive Technologies » Andy Oram, O’Reilly, Intel ? Réunion ACI GRID CGP2P 30 Janvier 2002

Calcul Global et de système Pair à Pair Objectif du projet Fusion des concepts de Calcul Global et de système Pair à Pair Approche : augmenter les fonctionnalité des systèmes de calcul global stockage communications entre les participants possibilité à n’importe quel participants de soumettre des requêtes Résultats visés : Trouver des réponses aux problèmes scientifiques posés Produire des logiciels interopérants qui assemblés forment une plate-forme CGP2P Réunion ACI GRID CGP2P 30 Janvier 2002

Projet CGP2P : Une plate-forme pour le Calcul Global Pair à Pair Un environnement de recherche offrant une image système unique à partir de l’agrégation de ressources faiblement couplées un PC accepte Mon PC PC communications potentielles pour les applications parallèles PC requête PC fournit PC PC System CGP2P accepte résultat PC PC PC PC Un autre PC fournit Les requêtes correspondent à des des demandes de calcul et/ou à des demandes de stockage Réunion ACI GRID CGP2P 30 Janvier 2002

Problèmes scientifiques posés Ordre alphabétique : Architecture générale du système distribué Interface utilisateur / aide à la décision (Sous projet I) Sécurité (Sous projet II) Stockage/Fouille (Sous projet III) Communications inter-nœuds (Sous projet IV) Ordonnancement (Sous projet IV) Vérification théorique des protocoles (Sous projet V) Interopérabilité avec les GRID (Sous projet V) Validation sur des applications réelles Etudié par tous les membres du projet Etudié par un sous ensemble des membres du projet Réunion ACI GRID CGP2P 30 Janvier 2002

Point de départ : XtremWeb Une plate-forme fonctionnelle PC Serveur Calcul Global (centralisé) PC Serveur Pair à Pair (centralisé) PC Client/worker Internet ou LAN PC Worker PC Client/Worker PC Client/worker RedHat 7.1 + mysql + apache+php, RPM (instal. en 5 sec) serveur + worker + demo Pov (sur une seule machine) Réunion ACI GRID CGP2P 30 Janvier 2002

XtremWeb I Capture d’écran du prototype fait au LRI : Hôtes : Réunion ACI GRID CGP2P 30 Janvier 2002

XtremWeb I Capture d’écran du prototype : Page résultats client Réunion ACI GRID CGP2P 30 Janvier 2002

XtremWeb I Capture d’écran du prototype : Statistiques pour l’administration : Activité des ressources Performance générale du système Nombre d’heures de calcul par jour (combien de ressources participent) Nombre de tâches terminées/stoppées (état des ressources, efficacité de l’ordonnancement) Réunion ACI GRID CGP2P 30 Janvier 2002

Communications tolérantes Architecture Générale CGP2P (1/4) : Une architecture multi-services Etendre XtremWeb pour une large disversité de services  Architecture multi-services Communications tolérantes aux pannes Serveur de stockage Collecteur de résultats Serveur de tâches P2P? P2P? P2P? P2P? Architecture centralisée/hiérachisée. centralisée signifie que que tout le contrôle se fait sur les serveurs. Par exemple les workers ne peuvent directement lancer un calcul sur un autre worker. Hiérarchisée signifie que le contrôle est distribué sur un ensemble de serveur organisé de manière hiérarchique. Nous distinguons trois entités CSW. client soumet des requetes de calcul, le serveur les assigne à des worker, et les worker les exécutent. CG on a un serveur qui se comporte comme un client et qui contient une très grosse somme de calcul et qui les soumet aux worker. en mode pair à pair, des clients soumettent à un serveur des calculs qui les répartie sur l ’ensemble des workers. PC Client/worker Internet ou LAN PC Worker PC Client/Worker Réunion ACI GRID CGP2P 30 Janvier 2002

Architecture générale CGP2P (2/4) : Des serveurs centralisés ou totalement distributés Distributed System Infrastructure Centralized (or hierarchical) Distributed Coordination server Coordination backbone Node Internet Internet node (Server) Node Client Client node Centrally managed system: Classical client server architecture Self organizing system: -Resource discovery -Message routing -Query broadcast -Periodic relay research/checking -Role distribution Réunion ACI GRID CGP2P 30 Janvier 2002

Architecture générale CGP2P (3/4) : Exemples d’architecture distribuée pour les services Gnutella, peer GET file Search query Peer ID peer Super peer GET file Search query Peer ID No central server Resource discovery by broadcasting Clip2, BearShare, Super peer election Fasttrack Central server peer peer peer peer peer Registration, Login Supernode addresses directory Catalog, (local search hub) Supernode election Réunion ACI GRID CGP2P 30 Janvier 2002

Architecture générale CGP2P (4/4) : Dans le cas totalement distribué Entités logiques : Client Serveur Worker Client Client Client Serveur Serveur Worker Worker Client Serveur Worker Worker Nœuds physiques : Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Décomposition en sous-projets Application Architecture Générale Application Interface utilisateur Aide à la décision (7) II Sandboxing (1) Certification de résultats (8) V Couches service Interface GRID (Globus) (10) III Vérification théorique (6) Fouille/opération données (9) Stockage (2) IV Ordonnancement (5) Couches système Comm. inter-ressource (3) Protocole (4) TCP/UDP - IP Couche réseau Réunion ACI GRID CGP2P 30 Janvier 2002

Organisation du projet Rôle du coordinateur : aider à la collaboration + gérer la progression du projet + gestion du budget + responsable devant la direction de l’ACI Responsables de tâches : Architecture Générale  les responsables + Olivier Richard sous-projet I  Serge Petiton sous-projet II  Franck Cappello sous-projet III  Gil Utard sous-projet IV  Cécile Germain, Franck Cappello sous-projet V  Joffroy Beauquier Réunion ACI GRID CGP2P 30 Janvier 2002

Planning « prévisionnel » Sous-projets Archi. Générale Intégration, Tests et Validation sur Applications + Poursuite des actions de recherche dans les sous-projets centralisée distribuée Sous-projet I Sous-projet II Projets Existants (XW) Sous-projet III Sous-projet IV CGP2P Sous-projet V t0 t0+6 t0+12 t0+18 t0+24 t0+30 t0+36 Réunion ACI GRID CGP2P 30 Janvier 2002

Interactions entre sous-tâches Aide à la décision Séc. par confinement Iso. logicielle de fautes Intégration SPIN XtremWeb Certification application Langage de tâches Adaptation et tests d’applications Certification système Vérif. théo tolé. défail. Anonymat Interface GRID 1 Vérif. théo protocoles. Interface GRID 2 Ordon. sans com. Stock. dans XW Communication directes Services Ordon. avec Com. Fouille de données Communications indirectes Réunion ACI GRID CGP2P 30 Janvier 2002

Relation avec nos collègues étrangers Henri Casanova Ian Foster Mitsuhisa Sato Visites / échanges de chercheurs : Sips et Epema étaient au LRI le 8 et 9 Novembre. M. Sato au LRI en Juillet 2002 (1 mois) H. Casanova au LRI fin Mars 2002 H. Casanova «peut être» au LRI en Août 2002 (1 sem) faire venir* des étrangers pour les faire participer à nos réunions plénières (1 talk), * lorsqu’ils sont de passage en France ou en Europe Réunion ACI GRID CGP2P 30 Janvier 2002

Coordination du projet Réunion plénières en alternance Paris – Province Périodicité des réunions plénières : 4 mois Réunions de travail entre temps Site web : www.lri.fr/~fci/CGP2P.html www.cgp2p.net Un rapport d’avancement après chaque réunion plénière Copies des transparents après chaque réunion plénière Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Organisation scientifique Beaucoup de questions: Communications, architecture du système, certification de résultats, ordonnancement, etc.  There is a need for a tool set to explore scientifically the issues of Global Computing and P2P Computing systems We are building a TestBed (various places in France + SDSC) The XW client can setup a platform and run experiments from a single Java program. We are building a Traces collector for resources activity/ performance (XW-Trace) Traces will be stored in a database (XW-Climate history) We are building an Emulator (XW-emulator) to run experiments in a reproducible way. Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-forme d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

La première réunion (23 Nov. 2001) Présentation des participants Présentation des objectifs et des moyens Organisation / administration Réponses aux questions immédiates Premières discussions entre groupes Réunion ACI GRID CGP2P 30 Janvier 2002

La matinée : Présentation des équipes (thèmes de recherche, effectif, degré de participation, etc.) 10h00 10h45 : présentation du projet : (et des aspects financiers), F. Cappello 10h45 11h00 : équipe IMAG, O. Richard 11h00 11h15 : équipe LRI Clusters et Grilles, F. Cappello 11h15 11h30 : break 11h30 11h45 : équipe LRI parallélisme / LIX, Brigitte Rozoy 11h45 12h00 : équipe ASCI/LIFL, S. Petiton 12h00 12h15 : équipe LARIA/ENS Lyon, G. Utard 12h00 12h30 : équipe LAL, Christian Helft Déjeuner : Repas au CNRS de Gif Sur Yvette pris en charge par l'ACI  20 personnes prévues, 5 voitures : fin 13h30-14h00 L'après midi : Première présentation des sous-projets (problème aborde, piste, relation avec les autres sous-projet, etc.) 14h30 14h45 : équipe IMAG, O. Richard 14h50 15h10 : équipe LRI Clusters et Grilles, C. Germain 15h10 15h30 : équipe LRI parallélisme / LIX, F. Magniette 15h30 15h50 : équipe ASCI/LIFL, S. Petiton 15h50 16h00 : break 16h55 16h15 : équipe LARIA/ENS Lyon, G. Utard 16h15 16h35 : équipe LAL, ? 16h40 17h10 : discussions (pour le démarrage effectif - qui travaille avec qui) 17h10 17h30 : établissement d'une fréquence de réunion et à l‘établissement   Réunion ACI GRID CGP2P 30 Janvier 2002

La première réunion (23 Nov. 2001) Présentations Déjeuner Discussions démos Réunion ACI GRID CGP2P 30 Janvier 2002

Prochaines réunions Le 27 Mars à Paris, pour coïncider temporellement de la réunion de l’Orap du 28 Mars où 2 membres du projets CGP2P présenteront leur travaux. Ordre du jour : rappel des objectifs du projet et aspects administratifs progression des travaux dans chaque sous-projet démonstration de premiers prototypes (version 0.00 Alpha) identification des problèmes rencontrer et discussion avec les autres groupes pour trouver des solutions Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Budget Budget total sur 3 ans : 2 MFs, 304.878 E Budget distribué sur 3 sites : Orsay, Amiens/Lyon, Grenoble Réunion ACI GRID CGP2P 30 Janvier 2002

Budget 12 mois PostDoc I 24 mois PostDoc II Durée t0 t0+6 t0+12 t0+18 187,5 Kfrs 62,5 Kfrs Coût 187,5 Kfrs 62,5 Kfrs 250 Kfrs 250 Kfrs 312,5Kfrs 187,5 Kfrs Réunion ACI GRID CGP2P 30 Janvier 2002

Budget Disponibilité : à priori fin décembre 2001  Fin Janvier 2002 ? Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Contacts industriels EADS (fait parti du projet : G. Alléon) IFP Stage de DEA IFP L2T (protocole P2P) Premier contact (discussion informelle le 8 Fev) Platform (LSF, Active Cluster, Décrypthon) Réunion ACI GRID CGP2P 30 Janvier 2002

Platform (Canada) Prochaine discussion : 5 Février 2002 Le 25 Janvier 2002: Web conférence 9H00 (Toronto), 15h00 (Paris) LRI Platform Gilles prend la photo Songnian Zhou Dir./fond. Platform George Abderrahmane Géraud Franck Prochaine discussion : 5 Février 2002 Réunion ACI GRID CGP2P 30 Janvier 2002

Fosdem Free and Open Source Devellopers European Meeting http://www.fosdem.org/ 1200 visiteurs en 2001 Brussel du 16 au 17 Février 2002 Présentation invité d’XtremWeb et CGP2P Et interview de Gilles Fedak Autres présentations Stallman (GNU), De Icaza (Gnome), Ian Clark (Freenet), Richard Dale (KDE) Réunion ACI GRID CGP2P 30 Janvier 2002

Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration Plate-formes d’expérimentation Première journée CGP2P Budget/financement Contacts industriels Premier bilan Réunion ACI GRID CGP2P 30 Janvier 2002

Evolutions du projet par rapport à sa forme initiale Certaines tâches sont déjà presque terminées (sécurisation des workers) D’autres tâches sont devenues «  moins intéressantes » (sécurisation par isolation de fautes logicielles) Certaines tâches devraient être terminées rapidement (communication indirecte inter-ressources) En revanche, il y a un gros besoin de simulation et l’étude et l’étude de l’ordonnancement peut devenir plus importante que prévue. Accepter une souplesse dans la définition et l’avancement des tâches dans la mesure où cela reste cohérent avec l’objectif Mise en oeuvre d’un simulateur et/ou émulateur pour l’étude de l’architecture et d’un simulateur d’ordonnancement (totalement distribué, centralisé, hiérarchisé, etc.) Réunion ACI GRID CGP2P 30 Janvier 2002

Production scientifique Articles de présentation : F. Cappello, « Calcul Global Pair a Pair : extension des systemes Pair a Pair (P2P) au calcul », lettre de l’IDRIS, Janvier 2002 Articles scientifiques : George Bosilca, Gilles Fedak et al. « Evaluation de performances de différentes techniques de confinement d’exécutions pour le calcul pair à pair», soumis à RenPar 2002. George Bosilca, Gilles Fedak et al. « Performance evaluation of sandboxing techniques for P2P computing systems» à soumettre à ICS 2002. Réunion ACI GRID CGP2P 30 Janvier 2002

Sommaire Le projet CGP2P F. Cappello 50m Archi serveur O. Richard 10m Sous projet 1 S. Petiton 10m Sous projet 2 F. Cappello 10m Sous projet 3 G. Utard 10m Sous projet 4 C. Germain 10m Sous projet 5 J. Beauquier 10m Démo A. Djilali 10m Réunion ACI GRID CGP2P 30 Janvier 2002