La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris.

Présentations similaires


Présentation au sujet: "30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris."— Transcription de la présentation:

1 30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris

2 30 Janvier 2002 Réunion ACI GRID CGP2P2 Sommaire Le projet CGP2P F. Cappello 50m Archi serveurO. Richard10m Sous projet 1S. Petiton 10m Sous projet 2F. Cappello10m Sous projet 3G. Utard10m Sous projet 4C. Germain10m Sous projet 5J. Beauquier10m DémoA. Djilali10m

3 30 Janvier 2002 Réunion ACI GRID CGP2P3 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

4 30 Janvier 2002 Réunion ACI GRID CGP2P4 Liste des participants (26 pers, 7 labs) Guillaume Alléon EADS Joffroy Beauquier LRI Jacques Briat ID Franck Cappello LRI Henri Casanova SDSC Christophe Cérin LARIA Bernadette Charron Bost LIX Alain Cordier LAL Cécile Germain LRI Michel Jouvin LAL Oleg Lodygensky LAL/LRI Vincent Néri LRI Franck Petit LARIA Serge Petiton LIFL/ASCI Cyril Randriamo LARIA Olivier Richard ID Brigitte Rozoy LRI Gil Utard LIP Vincent Villain LARIA George Bosilca LRI Adberhamanne Djilali LRI Gilles Fedak LRI Oleg Lodygensky LAL/LRI Aton Selikov LRI Marta Gonzalez LIFL/ASCI Thomas Hérauet LRI Liste des doctorants associés Laboratoires : ASCI, IMAG, ID LAL, LARIA, LIFL, LRI, Polytechnique,

5 30 Janvier 2002 Réunion ACI GRID CGP2P5 Diversité/Richesse thématique des participants au projet Environnements dexécution (Lri) Protocoles de communication hautes performances (Lri/Imag) Environnements de programmation/interface (LIFL/ASCI) Systèmes de GRID (Globus et DataGrid) (LAL) Ordonnancement (SDSC/UCSD) Sécurité (Lri/Imag) Ressource stockage dans les applications parallèles (Laria) Recherche/tri/fouille de données (Laria) Utilisateurs (LAL, EADS) Théorie des systèmes distribués (Lri)

6 30 Janvier 2002 Réunion ACI GRID CGP2P6 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

7 30 Janvier 2002 Réunion ACI GRID CGP2P7 ACI GRID Globalisation des Ressources Informatiques et des Données CERN Data GridEUmiddleware for the data-intensive applications CoviseDECollaborative, Visualization and Simulation Environment DASNLWide-area distributed cluster, parallel and dist. computing EROPPAEUSoftware to design, implement, and experiments with remote/distributed access to 3D graphic applications GlobeEUStudy and implement a unifying paradigm for the large- scale wide area distributed shared objects JaCo3EUJava and CORBA Collaborative Env. for Coupled Simulations.. JaWsGRJaWS is an economy-based computing model MetaMPIDEMetaMPI supports the coupling of heterogeneous MPI METODISDEMetacomputing Tools for Distributed Systems - A metacomputing MPI for TCP/IP and ATM MOLDEMetacomputer OnLine is a toolbox for the coordinated use of WAN/LAN connected systems. Poznan Metacom. PLDevelopment of tools and methods for metacomputing WAMMITWAMM (Wide Area Metacomputer Manager) is a graphical tool, built on top of PVM. UNICOREDEThe UNiform Interface to Computer Resources allows users to submit jobs to remote high perf. Comp. resources DesignDrugAUMolecular Modelling on Peer-to-Peer Grid DISCWorldAUAn infrastructure for service-based metacomputing (GridSim)AUA Java-based Toolkit for Modeling and Simulation of World Wide Grids. Nimrod/GAUA global scheduler for parametric computing NINFJP PSE ApplesUSA Application-Level Scheduling BricksUSAPerformance evaluation for analysis and comparison of various scheduling DOCTUSAThe Distributed Object Computation Testbed (DOCT) is for handling complex documents Entropia.comUSADesktop software that should provide universal and pervasive source of computing power me USA Understanding how proteins self-assemble. GLOBUSUSA Basic software infra. for computations that integrate geo. distributed computational and information resources HARNESSUSABased on PVM. Parallel plug-ins, Peer-to-peer distributed control, and multiple virtual machines HTCUSADevelop,deploy, and evaluate mechanisms and policies that support high throughput computing InfoSpheresUSAThe Caltech Infospheres Project researches compositional systems, JavelinUSA Javelin: Internet-Based Parallel Computing Using Java LEGIONUSAObject-based metasystem. Transparent scheduling, data management, fault tolerance, site autonomy, NASA IPGUSA Testbed that provides access to a grid NETSOLVEUSA PSE. RPC based client/agent/server system for remote access both hardware and software components PARDISUSA Building PARallel DIStributed applications from CORBA to implement application-level interaction WebFlowUSA WebFlow can be regarded as a high level, visual user interface and job broker for Globus WebSubmitUSA A Web-based Interface to High-Performance Computing Resources Connecter et fédérer des ressources de calcul/stockage/instruments géographiquement distribuées Globalisation des Ressources Informatiques et des Données

8 30 Janvier 2002 Réunion ACI GRID CGP2P8 Différents types de GRID 3 types de grands systèmes distribués Les Grilles de calcul ou « GRID » Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Les systèmes Pair à Pair Les systèmes distribués à grande échelle

9 30 Janvier 2002 Réunion ACI GRID CGP2P9 Calcul Global Global Computing Modèle Client-Serveur inversé : 1 client et n serveurs Lapplication exécutée sur les serveurs est fournie par le client Type de services : principalement calcul distribué PC serveur Requête PC serveur Résultat Client : Lanceur de tâches, ordonnanceur + collect. de résultats Requête Résultat Internet Ou réseau propriétaire Application(s) Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet

10 30 Janvier 2002 Réunion ACI GRID CGP2P10 Applications massivement distribuées distributed.net, GIMP –Plus de 3 Millions dutilisateurs, 30 TFLOPS Projets de Recherche (plate-formes) –Javelin, Bayanihan, JET, Charlotte (fondés sur Java) –XtremWeb (LRI), AppLeS (UCSD) Projets en cours –Entropia, Parabon, Process Tree, United Devices, Platform Active Cluster –Folderol, Gamma Flux, Exodus, Peer review –Site Web de K. Pearson : Calcul Global Global Computing

11 30 Janvier 2002 Réunion ACI GRID CGP2P11 Pas de consensus autour dune définition. Un système dans lequel toutes les ressources peuvent agir comme des clients, des serveurs et/ou maintiennent le système lui même Pair à Pair (entre pair) En principe : X clients, Y serveurs, X=Y PC client/serveur Requête PC client/serveur Résultat PC client/serveur Internet ou réseau propriétaire Répertoire de services Répertoire de services Gnutella Servent: SERveur et cliENT Systèmes Pair à Pair Mode dinteraction inter-ressource : Toutes les ressources sont à la fois client et serveur Mode dorganisation système: Système sans serveur centralisé. Système auto-organisé (découverte de ressources, Le service exécuté par le serveur est proposé par le serveur Type de services : partage de documents, calcul délocalisé XtremWeb Mode de communication : Après la phase de découverte (mise en relation) les nœuds communiquent directement

12 30 Janvier 2002 Réunion ACI GRID CGP2P12 Applications massivement distribuées –Napster, Gnutella, Freenet, FastTrack, etc. –Nombre dutilisateurs potentiel ~x Millions, espace de stockage de lordre du TeraOctet (beaucoup de redondance) Projets de recherche (plate-formes) –Globe (Tann.), Cx (Javalin), OceanStore (USA), XtremWeb (LRI), AppLeS (UCSD), Projets actuels (définition de protocoles) –Cosm, Wos, peer2peer.org, JXTA (sun), PtPTL (intel), Conférence : OReilly, Livre –Peer to Peer, « Harnessing the Power of Disruptive Technologies » Andy Oram, OReilly, Intel ? Pair à Pair (entre pair)

13 30 Janvier 2002 Réunion ACI GRID CGP2P13 Objectif du projet Fusion des concepts de Calcul Global et de système Pair à Pair Approche : augmenter les fonctionnalité des systèmes de calcul global stockage communications entre les participants possibilité à nimporte quel participants de soumettre des requêtes Résultats visés : Trouver des réponses aux problèmes scientifiques posés Produire des logiciels interopérants qui assemblés forment une plate-forme CGP2P

14 30 Janvier 2002 Réunion ACI GRID CGP2P14 Projet CGP2P : Une plate-forme pour le Calcul Global Pair à Pair Un environnement de recherche offrant une image système unique à partir de lagrégation de ressources faiblement couplées System CGP2P Mon PC requête résultat un PC accepte fournit PC Un autre PC accepte fournit communications potentielles pour les applications parallèles Les requêtes correspondent à des des demandes de calcul et/ou à des demandes de stockage

15 30 Janvier 2002 Réunion ACI GRID CGP2P15 Problèmes scientifiques posés Ordre alphabétique : Architecture générale du système distribué Interface utilisateur / aide à la décision (Sous projet I) Sécurité (Sous projet II) Stockage/Fouille (Sous projet III) Communications inter-nœuds (Sous projet IV) Ordonnancement (Sous projet IV) Vérification théorique des protocoles (Sous projet V) Interopérabilité avec les GRID (Sous projet V) Validation sur des applications réelles Etudié par tous les membres du projet Etudié par un sous ensemble des membres du projet

16 30 Janvier 2002 Réunion ACI GRID CGP2P16 Point de départ : XtremWeb Une plate-forme fonctionnelle PC Client/Worker Internet ou LAN PC Serveur Calcul Global (centralisé) PC Worker PC Serveur Pair à Pair (centralisé) PC Client/worker PC Client/worker RedHat mysql + apache+php, RPM (instal. en 5 sec) serveur + worker + demo Pov (sur une seule machine)

17 30 Janvier 2002 Réunion ACI GRID CGP2P17 Hôtes : Capture décran du prototype fait au LRI : XtremWeb I

18 30 Janvier 2002 Réunion ACI GRID CGP2P18 XtremWeb I Capture décran du prototype : Page résultats client

19 30 Janvier 2002 Réunion ACI GRID CGP2P19 Nombre dheures de calcul par jour (combien de ressources participent) Nombre de tâches terminées/stoppées (état des ressources, efficacité de lordonnancement) Capture décran du prototype : Statistiques pour ladministration : Activité des ressources Performance générale du système XtremWeb I

20 30 Janvier 2002 Réunion ACI GRID CGP2P20 PC Client/Worker Internet ou LAN PC Worker Serveur de tâches PC Client/worker Communications tolérantes aux pannes Etendre XtremWeb pour une large disversité de services Architecture multi-services Collecteur de résultats Serveur de stockage P2P? Architecture Générale CGP2P (1/4) : Une architecture multi-services

21 30 Janvier 2002 Réunion ACI GRID CGP2P21 Architecture générale CGP2P (2/4) : Des serveurs centralisés ou totalement distributés Centralized (or hierarchical)Distributed Distributed System Infrastructure Internet Client Coordination server node (Server) Internet Client node Node Centrally managed system: Classical client server architecture Self organizing system: -Resource discovery -Message routing -Query broadcast -Periodic relay research/checking -Role distribution Coordination backbone

22 30 Janvier 2002 Réunion ACI GRID CGP2P22 Architecture générale CGP2P (3/4) : Exemples darchitecture distribuée pour les services Gnutella, peer Central server Registration, Login Supernode addresses directory Catalog, (local search hub) Supernode election Fasttrack peer GET file Search query Peer ID No central server Resource discovery by broadcasting Clip2, BearShare, Super peer election peer Super peer peer GET file Search query Peer ID peer

23 30 Janvier 2002 Réunion ACI GRID CGP2P23 Architecture générale CGP2P (4/4) : Dans le cas totalement distribué Nœuds physiques : Entités logiques : ClientServeurWorker Client WorkerServeur Client Worker Serveur Worker Serveur Client Worker

24 30 Janvier 2002 Réunion ACI GRID CGP2P24 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

25 30 Janvier 2002 Réunion ACI GRID CGP2P25 Couche réseau TCP/UDP - IP Interface GRID (Globus) (10) Protocole (4) Comm. inter-ressource (3) Application Ordonnancement (5) Interface utilisateur Aide à la décision (7) Certification de résultats (8) Fouille/opération données (9) Couches service Application Stockage (2) Sandboxing (1) Couches système Vérification théorique (6) I II IV V III Décomposition en sous-projets Architecture Générale

26 30 Janvier 2002 Réunion ACI GRID CGP2P26 Organisation du projet Rôle du coordinateur : aider à la collaboration + gérer la progression du projet + gestion du budget + responsable devant la direction de lACI Responsables de tâches : Architecture Générale les responsables + Olivier Richard sous-projet I Serge Petiton sous-projet II Franck Cappello sous-projet III Gil Utard sous-projet IV Cécile Germain, Franck Cappello sous-projet V Joffroy Beauquier

27 30 Janvier 2002 Réunion ACI GRID CGP2P27 Planning « prévisionnel » t0t0+6t0+12t0+18t0+24t0+30 Sous-projet I t0+36 Sous-projets Intégration, Tests et Validation sur Applications + Poursuite des actions de recherche dans les sous-projets Sous-projet II Sous-projet III Sous-projet IV Sous-projet V Projets Existants (XW) CGP2P centraliséedistribuée Archi. Générale

28 30 Janvier 2002 Réunion ACI GRID CGP2P28 Interactions entre sous-tâches Interface GRID 1 Interface GRID 2 Vérif. théo tolé. défail. Vérif. théo protocoles. Communications indirectes Communication directes Ordon. sans com. Ordon. avec Com. Services Anonymat Fouille de données Séc. par confinement Iso. logicielle de fautes Certification système Certification application Intégration SPIN XtremWeb Langage de tâches Adaptation et tests dapplications Aide à la décision Stock. dans XW

29 30 Janvier 2002 Réunion ACI GRID CGP2P29 Relation avec nos collègues étrangers Henri Casanova Ian Foster Mitsuhisa Sato Visites / échanges de chercheurs : Sips et Epema étaient au LRI le 8 et 9 Novembre. M. Sato au LRI en Juillet 2002 (1 mois) H. Casanova au LRI fin Mars 2002 H. Casanova «peut être» au LRI en Août 2002 (1 sem) faire venir* des étrangers pour les faire participer à nos réunions plénières (1 talk), * lorsquils sont de passage en France ou en Europe

30 30 Janvier 2002 Réunion ACI GRID CGP2P30 Coordination du projet Réunion plénières en alternance Paris – Province Périodicité des réunions plénières : 4 mois Réunions de travail entre temps Site web : Un rapport davancement après chaque réunion plénière Copies des transparents après chaque réunion plénière

31 30 Janvier 2002 Réunion ACI GRID CGP2P31 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

32 30 Janvier 2002 Réunion ACI GRID CGP2P32 Organisation scientifique Beaucoup de questions: Communications, architecture du syst è me, certification de r é sultats, ordonnancement, etc. There is a need for a tool set to explore scientifically the issues of Global Computing and P2P Computing systems l We are building a TestBed (various places in France + SDSC) The XW client can setup a platform and run experiments from a single Java program. l We are building a Traces collector for resources activity/ performance (XW-Trace) l Traces will be stored in a database (XW-Climate history) l We are building an Emulator (XW-emulator) to run experiments in a reproducible way.

33 30 Janvier 2002 Réunion ACI GRID CGP2P33 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-forme dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

34 30 Janvier 2002 Réunion ACI GRID CGP2P34 La première réunion (23 Nov. 2001) Présentation des participants Présentation des objectifs et des moyens Organisation / administration Réponses aux questions immédiates Premières discussions entre groupes

35 30 Janvier 2002 Réunion ACI GRID CGP2P35 La matinée : Présentation des équipes (thèmes de recherche, effectif, degré de participation, etc.) 10h00 10h45 : présentation du projet : (et des aspects financiers), F. Cappello 10h45 11h00 : équipe IMAG, O. Richard 11h00 11h15 : équipe LRI Clusters et Grilles, F. Cappello 11h15 11h30 : break 11h30 11h45 : équipe LRI parallélisme / LIX, Brigitte Rozoy 11h45 12h00 : équipe ASCI/LIFL, S. Petiton 12h00 12h15 : équipe LARIA/ENS Lyon, G. Utard 12h00 12h30 : équipe LAL, Christian Helft Déjeuner : Repas au CNRS de Gif Sur Yvette pris en charge par l'ACI 20 personnes prévues, 5 voitures : fin 13h30-14h00 L'après midi : Première présentation des sous-projets (problème aborde, piste, relation avec les autres sous- projet, etc.) 14h30 14h45 : équipe IMAG, O. Richard 14h50 15h10 : équipe LRI Clusters et Grilles, C. Germain 15h10 15h30 : équipe LRI parallélisme / LIX, F. Magniette 15h30 15h50 : équipe ASCI/LIFL, S. Petiton 15h50 16h00 : break 16h55 16h15 : équipe LARIA/ENS Lyon, G. Utard 16h15 16h35 : équipe LAL, ? 16h40 17h10 : discussions (pour le démarrage effectif - qui travaille avec qui) 17h10 17h30 : établissement d'une fréquence de réunion et à létablissement

36 30 Janvier 2002 Réunion ACI GRID CGP2P36 La première réunion (23 Nov. 2001) Présentations Discussions démos Déjeuner

37 30 Janvier 2002 Réunion ACI GRID CGP2P37 Prochaines réunions Le 27 Mars à Paris, pour coïncider temporellement de la réunion de lOrap du 28 Mars où 2 membres du projets CGP2P présenteront leur travaux. Ordre du jour : 1) rappel des objectifs du projet et aspects administratifs 2) progression des travaux dans chaque sous-projet démonstration de premiers prototypes (version 0.00 Alpha) 3) identification des problèmes rencontrer et discussion avec les autres groupes pour trouver des solutions

38 30 Janvier 2002 Réunion ACI GRID CGP2P38 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

39 30 Janvier 2002 Réunion ACI GRID CGP2P39 Budget Budget total sur 3 ans : 2 MFs, E Budget distribué sur 3 sites : Orsay, Amiens/Lyon, Grenoble

40 30 Janvier 2002 Réunion ACI GRID CGP2P40 Budget t0t0+6t0+12t0+18t0+24t0+30 PostDoc II PostDoc I 12 mois 24 mois 187,5 Kfrs 62,5 Kfrs 250 Kfrs 62,5 Kfrs 250 Kfrs 187,5 Kfrs 312,5Kfrs t0+36 Durée Coût 187,5 Kfrs

41 30 Janvier 2002 Réunion ACI GRID CGP2P41 Budget Disponibilité : à priori fin décembre 2001 Fin Janvier 2002 ?

42 30 Janvier 2002 Réunion ACI GRID CGP2P42 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

43 30 Janvier 2002 Réunion ACI GRID CGP2P43 Contacts industriels EADS (fait parti du projet : G. Alléon) –Stage de DEA IFP –Stage de DEA L2T (protocole P2P) –Premier contact (discussion informelle le 8 Fev) Platform (LSF, Active Cluster, Décrypthon)

44 30 Janvier 2002 Réunion ACI GRID CGP2P44 Platform (Canada) Le 25 Janvier 2002: Web conférence 9H00 (Toronto), 15h00 (Paris) Prochaine discussion : 5 Février 2002 Platform LRI Franck George Abderrahmane Géraud Gilles prend la photo Songnian Zhou Dir./fond. Platform

45 30 Janvier 2002 Réunion ACI GRID CGP2P45 Fosdem Free and Open Source Devellopers European Meeting visiteurs en 2001 Brussel du 16 au 17 Février 2002 Présentation invité dXtremWeb et CGP2P Et interview de Gilles Fedak Autres présentations Stallman (GNU), De Icaza (Gnome), Ian Clark (Freenet), Richard Dale(KDE)

46 30 Janvier 2002 Réunion ACI GRID CGP2P46 Le projet CGP2P Présentation des participants Présentation des objectifs Organisation / administration –Plate-formes dexpérimentation –Première journée CGP2P Budget/financement Contacts industriels Premier bilan

47 30 Janvier 2002 Réunion ACI GRID CGP2P47 Evolutions du projet par rapport à sa forme initiale Certaines tâches sont déjà presque terminées (sécurisation des workers) Dautres tâches sont devenues « moins intéressantes » (sécurisation par isolation de fautes logicielles) Certaines tâches devraient être terminées rapidement (communication indirecte inter-ressources) En revanche, il y a un gros besoin de simulation et létude et létude de lordonnancement peut devenir plus importante que prévue. Accepter une souplesse dans la définition et lavancement des tâches dans la mesure où cela reste cohérent avec lobjectif Mise en oeuvre dun simulateur et/ou émulateur pour létude de larchitecture et dun simulateur dordonnancement (totalement distribué, centralisé, hiérarchisé, etc.)

48 30 Janvier 2002 Réunion ACI GRID CGP2P48 Production scientifique Articles de présentation : F. Cappello, « Calcul Global Pair a Pair : extension des systemes Pair a Pair (P2P) au calcul », lettre de lIDRIS, Janvier 2002 Articles scientifiques : George Bosilca, Gilles Fedak et al. « Evaluation de performances de différentes techniques de confinement dexécutions pour le calcul pair à pair», soumis à RenPar George Bosilca, Gilles Fedak et al. « Performance evaluation of sandboxing techniques for P2P computing systems» à soumettre à ICS 2002.

49 30 Janvier 2002 Réunion ACI GRID CGP2P49 Sommaire Le projet CGP2P F. Cappello 50m Archi serveurO. Richard10m Sous projet 1S. Petiton 10m Sous projet 2F. Cappello10m Sous projet 3G. Utard10m Sous projet 4C. Germain10m Sous projet 5J. Beauquier10m DémoA. Djilali10m


Télécharger ppt "30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris."

Présentations similaires


Annonces Google