ORAP128 Mars 2002 Xtremweb : une plateforme de calcul global et pair a pair Franck Cappello CR CNRS Responsable groupe Clusters et Grilles LRI, Université.

Slides:



Advertisements
Présentations similaires
CGP2P, école des mines Sous-projet V La participation du LAL au projet CGP2P DataGRID CGP2P.
Advertisements

Nos Partenaires Rencontres ASP.NET : Développement Rapide dApplications Web.
« Les Mercredis du développement » Introduction Office « 12 » Présenté par Bernard Fedotoff Microsoft Regional Director Agilcom.
Sous-projet IV Communications Placement/Ordonnancement.
Journée projet CGP2P Laboratoire ID / Projet APACHE (URM 5132) Equipe G3 Grappe & Grille de Grappe 3 Enseignant-Chercheurs 7 Doctorants DEAs.
Applications de GdX Coordinateur thématique : Christophe Cérin
A NETWORK-AWARE DISTRIBUTED STORAGE CACHE FOR DATA INTENSIVE ENVIRONMENTS Brian L. TIERNEY, Jason LEE, Brian CROWLEY, Mason HOLDING Computing Sciences.
Introduction aux environnements répartis
Première expérience d’utilisation des Web Services dans SmartTools Didier Parigot Projet OASIS INRIA Sophia www-sop.inria.fr/oasis/SmartTools Journée.
ACI GRID Projet JE RESAM Support Réseau et Intelligence pour la Grille Coordinateur C. Pham, Univ. Lyon 1, INRIA RESO.
Master de recherche informatique Université de Montpellier 2
Du multilinguisme, à la multi culturalité, en passant par la multidisciplinarité
Architecture. Architecture Enjeux Les Enjeux Trouver une solution e-Business Accessible à partir d’un navigateur Web Accédant au système via un Portail.
Le Grid Computing Par Frédéric ARLHAC & Jérôme MATTERA.
Le Grid Computing et son utilisation dans les entreprises et les industries Laurent CANTONE Résoul UNAL.
Exposé de Système - Informatique et Réseau
TRANSFER Alger – Serveur Web Nicolas Larrousse Septembre Petit historique du Worl Wide Web Notion dHypertexte Extension à internet par Tim Berners.
LCG DATAGRID - France 8 Juillet 2002 LCG : LHC Grid computing - qui, quoi, quand, comment ? Quoi ? But : préparer l'infrastructure informatique des 4 expériences.
18 avril 2002réunion Datagrid France1 E-toile Plate-forme RNTL 2001 Environnement matériel et logiciel pour le développement et l expérimentation de grille.
Jean-François Deverge, Sébastien Monnet
LICENCE MIAGE Introduction Programmation Orientée Objet JAVA philippe
simulateur de réseau de machines UML connectées par WiFi mode ad-hoc
Parallélisation d’un Algorithme CNFT
Copyright © 2004, SAS Institute Inc. All rights reserved. Processus Stockés SAS une perspective analytique Sylvain Tremblay SAS Canada 25 avril 2006.
Simulateurs de réseaux Ns-3 et Ns-2.
1 Modèles de lEconomie Numérique Michel de Rougemont University Paris II.
Communications optimisées dans un réseau véhiculaire ad-hoc multisauts
Le centre de calcul de l'IN2P3 : une architecture pour le calcul intensif et le stockage de masse Pascal Calvat.
DataGRAAL DataGRid pour Animation et Applications à Large échelle
Architecture de grille générique, multi-
Calcul distribué pour l'imagerie médicale
Rennes, le 18 septembre 2006 Support du paradigme maître-travailleur dans les applications à base de composants Tâche 2.2 Hinde Bouziane Réunion LEGO.
Marc MEDALE École Polytechnique Universitaire de Marseille
Alain Romeyer - 15/06/20041 UMH Machines livrées le 08/04/2005 Configuration choisie (différente des autres sites) : 6 machines SUN Fire V20Z.
Soutenance de stage de fin d’études
1 Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Novembre 2003 Contenu de la présentation Etat de lart : Grille de calcul.
Scientific Data Preservation Project Call: Mastodons
Clients riches RIA (Rich Internet Application) / RDA
1 IFT 6800 Atelier en Technologies dinformation Chapitre 1 Introduction.
1 CGP2P XtremWeb :mise en œuvre et management Laboratoire de laccelerateur lineaire, Paris Sud University, Orsay, France
Plate-forme française de réalité virtuelle &. 2 Partenariat ENSMP Plate-forme RNTL : PerfRv.
Eléments pour GridExplorer (GdX). Evalutation de grand système Modélisation Simulation Emulation Exécution (In-situ) Quelle méthodologie pour l'évalutation/test.
1 DataGRAAL DataGRid pour Animation et Applications à Large échelle Yves Denneulin IMAG-ID Pierre Sens LIP6 - INRIA.
Document élaboré à Centrale Paris par Pascal Morenton LES TECHNOLOGIES DU WEB 1. LES PHASES D UN DEPLOIEMENT DE RESEAUX 2. LE LANGAGE HTML 3. LE LANGAGE.
J2EE vs .NET Réaliser par : SEIF ENNACER BADRA && CHETOUI RIM.
2 Développer, tester et déployer un site web avec WebMatrix (RIA101) Christine Dubois 9 février 2011.
1 Consolidation des infrastructures StockageServeurs.
LEGO – Rennes, 18 Septembre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de.
Qu’est ce qu’une grille ?
Développement Web Open Source haXe et les outils « open source » Première partie.
Projet NavInc Florian Bastien Fabien Cornic Antoine Després
v.1.9 – septembre 2014 outil pour la conception d’IHM approche « bus logiciel  d’échanges de messages»
GDS – Paris, 13 Octobre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de M2RI.
Partage de mémoire à très grande échelle sur des réseaux pair-à-pair
Cours 1 1 Java. Cours 1 2 Plan général 1.Introduction 2.Les types primitifs, évaluation d’expressions 3.Instructions for, if…. 4.Introduction de l’objet,
Informatique 1. Les applications de l’informatique
1 Détecteurs de défaillances adaptables Marin BERTIER Thèmes SRC Laboratoire d'Informatique de Paris 6 Université Pierre & Marie Curie.
Hatainville Les Moitiers d’Allonne – Tel : Website : stratic.online.com La démarche projet Mars 2001.
Plate-forme MIRAGE Méso-Informatique Répartie pour des Applications en Géophysique et Environnement.
Calcul Global Pair à Pair :
Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs.
Étude d’un protocole de partage de travail entre systèmes Pair à Pair
Le Traitement Informatique des Données Scientifiques Oleg LODYGENSKY Etienne URBAH LAL, Univ Paris-Sud, IN2P3/CNRS,
1Auteur : Oleg LODYGENSKY XtremWeb-HEP Atelier Opérations France Grille Lyon – Villeurbanne 13 et 14 octobre.
P2pWeb Une boite à outils pour construire un réseau coopératif d’hébergement de site Web –Réseau coopératif réseau physique de nœuds sur l ’Internet réseau.
ACI Masses de Données Bilan GDS Regal (LIP6 / INRIA)
21/02/2003DEA DISIC 1 Grid Computing Programming the grid: Distributed Software Components, P2P and Grid Web Services for Scientific Applications Tarak.
Grilles de recherche Veronique Donzeau-Gouge. 2 objectifs Renforcer la présence du CNRS dans ce domaine en liaison avec : L’Institut ST2I L’INRIA, Les.
Xtremweb : une plate-forme de calcul global et pair a pair
Transcription de la présentation:

ORAP128 Mars 2002 Xtremweb : une plateforme de calcul global et pair a pair Franck Cappello CR CNRS Responsable groupe Clusters et Grilles LRI, Université Paris sud.

ORAP228 Mars 2002 LRI (Laboratoire de Recherche en Informatique), Université Paris sud, Orsay (30 Km de Paris) Membres: F. CappelloCNRS C. GermainMaître de conférence V. NériIngénieur A. SelikhovPostDoc G. FedakDoctorant G. BosilcaDoctorant G. KrawesikDoctorant A. DjilaliDoctorant O. LodigenskyDoctorant Info: Tsukuba University, RWCP, EADS, IFP IBM Watson, ORNL, GMD, Toronto, SDSC/UCSD, Argonne IMAG, LIFL, LARIA, Polytechnique, Lab. Math, Physique, bio at Orsay: LAL, IPN (IN2P3), IBBMC Collaborations :

ORAP328 Mars 2002 Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb I Le projet d’ACI GRID CGP2P Conclusion Pour en savoir plus

ORAP428 Mars 2002 Différents types de GRID 2 types de grands systèmes distribués Les Grilles de calcul ou « GRID » Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Les systèmes Pair à Pair Les systèmes distribués à grande échelle Grands sites de calcul, Clusters PC Windows, Linux <100 Stable Identification individuelle Confiance ~ Volatile Pas d’ident individuelle Pas de confiance Caractéristiques des nœuds :

ORAP528 Mars 2002 Extensibilité : jusqu ’à 100 k voire 1 M machines Hétérogénéité : différents matériels et OS Dynamicité : nombre de clients et de serveurs évoluent constamment Disponibilité : le propriétaire d ’une ressource doit pouvoir définir une politique de partage de sa ressource Tolérance aux pannes : le système (et peut être les applications) doivent supporter l ’existence d ’éléments défaillants Utilisabilité : malgré les propriétés précédentes, le système doit rester facilement programmable et maintenable Sécurité : le système doit être sécurisé pour les participants, les serveurs et l ’applications. Un comportement malicieux ne doit pas pouvoir corrompre l ’application. Un agent externe ne doit pas pouvoir se faire passer pour un serveur. Caractéristiques fondamentales des systèmes distribués à grande échelle

ORAP628 Mars 2002 Calcul numérique à grande échelle Historique Applications pionnières (connues) : –craquer des clés de cryptage RC5 et DES –trouver des nombres premiers de Mersenne –craquer des codes RSA Premiers résultats SuperWeb, Javelin, Atlas, Charlotte, etc. en 96. Nombre de stations utilisées : 250, 3500, ~14000 PCs (Ppro 200) en k personnes dans la mailing list de en 97

ORAP728 Mars 2002 PC Volontaire Télécharge et exécute l’application PC Volontaire Paramètres Application Cliente Params. /résults. Internet PC Volontaire serveur Systèmes de Calcul Global Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet Applications dédiées distributed.net, –Décrypthon Projet de production –Exodus, Peer review, Plates-formes de recherche –Javelin, Bayanihan, JET, –Charlotte (based on Java), –Ninf (ECL), XtremWeb (LRI), Plates-formes commerciales –Entropia, Parabon, –United Devices, Un serveur centraliser ordonnance des calcul sur des PC volontaires

ORAP828 Mars 2002 Applications dédiées –Napster, Gnutella, Freenet, –KaZaA, Music-city, –Jabber, Projets de recherche –Globe (Tann.), Cx (Javalin), Farsite, –OceanStore (USA), XtremWeb (LRI), –Pastry, Tapestry/Plaxton, CAN, Chord, Autres projets –Cosm, Wos, peer2peer.org, –JXTA (sun), PtPTL (intel), Volontaire Application Provider Volontaire PC volontaire Participant à la mise en relation entre Pair Internet Client req. Système Pair à Pair (Peer to Peer) Toutes les ressources (PC) sont égales, les opérations se font à parité, de pair à pair.

ORAP928 Mars 2002 Rationalisation des systèmes P2P Composants fondamentaux PC Requête PC Ressource Requête Internet, Intranet ou LAN Mécanisme mise en relation Recherche de résultats Recherche de clés. (CAN, PASTRY, TAPESTRY, CHORD, etc.) Ressource PC Ressource Internet, Intranet ou LAN Mécanisme de Transport (transfert de résultats) Ressource Internet Ressource : -fichier -service Firewall Tunnel

ORAP1028 Mars 2002 Classification des systèmes de MMR Architecture du Mécanisme de Mise en Relation : recherche centralisée, distribuée ou hybride ? Gnutella, peer GET file Search query Peer ID Mécanisme de découverte de ressources totalement distribué Indexation par catalogues hiérarchiques Fasttrack Central server Napster, Décrypthon Gnutella Freenet, OceanStore Centralisé Distribué Fasttrack, BearShare Hybride Chord CAN PASTRY Farsite Tapestry

ORAP1128 Mars 2002 Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb I Le projet d’ACI GRID CGP2P Conclusion Pour en savoir plus

ORAP1228 Mars 2002 Le Calcul Global (extensibilité,organisation des serveur,…) Le Calcul Pair à Pair (volatilité, communication inter noeud, sécurité) Fusion des systèmes de Calcul Global et Pair à Pair  Plate-forme de Recherche (étudier de nouveaux mécanismes)  Plate-forme de Production (identifier les problèmes des utilisateurs) Les requêtes peuvent être relatives à des données ou des calculs Accepte concerne des Calculs ou des données Une plate-forme de rechercher opensource pour étudier : System CGP2P Mon PC requête résultat un PC accepte fournit PC Un autre PC accepte fournit Communications Potentielles pour les Applications parallèles

ORAP1328 Mars 2002 Objectifs XtremWeb : Entropia : Plate-forme de GC complète : Entropia platform (Entreprise) Gros projets (Internet) United Devices : Plate-forme de GC complète : Metaprocessor (Entreprise) Global Metaprocessor (Internet) XtremWeb ne vise pas à construire une plate-forme avec des millions d’utilisateurs (SETI, Napster, Gnutella, Freenet, etc.) XtremWeb est beaucoup plus un environnement pour construire des clusters par dessus Internet ou à l’intérieur d’un réseau propriétaire multi-sites. Cosm: Un ensemble de fonctions (sdk) pour construire des applications de Global Computing (P2P?) Active Cluster de Platform : LSF + vol de cycles sur PC windows (LAN, WAN)

ORAP1428 Mars 2002 Architecture Générale XtremWeb 1 L’architecture actuelle est centralisée Global Computing et Peer to Peer (modèles d’interaction) 3 entités : client/server/worker PC Client/Worker Internet ou LAN PC Serveur Global Computing (client) PC Worker PC Serveur Peer to Peer PC Client/worker PC Worker XW Serveur hiérarchique

ORAP1528 Mars 2002 Worker Server WorkRequest workResult hostRegister workAlive Architecture du Worker Protocol: traverser les pares feux (firewalls) XML RPC et SSL authentification and cryptage Applications  Binaire (codes CHP en Fortran ou C)  Java (codes récents, codes objet) Systèmes d’exploitation  Linux  Windows Mode d’opération  Screen saver  contrôle à distance du serveur (on/off)

ORAP1628 Mars 2002 Architecture des Servers Requêtes WorkerRequêtes Client Serveur Http Ensemble de base de données Applications Tâches Résultats Statistiques Sélecteur de tâches Gestionnaire de priorités Scheduler Communication Layer XML-RPC TCP SSL Tâches Collecteur Résultats

ORAP1728 Mars 2002 Client Server Configure experiment Architecture du Client Une API Java  soumission de tâches  collection de résultats  contrôle du serveur Applications  Multi-paramêtres, sac de tâches  Maître-esclave (iteratif), EP Contrôle du serveur  configuration de la plate-forme (nombre de Workers, type de Workers, etc.) Launch experiment Collect result Worker Get work Put result

ORAP1828 Mars 2002 Technologies de réalisation Prérequis pour l’installation: dase de données (Mysql), serveur web (apache), PHP, JAVA jdk1.2. Base de données SQL PerlDBI Java JDBC Serveur Java Communication XML-RPC SSL Serveur Http PHP3-4 Installation GNU autotool Worker Client Java

ORAP1928 Mars 2002 Aires: Simulation de douches atmosphériques : –Temps d’exécution de 5 à 10 heures (dépend de la machine et des paramètres de simulation) Worker Aires PC worker paramètres Server Internet ou LAN PC Worker PC Client Base de données de paramètres (Lyon, France) XtremWeb Centres de calcul traditionnels CINES (Fr) Fermi Lab (USA) Nombre de PC estimé ~ 5000 Observatoire Pierre Auger

ORAP2028 Mars 2002 Lancer de rayons Pair à Pair Image originale : Film calculé avec Xtrem RayTracing Caméra Scène Source Produire un film à partir d’une scène PovRay. Prototype réalisé au LRI Worker

ORAP2128 Mars 2002 XW I sur ressources légères Personal multi-Computer (PmC)

ORAP2228 Mars CGP2P (Calcul Global et Pair à Pair) XW + stockage + ordonnancement + applications parallèles, – ASP, mutualisation, simulation numérique, Guillaume Alléon XW + composants numériques CORBA –AIRCAST XW + Pocket PC + Wireless for news casting inside Paris-Sud University. – IRIS project: multi-server XtremWeb –IFP stage de DEA en cours avec installation d’XW + applications IFP –EADS stage de DEA en cours avec installation d’XW et application EADS –XtremWeb Toronto (education and research) Education (Global Computing) and parallel processing with XW. –XW Math (Mathematics lab – Paris south University) Autres projets utilisant XW

ORAP2328 Mars 2002 Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb I Le projet d’ACI GRID CGP2P et MPICH-V Conclusion Pour en savoir plus

ORAP2428 Mars 2002 Fusion des concepts de Calcul Global et de système Pair à Pair (ASCI, IMAG-ID, LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique) + UCSD (USA) + EADS Approche : augmenter les fonctionnalité des systèmes de calcul global stockage communications entre les participants possibilité à n’importe quel participants de soumettre des requêtes Résultats visés : Trouver des réponses aux problèmes scientifiques posés Produire des logiciels interopérants qui assemblés forment une plate- forme CGP2P

ORAP2528 Mars 2002 Guillaume Alléon EADS Joffroy Beauquier LRI Jacques Briat IMAG-ID Franck Cappello LRI Henri Casanova SDSC (USA) Christophe Cérin LARIA Bernadette Charron Bost LIX Alain Cordier LAL Cécile Germain LRI Michel Jouvin LAL Oleg Lodygensky LAL/LRI Vincent Néri LRI Franck Petit LARIA Serge Petiton LIFL/ASCI Cyril Randriamo LARIA Olivier Richard IMAG-ID Brigitte Rozoy LRI Gil Utard LIP Vincent Villain LARIA George Bosilca LRI Adberhamanne Djilali LRI Gilles Fedak LRI Oleg Lodygensky LAL/LRI Aton Selikov LRI Marta Gonzalez LIFL/ASCI Thomas Hérauet LRI Laboratoires : ASCI, IMAG-ID LAL, LARIA/LIP, LIFL, LRI, LIX-Polytechnique, 26 chercheurs, 7 Laboratoires

ORAP2628 Mars 2002 Architecture générale du système distribué Interface utilisateur / aide à la décision (Sous projet I) Sécurité (Sous projet II) Stockage/Fouille (Sous projet III) Communications inter-nœuds : MPICH-V (Sous projet IV) Ordonnancement (Sous projet IV) Vérification théorique des protocoles (Sous projet V) Interopérabilité avec les GRID (Sous projet V) Validation sur des applications réelles (EADS) Les thèmes de recherche CGP2P

ORAP2728 Mars 2002 Communication inter nœuds : MPICH-V (Volatile) Objectif : exécuter des applications parallèles prévues pour des machines parallèles à passage de messages (ratio cal/com très grand) Problèmes : 1) les noeuds sont volatiles (X peuvent disparaître à tous moments) 2) les nœuds sont protégés par des firewalls. PC client Get Internet Ou LAN Mémoire de canal Put PC client MPI_send()PC client MPI_recv() Vue du programmeur : Proposition pour résoudre le problème Utiliser une mémoire de canal : qui stocke tous les messages, est fiable, qui accepte les communications XW

ORAP2828 Mars 2002 PC client Get Internet ou LAN PC Mémoire de canal Put PC client Get Que se passe-t-il en cas de défaillance ? Un nouveau PC reprend le calcul depuis le début* et rejoue toutes ses Communications *dernier checkpoint Communication inter nœuds : MPICH-V Est ce que ça fonctionne vraiment ? théorique : modélisation, étude des cas limites Collaborations avec l’équipe Paral du LRI Expérimentale : réalisation, expérimentation, performance Vérification Intérêt  reprendre uniquement la (les) tâche(s) défaillante(s)

ORAP2928 Mars 2002 Communication inter nœuds : MPICH-V Vérification théorique : t1 t2 t3 mc1 mc2 Ordre initial : Dans le cas général, il faut reproduire les com. à l’identique !!  Problème du MPI_recv(any,…)  À cause de l’asynchronisme des mémoires de canal, les ordres peuvent être inversés les nœuds numérotent tous les messages qu’ils envoient et avertissent les mémoires de l’ordre local de leurs réceptions

ORAP3028 Mars 2002 Communication inter nœuds : MPICH-V MPICH-V : –Communications: un device MPICH avec mémoire de canal –Run-time: une virtualisation des processus MPICH en tâches XW avec checkpoint –Link de l’application avec libxwmpi au lieu de libmpich Worker Internet ou LAN Worker Serveur de tâches «ordonnanceur » worker Mémoires de canal Serveurs de checkpoint

ORAP3128 Mars 2002 ADI Channel Interface Chameleon Interface XW device Interface MPI_Send MPID_SendControl MPID_SendChannel PIbsend _xwbsend _xwbrecv _xwprobe _xwfrom _xwInit _xwFinalize - get the src of the last message - check for any message avail. - blocking send - blocking receive - initialize the client - finalize the client Communication inter nœuds : MPICH-V Device ‘ch_xw’ en remplacement du ‘ch_p4’ Réalisation des fonctions principales par-dessus les sockets

ORAP3228 Mars 2002 Inter-node communication: MPICH-V (Volatile) Very first experiment results (RTT Ping-Pong) : 2 PIII 500, one Channel Memory, 100base T Message size (bytes) Time, sec ch_p4, mean ch_p4, min ch_xw, min 1 ch_xw, mean 1 X ~2 X ~2,33 5,4 Mo/s 2,6 Mo/s Eager/rendez-vous threshold PC client Get Internet Or LAN Channel Memory Put The X2 factor compared to P4 is reasonable since each message crosses the network twice

ORAP3328 Mars 2002 Communication inter nœuds : MPICH-V Checkpoint : bibliothèque existante  Condor 6 minutes 3 minutes Temps checkpoint (sec)Temps réseau TCP (min) 3 minutes PIII 500

ORAP3428 Mars 2002 Performances pour une application parallèle sur ressources Volatile ? n tâches, m > n machines, c checkpoints (période), un temps séquentiel ts et une accélération linéaire, p % de restarts, d minutes pour un checkpoint Tparv= (ts/n) + p *n * ((ts/n)/c) + c * d  Plus le nombre de checkpoints est grand, moins le temps perdu par une tache non terminée est important.  Plus le nombre de checkpoints est grand, plus le temps perdu pour La sauvegarde est important Communication inter nœuds : MPICH-V

ORAP3528 Mars 2002 Communication inter nœuds : MPICH-V Tparv= (ts/n) + p *n * ((ts/n)/c) + c * d Accélération Nombre de checkpoints (c) n=1000 ts= min (100 jours) tcom négligeable P=0,01, d=1min P=0,1, d=1min P=0,1 d=10min P=0,01, d=10min Minutes Une nuit

ORAP3628 Mars 2002 Sommaire Introduction systèmes calcul global et P2P Le système XtremWeb I Le projet d’ACI GRID CGP2P Conclusion Pour en savoir plus

ORAP3728 Mars 2002 Besoin d’outils théoriques : Modèles de performance, modèles de défaillance Mais aussi besoin d’outils expérimentaux (instruments) pour l’étude des systèmes complexes à grande échelle Observations / mesures : Plate-forme de tests en grandeur nature TestBed (CGP2P) l Un collecteur de Traces de paramètres de ressources (XW-trace) l Un ensemble de benchmarks et de sondes Expériences en environnement contrôlé (reproduire les conditions expérimentales) : l Un(des) Emulateur(s) reproduisant avec des degrés de fidélité variable le système et les conditions expérimentales (XW-emulator) l Des simulateurs (ex : ordonnancement totalement distribué) Nécessité d’un environnement expérimental complet

ORAP3828 Mars 2002 Conclusion Les études sur les systèmes de calcul global et P2P pour le calcul haute performance sont très récentes (XtremWeb, IRISA projet Paris) XtremWeb constitue l’une des premières plate-forme complète de recherche et de production. WWW. XTREMWEB.NET XtremWeb 1 est en phase de mise en production au LAL (IN2P3) Le projet d’ACI GRID CGP2P étudie la prochaine génération de systèmes P2P fusionnant calcul et stockage. Il existe de nombreux problèmes scientifiques et techniques MPICH-V est vérifié fonctionnellement et théoriquement et en cours d’optimisation La recherche dans ce domaine doit nécessairement inclure les composantes théoriques et expérimentales.

ORAP3928 Mars 2002 Pour en savoir plus [1] « Calcul Global Pair à Pair : extension des systèmes Pair à Pair au calcul », lettre de l’IDRIS, 12 pages, Février [2] Projet ACI GRID CGP2P, [3] Projet XtremWeb, [4] Deuxième Workshop International « Global P2P Computing », avec IEEE/ACM CCGRID 2002, Berlin, Mai 2002, [5] « Peer-to-Peer Computing », D. Barkai, Intel press, 2001, Octobre [6] « Harnessing the power of disruptive technologies”, A. Oram éditeur, edition O’Reilly, Mars 2001 [7] « Search in power-law networks », L. A. Adamic et al. Physical Review, E Volume 64, 2001 [8] « The Grid : Blueprint for a new Computing Infrastructure », I. Foster et C. Kesselman, Morgan-Kaufmann, 1998.

ORAP4028 Mars nd International Scientific Workshop on IEEE International Symposium on Cluster Computing and the Grid (CCGrid'2002) Berlin-Brandenburg Academy of Sciences and Humanities May , 2002 Berlin, Germany A Framework for Classifying Peer to Peer Technologies, Krishna Kant, Ravi Iyer (Enterprise Architecture Lab, Intel Corporation), Vijay Tewari (E-Business Solutions Lab, Intel Corporation) Improving Data Availability through Dynamic Model-Driven Replication in Large Peer-to-Peer Communities, Adriana Iamnitchi, Kavitha Ranganathan, Ian Foster (Department of Computer Science, Chicago) NEVRLATE: Scalable Resouce Discovery, Ajay Chander (Computer Science Department, Stanford University) Steven Dawson, Patrick Lincoln, David Stringer-Calvert Maintaining Connectivity in a Scalable and Robust Distributed Environment, Mark Jelasity (Department of Artificial Intelligence, Free University of Amterdam), Mike Preuss (Department of Computer Science, University of Dortmund), Marten van Seen (Free University of Amsterdam), Den Paechter (Napier University) Motivating Computational Grids, D. Skillicorn (Computer Science Department, Queens University) JM: A Jini Framework for Global Computing, Zoltan Juhasz (Department of Information Systems, University of Veszprem and Department of Computer Science, University of Exeter), Arpad Andics, Szabolcs Pote (Department of Information Systems, University of Veszprem) …

ORAP4128 Mars 2002 Sécurité des ressources Ressource d’exécution PC agressif code agressive Internet ou LAN Sans authentification utilisateur, garantir la sécurité des ressources ? (le code utilisateur ne doit pas pouvoir corrompre une ressource ) Exécution de codes natifs : Application Interception Exécution Appel système “Sandboxing” du code natif (fondé sur ptrace): Janus, Subterfugue, Processus Père contrôleur Vérification des arguments (pile) Autorisation Fork (ptracé) Proc ptracé Noyau Zone Susceptible d’attaques par « race condition »

ORAP4228 Mars 2002 Sécurité des ressources Application « exécution » Noyau natif Appel système vérifié par le système émulé Appel système Application Système virtuel avec contrôle fondé sur ptrace : UML Fork (ptracé) Linux Security Modules (LSM) : Noyau … Write(…) … Setparams nop nop nop … Application Appel système Hook Module sécurité Modifications Code de vérification Autorisation

ORAP4328 Mars 2002 Sécurité des ressources : Performance comparée des natifs et des natifs sandboxés getpid read write stat open/close fork+ /bin/sh Sans sandbox LSM en us Subtergugue en us UML en us Ralentissement par rapport au natif Pentium 4 1,7 Ghz, 256 Mo, Linux Performance d’opérations systèmes : Getpid, open/close, read, write Performance sur applications : 0 0,5 1 1,5 2 2,5 gzipgunzipgcc Ralentissement par rapport au natif LSM est + rapide car le patch du noyau enlève les « capabilities » Sub est + rapide qu’UML parce qu’il effectue moins de changements de contexte

ORAP4428 Mars 2002 Sécurité des ressources : Les limites de l’approche Ptrace Pentium 4 1,7 Ghz, 256 Mo, Linux Caractéristiques des applications : 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% gzipgunzipgcc autre read/write open/close fork Répartition des appels systèmes dans le temps d’exécution Ptrace intercepte tous les appels systèmes (malloc, mmap, etc.)

ORAP4528 Mars 2002 Sécurité des ressources : Performance comparée de JVM et de codes natifs Performance sur des codes : Pentium 4 1,7 Ghz, 256 Mo, Linux Sun JVM Sun JVM 1.3 Sun JVM 1.4 IBM 1.3 CG, EP,FT (NAS), SOR, MC, Matmul, LU, Linpack Natif plus performant mais dernière JVM proches 0 0,2 0,4 0,6 0,8 1 1,2 "CG" "EP" "FFT" "SOR" "MC" "MatMul" "LU" "Linpack" SUN 1.2 SUN 1.3 SUN 1.4 IBM 1.3 Natif Performance relative au natif

ORAP4628 Mars 2002 Sécurité des ressources : Performance comparée de JVM et de codes natifs sandboxés Surcoût de l'interposition , ,71,76 1, ,9 7 7, LSMSubterfugueUMLJava sans secuJava+ SecurityManager Temps en micosecondes getPid Read (1B) Write (1B) open/close Natif Performance d’opérations systèmes : Getpid, open/close, read, write. Pentium 4 1,7 Ghz, 256 Mo, Linux Sun JVM Java plus performant pour les read/write Coût d’interposition LSM nul (mais actuellement sans vérification) Getpit ~ coût s’un syscall -Signal (Ptrace), -changement de contexte -interprétation Python (Subterfugue)

ORAP4728 Mars Java sans sécu Java avec sécu natif sans sécu natif avec sécu 16 workers Sécurité des ressources : Performance comparée Java, Java+ sec, natif, natif+sec Exécution du benchmark EP classe A sur 16 Pentium III 500 Mhz dans un système complet (XW 1.0) Temps (s) Nombre de tâches Natif + performant (15%) Pas de ralentissement notable de la sécurité (Subterfugue et Java) Saturation : l’overhead du système atteint le temps d’exécution de l’application

ORAP4828 Mars 2002 Un nouveau type d’architectures parallèles : Un très grand nombre de ressources (>> machines parallèles) Des capacités de communication très faibles Un nouveau type de systèmes distribués (répartis ?) : Un très grand nombre de ressources (>> machines parallèles) La volatilité comme caractéristique Nouveaux Problèmes : Comment programmer ces architectures ? Domaine d ’applications (EP, multi-paramètres, parallèles) Evaluation de Performance (benchmark, mesures, paramètres) Modèles de performance (orienté programmation « à la BSP », orienté performance « à la LogP) Nouvelle algorithmique Modèle économique Motivations pour le calcul à grande échelle

ORAP4928 Mars 2002 CASPER: Community based Application Service ProvidER Pc ou Station Client Gestion des utilisateurs Portail (pages web) Soumission Ordre de calcul Transfer donnees Gestion des donnees Cluster Calculateurs // Ordre de calcul Transfer donnees Ordre de calcul Transfer donnees Java Execution Composant Execution Composant Corba Html SSL Donnes ASP XtremWeb Execution distribuee sur Internet Execution Composant Donnes Scheduler ASP (Application Service Provider) fournisseur de calculs et gestionnaire/distributeur d’informations (param. / res.) pour les industriels utilisant la simulation numérique

ORAP5028 Mars 2002 CASPER Applets signées Navigateur Web Service client Casper Serveur Web authentifie signe RMI/TLS HTTP/TLS Visualisation JSP Gestion des données Sécurité (JSSE) Ressources grappes Ressources distribuées Gestion des utilisateurs Gestion des ressources XtremWeb LSF Organisme de certification GridEngine