Si tous les ordinateurs du monde… Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé ENS Cachan/Bretagne, IRISA/Projet Paris

Au commencement était… l’ordinateur central 14 février 1946 ENIAC 18.000 tubes, 30 tonnes, 170 m² Programmation par câblage 2.000 tubes remplacés chaque mois par 6 techniciens Info: http://www.warbaby.com/FG_test/comp_history3.html

50 ans plus tard… il est toujours là! Des processeurs de plus en plus puissants… Des tailles de stockage de plus en plus grandes… Des niveaux d’intégration de plus en plus poussés… Mais toujours le même concept!                                                                

Modèle de Von Neumann Données Instructions x := y+z Lire l’instruction Lire les données Calculer Écrire le résultat x, y, z Mémoire Processeur

Et les applications aussi… mais de plus en plus exigeantes! PAM-CRASH: http://www.cordis.lu/esprit/src/results/pages/transpor/transp6.htm

Comment faire? Parallélisme

Un bon cheval vaut-il mieux que 10.000 poulets?                                                               Cray 2: Expose Gordon Bell, http://research.microsoft.com/users/gbell/craytalk/sld067.htm Grappe: IRISA (Christine Morin)

1996: Les grands défis

Grappes Parallélisme modeste: 10-100 nœuds Processeurs de série Réseau rapide Système: Linux, NT Coût: 100–200 k€

? Hyper-parallélisme 1992 CM-5, Thinking Machine 1024 nœuds 32 Go mémoire > 200 Go disque 80 GFlops Coût: ?

Même l’ordinateur le plus puissant du monde… Juin 2000 IBM, ASCI White, CA 12.000 Gflops crête 8192 proc. 160.000 Go disque 2 terrains de basket Coût: ?

www.top500.org

Et demain?

Si tous les ordinateurs du monde…

“A source book for the history of the future” -- Vint Cerf

Calcul = courant

Calcul = courant Capteurs Calculateurs Stockage Visualisation Traitement interactif http://www.ipg.nasa.gov/

Plates-formes Grappes de PC Typiques des plates-formes universitaires ou des petites entreprises Utiliser tous les moyens de calcul: Poor man’s parallel computer Constellations de serveurs parallèles de taille moyenne Exécution de bases de données ou d’applications spécifiques Grilles de supercalculateurs de centres de calculs Applications à très grande échelle

Deux visions Approche communautaire Approche institutionnelle Récupérer les ressources inutilisées des PC grâce à Internet Base volontaire, individuelle et « charitable » Montage court terme, surtout orienté calcul Approche institutionnelle Mettre en commun les infrastructures matérielles de plusieurs centre de recherche autour d’un même projet Acquisition de données, moyens de calcul et de stockage, réseaux de communication dédiés, outils d’exploitation des résultats Montage lourd, long terme, approche globale

Les approches communautaires Global Computing Des millions de PC inoccupés... Nuits + week-end > 60% Des millions de disques pratiquement vides... 1–10 Go Des millions de connexions Internet en attente d’entrée clavier... 2 Mo/s

Schéma client-serveurs Poor community’s computer Embarrassingly parallel problems Premières expériences: 1985, par E-mail Applications typiques Cryptographie Recherche combinatoire Serveurs Client Internet

Cryptographie PARIS -- 13th April 2000 -- Biggest Public-key Cryptography Crack Ever! Worldwide Calculation Solves 109-bit Elliptic Curve Challenge Robert Harley et al., INRIA 4 mois de calcul, 10.000 PC, 1300 volontaires, 40 pays 500 années.PC de calcul 10000$ de récompense

Seti@home Projet de recherche d'une intelligence extra-terrestre Analyse de la corrélation interne des données collectées en temps-réel sur des radio-télescopes Utilisation des économiseurs d’écran Windows Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre…

Puissance: 3 fois ASCI White Coût: 0… ou presque! Total Dernières 24 heures Utilisateurs 3.258.492 2050 Résultats reçus 360.785.686 520.707 Temps CPU total 724.972,118 années 1038,882 années Opérations flottantes 9,912490 e+20 2,030757 e+18 (23,50 TeraFLOP/s) Temps CPU moyen par unité 17 h 36 mn 09,3 s 17 h 28 mn 38,6 s

L’autre face de la science… setiathome.ssl.berkeley.edu NEW! Using your head to help find intelligent life? Get the SETI@home cap.

Les approches institutionnelles Grid Computing Connecter différentes machines pour exécuter des applications à très grande échelle Transparence d’utilisation Meilleures performances possibles Administration simple Architecture adaptative Nombreux projets de recherche et outils Sujet en plein développement !

Problématique Partage de ressources Résolution coordonnée de problème Organisations virtuelles, dynamiques, multi-institutionnelles

Hétérogénéité

Tolérance aux pannes

Dynamicité

Adaptativité

Plate-forme GUSTO, 1998 Globus Ubiquitous Supercomputing Testbed Organization SuperComputing 1998 Février 2000: 125 sites, 23 pays                                        

HPSS HPSS HPSS HPSS HPSS Pentium II 300 MHz Pentium II 300 MHz Un événement toutes les 25 ns 100 alertes par seconde Chaque alerte ~1 Mo 40 Tera-octet/s ~100 Mo/s Traitement à la volée Ferme de processeurs ~20 alertes/s ~100 Mo/s Niveau 0 HPSS Centre de calcul du CERN ~622 Mb/sec ou courrier par avion (abandonné…) Niveau 1 Centre régional France Centre régional Allemagne Centre régional Italie Fermi Labs 4 alertes/s HPSS HPSS HPSS HPSS Niveau 2 Caltech ~1 a/s Centre niveau 2 ~1 a/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s ~622 Mb/sec DataGrid: http://web.datagrid.cnr.it/pls/portal30/GRID.RPT_DOCS_MAIN.show Données techniques: http://web.datagrid.cnr.it/pls/portal30/docs/1022.PPT Exposé de Foster + figure originale: http://web.datagrid.cnr.it/pls/portal30/docs/1409.PPT Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s Stockage de données ~1 Mo/s Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Niveau 4 Stations de travail des physiciens

Le prochain défi? Gestion des données Global/Grid Computing Applications numériques Gestion des données secondaire Structure plate: réseau, données Objectif: gérer les données aussi bien que les calculs! Projet européen DataGRID Accélérateur LHC: 1,25 Go/s, 3–4 Po/an

Les approches coopératives Peer-to-Peer Computing Internet Pairs Pair = Client+Serveur Chaque nœud est à la fois client et serveur Pas de point de contrôle central Gestion distribuée Application: partage de données

Pair-à-Pair Hier: Napster Aujourd'hui: Gnutella Échange de fichiers MP3 Répertoires centralisés Connexions directes entre pairs Réplication à la volée > 40.000.000 téléchargements des clients Aujourd'hui: Gnutella Gestion totalement décentralisée Adaptatif, tolérant aux fautes/attaques 50.000 nœuds connectés 50% restent en ligne moins de 4 heures Réplication active pour augmenter la localité

Demain? Gestion des données pour la grille Objectifs Gestion distribuée des données structurées Présence intermittente des nœuds Utilisation optimale de la bande passante des dorsales Approche: Grid+P2P Environnement JXTA, Sun Environnement Globus Objectif: service de partage de données dans Globus Plate-forme: Réseau VTHD 2,5 Gb/s Interconnexion parallèle entre grappes Adressage uniforme sur la grille planétaire?

En guise de conclusion…

GRID Les enjeux Information Informatique et traitement de l’information GRID Technologie Micro- et nano- technologies Interactions humaines et cognition Humain Système, signal, composants Système

…informatiques Application Coordination Ressource Connexion Internet Transport Liaison Architecture de protocole Internet Application Application Coordination Coordonner les ressources: services d’infrastructure générique, services spécifiques aux applications Ressource Partager une ressource: négocier l’accès, contrôler l’usage Connexion Établir le contact: communication (protocoles Internet) & sécurité Exploitation Contrôler localement: Accès et contrôle des ressources

…sociaux Grille: communautés d’agents Administration, standardisation Sécurité, protection, confidentialité Négociation, facturation Coordination Optimisation globale dans un monde incertain et fluctuant

…technologiques Réseaux et télécommunications Système Programmation Électronique, optique Système Bibliothèques de communication Protocoles adaptatifs Gestion distribuée des ressources Programmation Algorithmique Génie logiciel acquisition – stockage – calcul – exploitation

Une nouvelle frontière passer à l’échelle! Une nouvelle frontière http://www.fourmilab.ch/earthview/vplanet.html Real-time Earth viewer: http://www.fourmilab.ch/cgi-bin/uncgi/Earth/action?opt=-p