Si tous les ordinateurs du monde…

Présentation au sujet: "Si tous les ordinateurs du monde…"— Transcription de la présentation:

1 Si tous les ordinateurs du monde…
Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé ENS Cachan/Bretagne, IRISA/Projet Paris

2 Au commencement était… l’ordinateur central
14 février 1946 ENIAC tubes, 30 tonnes, 170 m² Programmation par câblage 2.000 tubes remplacés chaque mois par 6 techniciens Info:

3 50 ans plus tard… il est toujours là!
Des processeurs de plus en plus puissants… Des tailles de stockage de plus en plus grandes… Des niveaux d’intégration de plus en plus poussés… Mais toujours le même concept!                                                                

4 Modèle de Von Neumann Données Instructions x := y+z Lire l’instruction
Lire les données Calculer Écrire le résultat x, y, z Mémoire Processeur

5 Et les applications aussi… mais de plus en plus exigeantes!
PAM-CRASH:

6

7 Comment faire? Parallélisme

8 Un bon cheval vaut-il mieux que 10.000 poulets?
                                                              Cray 2: Expose Gordon Bell, Grappe: IRISA (Christine Morin)

9 1996: Les grands défis

10 Grappes Parallélisme modeste: 10-100 nœuds Processeurs de série
Réseau rapide Système: Linux, NT Coût: 100–200 k€

11 ? Hyper-parallélisme 1992 CM-5, Thinking Machine 1024 nœuds
32 Go mémoire > 200 Go disque 80 GFlops Coût: ?

12 Même l’ordinateur le plus puissant du monde…
Juin 2000 IBM, ASCI White, CA Gflops crête 8192 proc. Go disque 2 terrains de basket Coût: ?

13

14 Et demain?

15 Si tous les ordinateurs du monde…

16 “A source book for the history
of the future” -- Vint Cerf

17 Calcul = courant

18 Calcul = courant Capteurs Calculateurs Stockage Visualisation
Traitement interactif

19 Plates-formes Grappes de PC
Typiques des plates-formes universitaires ou des petites entreprises Utiliser tous les moyens de calcul: Poor man’s parallel computer Constellations de serveurs parallèles de taille moyenne Exécution de bases de données ou d’applications spécifiques Grilles de supercalculateurs de centres de calculs Applications à très grande échelle

20 Deux visions Approche communautaire Approche institutionnelle
Récupérer les ressources inutilisées des PC grâce à Internet Base volontaire, individuelle et « charitable » Montage court terme, surtout orienté calcul Approche institutionnelle Mettre en commun les infrastructures matérielles de plusieurs centre de recherche autour d’un même projet Acquisition de données, moyens de calcul et de stockage, réseaux de communication dédiés, outils d’exploitation des résultats Montage lourd, long terme, approche globale

21 Les approches communautaires Global Computing
Des millions de PC inoccupés... Nuits + week-end > 60% Des millions de disques pratiquement vides... 1–10 Go Des millions de connexions Internet en attente d’entrée clavier... 2 Mo/s

22 Schéma client-serveurs
Poor community’s computer Embarrassingly parallel problems Premières expériences: 1985, par Applications typiques Cryptographie Recherche combinatoire Serveurs Client Internet

23 Cryptographie PARIS -- 13th April 2000 --
Biggest Public-key Cryptography Crack Ever! Worldwide Calculation Solves 109-bit Elliptic Curve Challenge Robert Harley et al., INRIA 4 mois de calcul, PC, 1300 volontaires, 40 pays 500 années.PC de calcul 10000$ de récompense

24 Seti@home Projet de recherche d'une intelligence extra-terrestre
Analyse de la corrélation interne des données collectées en temps-réel sur des radio-télescopes Utilisation des économiseurs d’écran Windows Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre…

25 Puissance: 3 fois ASCI White Coût: 0… ou presque!
Total Dernières 24 heures Utilisateurs 2050 Résultats reçus Temps CPU total ,118 années 1038,882 années Opérations flottantes 9, e+20 2, e+18 (23,50 TeraFLOP/s) Temps CPU moyen par unité 17 h 36 mn 09,3 s 17 h 28 mn 38,6 s

26 L’autre face de la science…
setiathome.ssl.berkeley.edu NEW! Using your head to help find intelligent life? Get the cap.

27 Les approches institutionnelles Grid Computing
Connecter différentes machines pour exécuter des applications à très grande échelle Transparence d’utilisation Meilleures performances possibles Administration simple Architecture adaptative Nombreux projets de recherche et outils Sujet en plein développement !

28 Problématique Partage de ressources Résolution coordonnée de problème
Organisations virtuelles, dynamiques, multi-institutionnelles

29 Hétérogénéité

30 Tolérance aux pannes

31 Dynamicité

32 Adaptativité

33 Plate-forme GUSTO, 1998 Globus Ubiquitous Supercomputing Testbed Organization SuperComputing 1998 Février 2000: 125 sites, 23 pays                                        

34 HPSS HPSS HPSS HPSS HPSS Pentium II 300 MHz Pentium II 300 MHz
Un événement toutes les 25 ns 100 alertes par seconde Chaque alerte ~1 Mo 40 Tera-octet/s ~100 Mo/s Traitement à la volée Ferme de processeurs ~20 alertes/s ~100 Mo/s Niveau 0 HPSS Centre de calcul du CERN ~622 Mb/sec ou courrier par avion (abandonné…) Niveau 1 Centre régional France Centre régional Allemagne Centre régional Italie Fermi Labs 4 alertes/s HPSS HPSS HPSS HPSS Niveau 2 Caltech ~1 a/s Centre niveau 2 ~1 a/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s ~622 Mb/sec DataGrid: Données techniques: Exposé de Foster + figure originale: Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s Stockage de données ~1 Mo/s Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Niveau 4 Stations de travail des physiciens

35 Le prochain défi? Gestion des données
Global/Grid Computing Applications numériques Gestion des données secondaire Structure plate: réseau, données Objectif: gérer les données aussi bien que les calculs! Projet européen DataGRID Accélérateur LHC: 1,25 Go/s, 3–4 Po/an

36 Les approches coopératives Peer-to-Peer Computing
Internet Pairs Pair = Client+Serveur Chaque nœud est à la fois client et serveur Pas de point de contrôle central Gestion distribuée Application: partage de données

37 Pair-à-Pair Hier: Napster Aujourd'hui: Gnutella
Échange de fichiers MP3 Répertoires centralisés Connexions directes entre pairs Réplication à la volée > téléchargements des clients Aujourd'hui: Gnutella Gestion totalement décentralisée Adaptatif, tolérant aux fautes/attaques nœuds connectés 50% restent en ligne moins de 4 heures Réplication active pour augmenter la localité

38 Demain? Gestion des données pour la grille
Objectifs Gestion distribuée des données structurées Présence intermittente des nœuds Utilisation optimale de la bande passante des dorsales Approche: Grid+P2P Environnement JXTA, Sun Environnement Globus Objectif: service de partage de données dans Globus Plate-forme: Réseau VTHD 2,5 Gb/s Interconnexion parallèle entre grappes Adressage uniforme sur la grille planétaire?

39 En guise de conclusion…

40 GRID Les enjeux Information Informatique et traitement
de l’information GRID Technologie Micro- et nano- technologies Interactions humaines et cognition Humain Système, signal, composants Système

41 …informatiques Application Coordination Ressource Connexion
Internet Transport Liaison Architecture de protocole Internet Application Application Coordination Coordonner les ressources: services d’infrastructure générique, services spécifiques aux applications Ressource Partager une ressource: négocier l’accès, contrôler l’usage Connexion Établir le contact: communication (protocoles Internet) & sécurité Exploitation Contrôler localement: Accès et contrôle des ressources

42 …sociaux Grille: communautés d’agents Administration, standardisation
Sécurité, protection, confidentialité Négociation, facturation Coordination Optimisation globale dans un monde incertain et fluctuant

43 …technologiques Réseaux et télécommunications Système Programmation
Électronique, optique Système Bibliothèques de communication Protocoles adaptatifs Gestion distribuée des ressources Programmation Algorithmique Génie logiciel acquisition – stockage – calcul – exploitation

44 Une nouvelle frontière
passer à l’échelle! Une nouvelle frontière Real-time Earth viewer:

45