Si tous les ordinateurs du monde… Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé.

Présentation au sujet: "Si tous les ordinateurs du monde… Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé."— Transcription de la présentation:

1 Si tous les ordinateurs du monde… Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé

2 2 Au commencement était… l’ordinateur central 14 février 1946 ENIAC 18.000 tubes, 30 tonnes, 170 m² Programmation par câblage 2.000 tubes remplacés chaque mois par 6 techniciens

3 3 50 ans plus tard… il est toujours là! Des processeurs de plus en plus puissants… Des tailles de stockage de plus en plus grandes… Des niveaux d’intégration de plus en plus poussés… Mais toujours le même concept!

4 4 Modèle de Von Neumann Lire l’instruction Lire les données Calculer Écrire le résultat x := y+z x, y, z MémoireProcesseur Données Instructions

5 5 Et les applications aussi… mais de plus en plus exigeantes!

6 6

7 7 Comment faire? Parallélism e

8 8 Un bon cheval vaut-il mieux que 10.000 poulets? ?

9 1996: Les grands défis

10 10 Grappes Parallélisme modeste: 10-100 nœuds Processeurs de série Réseau rapide Système: Linux, NT Coût: < 1 MF

11 11 Hyper-parallélisme 1992 CM-5, Thinking Machine 1024 nœuds 32 Go mémoire > 200 Go disque 80 GFlops Coût: ?

12 12 Même l’ordinateur le plus puissant du monde… Juin 2000 IBM, ASCI White, CA 12.000 Gflops crête 8192 proc. 160.000 Go disque 2 terrains de basket Coût: ?

13 www.top500.org

14 14 Et demain?

15 15 Si tous les ordinateurs du monde…

16 “A source book for the history of the future” -- Vint Cerf

17 17 Calcul = courant

18 18 Calcul = courant Capteurs Calculateurs Stockage Visualisation Traitement interactif

19 19 Deux visions Approche communautaire Récupérer les ressources inutilisées des PC grâce à Internet Base volontaire, individuelle et « charitable » Montage court terme, surtout orienté calcul Approche institutionnelle Mettre en commun les infrastructures matérielles de plusieurs centre de recherche autour d’un même projet Acquisition de données, moyens de calcul et de stockage, réseaux de communication dédiés, outils d’exploitation des résultats Montage lourd, long terme, approche globale

20 20 Les approches communautaires Metacomputing Des millions de PC inoccupés... Nuits + week-end = 60+% Des millions de disques pratiquement vides... 1-10 Go Des millions de connexions Internet en attente d’entrée clavier... 2 Mo/s

21 21 Schéma client-serveurs Poor community’s computer Embarrassingly parallel problems Premières expériences: 1985, par E-mail Applications typiques Cryptographie Recherche combinatoire Client Serveurs Internet

22 22 Cryptograhie PARIS -- 13th April 2000 -- Biggest Public-key Cryptography Crack Ever! Worldwide Calculation Solves 109-bit Elliptic Curve Challenge Robert Harley et al., INRIA 4 mois de calcul, 10.000 PC, 1300 volontaires, 40 pays 500 années.PC de calcul 10000$ de récompense

23 23 Seti@home Projet de recherche d'une intelligence extra- terrestre Analyse de la corrélation interne des données collectées en temps-réel sur des radio-télescopes Utilisation des économiseurs d’écran Windows Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre…

24 24 TotalDernières 24 heures Utilisateurs3.258.4922050 Résultats reçus360.785.686520.707 Temps CPU total724.972,118 années1038,882 années Opérations flottantes 9,912490 e+20 2,030757 e+18 (23,50 TeraFLOP/s) Temps CPU moyen par unité 17 h 36 mn 09,3 s17 h 28 mn 38,6 s Puissance: 3 fois ASCI White Coût: 0… ou presque!

25 25 L’autre face de la science… setiathome.ssl.berkeley.edu NEW! Using your head to help find intelligent life? Get the SETI@home cap.SETI@home cap

26 26 Les approches institutionnelles Grid computing Connecter différentes machines pour exécuter des applications à très grande échelle Transparence d’utilisation Meilleures performances possibles Administration simple Architecture adaptative Nombreux projets de recherche et outils Sujet en plein développement !

27 27 Problématique Partage de ressources Résolution coordonnée de problème Organisations virtuelles, dynamiques, multi- institutionnelles

28 28 Hétérogénéité

29 29 Tolérance aux pannes

30 30 Dynamicité

31 31 Versatilité

32 32 Plate-forme GUSTO, 1998 Globus Ubiquitous Supercomputing Testbed Organization SuperComputing 1998 Février 2000: 125 sites, 23 pays

33 Fermi Labs 4 alertes/s Centre régional Allemagne Traitement à la volée Ferme de processeurs ~20 alertes/s Centre de calcul du CERN Centre régional France Centre régional Italie Stations de travail des physiciens ~100 Mo/s ~1 Mo/s Stockage de données 40 Tera-octet/s ~622 Mb/sec ou courrier par avion (abandonné…) ~622 Mb/sec Niveau 0 Niveau 1 Niveau 2 Niveau 4 Un événement toutes les 25 ns 100 alertes par seconde Chaque alerte ~1 Mo Centre niveau 2 ~1 alerte/s Institut 0.25 a/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 a/s Caltech ~1 a/s Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s

34 34 Les enjeux Informatique et traitement de l’information Interactions humaines et cognition Système, signal, composants Micro- et nano- technologies Information Système Technologie Humain GRID

35 35 …informatiques Application Exploitation Contrôler localement: Accès et contrôle des ressources Connexion Établir le contact: communication (protocoles Internet) & sécurité Ressource Partager une ressource: négocier l’accès, contrôler l’usage Coordination Coordonner les ressources: services d’infrastructure générique, services spécifiques aux applications Application Internet Transport Liaison Architecture de protocole Internet

36 36 …sociaux Grille: communautés d’agents Administration, standardisation Sécurité, protection, confidentialité Négociation, facturation Coordination Optimisation globale dans un monde incertain et fluctuant

37 37 …technologiques Réseaux et télécommunications Électronique, optique Système Bibliothèques de communication Protocoles adaptatifs Gestion distribuée des ressources Programmation Algorithmique Génie logiciel acquisition – stockage – calcul – exploitation

38 38 En guise de conclusion…

39 39 Une nouvelle frontière 2001 Oct 3 16:55 UTC passer à l’échelle!

40 40

41 41 Visualisation temps-réel Visualisation de données météo Fusion multi- capteur Détermination des nuages Petite tornade

42 42 Exploitation de données Advanced Photon Source, ANL Jusqu’à 1000 images de 18 Go en 15 mn Traitement temps-réel et visualisation interactive

43 43 Simulation numérique Simulation 3D de la collision de deux trous noirs

44 44 Réalité virtuelle Applications télé- immersives Jardin virtuel collaboratif UIC, CavernSOFT

45 45

46 46 Plates-formes Bas niveau Grappes de PC Typique des plates-formes universitaires ou des petites entreprises Utiliser tous les moyens de calcul: Poor man’s parallel computer Niveau moyen Constellations de serveurs parallèles de taille moyenne Exécution de bases de données ou d’applications spécifiques Haut niveau Grilles de supercalculateurs de centres de calculs Applications à très grande échelle

47 47