Si tous les ordinateurs du monde… Calcul scientifique vraiment très haute performance sur la grille mondiale Luc Bougé

2 Au commencement était… l’ordinateur central 14 février 1946 ENIAC tubes, 30 tonnes, 170 m² Programmation par câblage tubes remplacés chaque mois par 6 techniciens

3 50 ans plus tard… il est toujours là! Des processeurs de plus en plus puissants… Des tailles de stockage de plus en plus grandes… Des niveaux d’intégration de plus en plus poussés… Mais toujours le même concept!

4 Modèle de Von Neumann Lire l’instruction Lire les données Calculer Écrire le résultat x := y+z x, y, z MémoireProcesseur Données Instructions

5 Et les applications aussi… mais de plus en plus exigeantes!

6

7 Comment faire? Parallélism e

8 Un bon cheval vaut-il mieux que poulets? ?

1996: Les grands défis

10 Grappes Parallélisme modeste: nœuds Processeurs de série Réseau rapide Système: Linux, NT Coût: < 1 MF

11 Hyper-parallélisme 1992 CM-5, Thinking Machine 1024 nœuds 32 Go mémoire > 200 Go disque 80 GFlops Coût: ?

12 Même l’ordinateur le plus puissant du monde… Juin 2000 IBM, ASCI White, CA Gflops crête 8192 proc Go disque 2 terrains de basket Coût: ?

14 Et demain?

15 Si tous les ordinateurs du monde…

“A source book for the history of the future” -- Vint Cerf

17 Calcul = courant

18 Calcul = courant Capteurs Calculateurs Stockage Visualisation Traitement interactif

19 Deux visions Approche communautaire Récupérer les ressources inutilisées des PC grâce à Internet Base volontaire, individuelle et « charitable » Montage court terme, surtout orienté calcul Approche institutionnelle Mettre en commun les infrastructures matérielles de plusieurs centre de recherche autour d’un même projet Acquisition de données, moyens de calcul et de stockage, réseaux de communication dédiés, outils d’exploitation des résultats Montage lourd, long terme, approche globale

20 Les approches communautaires Metacomputing Des millions de PC inoccupés... Nuits + week-end = 60+% Des millions de disques pratiquement vides Go Des millions de connexions Internet en attente d’entrée clavier... 2 Mo/s

21 Schéma client-serveurs Poor community’s computer Embarrassingly parallel problems Premières expériences: 1985, par Applications typiques Cryptographie Recherche combinatoire Client Serveurs Internet

22 Cryptograhie PARIS -- 13th April Biggest Public-key Cryptography Crack Ever! Worldwide Calculation Solves 109-bit Elliptic Curve Challenge Robert Harley et al., INRIA 4 mois de calcul, PC, 1300 volontaires, 40 pays 500 années.PC de calcul 10000$ de récompense

23 Projet de recherche d'une intelligence extra- terrestre Analyse de la corrélation interne des données collectées en temps-réel sur des radio-télescopes Utilisation des économiseurs d’écran Windows Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre…

24 TotalDernières 24 heures Utilisateurs Résultats reçus Temps CPU total ,118 années1038,882 années Opérations flottantes 9, e+20 2, e+18 (23,50 TeraFLOP/s) Temps CPU moyen par unité 17 h 36 mn 09,3 s17 h 28 mn 38,6 s Puissance: 3 fois ASCI White Coût: 0… ou presque!

25 L’autre face de la science… setiathome.ssl.berkeley.edu NEW! Using your head to help find intelligent life? Get the cap

26 Les approches institutionnelles Grid computing Connecter différentes machines pour exécuter des applications à très grande échelle Transparence d’utilisation Meilleures performances possibles Administration simple Architecture adaptative Nombreux projets de recherche et outils Sujet en plein développement !

27 Problématique Partage de ressources Résolution coordonnée de problème Organisations virtuelles, dynamiques, multi- institutionnelles

28 Hétérogénéité

29 Tolérance aux pannes

30 Dynamicité

31 Versatilité

32 Plate-forme GUSTO, 1998 Globus Ubiquitous Supercomputing Testbed Organization SuperComputing 1998 Février 2000: 125 sites, 23 pays

Fermi Labs 4 alertes/s Centre régional Allemagne Traitement à la volée Ferme de processeurs ~20 alertes/s Centre de calcul du CERN Centre régional France Centre régional Italie Stations de travail des physiciens ~100 Mo/s ~1 Mo/s Stockage de données 40 Tera-octet/s ~622 Mb/sec ou courrier par avion (abandonné…) ~622 Mb/sec Niveau 0 Niveau 1 Niveau 2 Niveau 4 Un événement toutes les 25 ns 100 alertes par seconde Chaque alerte ~1 Mo Centre niveau 2 ~1 alerte/s Institut 0.25 a/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 alerte/s Centre niveau 2 ~1 a/s Caltech ~1 a/s Institut 0.25 a/s Institut 0.25 a/s Institut 0.25 a/s

34 Les enjeux Informatique et traitement de l’information Interactions humaines et cognition Système, signal, composants Micro- et nano- technologies Information Système Technologie Humain GRID

35 …informatiques Application Exploitation Contrôler localement: Accès et contrôle des ressources Connexion Établir le contact: communication (protocoles Internet) & sécurité Ressource Partager une ressource: négocier l’accès, contrôler l’usage Coordination Coordonner les ressources: services d’infrastructure générique, services spécifiques aux applications Application Internet Transport Liaison Architecture de protocole Internet

36 …sociaux Grille: communautés d’agents Administration, standardisation Sécurité, protection, confidentialité Négociation, facturation Coordination Optimisation globale dans un monde incertain et fluctuant

37 …technologiques Réseaux et télécommunications Électronique, optique Système Bibliothèques de communication Protocoles adaptatifs Gestion distribuée des ressources Programmation Algorithmique Génie logiciel acquisition – stockage – calcul – exploitation

38 En guise de conclusion…

39 Une nouvelle frontière 2001 Oct 3 16:55 UTC passer à l’échelle!

40

41 Visualisation temps-réel Visualisation de données météo Fusion multi- capteur Détermination des nuages Petite tornade

42 Exploitation de données Advanced Photon Source, ANL Jusqu’à 1000 images de 18 Go en 15 mn Traitement temps-réel et visualisation interactive

43 Simulation numérique Simulation 3D de la collision de deux trous noirs

44 Réalité virtuelle Applications télé- immersives Jardin virtuel collaboratif UIC, CavernSOFT

45

46 Plates-formes Bas niveau Grappes de PC Typique des plates-formes universitaires ou des petites entreprises Utiliser tous les moyens de calcul: Poor man’s parallel computer Niveau moyen Constellations de serveurs parallèles de taille moyenne Exécution de bases de données ou d’applications spécifiques Haut niveau Grilles de supercalculateurs de centres de calculs Applications à très grande échelle

47