Introduction aux solutions Microsoft pour le HPC.

Présentation au sujet: "Introduction aux solutions Microsoft pour le HPC."— Transcription de la présentation:

1 Introduction aux solutions Microsoft pour le HPC

2 HPC : quelques définitions High Performance Computing ou calculs hautes performances Calculs qui nécessitent plusieurs processeurs (voire des dizaines, centaines ou milliers) pour s’exécuter Calculs distribués vs calculs parallèles Un calcul découpé en tâches indépendantes qui s’effectuent chacune sur un processeur est distribué Un calcul formant une seule tâche qui s’effectue à l’aide de plusieurs processeurs communiquant entre eux est dit parallèle. Et on peut avoir n’importe quelle combinaison des 2 High Performance Computing ou calculs hautes performances Calculs qui nécessitent plusieurs processeurs (voire des dizaines, centaines ou milliers) pour s’exécuter Calculs distribués vs calculs parallèles Un calcul découpé en tâches indépendantes qui s’effectuent chacune sur un processeur est distribué Un calcul formant une seule tâche qui s’effectue à l’aide de plusieurs processeurs communiquant entre eux est dit parallèle. Et on peut avoir n’importe quelle combinaison des 2

3 Exemples d’utilisation

4 Clusters et grilles (ou grid) Un cluster est un ensemble de machines homogènes, étroitement reliées par un ou plusieurs réseaux sur lequel peuvent s’effectuer des calculs parallèles Une grille de calcul est un ensemble de systèmes hétérogènes (du PC au cluster en passant par des gros serveurs multiprocesseurs) sur lequel on distribue des tâches de calcul Exemple Seti@Home DEISA : le Grid des centres de calculs européens Les grilles de calculs dans les banques Un cluster est un ensemble de machines homogènes, étroitement reliées par un ou plusieurs réseaux sur lequel peuvent s’effectuer des calculs parallèles Une grille de calcul est un ensemble de systèmes hétérogènes (du PC au cluster en passant par des gros serveurs multiprocesseurs) sur lequel on distribue des tâches de calcul Exemple Seti@Home DEISA : le Grid des centres de calculs européens Les grilles de calculs dans les banques

5 Un besoin toujours insatisfait La simulation numérique : toujours plus et mieux - la puissance disponible à l’instant t sera toujours insuffisante Prévisions météo plus fines, sur un plus long terme, plus précises Études des changements climatiques Recherche de nouvelles molécules et tests « in silicio » Compréhension de l’univers et de sa formation Conception plus rapide, plus efficace des voitures, des avions, des téléphones portables ou des couches pour bébé Traitements de bases de données massives La simulation numérique : toujours plus et mieux - la puissance disponible à l’instant t sera toujours insuffisante Prévisions météo plus fines, sur un plus long terme, plus précises Études des changements climatiques Recherche de nouvelles molécules et tests « in silicio » Compréhension de l’univers et de sa formation Conception plus rapide, plus efficace des voitures, des avions, des téléphones portables ou des couches pour bébé Traitements de bases de données massives

6 Tendances du Marché HPC Principaux freins à l’implémentation de clusters Source: IDC, 2005 -3% 2005 Systèmes 30% 981 4,988 21,733 163,441 2005 Croissance 36% 33% <$250K – 97% des systèmes, 55% du CA Capacité à gérer le système18% Disponibilité des applications17% Complexité des algorithmes parallèles14% Espace, puissance, refroidissement11% Bande passante/latence des connexions10% Performance I/O9% Complexité des interconnexions9% Autre12%

7 Type de processeurs Dans le TOP 500

8 Type d’interconnect dans le TOP500 Gigabit majoritaire Gigabit majoritaire

9 Segments de marché TOP500

10 HPC system growth: 70% in 2004; 25% in 2005 (IDC) Growth being driven by <$250k segment (clusters) x86 server clusters growing faster than market (15%-20% for HPC clusters, 11.4% for x86 overall) La croissance : par l’entrée de gamme

11 Le HPC : un marché en évolution rapide

12 Les challenges du HPC “.. Faire plus de science et moins d’informatique” “..les applications ne suivent pas le rythme des idées” “…mettre en place un cluster est trop complexe” “...le développement d’applications parallèles est difficile” “.. Pas suffisamment d’outils” “.. Faire plus de science et moins d’informatique” “..les applications ne suivent pas le rythme des idées” “…mettre en place un cluster est trop complexe” “...le développement d’applications parallèles est difficile” “.. Pas suffisamment d’outils” Disponibilité et intégration des applications Soumission et suivi des jobs plus simples Déploiement et configuration plus simples Environnement d’administration simplifié Environnement de développement complet et intégré Utilisation de standards Utilisateurs IT Pros Developpeurs

13 La vision Microsoft pour le HPC

14 La proposition de valeur

15 D’abord pour ceux qui…

16 Caractéristiques principales

17 User AppMPI Node Manager Job Execution Windows Compute Cluster Server 2003 DB/FS User Cmd line Desktop App Job Mgr UI Admin Admin Console Cmd line Head Node Job Mgmt Resource Mgmt Cluster Mgmt Scheduling High speed, low latency interconnect Tasks Management Jobs Policy, reports Active Directory Data Input Domain\UserA

18 Bénéficier au mieux de l’infrastructure existante Operations Manager Systems Management Server Windows Update services Exécution sécurisée des jobs Remote Installation Services Console d’administration Moniteur de performances Interface ligne de commande Authentification Kerberos Gestion des ressources Stratégies de groupes Integration avec l’infrastructure informatique Ordonnanceur MPI sécurisé

19 Windows Compute Cluster Server Windows Server 2003 Compute Cluster Edition Compute Cluster Pack (CCP) += Microsoft Windows Compute Cluster Server (CCS) 2003 Matériel x64Matériel x64 Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres) Matériel x64Matériel x64 Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres) Support du standard de l’industrie : MPI2Support du standard de l’industrie : MPI2 Ordonnanceur intégréOrdonnanceur intégré Outils de gestion du clusterOutils de gestion du cluster Support du standard de l’industrie : MPI2Support du standard de l’industrie : MPI2 Ordonnanceur intégréOrdonnanceur intégré Outils de gestion du clusterOutils de gestion du cluster Solution intégrée “out of the box”Solution intégrée “out of the box” Tire parti des investissements réalisés dans les compétences et outils WindowsTire parti des investissements réalisés dans les compétences et outils Windows Rend l’exploitation du cluster aussi simple et sécurisée que celle d’un système uniqueRend l’exploitation du cluster aussi simple et sécurisée que celle d’un système unique Solution intégrée “out of the box”Solution intégrée “out of the box” Tire parti des investissements réalisés dans les compétences et outils WindowsTire parti des investissements réalisés dans les compétences et outils Windows Rend l’exploitation du cluster aussi simple et sécurisée que celle d’un système uniqueRend l’exploitation du cluster aussi simple et sécurisée que celle d’un système unique La solution la plus économique et la plus simple à déployer et administrer pour répondre aux besoins de calculs complexes

20 Architecture SUA : Services for Unix Apps Hardware Abstraction Layer Windows Kernel Windows Subsystem Subsystem for UNIX-based Applications (SUA) Subsystem for UNIX-based Applications (SUA) Windows APIs UNIX APIs UNIXApplications WindowsApplications

21 Porter des apps en utilisant SUA L’effort pour porter des applications Unix sur Windows est maintenant équivalent à celui du portage de Unix vers un autre Unix SUA UNIX Windows Server ScriptsScripts Apps Apps CopyandRun Re-Compile

22 Partenaires

23 CCS V2 : les objectifs

24 Résumé

25 © 2007 Microsoft France Votre potentiel, notre passion TM