Introduction aux solutions Microsoft pour le HPC

HPC : quelques définitions High Performance Computing ou calculs hautes performances Calculs qui nécessitent plusieurs processeurs (voire des dizaines, centaines ou milliers) pour s’exécuter Calculs distribués vs calculs parallèles Un calcul découpé en tâches indépendantes qui s’effectuent chacune sur un processeur est distribué Un calcul formant une seule tâche qui s’effectue à l’aide de plusieurs processeurs communiquant entre eux est dit parallèle. Et on peut avoir n’importe quelle combinaison des 2 High Performance Computing ou calculs hautes performances Calculs qui nécessitent plusieurs processeurs (voire des dizaines, centaines ou milliers) pour s’exécuter Calculs distribués vs calculs parallèles Un calcul découpé en tâches indépendantes qui s’effectuent chacune sur un processeur est distribué Un calcul formant une seule tâche qui s’effectue à l’aide de plusieurs processeurs communiquant entre eux est dit parallèle. Et on peut avoir n’importe quelle combinaison des 2

Exemples d’utilisation

Clusters et grilles (ou grid) Un cluster est un ensemble de machines homogènes, étroitement reliées par un ou plusieurs réseaux sur lequel peuvent s’effectuer des calculs parallèles Une grille de calcul est un ensemble de systèmes hétérogènes (du PC au cluster en passant par des gros serveurs multiprocesseurs) sur lequel on distribue des tâches de calcul Exemple DEISA : le Grid des centres de calculs européens Les grilles de calculs dans les banques Un cluster est un ensemble de machines homogènes, étroitement reliées par un ou plusieurs réseaux sur lequel peuvent s’effectuer des calculs parallèles Une grille de calcul est un ensemble de systèmes hétérogènes (du PC au cluster en passant par des gros serveurs multiprocesseurs) sur lequel on distribue des tâches de calcul Exemple DEISA : le Grid des centres de calculs européens Les grilles de calculs dans les banques

Un besoin toujours insatisfait La simulation numérique : toujours plus et mieux - la puissance disponible à l’instant t sera toujours insuffisante Prévisions météo plus fines, sur un plus long terme, plus précises Études des changements climatiques Recherche de nouvelles molécules et tests « in silicio » Compréhension de l’univers et de sa formation Conception plus rapide, plus efficace des voitures, des avions, des téléphones portables ou des couches pour bébé Traitements de bases de données massives La simulation numérique : toujours plus et mieux - la puissance disponible à l’instant t sera toujours insuffisante Prévisions météo plus fines, sur un plus long terme, plus précises Études des changements climatiques Recherche de nouvelles molécules et tests « in silicio » Compréhension de l’univers et de sa formation Conception plus rapide, plus efficace des voitures, des avions, des téléphones portables ou des couches pour bébé Traitements de bases de données massives

Tendances du Marché HPC Principaux freins à l’implémentation de clusters Source: IDC, % 2005 Systèmes 30% 981 4,988 21, , Croissance 36% 33% <$250K – 97% des systèmes, 55% du CA Capacité à gérer le système18% Disponibilité des applications17% Complexité des algorithmes parallèles14% Espace, puissance, refroidissement11% Bande passante/latence des connexions10% Performance I/O9% Complexité des interconnexions9% Autre12%

Type de processeurs Dans le TOP 500

Type d’interconnect dans le TOP500 Gigabit majoritaire Gigabit majoritaire

Segments de marché TOP500

HPC system growth: 70% in 2004; 25% in 2005 (IDC) Growth being driven by <$250k segment (clusters) x86 server clusters growing faster than market (15%-20% for HPC clusters, 11.4% for x86 overall) La croissance : par l’entrée de gamme

Le HPC : un marché en évolution rapide

Les challenges du HPC “.. Faire plus de science et moins d’informatique” “..les applications ne suivent pas le rythme des idées” “…mettre en place un cluster est trop complexe” “...le développement d’applications parallèles est difficile” “.. Pas suffisamment d’outils” “.. Faire plus de science et moins d’informatique” “..les applications ne suivent pas le rythme des idées” “…mettre en place un cluster est trop complexe” “...le développement d’applications parallèles est difficile” “.. Pas suffisamment d’outils” Disponibilité et intégration des applications Soumission et suivi des jobs plus simples Déploiement et configuration plus simples Environnement d’administration simplifié Environnement de développement complet et intégré Utilisation de standards Utilisateurs IT Pros Developpeurs

La vision Microsoft pour le HPC

La proposition de valeur

D’abord pour ceux qui…

Caractéristiques principales

User AppMPI Node Manager Job Execution Windows Compute Cluster Server 2003 DB/FS User Cmd line Desktop App Job Mgr UI Admin Admin Console Cmd line Head Node Job Mgmt Resource Mgmt Cluster Mgmt Scheduling High speed, low latency interconnect Tasks Management Jobs Policy, reports Active Directory Data Input Domain\UserA

Bénéficier au mieux de l’infrastructure existante Operations Manager Systems Management Server Windows Update services Exécution sécurisée des jobs Remote Installation Services Console d’administration Moniteur de performances Interface ligne de commande Authentification Kerberos Gestion des ressources Stratégies de groupes Integration avec l’infrastructure informatique Ordonnanceur MPI sécurisé

Windows Compute Cluster Server Windows Server 2003 Compute Cluster Edition Compute Cluster Pack (CCP) += Microsoft Windows Compute Cluster Server (CCS) 2003 Matériel x64Matériel x64 Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres) Matériel x64Matériel x64 Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres) Support du standard de l’industrie : MPI2Support du standard de l’industrie : MPI2 Ordonnanceur intégréOrdonnanceur intégré Outils de gestion du clusterOutils de gestion du cluster Support du standard de l’industrie : MPI2Support du standard de l’industrie : MPI2 Ordonnanceur intégréOrdonnanceur intégré Outils de gestion du clusterOutils de gestion du cluster Solution intégrée “out of the box”Solution intégrée “out of the box” Tire parti des investissements réalisés dans les compétences et outils WindowsTire parti des investissements réalisés dans les compétences et outils Windows Rend l’exploitation du cluster aussi simple et sécurisée que celle d’un système uniqueRend l’exploitation du cluster aussi simple et sécurisée que celle d’un système unique Solution intégrée “out of the box”Solution intégrée “out of the box” Tire parti des investissements réalisés dans les compétences et outils WindowsTire parti des investissements réalisés dans les compétences et outils Windows Rend l’exploitation du cluster aussi simple et sécurisée que celle d’un système uniqueRend l’exploitation du cluster aussi simple et sécurisée que celle d’un système unique La solution la plus économique et la plus simple à déployer et administrer pour répondre aux besoins de calculs complexes

Architecture SUA : Services for Unix Apps Hardware Abstraction Layer Windows Kernel Windows Subsystem Subsystem for UNIX-based Applications (SUA) Subsystem for UNIX-based Applications (SUA) Windows APIs UNIX APIs UNIXApplications WindowsApplications

Porter des apps en utilisant SUA L’effort pour porter des applications Unix sur Windows est maintenant équivalent à celui du portage de Unix vers un autre Unix SUA UNIX Windows Server ScriptsScripts Apps Apps CopyandRun Re-Compile

Partenaires

CCS V2 : les objectifs

Résumé

© 2007 Microsoft France Votre potentiel, notre passion TM