Mardi 9 Février 2010 Thomas VARLET Avant Vente HPC Microsoft France Présentation de Windows HPC Server 2008 : fonctionnalités, cas d'emploi et beta de la version R2 Mardi 9 Février 2010 Thomas VARLET Avant Vente HPC Microsoft France

Windows HPC Server 2008 R2 Windows HPC Server 2008 Fonctionnalités Cas d’emploi Windows HPC Server 2008 R2 Présentation des nouvelles fonctionnalités

Windows HPC Server 2008 R2 Windows HPC Server 2008 Fonctionnalités Cas d’emploi Windows HPC Server 2008 R2 Présentation des nouvelles fonctionnalités

Environment HPC Infrastructure d’entreprise Equipes Informatiques Stockage Réseaux rapides Clusters/supercomputers Equipes Informatiques Analystes financiers Ingénieurs Scientifiques Technologies Mainstream Compilateurs Languages spécialisées Debuggers

High Productivity Computing Infrastructure combinées Fusion des Datacenters HPC et IT, administration du cluster simplifiée Environnement PC et HPC unifiée Utilisateurs avec un accès a de multiples cœurs et serveurs Environnement de développement unifié Développement parallèle simplifié

Vision de Microsoft pour le HPC 4/2/2017 4:50 AM “Fournir une plateforme, des outils et un large écosystème pour réduire la complexité du HPC en rendant le parallélisme plus accessible pour trouver de futurs solutions/produits. Réduire la complexitée Mainstream HPC Large écosystème Faciliter le déploiement de gros cluster Adresser les besoins traditionnels du HPC Augmenter le nombre d’applications parallèle Simplifier l’administration de cluster Adresser les besoins émergeant du calculs Offrir un choix d’outils/ langages / bibliothèques parallèle Intégration avec l’infrastructure existante Permettre aux utilisateurs non techniques d’utiliser la puissance d’une solution de calcul Augmenter le nombre d’utilisateurs/développeurs/ administrateurs © 2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Windows Server 2008 HPC Edition Windows HPC Server 2008 Plateforme complète et intégrée de cluster HPC Basée sur la plateforme Windows Server 2008 Environnement intégré de développement Windows Server 2008 HPC Edition Sécurisé, Fiable, Testé Support de matériel haute performance (x86-64, réseau rapide) Microsoft HPC Pack 2008 Ordonnanceur Gestion des Resources Gestion du Cluster Message Passing Interface Windows HPC Server 2008 Solution intégrée Consolide les investissements dans l’infrastructure Windows Sécurise et facilite la gestion de cluster Version d’évaluation disponible sur http://www.microsoft.com/hpc

HPC Pack 2008 Administration du système Job Scheduling Réseau & MPI 4/2/2017 4:50 AM Interface fenêtrée (MMC) Interface PowerShell Haute disponibilité des frontales Windows Deployment Services Diagnostiques/Reporting Agent pour SCOM Support pour SOA et WCF Sélection de la granularité des ressources Scalabilité pour de gros clusters, Gestion de politique de scheduling Interopérabilité via HPC Profile Administration du système Job Scheduling Réseau & MPI Stockage NetworkDirect (RDMA) pour MPI Wizzard de configuration du cluster Mémoire partagée pour MPI sur multi-cœur MS-MPI est intégré avec Windows Event Tracing Support de système de fichiers parallèle dans Win2008 Server Message Block ( SMB v2) Support de système de mémoire cache © 2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Topologie typique Infrastructure IT Réseau d’entreprise Nœud Maitre 4/2/2017 4:50 AM Infrastructure IT Windows Update Monitoring Systems Management AD DNS DHCP Réseau d’entreprise Nœud Maitre Nœud de calcul Nœud de calcul Admin / User Cons Node Manager Node Manager WDS MPI MPI Job Scheduler Management Management MPI Management NAT Réseau Privé Réseau MPI Cluster © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Faciliter l’administration Simple à installer et à gérer dans un environnement familier Solution clef en main avec nos OEM Simplifie le déploiement de systèmes et d’applications Images de base, patches, drivers, applications Administration : Diagnostics, dépannage et monitoring Interface de gestion familière et flexible Ligne de commandes Extensible : Déploiement, administration, infrastructure Haute disponibilité du nœud maitre Rapport d’utilisation du cluster Intégration dans l’infrastructure d’entreprise Gestion des Patchs System Center Operations Management PowerShell « Windows 2008 high Availability Services »

Faciliter l’utilisation : Ordonnanceur Support toutes les tailles de cluster : Cluster “hétérogènes” Interface du type Linux/Unix Gestion des ressources Mémoire, cœur, socket, applicatif Gestion des utilisateurs Groupe, priorités Gestion des jobs « Grow/shrink », SOA Interopérabilité : Ordonnanceur du marché File système parallèle Large support d’application : Travail avec les ISV

Windows HPC Server 2008 R2 Windows HPC Server 2008 Fonctionnalités Cas d’emploi Windows HPC Server 2008 R2 Présentation des nouvelles fonctionnalités

Centre de Jouys-en-Josas : Laboratoire de Génétique Microbienne "Rapidité de développement, performance, ergonomie, nous disposons d’une architecture matérielle et logicielle qui va nous aider dans le traitement des données", développer des applications clés en main pour les biologistes. Cluster DELL de 8 serveurs sous HPCS cluster Centre de Nancy : Simulations du comportement du bois optimisées « Cet environnement de simulation complet et intégré permet d’exploiter pleinement le calcul parallèle et distribué, nous donne une totale autonomie pour la gestion de la plate-forme et facilite la démarche d’optimisation du code de simulation »  Premier cluster DELL de 5 serveurs sous CCS Etendu a 13 serveurs avec IB sous Windows HPC Serveur

EURO/CFD : Entreprise spécialisée dans la simulation numérique des phénomènes physiques à Belfort, 11 Ingénieurs, ANSYS Fluent Premier cluster de 24 serveurs (144 cœurs) sous CCS Maintenant, cluster de 35 serveurs (220 cœurs) sous HPCS

L'Institut Automobile du Mans (IAM) a pour objectif le développement socio-économique de la filière automobile des Pays de la Loire. Met a la disposition de ses membres de la puissance de calcul sous Windows 4 clusters reconfigurables : 4 frontales Total de 8 serveurs Conseil/Intégration/réalisation : Serviware Solution de calcul ANSYS, Simulia, Altair, …

Cluster HP sous Windows HPC Serveurs 2008 8 serveurs dans 4U 54 cœurs Intel Xéon 5560 Réseau Infiniband Pour nos clients : Démo, Tests, Séminaires HPC

Windows HPC Server 2008 R2 Windows HPC Server 2008 Fonctionnalités Cas d’emploi Windows HPC Server 2008 R2 Présentation des nouvelles fonctionnalités

Personal Super Computing Entrée de Microsoft dans le HPC 2006 Personal Super Computing Windows Server 2003 Entrée de Microsoft dans le HPC Besoin « personnel » ou départemental Application HPC disponible sous Windows Outils de développement parallèle et HPC Facilité d’administration et de déploiement Intégration dans l’infrastructure Microsoft

Microsoft HPC Server Broad Reaching HPC Windows Server 2008 2006 2008 Broad Reaching HPC Windows Server 2008 Support du HPC traditionnel et émergeant Support de grand cluster (Top500) Meilleurs support des outils de développement et SOA Amélioration d’administration et de déploiement Intégration dans l’infrastructure Microsoft

Highly Scalable, Efficient HPC Prochain Windows HPC 2010 Parallel Extensions 2006 2008 2010 Highly Scalable, Efficient HPC Windows Server 2008 R2 Infrastructure extensible jusqu’a 1000+ serveurs Elément d’administration « customisable » pour un meilleur contrôle Evolution du modèle SOA pour une meilleur extensibilité et programmation Modèle de programmation parallèle dans les Extensions .NET Intégration dans l’infrastructure Microsoft

Quels nouvelles fonctionalités ATTENTION : ces fonctionnalités peuvent encore changer (ajout/suppression) Version Béta 2 sera complète ! Performance Utilisation Efficassité - Amélioration pour déploiement de grand clusters, - Support de base de donnée distante pour le cluster Nœuds virtuels Wizzard de gestion des patchs Group de serveurs Customisation de la Heat map - Nœuds de calculs sans disque via boot réseau basé sur iSCSI Filtres et vue multiples Diagnostiques/Rapports extensibles Admin. Système Optimisations pour gestion de grand clusters Extension du modèle de « parameter sweep » Vue de la progression des jobs Taches de préparation/nettoyage Information sur les jobs en erreurs Amélioration de la sécurité Envoie d’email Utilisation de PC sous Windows 7 dans le cluster Gestion des priorité des services Amélioration de la gestion des licences applicatives Job Scheduler Job Scheduling Dynamic or JIT Parametric Sweeps – (Just in time parametric sweeps) Best explained through an example. Say you had a 100,000 task sweep, instead of creating all the tasks at submit time and incurring a big database hit, they are created as needed increasing the overall performance of the system Application Progress Tracking – Provides an API and User Interface that allows application developers a way to provide better job status Support for Pre and Post Tasks – Allows for a task to be run before the first job task and/or after the last task in a job has completed. Increased Scale and Throughput – need more information on the details. Runtime Broker re-architecture – The WCF Broker was re-written to be a service with new functionality. For example, today throttling to the broker needs to be done at the client, this is addressed in v3. Brokers now process a single job per broker session which helps with usability. Broker node can also restart and continue to process messages it already recevied and committed. These changes also allow for the F&R functionality below. File and Recollect Programmability (offline SOA) –which allows clients to send messages before the job starts and collect the results when complete. Today SOA jobs require that the client remain connected for the entire duration of the job. This allows for the client to submit a job, disconnect or go offline, and collect results when returning online. Simple Java Interoperability - Ability to create broker sessions and send/receive messages from a Java client using basic web service interoperability protocols that most tools, such as Apache CXF, support them. Administration Support for Windows Server 2008 R2 Deployment and Management @ scale 4x previous release RTM target 1000 nodes Heat Map Enhancements (see slide) Reporting Extensibility – No longer limited to the built in reports that we provided in v2. Anybody can create custom reports within the extensibility framework. Remote Database Support – 2 things here. Job Scheduling and management databases were separated. Also the database server no longer has to reside on the head node. Vérification/Diagnostiques Diagnostiques extensible Corrélation des traces Tracing Plus de compteur de perf sur les Broker CLI pour voir les sessions Modèle d’échange de messages en duplex, Persistance des Messages Redémarrage automatique des WCF broker ou haute disponibilité JOB SOA : lance et collecte - Installation Out-of-the-box des WCF broker Point de configuration unifié via IU Barre de progression intégré Modèle SOA - Options de tunning MS MPI Placement des processus MPI Support MPI

Deploiement Flexible Requête client HPC Server 2008 R2 Serveurs sans disque Boot réseau iSCSCI = disque n’est pas dans le serveur Support initial : NetApp filers et Windows Storage Server 1000 serveurs à Université de Southampton Top 500 Upgrade flexible Upgrade de la frontale vers R2 Server et HPC Pack R2 Guide de migration de la configuration et historique Support de nœuds de calcul sous Windows Server 2008 et 2008 R2 Performance de la base de donné du cluster Sépare les fichiers de données et log à l’installation Base de donnée du cluster sur un SQL serveur distant Clusters Dual Boot « Best practices » de nos labs Déploiement Hybrid ROCKS Linux/Windows de Clustercorp Ordonancement de cluster Dual boot de Adaptive Computing et Platform Computing

Extensibilité Requête client HPC Server 2008 R2 Performance Performance équivalente à Linux « Hands-on work » avec des ISVs et codes open source Collaboration avec Argonne sur MPI Travail avec l’Alliance Open Fabrics Alliance pour Infiniband sur Windows NetworkDirect pour communications RDMA MPI Démontrer l’extensibilité Tests réguliers sur des clusters de 1000+ serveurs Conseils sur la configuration de la frontale Runs Top 500 réguliers Utilisation pour de petits/moyen/gros clusters Customisation de la Heat map et liste des nœuds Groupe de nœuds basé sur la localisation Scripting Powershell pour toutes les actions Extensibilité avec Microsoft Operations Manager Utilisation de la puissance de mes stations de travail Des machines sous Windows 7 pourront rejoindre le cluster pour ajouter de la puissance de calculs

Heat Map Flexible Support for larger node counts Overlay or Stack views Zoom In/Out Filtering by Group, State, & Health Custom Tabs or “Familiar List” Ability to customize Further… Overlay or stacking Max over interval Flip Scale Log scale Colors

Utilisation de stations de travail Augmenter la puissance du cluster HPC en utilisant la puissance libre sur les stations de travails. Principe : HPC Server 2008 R2 introduit la possibilité d’ajouter des PC sous Windows 7 comme des nœuds de calculs dans un cluster HPCS Vois et surveille les PC comme des nœuds de calculs dédiés. Utilisation pendant des créneaux de disponibilité (nuit, week-end, … ) Les Jobs soumis sur un PC : niveau de priorités bas éviter une interruption de service sur la console. Prérequis Windows 7 Professional ou Enterprise besoin du support Active Directory Ne supporte que la topologie 5 : PC, la frontale et les nœuds de calculs doivent-être sur le même réseau public Même domaines pour PC et serveurs

Diagnostiques avancé Requête client HPC Server 2008 R2 Framework de Diagnostiques Framework diagnostics extensible Ecrire son scripts/code de test Nous travaillons avec ISVs, vendeurs de réseaux, et OEMs Nouvelles diagnostiques pour SOA et réseau Progressions des Job Montre en % la progression du job Nouvelle API pour les intégrer le rapport dans les applications Statuts des taches Erreurs et Tracing Voir tous les messages d’erreurs Sous statuts lors du déploiement Traces pour SOA MPI and SOA debugging Extensibilité de la base de données du clusters Exportation de l’historique des job et des taches pour un rapport personnalisé Analyse avec SQL Server Reporting, Excel, etc

Business Critical SOA Requête client HPC Server 2008 R2 Features Paralléliser facilement les applications Expose les calculs comme des services WCF Etendre les applications aux cluster de calcul Haut débit et faible latence Lance et re-collecte Client soumet une requête puis se reconnecte pour collecter les résultats Paradigme de batch SOA Requêtes et résultats survivent si le client tombe WS-* Interop Construit sur des services web standard Exemples pour des clients Java et C/C++ Haute disponibilité du Broker Déploiement de broker Haute Disponibilité avec «Windows Failover Services » MSMQ est utilisé pour la persistance des requête et des réponses Gestion des services Contrôle interactif des applications Garanti aux applications un nombre minimum de cœurs Possibilité de « Grow and shrink » avec les ressources disponibles

code VSTO dans un classeur appel un service SOA Entrées et sorties gérés par le développeur Excel Excel 2010 sur Windows HPC Windows HPC Server 2008 R2 fournis 2 nouveaux mécanisme pour distribuer des calculs Excel sur un cluster HPC Excel fonctionne sur le cluster et calculs des classeurs Lancé depuis un client (Excel/application) Excel 2010 sur un serveur lancé par un services SOA, Nécessite HPC Server 2008 R2 et Excel 2010 Excel client SOA Depuis Excel, envoie les UDF (XLL) existantes sur un cluster Simple add-in Excel pour lancer les UDF sur le cluster Nécessite HPC Server 2008 R2 et Excel 2010 Remote Excel Nouveau SOA Client: Best for logic in managed code Excel runner: Best for multiple runs of same model UDF: Exposing existing UDFs and native code Not plug and play Remote UDF Nouveau

Community Technical Preview Windows HPC Server 2008 R2 Release Schedule Q2 2009 Q3 2009 Q4 2009 Q1 2010 Q3 2010 Mai Juin Juil. Aout Sept Oct Nov Dec Jan Fevr Mar Community Technical Preview May 2009 CTP 2 Sept 2009 Beta Nov 2009 Beta2 Mar2010 RTM H2 2010 Windows HPC Server 2008 SP1 RTM Eté 2010 English, Chinese, Japanese

Pour plus d’informations http://www.microsoft.com/hpc Liens pour télécharger Beta 1 sur MS Connect Liens pour télécharger des docs sur R2 http://technet.microsoft.com/hpc Liens vers des documentations techniques, Blog équipe HPC et forums HPC Mis à jour régulièrement avec des nouvelles documentations, SDKs, exemples, vidéos, et autres infos utiles

Autres sessions HPC Mardi 9 Février de 17h30 à 18h30 Microsoft Office Excel 2010 et Windows HPC Server 2008 R2 : puissance d'un cluster de calcul Excel Des calculs de plus en plus énormes se font dans des feuilles Excel. Il n'est pas rare que ceux-ci durent des heures voire des jours. Il était logique qu'Excel comme les autres applications de calcul puisse tirer parti de la puissance des clusters HPC. Avec la beta de Windows HPC Server 2008 R2 et Excel 2010 un premier pas important est fait dans cette direction. Venez comprendre et voir les mécanismes mis en oeuvre avec des démos « live ».