La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

2 Nouveautés : Windows HPC Server 2008 R2 et le vol de cycles Mercredi 9 Février : 11H00 à 12H00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas.

Présentations similaires


Présentation au sujet: "2 Nouveautés : Windows HPC Server 2008 R2 et le vol de cycles Mercredi 9 Février : 11H00 à 12H00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas."— Transcription de la présentation:

1

2 2 Nouveautés : Windows HPC Server 2008 R2 et le vol de cycles Mercredi 9 Février : 11H00 à 12H00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas VARLET – Expert Technical Computing Microsoft France

3 3 Agenda Initiative Technical Computing Windows HPC Server 2008 R2 Administration/surveillance du cluster Ajouter de la puissance au cluster Utilisation du cluster Développement dapplications parallèles

4 4 Initiative Technical Computing

5 5 Tendances ayant un impact sur le HPC Explosion des données Gestion des données Analyse des données Contrôler et aligner les couts Coût total Unifier linfrastructure dentreprise et le HPC Plus de puissance de calcul Plateforme Multi-coeur Cloud computing GPU Rendre le HPC plus accessible Rendre laccès plus facile pour les utilisateurs dorganisations de toutes tailles Utiliser les compétences des équipes IT pour administrer les ressources HPC Tendances dans le HPC

6 6 Vision de Microsoft pour le HPC 6 Fournir une plateforme, des outils et un écosystème, le tout intégré et complet pour réduire les coûts et la complexité du HPC. Offrir une vision claire et complète du futur. Faciliter le déploiement des clusters de calculs Simplifier la gestion de clusters de toutes tailles Intégrer les clusters avec linfrastructure existante Adresser les besoins traditionnels du HPC Adresser les technologies émergeantes Offrir un accès simple aux puissances fournies par le HPC Augmenter les nombre dapplications parallèles Offrir un large choix doutils de dev./langages /bibliothèques Construire un univers plus large dadministrateurs / de développeurs et dutilisateurs

7 7 HPC hautement « scalable » et efficace Construit à partir de Windows Server 2008 R2, Construit à partir de Windows Server 2008 R2, Extensible à des milliers de serveurs, Extensible à des milliers de serveurs, Eléments dadministration personnalisable pour un meilleur contrôle Eléments dadministration personnalisable pour un meilleur contrôle Evolution du modèle SOA pour une programmation plus facile et une plus grande extensibilité Evolution du modèle SOA pour une programmation plus facile et une plus grande extensibilité Développement parallèle avec VS 2010 &.NET 4.0 Développement parallèle avec VS 2010 &.NET 4.0 HPC Services pour Excel ® 2010 HPC Services pour Excel ® 2010 Extension des capacités via les stations de travail et Windows Azure Extension des capacités via les stations de travail et Windows Azure Windows HPC aujourdhui

8 8 Windows HPC Server 2008 R2 Une plateforme complète et intégrée de cluster HPC Construit à partir de Windows Server 2008 R2 64-bit Répond aux besoin actuels et futurs du HPC Windows Server 2008 R2 HPC Edition Securisé, fiable, testé Support de hardware haute performances (x64, réseaux rapides, GPU) Microsoft HPC Pack 2008 R2 Enterprise Ordonnanceur Gestion des ressources Gestion du Cluster Message Passing Interface Support de Windows 7 Support de Windows Azure Microsoft Windows HPC Server 2008 R2 Suite Propose une solution complète Rentabilise les investissements sur ladministration Windows et ses outils Rend les opérations aussi faciles que sur un seul système

9 9 Windows HPC Server 2008 R2 Suite Cluster utilisant un hardware standard HPC Edition SOA MPI Cluster SOA Excel ISV /OSS Applications Système dexploitation HPC Middleware Pack Applications HPC

10 10 ClientClusterCloud Une machines avec un seul espace dadressage mémoire Nœuds multiples, Mémoire distribuée Nœuds multiples, Mémoire distribuée, Capacité à la demande Microsoft Technical Computing

11 11 On-premise Windows HPC et le Cloud Desktop User HPC Head Node Broker Node(s) HPC Cluster Desktop Compute Cloud via Idle Workstation Cores Azure Azure Compute Instances Azure Compute Proxies

12 12 Windows HPC Server 2008 R2

13 13 Windows HPC Server 2008 R2 13 Modèles dapplication multiples Administration Outils de dev. Parallèle & Cluster Technologies nouvelles Scale Performance Partners Secure MPI Job en batch Mode interactif (SOA) Calculs distribués « Business Critical » SOA Excel et apps ISV Politique dutilisation du cluster Déploiement Configuration Monitoring Diagnostics Trouble Shooting Diskless & Dual-boot Reporting Tuning de Performance Private clouds Public clouds HPC comme un service Big Data Analytics Visualisation Workflow intégré IDE intégré Debugger MPI Profiler MPI debugger SOA Task Parallel Library, PLINQ Support intégré des GPU 1000s de machines

14 14 Architecture dun cluster HPC Compute Nodes HPC Clients Head Nodes Active Directory Jobs Windows HPC Server 2008 R2 cluster Requests

15 15 Rôles dans WHPCS R2 Head NodeHead Node Serveur qui permet dadministrer et dutiliser les ressources de calcul du cluster, cest linterface du cluster Broker NodeBroker Node Serveur(s) qui dirige(nt) les appels aux services WCF depuis les clients SOA vers les services SOA sur les computes nodes Compute NodeCompute Node Serveurs sous WS2008/WS2008 R2 x64 qui fournissent de la puissance de calculs aux utilisateurs Toujours disponibles Workstation nodeWorkstation node PC sous Windows 7 qui fournit de la puissance de calcul additionnelle au cluster Disponibilité variable en fonction des choix de lorganisation Azure nodeAzure node Ressource supplémentaire provisionnée dans Windows Azure SP1

16 16 Workstation Nodes Jobs Mise en oeuvre des rôles HPC Clients Head Nodes Active Directory Broker Nodes Jobs WCF request Azure Node Jobs Compute Nodes Jobs

17 17 Administration et surveillance du cluster

18 18 Administration du cluster Une seule console pour TOUTES les taches dadministration Interface GUI, PowerShell, Command Prompt Déploiement Monitoring Diagnostics Gestion des utilisateurs/administrateurs du cluster Gestion des serveurs Etats : Santé : services HPC Statuts : ordonnanceur Organiser : Création de groupes de machines P. Ex. : Groupe machines avec/sans GPU P. Ex. : Groupe machines avec ANSYS Fluent Passer des commandes Gestion des mises à jours

19 19 Administration du cluster déploiement Déploiement rapide de cluster ayant plus de 1000 machines Déploiement Parallèle en utilisant le mode multicast de WDS Surveiller létat du déploiement Wizzard de déploiement « To-Do list » montre les étapes Générer/capturer des images, personnalisation de linstallation Boot iSCSI sur le réseau pour des serveurs sans disque local Dual-boot pour lancer des applications Windows et Linux sur le même cluster Partenariat avec Platform Computing et Adaptive Computing NEW

20 20 Administration du cluster Cluster Monitoring Heatmap montre le statut global du clusterHeatmap montre le statut global du cluster Jusquà trois métriques par serveur Onglets personnalisables et multiples pour des vues différentes de la Heatmap. Voir les machines groupées par hardware; software ou par des attributs personnalisésVoir les machines groupées par hardware; software ou par des attributs personnalisés Surveillance sans agent des computes nodesSurveillance sans agent des computes nodes Voir le statut et le progrès des jobs et des tâchesVoir le statut et le progrès des jobs et des tâches

21 21 Administration du cluster Diagnostics & Reporting Intégration avec Event Tracing for Windows (ETW) pour du « trouble shooting ».Intégration avec Event Tracing for Windows (ETW) pour du « trouble shooting ». Tracing SOA, debugging MPI et SOATracing SOA, debugging MPI et SOA Collection de diagnostics qui permettent de vérifier un grand nombre de fonctions du cluster (déploiement, infra, perf, … )Collection de diagnostics qui permettent de vérifier un grand nombre de fonctions du cluster (déploiement, infra, perf, … ) Framework extensible de diagnosticsFramework extensible de diagnostics Ouvert aux développeurs Création de diagnostics personnalisables dans tous les langages de programmation ou scripts. Infrastructure extensible de reportingInfrastructure extensible de reporting Interface dadministration du cluster Les données sont stockées dans une base SQL, elles sont exportables via PowerShell, SQL Server Reporting services ou Excel. P.ex. : Silverlight reporting samples

22 22 Haute disponibilté Les parties clé du cluster sont toujours disponiblesLes parties clé du cluster sont toujours disponibles Head Node Active/passifActive/passif Cluster haute disponibilité SQLCluster haute disponibilité SQLSOA Broker NodeBroker Node –Active/passifs –MSMQ, MSCS Storage Haute disponibilité sur les requêtes SOA MSMQMSMQ JobsJobs Re-soumis si le nœud « fail »

23 23 Ajouter de la puissance au cluster

24 24 Ajouter des Workstation au Cluster Sommaire Ajouter des machines sous Windows 7 comme ressources de calculs Voir et surveiller les stations comme des computes nodes Calendrier de disponibilité Etendre la capacité du cluster en utilisant des stations de travail pour lancer des jobs de calculs Prérequis Windows 7 Professional ou Enterprise, 32 ou 64-bit (nécessite le support Active Directory) Desktops et cluster dans le mm domaine AD

25 25 Cluster HPC Server 2008 R2 avec des stations de travail Compute Nodes Clients HPC / Station de travail Requête Head Nodes Active Directory Jobs Windows HPC Server 2008 R2 cluster Jobs

26 26 Workstation Nodes : disponibilité HPCS R2 ne déploie pas les stations !HPCS R2 ne déploie pas les stations ! Disponibilité ManuelleDisponibilité Manuelle Définie par ladministrateur du cluster CalendrierCalendrier Donne la disponibilité des stations sur une semaine Vol de cycleVol de cycle Utilisation quand la station nest pas utilisée SP1

27 27 Cluster HPC Server 2008 R2 avec des Azure Node Compute Nodes HPC Clients Head Nodes Active Directory Jobs Broker Nodes Azure Node SP1 Jobs

28 28 HPCS dans Azure: Le Cloud à votre service Retour en local Début dans Azure, puis ajout en local 1.Service SOA du Cluster 2.Calcul distribué 1. En local, déployé dans Azure. 2.Tout dans Azure: SQL Azure, Azure Storage Tout dans le cloud Toutes les ressources dans Azure Tout local Toutes les ressources sont locales Mixe Compute Nodes locaux et ajout dynamique de ressources dans le Cloud Quatre modèles de déploiement Deux modèles de stockage Deux modèles dapplications SP1

29 29 Utilisation du cluster

30 30 Soumettre des jobs Compute Ressources HPC Clients Head Nodes Active Directory Jobs Windows HPC Server 2008 R2 cluster Requête HPC GUI HPC CMD/PS Web Interface Apps Requête Jobs

31 31 Une plateforme pour tous types dapplications : ordonnanceur Granularité des ressourcesGranularité des ressources core, socket ou server Gestion des différents types de JobsGestion des différents types de Jobs SOA, MPI, Batch, Interactive, balayage paramétrique Support des différents types de politique dordonnancementSupport des différents types de politique dordonnancement Grow & Shrink, Preemption, Service Balanced, Priority, Backfill Interfaces MultiplesInterfaces Multiples Command Line, GUI, SharePoint, Windows PowerShell 2.0, COM,.NET Support de large cluster (> 1000 serveurs)Support de large cluster (> 1000 serveurs) Support de matériel hétérogèneSupport de matériel hétérogène Groupe de serveur

32 32 Ordonnanceur : Gestion FonctionnalitésBut Resource Match- making Permet à lutilisateur de spécifier ses besoins (cpu, réseau et applications) de manière à ce que lordonnanceur puisse bien placer le job Job Profile Permet à ladministrateur de créer des politiques dutilisation optimales pour lutilisateur et le cluster Allocation de ressources à plusieurs niveaux Permet à lordonnanceur de placer dune façon optimale les applications intensives pour les accès mémoire et IO Préemption Permet aux job urgents de passer le plus rapidement possible afin de satisfaire les besoins importants pour lorganisation Grow & ShrinkMaximiser lutilisation des ressources et la production du cluster Service BalancedDémarrer le plus de jobs possible afin daugmenter la production du cluster

33 33 Performance et extensibilité: Network Direct Un design très proche du hardware pour offrir des performances proches des interfaces haute performance des réseaux rapides Performances équivalentes aux couches optimisées Drivers Network Direct pour les réseau haute performance: Infiniband 10 Gigabit Ethernet (iWARP-enabled) MS-MPI peut utiliser 4 modes: Mémoire partagée TCP/IP (Ethernet normal) Winsock Direct pour un RDAM basé sur des sockets Interface NetworkDirect User Mode Kernel Mode TCP/Ethernet Networking Kernel By-Pass MPI App Socket-Based App MS-MPI Windows Sockets (Winsock + WSD) Networking Hardware Hardware Driver Networking Hardware Mini-port Driver TCP NDIS IP Networking Hardware User Mode Access Layer Networking Hardware WinSock Direct Provider Networking Hardware NetworkDirect Provider RDMA Networking OS Component HPCS2008 Component IHV Component (ISV) App Une nouvelle interface réseau de type RDMA pour de meilleures performances

34 34 Plateforme pour tous types dapplications SOA sur un cluster HPC Expose les fonctions de calculs comme un service WCFExpose les fonctions de calculs comme un service WCF Applications distribuéesApplications distribuées Utiliser la puissance offerte par les cluster aux applications businessUtiliser la puissance offerte par les cluster aux applications business Optimisé pour une latence faible (ms) et une charge importanteOptimisé pour une latence faible (ms) et une charge importante Debugger et analyser afin de créer des applications robustesDebugger et analyser afin de créer des applications robustes Support pour des applications critiquesSupport pour des applications critiques Tolérance aux pannes du hardware et du réseau Tolérance aux pannes des postes/applications clientes

35 35 4. requêtes 6. Réponses Compute Nodes Workstation 5. Réponses 3. requêtes 2. Le gestionnaire de session démarre le job WCF Broker et le job WCF Service pour le job client 1. Crée une Session HPC Cluster SOA Organisation des requêtes Construit sur des Web Service Standards (WS* interop) Head Node Broker Node

36 36 Tourne de multiples instances Excel 2010 sur Cluster HPC Chaque instance lance une itération du même classeur Peut-être lancé depuis Excel 2010 ou une appli Windows Suppression des boites de dialogue Classeur Excel sur un Cluster Tourner en parallèle sur un cluster UDF Excel Excel 2010 inclut une nouvelle API et des options pour un cluster HPC Support des fichiers.XLL développés avec le SDK Facile à développer sur un desktop et déployé sur un cluster UDF Excel sur le Cluster Se connecte au cluster comme un client SOA code VSTO dans un classeur fait appel à un service SOA Entrées et sorties gérées par le développeur Excel Client SOA Excel NEW Accélérer Excel 2010

37 37 Exécuter un classeur Excel vers un cluster Compute Nodes Spreadsheet Head Node Brokers Requête de session Assigne un broker Soumission de tache Assignation dune tache Résultats

38 38 Exécuter des UDFs sur un Cluster Compute Nodes Spreadsheet Head Node Brokers Requête de session Assigne un broker Soumission de tache Assignation dune tache Résultats UDF

39 39 Accélérer Excel classeurs Excel vs. « Remote » UDFs Classeur Excel sur un cluster Calculs complexes ou basés sur des feuilles Excel. Des entrées multiples pour produire des sorties multiples Quand Excel est utilisé comme un moteur de calcul et pas une « simple » interface Code VBA Fournit une façon simple et non- destructive de porter des classeurs sur un cluster Pas besoin de développer une nouvelle plateforme Programmation Excel Maintenance simple par les utilisateur Gestion des pop-up Excel Extensibilité : limité par le hardware et SOA, pas Excel Remote UDFs Calculs encapsulés dans une fonction P. Ex. custom.XLL Calcul complexe ou gros consommateur de temps Peu de changement sur la fonction dans le temps Une recompilation nécessite un redéploiement sur le cluster Les calculs doivent être indépendants dautres cellules Pas dinterdépendance au sein de la feuille

40 40 Développement dapplications parallèles

41 41 Vue globale: Programmation parallèle sous Windows Une sélection riche et intégrée doutils/compilateurs/debugger/profiler pour écrire des applications parallèles Ecrire une apps Visual Studio IDE C C++ Intel Fortran PGI Fortran C# Python F# Cygwin env. MingW env. Exécuter MPI avec support RDMA High Performance MPI.NET OpenMP GPGPU (Nvidia, ATI) TPL (.NET parallelization) PPL (C++ parallelization) Parallel LINQ Debugger Debugger Cluster MPI Add-in VS de Allinea Debugger Multicore Marmot MPI Analyzer Profiler Visual Studio ETW: support de MPI Vampir MPI trace viewer Xperf ETW viewer et Analyzer VS/ETW Multicore Profile viewer Gestion Life Cycle mgmt Bug Tracking Support de tests Gestion des version Metrics Analyse

42 42 Windows HPC Server 2008 R2 Dévelopement dapplications parallèles pour un cluster Visual Studio et ses add-in pour le développement dapplications parallèlesVisual Studio et ses add-in pour le développement dapplications parallèles Support du développement MPI (debugger)Support du développement MPI (debugger) Support du développement dapplications SOA pour un clusterSupport du développement dapplications SOA pour un cluster Parallel LINQ et Task Parallel Library (TPL) inclus dans le.NET Framework 4.0Parallel LINQ et Task Parallel Library (TPL) inclus dans le.NET Framework 4.0 Support du développement pour des GPGPU en partenariat avec NVIDIASupport du développement pour des GPGPU en partenariat avec NVIDIA Support doutils et bibliothèques tiercesSupport doutils et bibliothèques tierces

43 43 Développement dApplication NVIDIA Parallel Nsight GPU computing CUDA C OpenCL DirectCompute Graphiques DirectX 10 and 11 OpenGL OS Windows Vista, Windows 7, et Windows Server 2008 Intégration dans Visual Studio 2008/2010 Accélérer le développement dapplications CPU + GPU

44 44 Technologies parallèles dans Visual Studio 2010 Rendre les applications parallèles plus productives et plus accessibles Abstraction et construction de haut niveau Faciliter et réduire limpact du développement parallèle sur le code Aider les développeurs à exprimer un parallélisme au sein du code et le faire correspondre aux ressources hardware Inclut des outils de développement avancés qui comprennent les constructions parallèles debugger et profiler

45 45 Pour nous suivre et participer : modelingtheworld.com twitter.com/modelingtw facebook.com/modelingtheworld : communauté, tous les forums pour toutes les questionswww.microsoft.com/hpc HPC sur Technet : HPC sur MSDN :

46


Télécharger ppt "2 Nouveautés : Windows HPC Server 2008 R2 et le vol de cycles Mercredi 9 Février : 11H00 à 12H00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas."

Présentations similaires


Annonces Google