Les projets à la pointe en sciences, ingénierie, finance… nécessitent des capacités supérieures à celles offertes par les machines indépendantes Besoin.

Présentation au sujet: "Les projets à la pointe en sciences, ingénierie, finance… nécessitent des capacités supérieures à celles offertes par les machines indépendantes Besoin."— Transcription de la présentation:

1

2 Les projets à la pointe en sciences, ingénierie, finance… nécessitent des capacités supérieures à celles offertes par les machines indépendantes Besoin daccélérer les cycles de recherche, dinnovation, de développement de produits tout en améliorant la qualité des résultats et en diminuant les coûts Conception daéronefs utilisant des matériaux composites Amélioration de la consommation et de la sécurité des véhicules Simulations de catalyse denzymes Simulation de réservoir et traitements sismiques Conception de matériaux et de médicaments Simulation électronique nanoscopique Modélisation du risque des portefeuilles financiers Création et traitement de contenu numérique Modélisation et optimisation de la chaine de production Les économies de volume apportées par les composants standard et les logiciels commerciaux contribuent à rendre les capacités du HPC de plus en plus disponibles pour un plus grand nombre dutilisateurs

3 Usage dans l industrie augment e GigE augmente (50% des systemes) Clusters plus de 70% x86 est leader (Pentium 41%, EM64T 16%, Opteron 11%)

4 199119982005 SystèmeCray Y-MP C916Sun HPC10000Small Form Factor PCs Architecture 16 x Vector 4GB, Bus 24 x 333MHz Ultra- SPARCII, 24GB, SBus 4 x 2.2GHz Athlon64 4GB, GigE OS UNICOSSolaris 2.5.1Windows Server 2003 SP1 GFlops~10 Top500 # 1500N/A Prix $40,000,000$1,000,000 (40x drop)< $4,000 (250x drop) Clients Government LabsLarge EnterprisesEvery Engineer & Scientist Applications Classified, Climate, Physics Research Manufacturing, Energy, Finance, Telecom Bioinformatics, Materials Sciences, Digital Media

5 …mettre en place un cluster est trop complexe.. Faire plus de science et moins dinformatique..Disposer dune solution simple dutilisation...le développement dapplications parallèles est difficile.. Pas suffisamment doutils Utilisateurs IT Pros Développeurs

6 Permettre aux chercheurs et ingénieurs dutiliser des ressources de calcul massives pour résoudre les problèmes techniques complexes Faciliter le développement sur les ressources de calcul distribuées et diminuer la complexité et le coût dopérations

7 Windows Server 2003 Compute Cluster Edition Compute Cluster Pack (CCP) += Microsoft Windows Compute Cluster Server (CCS) 2003 Identique à Windows Server 2003 x64 Standard EditionIdentique à Windows Server 2003 x64 Standard Edition Tarif plus agressif mais lutilisation est limitée aux solutions de calculTarif plus agressif mais lutilisation est limitée aux solutions de calcul Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres) Composants additionnels pour les calculs parallèlesComposants additionnels pour les calculs parallèles Support du standard de lindustrie : MPI2Support du standard de lindustrie : MPI2 Ordonnanceur intégréOrdonnanceur intégré Outils de gestion du clusterOutils de gestion du cluster Options dinstallation : Head Node, Compute Node, machine clienteOptions dinstallation : Head Node, Compute Node, machine cliente, Solution intégrée out of the boxSolution intégrée out of the box Tire parti des investissements réalisés dnas les compétences et outils WindowsTire parti des investissements réalisés dnas les compétences et outils Windows Rend lopération du cluster aussi simple et sécurisée que celle dun système uniqueRend lopération du cluster aussi simple et sécurisée que celle dun système unique

8

9 Windows Compute Cluster Server 2003 vue de lIT Pro

10 RéseauMPI Réseauprivé Réseaupublic Infrastructure IT Nœud Nœud maître ADDNSDHCP Windows Update Supervision MOMMOM 3 rd party3 rd party Administration des systèmes SMS SMS 3 rd party 3 rd party Compute Cluster Admin / User Cons RIS(optional) Job Scheduler Management NAT (optional) Node Manager MPI Management Nœud MPI Management

11

12 Le nœud maitre doit hébergé la version Windows Server 2003, Compute Cluster Edition ou une version Windows Server 2003 X64 Edition Le nœud maître doit être connecté à au moins un réseau dépendant du choix de la topologie de cluster que vous avez retenu et vous devez posséder les privilèges administrateur local de la machine Le nœud maître doit être membre dun domaine Active Directory (recommandé) ou être contrôleur de domaine du domaine du cluster (non recommandé)

13

14 3 façons pour ajouter un nœud au cluster Automatiquement via RIS. Simplement démarrer le nœud et F12 Outils de déploiement tierce partie : setup.exe -computenode: Outils de déploiement tierce partie : setup.exe -computenode: Manuellement via le setup CCP-CD2 Nœuds sont déjà installé via une solution tierce ou manuellement Lancer lassistant ajouter un nœud Manuelle Automatique (RIS) Nœuds (OS+CCP) installés automatiquement Automatique ou Manuelle?

15 Réseau privé Réseau public Nœud de calcul Nœud maître AD Console Admin / User Administration Administration Corp\John Corp\Sally Administrators Local Users Local Administrators Local Users Local Propagation

16

17 Intégration avec linfrastructure existante Prise en charge dActive Directory et des concepts de sécurité Windows Pas de permission spéciale pour installer un cluster de calcul Intégration avec les solutions dadministration Microsoft et tierces parties (MOM, SMS, etc…) Opérations dadministration et de déploiement simplifiées Configuration basée sur un séquencement des taches pour le nœud maitre et les nœuds de calcul De multiples façons dajouter un nœud Gestion des nœuds au travers dune console graphique, la ligne de commande et le scripting Supervision au travers de MOM ou de solutions tierces Administration en ligne de commande cluscfg.exe

18 Windows Compute Cluster Server 2003 Ordonnanceur de travaux (Job Scheduler)

19 User App MPI Node Manager Job Execution DB/FS Utilisateur Ligne de commande Application Job Mgr UI Admin ConsoleAdmin Ligne de commande Head Node Job Mgmt Resource Mgmt Cluster Mgmt Scheduling High speed, low latency interconnect Tasks Management Jobs Policy, reports Active Directory Données Input Domaine\Utilisateur

20

21 Serial Job Tâche Proc Parallel MPI Job Tâche Proc Proc IPC Parameter Sweep Job Tâche Proc Tâche Proc Tâche Proc Task Flow Job Tâche Tâche Tâche Tâche

22

23 Job job new [job_terms] create a job container job add jobID [task_terms] add tasks to a job job submit /id:jobid submit job / tasks job submit [job_terms][task_terms] submit a job job cancel jobID cancel a job job modify [options] modify a job job requeue JobID requeue a job job list list jobs in the cluster job listtasks list tasks of a job job view JobID view details of a job Tâche (Task) task view view details of a task task cancel cancel a task task requeue requeue a task Cluscfg cluscfg view view details of a cluster cluscfg params/setparams view/set config params cluscfg listenvs/setenv list / set cluster wide env cluscfg delcreds/setcreds set /delete user cred

24

25 Windows Compute Cluster Server 2003 vue du developpeur

26 Job Scheduler de CCS Soumission de job via une interface de programmation MPI (Message Passing Interface) de CCS OpenMP Visual Studio 2005 Nouveau débuggeur parallèle

27

28 Le calcul parallèle est un domaine dutilisation de linformatique en pleine croissance et appelé à se développer fortement Windows Compute Cluster Server 2003 est la première étape de linitiative de Microsoft visant à rendre le HPC accessible à tous les chercheurs, ingénieurs et à tout type dentreprise Windows Compute Cluster Server 2003 permet … Une obtention plus rapide des résultats grâce à une simplification du déploiement du cluster, de la soumission et du suivi dun job Lintégration avec linfrastructure Windows permettant dutiliser la technologie et les compétences existantes Un environnement de développement intégré permettant aux développeurs décrire et de déboguer des applications parallèles depuis lenvironnement Visual Studio 2005

29 Windows Compute Cluster Server 2003 Lancé officiellement le 12 juin Disponible sur le marché depuis le 1 er août Pack dadministration pour Microsoft Operations Manager 2006 Windows CCS 2003 Service Pack 1 Support de Windows Deployment Services Support de Windows Server 2003 SP2 Améliorations ergonomiques 2007 Windows CCS V2 2008

30 Sessions Introduction au HPC pour les développeurs Mardi 6 février 17h30 – 18h30 Migration de code de calcul Unix/Linux vers une plate-forme cluster Windows Mercredi 7 février 13h – 14h

31 Site produit Microsoft HPC http://www.microsoft.com/france/hpchttp://www.microsoft.com/hpc Site technique Microsoft HPC (articles, webcasts et e demos) http://www.microsoft.com/france/technet/produits/ccs/default.mspx.http://www.microsoft.com/windowsserver2003/ccs/techresources/default.mspx Sites communautaires http://windowshpc.net/ GotDotNet Gallery pour HPC http://www.gotdotnet.com/codegallery/codegallery.aspx?id=0c12237e-58e3- 4a9f-9637-ec6a4b9efe4d Bloghttp://blogs.msdn.com/hpcNewsgroup http://www.microsoft.com/france/communautes/webnews/France/default.mspx? dg=microsoft.public.fr.hpc

32 Sinformer - Un portail dinformations, des événements, une newsletter bimensuelle personnalisée Se former - Des webcasts, des articles techniques, des téléchargements, des forums pour échanger avec vos pairs Bénéficier de services - Des cursus de formations et de certifications, des offres de support technique Visual Studio 2005 + Abonnement MSDN Premium Abonnement TechNet Plus : Versions déval + 2 incidents support

33 © 2007 Microsoft France Votre potentiel, notre passion TM