Thomas VARLET Avant Vente HPC Microsoft France

Présentation au sujet: "Thomas VARLET Avant Vente HPC Microsoft France"— Transcription de la présentation:

1

2 Thomas VARLET Avant Vente HPC Microsoft France
Microsoft Office Excel 2010 et Windows HPC Server 2008 R2 : puissance d'un cluster de calcul Excel Mardi 9 Février 2010 Thomas VARLET Avant Vente HPC Microsoft France Xavier PILLONS Principal Program Manager WinCAT Microsoft Corporation

3 Agenda Microsoft Office Excel et le Calcul Haute Performance (HPC)
Un classeur Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 UDF Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 Excel comme un client SOA du cluster

4 Agenda Microsoft Office Excel et le Calcul Haute Performance (HPC)
Un classeur Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 UDF Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 Excel comme un client SOA du cluster

5 Performance & extensibilité avec Excel 2007
Accès a de + grosses feuilles 256 colonnes-> 16K 64k lignes- > 1M lignes Augmente la taille mémoire disponible 1Go -> 2Go Calculs « Multi-threadés » Utiliser tous les cœurs disponibles

6 Performance & extensibilité avec Excel 2010
Bienvenue dans le monde 64-bit Support natif du 64-bit Plus rapide pour certain scénarios vs. 32-bit (mais pas tous) Accès à plus de mémoire (2Go+) Amélioration des Performances Amélioration calcul/performances VBA Introduction de UDF XLL asynchrones Meilleur arrêt et libération des ressources Version multi-threadés : ouverture fichier/sauvegarde/Trie de « Pivot Table » Meilleur intégration avec HPC Support intégré des UDFs déportés HPC Server R2 supporte Excel sur un Server Speaker Notes Regarding Performance of 2010 70% of the workbooks in our calculation performance test suite are significantly faster than Excel 2007. There is one other unique investment in the area of calculation that I want to briefly mention: Asynchronous XLL User-Defined Functions (Asynch XLL UDFs). The idea behind Asynch XLL UDFs is this: we know that some of our customers use XLL UDFs as a way to fetch data from external data servers. The CPU usage on the machine running Excel isn’t very heavy, but the server handling the request may take a while to return the requested data. If you have 100 of these functions in A1:A100 for example, you can be waiting quite a while for your workbook to calculate, because Excel processes those cells one at a time. Since the local machine isn’t doing any heavy CPU processing, with Excel 2010 we’ve enabled the functionality to send all 100 XLL UDFs calls at one time, allowing the backend servers to process the requests in parallel 70% of the workbooks in our VBA solutions test suite will see significant performance gains when run using Excel 2010, with about 30% of those solutions at least cutting the Excel 2007 times in half, if not more (some of those solutions clock in around 5% of the Excel 2007 time) Regarding 64-bit support : You might need to review your VBA code and make updates in order to get it working with 64-bit Excel. You may also need to have 64-bit versions of any ActiveX controls, COM Add-ins, or XLLs if these are used in your solutions. Another, slightly smaller performance issue with Excel 2007 is the amount of time it takes to close down and free memory up to work with other programs, especially closing down after working with really large workbooks. With Excel 2010 we implemented a fast shutdown mechanism

7 Paralléliser Excel Excel est souvent utilisé comme un « environnement de programmation » pour des simulations Paralléliser Excel : Augmente la puissance de calcul disponible pour Excel Réduit le temps de résolution et permet d’augmenter le nombre de simulations Meilleurs précision des résultats Comment ? : Utilisation de tous les cœurs d’une machine Utiliser un cluster/grille

8 Excel sur un cluster/Grille HPC
Windows HPC Server 2008 R2 fournis deux nouveaux services pour distribuer des calculs Excel sur un cluster HPC/une grille : « Remote Excel »: exécuteur un classeur Excel sur des nœuds de calculs « UDF Offloading »: exécuter une UDF sur un nœud de calcul Windows HPC Server 2008 fournis un mécanisme SOA pour utiliser la puissance du cluster Excel peut-être un client du modèle SOA

9 Windows HPC Server Solution de cluster de calcul sous Windows Server:
Windows Server + couche HPC Composantes : Frontale : Gère le cluster (gestion des serveurs et distribution des calculs) Nœud de calculs : Ensemble de serveurs offrant leur puissance de calcul WCF Broker Passerelle vers les nœuds de calculs pour le SOA

10 Utilisation du cluster Windows HPC Server
Nœud maitre Job Mgmt Resource Mgmt Cluster Mgmt Scheduling Active Directory SOA Web Services Policy, reports Application Jobs Utilisateur Input Job Mgr UI Admin Console Management taches Admin Ligne cmd Cmd line Données Domain\UserA DB/FS Réseau rapide Gestion nœud Job Execution User App MPI

11 Service Oriented Jobs […] Nœud maitre haute disponibilité
Réseau Publique Réseau privé 1. Utilisateur soumet job. Nœud maitre Service (DLL) Workstation Nœud maitre de secours Service (DLL) 3. Maitre fournit un routeur Service (DLL) 2. Gestionnaire Session assigne un nœud routeur WCF 5. Requêtes Workstation 4. Client se connecte au routeur et soumet une requête WCF Brokers 7. Réponses retournées au client […] 6. Réponses Nœud de calcul

12 Agenda Microsoft Office Excel et le Calcul Haute Performance (HPC)
Un classeur Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 UDF Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 Excel comme un client SOA du cluster

13 Remote Excel 2010 Windows HPC Server R2 : Utilisation du modèle SOA
Services HPC pour Excel Lancer Excel 2010 sur les serveurs du cluster Calcul de feuilles Nécessite Windows HPC Server 2008 R2 et Excel 2010 sur les serveurs du cluster. Exécuter des feuilles Excel sur un cluster HPC : Instance Excel tournant sur les serveurs Calcul indépendant ou itérations du même classeur sur des jeux de données différents Classeur : Multiples feuilles Fonctions VBA

14 Remote Excel - Concept Nœuds de calculs Requête de Session
Service Nœuds de calculs Frontale Client Requête de Session Assigne un Broker Feuille Assigne des taches Résultats UDF is similar Soumission de Tache Résultats Brokers

15 Composantes : classeurs Excel
Classeurs standard : VBA, XLL add-ins, Excel Add-in XLA, ressources externes A faire : Identifier les valeurs en entrée : Cellules, paramètres fonction VBA Identifier les valeurs en sorties : A ne pas faire : Interaction avec l’utilisateur au sein de la feuille

16 Composantes : Service Service WCF :
Fournis dans le « HPC Pack For Excel » Reconnu par le scheduler dll sur chaque nœud Contrôle l’exécution de Excel 2010 Lance Excel 2010 Récupère les résultats Gestionnaire de pop-up Ferme les pop-up

17 Composantes : Le client
Application qui contrôle le calcul: Utilise le service WCF Distribue le travail Récupère/traite les résultats Application Microsoft.Net/COM Application Windows Excel 2010 avec VSTO console

18 Démo « Remote Excel »

19 Quand utiliser Remote Excel
Calcul complexe ou basé sur des feuilles de calcul : multiple entrées produisant de multiples sorties Feuille utilisant VBA, macros, calculs entre feuilles Quand Excel est utilisé comme un « moteur » de calcul et pas une simple interface Fournis une façon simple et non intrusive de porter un classeur sur un cluster : Pas besoin de développer sur une nouvelle plateforme Programmation Excel, pas besoin d’apprendre C ou C# Maintenance des modèles par l’utilisateur « Gestion » des Pop-up Scalabilité : limité par SOA, pas Excel => long calculs

20 Agenda Microsoft Office Excel et le Calcul Haute Performance (HPC)
Un classeur Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 UDF Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 Excel comme un client SOA du cluster

21 UDF ? User Defined Function
Possibilité d’ajouter des fonctions maisons à Excel Contenues dans une librairie XLL Appelées comme n’importe quelle autre fonction Excel Développées en C/C++ à l’aide du XLL SDK Jusqu’en version 2003 single threaded Version 2007 : Multi Threaded

22 UDF Déporté Un mécanisme pour utiliser des UDF en parallèle sur un cluster Excel 2007 : Support des UDF « multi-threaded recalculation » (MTR) Utilisation des multi-cœurs Excel 2010 : Étend ce modèle au cluster Une nouvelle API et de nouvelles options pour utiliser un cluster Supporte des .XLL développé avec le SDK de Excel Facilite le développement Déploiement sur un cluster

23 UDF Déporté - Concept Nœud de calcul Requête de Session
Frontale UDF Requête de Session UDF Assigne un Broker UDF Feuilles UDF Assigne des taches UDF UDF UDF Résultats UDF Soumission de Job Résultats Brokers

24 Démo « UDF Déporté »

25 Quand utiliser les UDFs déportés ?
Calculs distincts encapsulés dans une fonction Par exemple une libraire maison Calculs complexes et consommateurs de CPU Doit prendre plus de temps que l’appel Qui change peut Une recompilation implique un nouveau déploiement Les calculs sont indépendants des autres cellules Un appel à une cellule rompt le modèle

26 Agenda Microsoft Office Excel et le Calcul Haute Performance (HPC)
Un classeur Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 UDF Excel 2010 sur un cluster Windows HPC Serveur 2008 R2 Excel comme un client SOA du cluster

27 Excel client SOA ? Toutes applications utilisant :
Microsoft .NET Framework COM Peuvent utiliser le SDK de HPC Server pour un exécution sur un cluster Comment : Encapsuler : la section de calcul dans un service Construire : le client qui va invoquer le service Optimiser : le déplacement des données Quel cas : Application ou service cluster à intégrer dans Excel Construire un simulation complexe ou intensive dans Excel et on peut développer une application cluster ou un service

28 Community Technical Preview
Windows HPC Server 2008 R2 Release Schedule Q2 2009 Q3 2009 Q4 2009 Q1 2010 Q3 2010 Mai Juin Juil. Aout Sept Oct Nov Dec Jan Fevr Mar Community Technical Preview May 2009 CTP 2 Sept 2009 Beta Nov 2009 Beta2 Mar2010 RTM H2 2010 Windows HPC Server 2008 SP1 RTM Eté 2010 English, Chinese, Japanese

29 Disponible maintenant (en Béta) !
Avec des exemples et une « documentation » Livre blanc “Accelerating Microsoft Office Excel 2010 with Windows HPC Server 2008 R2”

30 Pour plus d’informations
Liens pour télécharger Beta 1 sur MS Connect Liens pour télécharger des docs sur R2 Liens vers des documentations techniques, Blog équipe HPC et forums HPC Mis à jour régulièrement avec des nouvelles documentations, SDKs, exemples, vidéos, et autres infos utiles

31

32 Comparing the Options When to use UDFs When to use XL Runner
Spreadsheet-based or complex calculation A single calculation involves multiple formulae in multiple cells, particularly if there is significant dependency among the elements of the calculation Table lookups The calculation involves a number of table lookups, particularly if those tables are volatile or calculated based on periodically updating information User-edited or fluid model In general use, the user will make some modifications or parameter selections before calculating a single set of data External circumstances require periodic changes to the underlying calculation or model itself Discrete calculation A single calculation is independent of other cell formulae and other calculations, requiring only a set of static inputs Inherent complexity The single calculation is sufficiently complex or time-consuming, or modeling the particular calculation in Excel is not practical Fixed model The model, or the calculation, is fixed and not expected to change over time