La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Séminaire IMS 10/01/2008 Xavier WARIN (EDF R&D - OSIRIS) Stéphane VIALLE (SUPELEC - IMS) Constantinos MAKASSIKIS (SUPELEC - IMS, LORIA - AlGorille) Distribution.

Présentations similaires


Présentation au sujet: "Séminaire IMS 10/01/2008 Xavier WARIN (EDF R&D - OSIRIS) Stéphane VIALLE (SUPELEC - IMS) Constantinos MAKASSIKIS (SUPELEC - IMS, LORIA - AlGorille) Distribution."— Transcription de la présentation:

1 Séminaire IMS 10/01/2008 Xavier WARIN (EDF R&D - OSIRIS) Stéphane VIALLE (SUPELEC - IMS) Constantinos MAKASSIKIS (SUPELEC - IMS, LORIA - AlGorille) Distribution large échelle dun algorithme financier de contrôle stochastique CIGC05 - GCPMF

2 2 Introduction 1

3 3 Objectif : présentation du travail effectué dans léquipe IMS depuis février Travail sinscrit dans le cadre du projet ANR- GCPMF : –consortium dindustriels et dacadémiques –But : étude de la faisabilité de lutilisation de clusters/grilles de calculs pour la finance –Cause : augmentation incessante des besoins en puissance de calcul

4 4 Introduction Solution : distribution/parallélisation. –pour accélerer et passer à léchelle Actuellement, parmi les applications en finance : –celles qui se décomposent en tâches indépendantes commencent à être bien maîtrisées (applications Bag of Tasks (BoT)) ; –celles qui se décomposent en tâches inter- dépendantes font lobjet de recherches …

5 5 Introduction En collaboration avec EDF, distribution dune application utilisée pour la valorisation dactifs de stockage de gaz. Application non BoT, mettant en jeu : –des calculs intensifs ET –des communications fréquentes : redistribution régulière de données et de résultats nécessite une optimisation des échanges de données

6 6 Contexte financier 2

7 7 Actif de stockage de gaz : –cavité où est stocké le gaz ; –matériel (pompes, …) pour injecter/sous-tirer. –Contraintes de fonctionnement diverses. Fluctuations des prix du gaz : –Cause : modification de la demande (hiver, été) –Conséquence : possibilité darbitrer pour profiter de la dynamique des prix valorisation Gaz OUT IN

8 8 La valorisation fait appel à : –des algorithmes de contrôle stochastique –des modèles de prix variés Contexte financier Dans notre cas le propriétaire veut déterminer à quel prix il va louer une partie de son actif. Pour ce faire, il se fonde sur les résultats potentiels de différentes stratégies de gestion quil aurait pu appliquer sur la portion louée sil ne lavait pas louée.

9 9 Distribution de lalgorithme 3

10 10 Algorithme séquentiel t n-1 t0t0 Aujourdhui Futur tntn Calculs Stochastiques Prix de location à t 0 Hypothèses de terminaison

11 11 Algorithme séquentiel Pour chaque pas de temps (de t n-1 à t 0 ) Pour chaque niveau de stock admissible –Calcul complexe pour déterminer la meilleure décision à prendre au temps t i avec un niveau de stock s i : « Injecter, ne rien faire ou soutirer ? »

12 12 Difficultés de parallélisation Pour chaque pas de temps (de t n-1 à t 0 ) Pour chaque niveau de stock admissible –Calcul complexe pour déterminer la meilleure décision à prendre au temps t i avec un niveau de stock s i : « Injecter, ne rien faire ou soutirer ? » La parallélisation au niveau de la boucle la plus externe est impossible à cause des dépendances de lalgorithme. Le niveau le plus intéressant se trouve au niveau de la boucle sur les niveaux de stock.

13 13 Structures de données A chaque pas de temps utilisation de deux tableaux : OldRes et NewRes. OldRes : contient les résultats du pas de temps précédent. NewRes : pour mémoriser les résultats du pas de temps courant. Problème : à chaque pas de temps le travail seffectue sur une zone contiguë mais à bornes variables. Niveaux de stock Aléas de prix Calculs NewRes OldRes Résultats à t i+1 Résultats à t i A t i :

14 14 Devient Redistribution Schéma de parallélisation En séquentiel, on peut se placer dans le cas ci- contre. Solution 1 : réplication des tableaux. broadcast. t i+1 : t i : Solution 2 : optimisation de la taille des tableaux. redistribution de ce qui est nécessaire. NewRes OldRes NewRes Calculs En parallèle :

15 15 Schéma de parallélisation t i : t i+1 : P2P1P0 Res à t i+1 P1 P2 P0 P1 P2 P0 P2P1P0 P2P1P0 BA C D 1) Déterminer la nouvelle distribution des calculs à t i 3) Déterminer les données à envoyer par P1 (Send) 2) Déterminer les données requises à t i par P1 (Receive) 5) Effectuer les communications selon le plan de routage (MPI) 6) Calculer Res à t i P0P1 CAD P2 -ABReceive Send 4) Allouer structures de données de taille optimale Sur P1: Res à t i Plan de routage

16 16 Etude des performances 4

17 17 Evaluation des performances Expérimentations sur 3 architectures distribuées : –Deux clusters de PCs (SUPELEC et GRID5000/Sophia). –Le supercalculateur Blue Gene/L dEDF R&D. Avec 3 modèles de prix du gaz : Besoins Modèle CalculsMémoire Gaussien « G » ** Normal Inverse Gaussien « NIG » *** Gaussien 2 facteurs « G-2f » ****

18 18 Performances avec « G » 8 15s min 14min

19 19 Performances avec « NIG » min 6h40

20 20 Performances avec « G-2f » Besoin de beaucoup de mémoire – 11 Go pour lexécution séquentielle – 10 CPUs avec 2 Go en parallèle Exécution rendue possible par notre distribution Scale jusquà 1024 processeurs Limitation : –Impossible de calculer un speedup rigoureux –Donc étude dextensibilité (seulement)

21 21 Performances avec « G-2f » Blue Gene wins ! h 2h20 46min

22 22 Etude dextensibilité avec « G-2f » Maintient du temps dexécution

23 23 Conclusion & Perspectives 5

24 24 Conclusion & Perspectives Distribution originale dun algorithme itératif de contrôle stochastique dynamique : distribution à chaque pas de temps des calculs et des données. Résultats issus des expérimentations témoignent de lefficacité de notre distribution sur clusters de PCs (128 CPUs) et supercalculateur (1024 CPUs) –Accéleration de lexécution sur trois modèles de prix aux caractéristiques variées –2 modèles de référence et 1 nouveau modèle

25 25 Conclusion & Perspectives Actuellement, une version multidimensionnelle de lalgorithme destinée à gérer plusieurs actifs de stockage simultanément, mise au point conjointement par EDF R&D et SUPELEC, est en train dêtre évaluée. Un cas test sur 7 stocks met : –18 h sur les 32 PCs du cluster de SUPELEC ; –5h50 sur 1024 nœuds de Blue Gene. Les temps de calculs sont réduits MAIS restent longs ! La possibilité doccurrence de pannes nest pas écartée : même sur Blue Gene !

26 26 Conclusion & Perspectives A présent investissement dans létude des techniques de tolérance aux pannes.

27 27 Questions ? ?

28 28


Télécharger ppt "Séminaire IMS 10/01/2008 Xavier WARIN (EDF R&D - OSIRIS) Stéphane VIALLE (SUPELEC - IMS) Constantinos MAKASSIKIS (SUPELEC - IMS, LORIA - AlGorille) Distribution."

Présentations similaires


Annonces Google