La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

VIP et GATE-Lab : retour d’expérience VIP et GATE-Lab : retour d’expérience JRES, Montpellier 2013 Sorina Pop, Rafael Silva, Tristan Glatard Université.

Présentations similaires


Présentation au sujet: "VIP et GATE-Lab : retour d’expérience VIP et GATE-Lab : retour d’expérience JRES, Montpellier 2013 Sorina Pop, Rafael Silva, Tristan Glatard Université."— Transcription de la présentation:

1 VIP et GATE-Lab : retour d’expérience VIP et GATE-Lab : retour d’expérience JRES, Montpellier 2013 Sorina Pop, Rafael Silva, Tristan Glatard Université de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université Lyon 1, France

2 JRES, Montpellier 2013 Virtual Imaging Platform (VIP) ● Plate-forme web intégrant des applications ● Simulation médicale: CT, IRM, TEP, ultrason, radiothérapie ● Analyse d’images ● Connectée à EGI (European Grid Infrastructure) ● Calcul (+100 clusters, 25,000 cœurs) ● Stockage (~ 4 PB) ● Utilisée largement ● 453 utilisateurs enregistrés de 50 pays ● 499 années CPU consommées en 2012 ● Le certificat robot le plus utilisé dans EGI en 2012 Simulated prostate radiotherapy treatment plan (L. Grevillot and D. Sarrut) CT and PET whole-body simulations (C. Lartizien, J. Tabary) in-vivo simulated Simulated cardiac DWI (L. Wang, Y. Zhu, I. Magnin) T. Glatard, C. Lartizien, B. Gibaud, R. Ferreira da Silva, G. Forestier, F. Cervenansky, et al. "A Virtual Imaging Platform for multi-modality medical image simulation", IEEE Transactions on Medical Imaging, vol. 32, no. 1, pp , 2013 Echocardiographies – parasternal short axis view (O. Bernard and M. Alessandrini) 2/14

3 JRES, Montpellier 2013 Un portail web pour l’exécution des applications d’imagerie médicale sur grilles de calcul Launch applications Transfer files Virtual Imaging Platform (VIP) 3/14

4 JRES, Montpellier 2013 GATE-Lab Applet Java intégrée dans VIP Dédiée aux simulations GATE Fonctionnalités Détection des entrées à partir du fichier principal de configuration de GATE Upload automatique des entrées Choix du nombre de tâches parallèles en fonction du temps CPU estimé 4/14

5 JRES, Montpellier 2013 User Web portal 0. Login 1. Send input data Storage system Workflow engine (Moteur + GASW) 3. Launch workflow Pilot Manager (DIRAC) 4. Generate and submit task 5. Submit and 6. Schedule pilot jobs 2. Transfer input files Computing sites 7. Get task 8. Get files 9. Execute 10. Upload results Architecture VIP 5/14

6 JRES, Montpellier 2013 Utilisation des tâches pilotes Principe des tâches pilotes Ressources occupées par les pilotes Tâches ordonnancées sur les pilotes Avantages principaux Temps d’attente réduit Impact réduit des erreurs VIP utilise l’instance France Grilles de Dirac Hébergée au Centre de Calcul de l’IN2P3 à Lyon Administrée à tour de rôle par une group de personnes représentant les principales communautés utilisatrices Voir aussi la contribution 66 des JRES 2013 : « France Grilles, des opérations aux utilisateurs », Geneviève ROMIER, Hélène CORDIER, Gilles MATHIEU 6/14

7 JRES, Montpellier 2013Défis Latence Re-soumission des tâches échouées Hétérogénéité (durée d’exécution très variable pour un même calcul) Jobs 7/14

8 JRES, Montpellier 2013 Simulations Monte-Carlo –Simuler P évènements aléatoires –Avec n jobs –Ex: estimation de π Algorithmes d’équilibrage de charge –Statique –Dynamique Worker: While “stop” not received: Simulate 1 event End while Master: While e ≠ E e ←# simulated events End while Stop the workers Worker: Simuler E/n évènements Equilibrage de charge dynamique 8/14

9 JRES, Montpellier 2013 Static load balancing + pilot jobs Dynamic load balancing + pilot jobs S. Camarasu-Pop, T. Glatard, J. T. Moscicki, H. Benoit-Cattin, and D. Sarrut, "Dynamic partitioning of GATE Monte-Carlo simulations on EGEE“ Journal of Grid Computing, vol. 8, no. 2, pp , mar, 2010 Equilibrage de charge dynamique : résultats 9/14 Expériences réalisées avec GATE sur EGI – événements, 75 tâches, 3 répétitions pour chaque configuration

10 JRES, Montpellier 2013 ● Optimalité de l’équilibrage dynamique ● La fusion de résultats partiels reste problématique ● Utilisations de plusieurs tâches de fusion ● Sauvegarde périodique de résultats + fusion incrémentale StatiqueDynamique S. Camarasu-Pop, T. Glatard, R. Ferreira da Silva, P. Gueth, D. Sarrut, and H. Benoit-Cattin "Monte-Carlo Simulation on Heterogeneous Distributed Systems: a Computing Framework with Parallel Merging and Checkpointing Strategies" Future Generation Computer Systems, vol. 29, no. 3, pp , 03/2013 Zoom sur les simulations Monte-Carlo 10/14

11 JRES, Montpellier 2013 Réplication automatique de tâches Répliquer des tâches en retard Faire attention au gaspillage de ressources Algorithme Si La tâche est en retard alors Si Tous les réplicas de la tâche sont en retard alors Si Aucun réplica est en attente alors Répliquer la tâche Fin si Si Un réplica de la tâche est en retard alors Annuler le réplica Fin si 11/14

12 JRES, Montpellier 2013 Limitations Exécutions très courtes (< 20 min CPU) Sont pénalisées par les overheads Exécutions très longues (> une année CPU) Ont besoin d’intervention pour finir Support pour les contraintes des applications RAM > 2 GB Espace disque > 2 GB Transfert de gros fichiers L’intégration de nouvelles applications demande l’intervention des experts Développement de workflows 12/14

13 JRES, Montpellier 2013 Conclusion VIP Une des plates-formes les plus utilisées dans EGI Les utilisateurs peuvent transférer des fichiers et lancer des applications Les sites de calcul et l’emplacement de stockage des fichiers sont choisis automatiquement Les applications sont externes aux portail Effort demandé Administration système Support logiciel Support utilisateurs Développement logiciel 13/14

14 JRES, Montpellier 2013 Merci pour votre attention ! Questions ? 14/14


Télécharger ppt "VIP et GATE-Lab : retour d’expérience VIP et GATE-Lab : retour d’expérience JRES, Montpellier 2013 Sorina Pop, Rafael Silva, Tristan Glatard Université."

Présentations similaires


Annonces Google