LEGO EPISODE III LEGO: simulations climatiques avec DIET E.Maisonnave, V.Pichon

LEGO EPISODE III Gestion d'une simulation d'ensemble Performances Validation Restrictions

LEGO EPISODE III DIET Lancer plusieurs simulations de climat en parallèle sur Grid'5000 Ordonnancer les différents services Développements réalisés (ENS Lyon/Cerfacs) Implémentation du serveur Ecriture du client Interfaçage avec l'application (service) Réalisation d'un ensemble de 12 simulations de climat (1800 mois)

LEGO EPISODE III Simulation couplée Océan-Atmosphère (main) n processeurs Postprocessing Conversions/Check (post) 1 processeur

LEGO EPISODE III Exemple d'ordonnancement standard avec 6 ressources: Le post-processing est fait en fin de tâche principale 6-1=5 processeurs inutilisés durant le temps de postpro mois nmois n+1mois n+2 post npost n+1post n+2

LEGO EPISODE III Avec DIET, chaque mois et chaque post-processing est un client. DIET ordonne les services en fonction des ressources disponibles mois nmois n+1 post n post n+1 Serveur DIET

LEGO EPISODE III Demande de service pour la simulation du mois n du mois n +1 et les post processing n et n+1 mois nmois n+1 post n post n+1 Serveur DIET

LEGO EPISODE III Test des ressources disponibles mois nmois n+1 post n post n+1 Serveur DIET

LEGO EPISODE III Execution du mois n mois n mois n+1 post n post n+1 Serveur DIET

LEGO EPISODE III mois n+1 post n post n+1 Serveur DIET Puis du mois n+1

LEGO EPISODE III post n post n+1 Serveur DIET Enfin des post-processing n et n+1

LEGO EPISODE III Ordonnancement DIET: Le post processing est fait sur toutes les ressources Pas ou peu de processeurs inutilisés... mois nmois n+1mois n+6 n n+1 n+6

LEGO EPISODE III Possibilité de lancer un ensemble de simulations... mois n mois m mois m+1 mois n+1 mois n+6

LEGO EPISODE III Performances théoriques gain CPU /elapsed = 6 heures à 10 jours (temps total simulation: 35 jours à 70 jours)

LEGO EPISODE III Avancement des simulations Lyon, Rennes: 2x2 simulations de contrôle de 150 ans (gaz à effet de serre constants) Nancy, Lille, Sophia, Bordeaux: 4x2 simulations scénario A1B Lyon Rennes Nancy Lille Sophia Bordeaux

LEGO EPISODE III Le modèle ne reproduit le réchauffement climatique que lorsque les concentrations observées de de gaz à effet de serre lui sont imposées Validation Réchauffement global (K)

LEGO EPISODE III Restrictions Impossibilité d'organiser l'ensemble des simulations de la grille avec un seul Master Agent DIET (simulation complète trop longue) Pas de gestion des pannes par DIET (l'arrêt d'une simulation entraîne l'arrêt de toutes les autres) Synchronisation obligatoire des simulations d'un même site en fin de job Pas de possibilité d'ajout de ressources en cours de simulation (obligation de terminer avec des ressources réduites)

LEGO EPISODE III Restrictions Grid'5000: Problèmes de place disque, d'arrêts machine, de portage, de changement d'environnement en cours de simulation, de non déploiement de l'environnement Trouver le rapport optimal de services par ressources n'est pas aisé et différent d'un site à l'autre (problème de place disque en cas d'accumulation de postprocessing, impossibilité de faire tourner deux OpenMPI – pour deux simulations- sur un même noeud)