Page 1 22 Octobre 2001 Projet d’Assimilation par Logiciel Multiméthode Comment structurer et gérer un projet de calcul à hautes performances Andrea Piacentini et le groupe - CERFACS

Page 2 Le contexte La mission de MERCATOR consiste à développer et progressivement mettre en place dans les prochaines années une capacité opérationnelle d'analyse et prévision de l'océan global. Il s'agit d'être capable de décrire et prévoir l'état de l'océan à tout instant (en temps réel), dans tout son volume (de la surface jusqu'au fond et tout autour du globe) et aux différentes échelles qui le caractérisent (des grandes échelles planétaires aux phénomènes tourbillonnaires).

Page 3 Le contexte Implémentation temps-réel

Page 4 Le contexte Etape 1 : Janvier 2001 : exploitation du premier prototype Mercator (PSY1). Le prototype PSY1 inaugure la filière "routine temps réel" de MERCATOR avec un premier bulletin le 17 janvier 2001, et un rythme d'exploitation hebdomadaire tout au long de l'année, modèle de l'Atlantique Nord et Tropical de moyenne résolution (1/3°) assimilant les données altimétriques et in situ, acquiert en routine temps réel toutes les observations océaniques disponibles et assure donc sur la base de ces observations un monitoring de l'océan global Analyse et prévision à moyenne résolution (1/3°) sur l'Atlantique Nord et Tropical Acquisition des Observations sur l'Océan Global

Page 5 Le contexte Etape 2 : Janvier 2002 : exploitation du deuxième prototype Mercator (PSY2). Le prototype PSY2 inaugure la filière "haute résolution" de MERCATOR dans les mers européennes, met en œuvre en routine temps réel un modèle de l'Atlantique Nord et de la Méditerranée à haute résolution (1/15°) assimilant les données altimétriques et in situ, et élabore donc sur cette base des analyses et des prévisions de l'état tridimensionnel de l'océan dans ces régions. acquiert en routine temps réel les observations altimétriques et In Situ sur l'Océan Global, et les combine pour générer une analyse tridimensionnelle. Analyse et prévision à haute résolution (1/15°) sur l'Atlantique Nord et la Méditerranée Analyse à base d'Observations sur l'Océan Global

Page 6 Le contexte Etape 3 : Janvier 2003 : exploitation du troisième prototype Mercator (PSY3). Le prototype PSY3 inaugure la filière "GODAE" de MERCATOR, met en œuvre en routine temps réel un modèle de l'Atlantique Nord et de la Méditerranée à haute résolution (1/15°) assimilant les données altimétriques et in situ, met en œuvre en routine temps réel un modèle de l'Océan Global à moyenne résolution (1/4°) assimilant les données altimétriques et in situ, et élabore donc sur cette base des analyses et des prévisions de l'état tridimensionnel de l'océan dans ces régions. Analyse et prévision à haute résolution (1/15°) sur l'Atlantique Nord et la Méditerranée Analyse et prévision à moyenne résolution (1/4°) sur l'Océan Global

Page 7 Le contexte Les "gens de la mer" Quel courant fera-t-il demain ? Les "gens de science" Comment fonctionne la "machine océan" ? Tourbillons dans l'Atlantique nord-est (Crédits SHOM) Les "gens du climat" Que nous réserve la saison prochaine ? Les "gens du côtier" D'où viennent ces eaux qui baignent nos côtes ? La prévision de la houle permet de dimensionner les digues pour minimiser l'agitation de la mer dans un port. (Crédits ACRI)

Page 8 Le contexte

Page 9 L’assimilation

Page 10 L’assimilation Corriger la prévision précédente à l’aide des observations avant d’effectuer la prévision suivante. Détermination de la meilleure condition initiale pour la prévision. Méthodes 3D Méthodes 4D temps Correction de l’état du système à chaque observation. Correction de la condition initiale pour déterminer la trajectoire optimale sur la fenêtre d’assimilation. Observations Prévision Analyse Prochaine C.I.

Page 11 L’assimilation x b ébauche temps x t i+1 = M(x t i ) M modèle d’évolution y = H(x) H opérateur d’observation MINIMISER J = || x – x b || P -1 + ||H(x)-y 0 || R -1 P et R statistiques d’erreur Analyse (condition initiale optimale) x a

Page 12 L’assimilation Le besoin de MERCATOR: le découplage

Page 13 La genèse La solution: confier le développement d’un coupleur ad hoc au CERFACS Le CERFACS (Centre Européen de Recherche et Formation Avancee en Calcul Scientifique - ) est parmi les principaux laboratoires de recherche et de formation au monde travaillant sur des problèmes de calcul scientifique de grande dimension. Créée en 1990, l’équipe "Climate Modelling and Global Change" ( est aujourd’hui mondialement reconnue, dans les domaines de la modélisation du climat, de la prévision saisonnière et de l’assimilation de données. Parmi ses principales réalisations figure le coupleur OASIS utilisé dans les principaux centres de recherche climatique pour le couplage océan - atmosphère

Page 14 La genèse ROJET D' SSIMILATION PAR OGICIEL ULTI-METHODES Ainsi est né

Page 15 Les phases Nomenclature projet CNES : phase 0 : définition phase A : étude de faisabilité revue de fin de phase A : décision de faisabilité phase B : prototypage revue(s) de phase B : adéquation des prototypes phase C : réalisation définitive phase D : exploitation (pré-)opérationnelle Exploitation expérimentale des prototypes

Page 16 Phase 0 En 1996 Définition du cahier de charges de PALM Contraintes : Flexibilité Performances Calendrier MERCATOR

Page 17 Phase A En volets : faisabilité théorique : – modularité des applications – réutilisation des composantes – échanges entre composantes faisabilité technique : – revue des possibilités – dimensionnement du problème – simulation des performances, évaluation du surcoût (2.5%)

Page 18 Fin de Phase A Revue de projet à l’issue de la phase A : production de documents et présentation au groupe de revue FEPS : Fiches d’Évaluation des Problèmes Soulevés  -revue : réponses au FEPS et compléments d’information A la fin de la revue : premier site web avec tous les documents produits et les résultats du simulateur de performances article sur le formalisme PALM ( Lagarde, Piacentini, Thual; A new representation of data-assimilation methods: The PALM flow-charting approach; Q.J.R.M.S 2001, 127, pp ) Définition complète du coupleur PALM

Page 19 implémentation Les critères Flexibilité Performances modularité des applicationsparallélisme portabilité du logiciel PALMcommunications à hautes performances conception

Page 20 – décomposition en unités – échanges d'objets – enchaînement d'unités Modularité Formalisme « flux de données » Séparation physique / algorithme interchangeabilité réutilisation indépendance unités / algorithme – interfaces « end points » dans les unités interfaces « end points » dans les unités – information complémentaire dans la description de l'algorithme information complémentaire dans la description de l'algorithme – séparation entre physique et algèbre Même code avec plusieurs rôles Indépendance de codage entre unités – approche MPMD = Multiple Programs Multiple Data c.a.d. les unités sont implémentees comme codes exécutables Boite à outils d'algèbre –opérations algébriques de base –solveurs d'équations linéaires –solveurs de problèmes de valeurs propres et de décomposition en valeurs singulières –minimiseurs –routines de statistiques –procédures de tests utiles en assimilation de donnes –procédures définies par l'utilisateur

Page 21 Parallélisme Deux niveaux de parallélisme Branches de calcul Unités distribuées Optimisation : ensemble d'unités qui partagent un espace mémoire commun (dans un contexte SPMD)

Page 22 Implémentation Portabilité – Interfaces avec codes Fortran (77 et 90), C, C++ – PALM écrit avec des langages standard (C, F90) – Contexte UNIX – Mécanismes de communication standard (MPI, MPI2) – Appel à bibliothèques d'algèbre largement diffusées

Page 23 Implémentation Communications à hautes performances – Accès au mécanismes hardware  cross bar pour Fujitsu VPP  Sx-gmem pour NEC Sx – via implémentations propriétaires de MPI – via couches optimisées (layered implementation de PALM)

Page 24 Phase B De 1998 à 2001 Stratégie de prototypage : MPI2 non disponible : prototype SPMD (MPI1), version définitive MPMD lisibilité : prototype F90, version définitive C algèbre : basée sur des librairies largement diffusées applications test : – thèse de Thierry Lagarde (nouvelles méthodes parallèles) – thèse de Sébastien Massart (assimilation en chimie atmosphérique) – thèse de Patrick Vidard (contrôle de l’erreur modèle) – Prototype SYstème MERCATOR – stages

Page 25 Le prototype en Phase B -Couplage dynamique: lancement et terminaison run-time des composantes émulés en SPMD -Monitorage postmortem (film) (film) -Enchaînement dynamique des composantes avec exécutions conditionnelles. Plusieurs séquences de contrôle s’exécutant en parallèle -Paradigme parallèle SPMD -Communications entre tous les processus, directes si possible (im) (im) -Interface « end points »; échanges asynchrones -Echanges d’objets distribués; jusqu’à 7 dim plus le temps -Boîte à outils algébrique

Page 26 La gestion en Phase B Gestion technique : une norme de codage F90, F77, C, Tcl –entêtes –commentaires –noms des variables auto-explicatifs un outil de génération automatique de documentation : ProDOC à partir des commentaires à la norme PALM produit du LaTeX, du postscript et du html; 4 niveaux de verbosité gestion des sources sous CVS tests et benchs sur le plus grand nombre possible de machines

Page 27 La gestion en Phase B Gestion des ressources : répartition des tâches –prise en compte des motivations –prise en compte des compétences –prise en compte de la disponibilité durée des contrats ?

Page 28 La gestion en Phase B transmission de l’information –réunions périodiques avec compte rendu –site web avec intranet –technical notes le phasage et le calendrier –outil tpass de suivi des tâches

Page 29 La gestion en Phase B Gestion des collaborations : répartition des tâches problèmes “politiques” protocole d’accord suivi et visites

Page 30 La gestion en Phase B Gestion de la diffusion et de l’assistance utilisateurs : politique de diffusion releasing site web publique documentation tutorials et formation mailing lists ( palm, palmhelp ) F.A.Q. retour d’expérience et bugs

Page 31 La gestion en Phase B Gestion de la recherche associée : à travers les applications –thèse de Thierry Lagarde (nouvelles méthodes parallèles) –thèse de Sébastien Massart (assimilation en chimie atmosphérique) –thèse de Patrick Vidard (contrôle de l’erreur modèle) –activités en assimilation de données de l’équipe Global Change à travers le développement –stage de Charles Martin sur les descripteurs d’objets distribués et sur l’implémentation de l’algèbre parallèle –stage de Jean Tshimanga sur le choix de minimiseurs adaptés aux problèmes d’assimilation de données océanique

Page 32 Phase C Depuis juillet 2001 transition progressive des ressources du développement du prototype à celui de la version définitive tirer profit de l’expérience acquise avec le prototype redéfinition et redistribution des tâches nouvelle documentation politique de diffusion à rediscuter garantir l’évolutivité et la maintenance du code garantir la permanence du groupe de travail implication plus importante dans la recherche associée

Page 33 Pour plus d’informations