Présentation rapide de l’état des outils IPSL Marie-Alice Foujols Octobre 2005.

Présentation au sujet: "Présentation rapide de l’état des outils IPSL Marie-Alice Foujols Octobre 2005."— Transcription de la présentation:

1 Présentation rapide de l’état des outils IPSL Marie-Alice Foujols foujols@ipsl.jussieu.fr Octobre 2005

2 Les modèles IPSL INCA CH4, CH4_AER, NMHC, NMHC_AER, … ORCA2_OFF_TRC PISCES LOBSTER SRC_TRC ORCHIDEE, ORCHIDEE_OL OASIS LMDZ Mars, guidée, 1D, … ORCA2_LIM OPA IPSLCM4_v1 MODIPSL Scripts Post-traitements … + cycle du carbone IPSLCM4_LOOP Quels outils communs? ORCA2_LIM_PISCES ORCA2_LIM GYRE ORCA05 1D NEMO

3 Résumé de l’infrastructure logicielle IPSL Les modèles représentent l’expertise IPSL Grande variété de configurations et d’utilisations: –Forcé ou couplé avec 1 ou plusieurs composantes du système climat –Différents sous-ensembles : Physique de la terre ou de Mars, Différentes dynamiques (3D, 1D, parallèle, …), Grande variété de centres de calculs (local compris) Souhait de partager les points forts de l’infrastructure entre les composantes IPSL Besoin de simplicité Besoin de modularité pour aller efficacement de la composante seule au modèle système terre

4 MODIPSL : un ensemble d’outils communs Accès et compilation : –Nomenclature de répertoires utilisés : modipsl/util modeles config –Description des configurations : mod.def –Script d’accès aux configurations type : model –Serveurs CVS : IPSL, LMDZ, OPA, ORCHIDEE, INCA,... –Environnement de compilation : ins_make, AA_make* Exécution type : –Scripts de lancement d’expériences type : ins_script, AA_job –Fichiers d’entrée texte et binaires (IDRIS, CCRT, IPSL (dods)) –Nomenclature de l’arborescence des fichiers résultats –Post-traitements : Scripts de post-traitement : réarrangement de séries temporelles, mo2st, mo2ye, mo4ye,... Scripts de génération d’atlas : fast Scripts de génération de pages WWW : monitoring en ligne –Installation complète sur IDRIS et CCRT, incomplète ailleurs Documentation : –Note technique : http://www.ipsl.jussieu.fr/~ioipsl/IPSLCM4/index.html –Support de cours : http://www.ipsl.jussieu.fr/poles/Modelisation/cours_modipsl_2004.blanc.pdf Voir aussi document distribué là : http:www.ipsl.jussieu.fr/~mafoipsl/WIKI/Bilan-outils-IPSL.pdf

5 Accès, compilation et lancement de l’expérience type du couplé IPSLCM4_v1 Accès à MODIPSL cvs_ano co modipsl Accès à IPSLCM4_v1 cd modipsl/util ;./model IPSLCM4_v1 Installation des Makefile./ins_make Préparation expérience type./ins_script Compilation cd../modeles/IPSLCM4_v1 ; gmake ORCA2xLMD9671 Lancement expérience type cd EXP00 ; modifier les fichiers d’entrée texte copie des fichiers vers le calculateur distant (si nécessaire), rlogin … qsub Job_LO1 Modification des sources gmake

6 Configurations partagées en cours de développement http://wiki.ipsl.jussieu.fr/wiki_ipsl/ConfigIpsl

7 Historique IPSLCM4 beta Calendrier Nomenclature fichiers Post-traitements IPSLCM4_v1 figé : IPCC LOOP et configurations carbone 200020012002200320042005 de IPSLCM4_v1 … … à IPSLCM4_v2

8 Historique IPSLCM4 beta Calendrier Nomenclature fichiers Post-traitements IPSLCM4_v1 figé : IPCC LOOP et configurations carbone 200020012002200320042005 de IPSLCM4_v1 … … à IPSLCM4_v2 2006200720082009 IPCC AR5

9 Vers IPSLCM4_v2 Chantier actuel Toutes composantes parallèles –LMDZ4 –ORCHIDEE2 –OASIS3 –NEMO OPA_SRC LIM_SRC TOP_SRC : PISCES et LOBSTER –INCA Physique la plus à jour possible Cycles du carbone et chimie Résolutions multiples Portabilité sur tout calculateur Prochaine machine IDRIS (1er trimestre 2006) Articulation couplé/ composantes

10 Avantages MODIPSL Simplicité –cvs, shell, compilateur fortran 90, librairie netCDF –Facile à installer sur différents calculateurs –Facile à utiliser... mais plus difficile d’ajouter une configuration complète avec tous post-traitements, de créer une configuration simplifiée Information centralisée dans un nombre limité de fichiers –AA_make.gdef pour les options de compilation –mod.def pour la description des configurations –3 commandes : model, ins_make, ins_script Serveurs CVS : –Suivi de l’historique des évolutions –Administration par les développeurs de chaque composante Compilation : –Un outil pour toutes les composantes –Maintien des habitudes ponctuelles (makegcm pour LMDZ) Pour l’expérience type : –atlas et suivi en ligne (monitoring) enchaînés automatiquement –Stockage des résultats sur serveur de fichiers et DODS –Expériences longues lancées par petits morceaux (jobs) enchaînés

11 Améliorations de MODIPSL Serveurs CVS : –Un pour toutes les composantes ? Simplicité mais besoin de garder une administration ciblée –Besoin d’une interface avec les outils de projets spécifiques pour accéder aux modifications communes à un projet (voir DRAKKAR) Compilation : –Améliorer la maintenance de l’outil cad faciliter l’ajout de nouveaux calculateurs –Séparer les architectures (NEC) des spécificités d’installation (répertoires include et bibliothèque NetCDF) –OASIS3 est inclus dans la configuration IPSLCM4_v1_OASIS3 avec un sous-ensemble de l’outil de compilation PRISM SCE (recopié sur serveur CVS IPSL). Impossible de maintenir différents outils en parallèle. Pour l’expérience type : –Plus de souplesse –Plus de modularité –Partie commune entre forcés et couplés –Gestion des fichiers d’entrée binaires (sous CVS ou autre) –Ajout de nouveaux calculateurs

12 Outils du Met-Office Accès aux sources, création exécutable, historique, gestion incidents, partage information. Subversion (svn) : gestionnaire de sources, successeur naturel de CVS Trac : outil de gestion d’incidents associés à des pages wiki et à des possibilités de suivi des sources modifiés gérés par subversion FCM : flexible configuration management (scripts perl) –fcm extract : extraction des sources d’après fichier de configuration –fcm build : construction de l’exécutable, inclus recherche dépendances, utilise gmake, préprocesseur INCA (idem besoin AGRIF, ECMWF)? Adopté au MO, bascule en cours pour UM et pour plus de 18 projets dont les utilisateurs Met-Office de NEMO Pas d’exécution d’expérience type (pour le moment?) Atelier fin septembre : –Compilation LMDZ-4-ORCHIDEE –Compilation OASIS3 Voir aussi exposé (1H) le 21 octobre

13 Trac

14

15 Infrastructure logicielle IPSL : prochaines étapes Proposition pour l’environnement de compilation : Utiliser Trac au plus vite pour suivi incidents et configurations Groupe de travail pour –Évaluer les outils du Met-Office –Quantifier le travail de bascule de CVS vers subversion, de model vers fcm extract de ins_make, makegcm, fait_AA_make vers fcm build –Préparer la décision Rendez-vous : IPSLCM4_v2 accessible avec MODIPSL et FCM : Si chaque composante a basculé de CVS vers Subversion : IPSL, LMDZ, NEMO, ORCHIDEE, INCA Si OASIS3 est distribué avec Si cours et documentation existent Quand?