Coupleurs OASIS et PALM et applications TEAM DAY GLOBC 21 janvier 2004 Coupleurs OASIS et PALM et applications OASIS

Plan général OASIS PALM Perspectives PALM-OASIS Applications PALM

Le coupleur OASIS OASIS L’historique La communauté aujourd’hui Le projet PRISM OASIS3: Finalisation et diffusion OASIS4: 1ère version d’un coupleur parallèle Perspectives OASIS

L’historique d’OASIS 1991: analyse des besoins 1993: OASIS 1.0 (Pipe CRAY et fichiers) 10 ans de couplé tropical 1995: OASIS 2.0 (PVM3) Projet Cathode: couplage distribué 1996: OASIS 2.1 Projet SIDDACLICH: réchauffement global 1998: OASIS 2.2 (SIPC) Projet Demeter: prévision saisonnière 1999: OASIS 2.3 (GMEM - NEC) Projet SINTEX 2000: OASIS 2.4 (MPI2) Projet Predicate: variabilité naturelle 2003: OASIS3 (MPI1 + PSMILe + I/O)

La communauté OASIS aujourd’hui CERFACS METEO-FRANCE (France) IPSL- LODYC, LMD, LSCE (France) MERCATOR (France) ECMWF (UK) Southampton University (UK) UCL (Belgique) MPI - M&D (Allemagne) U. de Kiel (Norvège) SMHI (Suède) U. de Bergen (Norvège) BMRC (Australie) CSIRO (Australie) U. de Tasmanie (Australie) NCC (Japon) JAMSTEC (Japon) IRI (USA) AWI (Allemagne) Met Office (UK) UGAMP (UK) KNMI (Pays-Bas) FSU/COAPS (USA) LASG (Chine) INPE/CPTEC (Brésil)

Le projet PRISM Objectif: « développer une infrastructure européenne pour la modélisation du système climatique global facilitant l’assemblage, l’exécution et le post-traitement de modèles couplés basés sur les composantes-modèles existant en Europe  (océan–atmosphère-sol-biogéochimie-chimie atmosphérique) Financement: par l’Union Européenne (4.8 MEuros – 12/2001 – 11/2004)

Le projet PRISM Promouvoir des standards pour les ESMs: Librairie de couplage et I/O (Oasis) Environnement de compilation Environnement de configuration (prepIFS) Environnement d’exécution et monitoring (SMS) Post-traitement Format de données (NetCDF)

Le coupleur OASIS3 1 coupleur monoprocesseur: - échange des champs de couplage - interpolation des champs échangés Flexibilité, modularité: > nombre arbitraire de modèles (parallèles) et de champs échangés > fréquences de couplage différentes pour les différents champs > transformations particulières pour chaque champ Four different types of communication are included in OASIS. Named CRAY pipes, CLIM technique, by message passing based on PVM 3.3 or MPI2, SVIPC technique, using UNIX System V Inter Process Communication (The GMEM technique works similarly as the SIPC one but is based on the NEC global memory concept) The fields given by one model to OASIS have to be processed: first a pre-processing rearranging the arrays according to OASIS convention, treating possible sea-land mismatch, and correcting the fields with external data if required. Then interpolation of the fields required to go from one model grid to the other model grid. Many interpolation schemes are available: nearest neighbour, bilinear, bicubic, mesh averaging, gaussian. Additional transformations ensuring for example field conservation occur afterwards if required. Finally the post-processing puts the fields into the receiving model format. Couplage statique: tous ces paramètres sont fixés initialement par l’utilisateur dans un fichier d’entrée namcouple

Le coupleur OASIS3 Les nouveautés OASIS3 Nouvelle interface de couplage MPI1 ou MPI2 intégration temporelle, adaptation automatique de la fréquence de couplage A O Oasis3 A B communication directe A file I/O: transition automatique forcé - couplé Nouveaux schémas d’interpolations pour différentes grilles (par processus séquentiel sur champs 2D scalaires)

Le coupleur OASIS4 Aujourd’hui: Modèles à plus haute résolution efficacement parallélisés Fréquences de couplage plus élevées Nombre croissant de composantes-modèles Nombre croissant de champs (2D - 3D) Réécriture globale (couplage statique): -> flexibilité et modularité -> + parallélisation + optimisation: OASIS4: Driver/Transformer + PSMILe

Le coupleur OASIS4 Les différences OASIS3-OASIS4 T Fichiers XML: interface de couplage des composantes, configuration d’un modèle couplé Parallélisation: communication et re-répartition OB C O1 T calcul des « voisins  » d’interpolation Transformer: structure propice à sa future parallélisation Interpolation: comme Oasis3 + Support de champs vectoriels Support de champs 3D

Le coupleur OASIS4 Version prototype: 02/2004: Fichiers XML (structure et lecture) Gestion de processus (lancement, communicateurs, …) Interface modèle du PSMILe Communication et re-répartition parallèle Infrastructure du Transformer Quelques transformations et interpolations de base Fonctionnalités d’I/O Développements futurs (~4 pers-ans, au-delà de PRISM): Recherche exacte des voisins en parallèle Autres interpolations (schéma conservatif, 3D, …) Autres transformation locales (réductions, combinaison, …) Parallélisation du Transformer Traitement des vecteurs Grilles adaptatives

Perspectives OASIS OASIS3: Maintien et support OASIS3 Support à Météo-France sur IBM Aide au projet Mercator Implication du CERFACS dans support continu PRISM (04-07)? Poursuite des développements OASIS4 Collaboration constructeurs (NEC, SGI, Cray, IBM, …) Demande d’un ITA CNRS à 50% Adaptation des modèles français pour le couplage Re-soumission d’un projet d’infrastructure au FP6 en 03/05

Le coupleur PALM OASIS PALM Perspectives PALM-OASIS Applications PALM État des lieux Utilisation de PALM Perspectives PALM Perspectives PALM-OASIS Applications PALM

État des lieux PALM Deux produits PALM_RESEARCH PALM_MP Développement terminé Formation – Assistance – Documentation – Maintenance - Site Web Tourne en opérationnel chez MERCATOR PALM_MP Première version livrée à MERCATOR : mars 2003 Passage à PALM_MP chez MERCATOR : début 2004 Version plus complète que PALM_RESEARCH : mars 2005

État des lieux PALM à PALM_MP De PALM_RESEARCH SPMD simulant du MPMD avec MPI1 Perte de mémoire avec les codes qui utilisent de la mémoire statique Boite à outils d’algèbre non parallèle à PALM_MP Vrai MPMD avec MPI2 Optimisation de la mémoire Indépendance totale des unités à coupler Algèbre parallèle Aspect dynamique plus poussé Nombre de processeurs des unités Taille des objets, distribution Plus de fonctionnalités et de souplesse Sous objets Interopérabilité (c, c++, f77 & 90) Monitorage Unités compatibles coté utilisateur

Utilisation de PALM 1/3 2002 2004 Communauté Météo et Océano MERCATOR Utilisation de PALM_RESEARCH dans tous les systèmes d’assimilation R&D et opérationnel Passage progressif à PALM_MP Utilisateurs en augmentation Globc ORCA_VAR Prévu pour 2003 Débroussaillé, non réalisé Prévu (avec les ressources) pour fin 2004 IPSL/LODYC Utilisation prévue par Ch. Deltel subordonnée à ORCA_VAR/PALM Interface PALM dans OPA (demande MERCATOR & Globc) Service Météo du Canada Collaboration Pas prêts tout de suite Stage 6 mois ENM sur la PALMisation de la chaîne de prévision ECMWF Présentations effectuées Avec ORCA_VAR/PALM ?

Utilisation de PALM 2/3 2002 2004 Partenaires du CERFACS METEO FRANCE Rien ne bouge Projet ASSET : MOCAGE avec PALM réalisé. Chimie PNCA (D. Cariolle) Suite ASSET ? EDF Thèse Sébastien Massart Contrat neutronique (G. Gacon) … EADS Avec CFD. EADS Potentiellement intéressé Proto de Couplage fluide/structure effectué (Julien Delbove) Maquette en cours de développement Travail de Frieder Loercher / Steeve Champagneux CNES Chimie ? Base de données Ether.

Utilisation de PALM 3/3 2002 2004 Autres CEA Contact pris Deux personnes du projet PAL/SALOME (CEA & EDF) formées à PALM Cours PALM à l’école d’été CEA EDF sur le calcul parallèle. Divers : Demandes depuis site Web ½ douzaine Peu de retours

Perspectives PALM : Développement En chantier Pour mars 2004 (Contrat MERCATOR) : PALM_MP en phase de tests et d’optimisation, aide au passage à PALM_MP Planifié Pour mars 2005 (Appel d’offre MERCATOR), deux personnes : Algèbre parallèle Taille dynamique des espaces Héritage des espaces comme pour l’algèbre À proposer Selon les besoins de MERCATOR : -IO parallèles -Interpolation spatiale

Perspectives PALM : Applications ORCA_VAR/PALM Développement de la chaîne sous PALM pour diffusion : Lodyc, ECMWF, MERCATOR Assimilation de donnés en Chimie de l’atmosphère. Projet ADOMOCA : Daniel Cariolle Suite D’ASSET ? EDF Neutronique : Guillaume Gacon

Perspectives OASIS-PALM Répondre de façon concertée aux besoins de couplage dans la communauté scientifique Fusion des logiciels? Produits distincts mais certaines fonctionnalités communes Techniquement réalisable (~12-18 personnes-mois) Maintenance facilitée? Souhaitable pour ceux qui utilisent à la fois OASIS et PALM: MERCATOR, chimie, … Pas forcément souhaitable pour les utilisateurs actuels d’OASIS Tâche de service?

OASIS-PALM Fin de la présentation

Le coupleur OASIS3 Interpolations/transformations Processus séquentiel Oasis3 Champs 2D scalaires RPN Fast Scalar INTerpolator +proche voisin, bilinéaire, bicubique pour grilles régulières Lat-Lon SCRIP1.4 (Los Alamos Software Release LACC 98-45): +proche voisin, « remapping » conservatif 1er et 2e ordre toutes grilles bilinéaire et bicubique grilles cartésiennes [lat(i,j) lon(i,j)] Interpolation bilinéaire et bicubique pour grilles atmos. réduites. Autres transformations spatiales: correction de flux, combinaison, ... Opérations algébriques générales

Prospective: le coupleur OASIS4 Les différences OASIS3-OASIS4 Configuration d’un modèle couplé avec OASIS4: Fichiers XML de description d’un code: AD: Application Description PMIOD: Potential Model Input and Output Description Fichier XML de configuration d’un modèle couplé: SCC: Specific Coupling Configuration SMIOC: Specific Model Input and Output Configuration

Prospective: le coupleur OASIS4 La communication: Nouvelle librairie PSMILe basée sur MPI1 ou MPI2 Communication et répartition parallèle basée sur le domaine géographique de chaque processus, directement ou via le Transformer OB C O1 T Calcul en parallèle des intersections de partitions source-cible et des « voisins » d’interpolation par la PSMILe source Extraction du champ utile seulement. I/O: transition automatique mode forcé - mode couplé Adaptation automatique à la fréquence de couplage des SMIOC Intégration temporelle automatique si indiquée dans les SMIOC

Prospective: le coupleur OASIS4 Les interpolations/transformations (Transformer) T Réagit en boucle sur des demandes d’action envoyées par les différents PSMILes: envoi des intersections de partitions source-cible envoi des voisins envoi ou réception d’une intersection de partition d’un champ Traite indépendamment l’intersection de chaque couple de partition source-cible Structure propice à sa future parallélisation Interpolation: comme Oasis3 + Support de champs vectoriels Support de champs 3D