Projet « Calcul Hautes Performances et Informatique Distribuée »

Présentation au sujet: "Projet « Calcul Hautes Performances et Informatique Distribuée »"— Transcription de la présentation:

1 Projet « Calcul Hautes Performances et Informatique Distribuée »
Proposition de renouvellement Porteurs : E. Caron (LIP, Lyon) et C. Prud’homme (LJK, Grenoble) en remplacement de : F. Desprez (LIP, Lyon) et E. Blayo (LJK, Grenoble

2 Basé sur un existant fort
Fédérer les activités autour de l’informatique distribuée, des grappes et des grilles de calcul et de données, de la modélisation numérique et du calcul intensif en région Rhône-Alpes Développement d’outils informatiques et de méthodes numériques pour le calcul intensif Enrichissement par de véritables interactions entre info et calcul : De “vraies” applications pour spécifier et valider les concepts issus des recherches en informatique distribuée. Les avancées en informatique des grappes et grilles doivent diffuser rapidement vers les chercheurs et utilisateurs du calcul intensif. Basé sur un existant fort Compétences reconnues en Rhône-Alpes autour du calcul à haute performance, des grappes et des grilles Communauté applicative bien identifiée (CIRA) Avec le support d’une infrastructure matérielle et logicielle importante Réseau CIMENT à Grenoble Fédération Lyonnaise de Calcul à Haute Performance Nœuds Grid5000 à Lyon et à Grenoble

3 Participants « Cœur » du projet LIP Lyon (équipes GRAAL et RESO)
LIG Grenoble (équipes MESCAL et MOAIS) LJK Grenoble (équipes MOISE et EDP) ICJ Lyon (CDCSP) Communauté utilisateurs CIRA (regroupement de CIMENT-Grenoble, FLCHP-Lyon et MUST-Savoie)

4 Ce qui a été fait depuis 4 ans

5 Objectifs initiaux Renforcer les liens entre CIMENT et FLCHP via ce projet région (visibilité nationale) ---> vers une structure régionale (CIRA) Aller vers une grille Rhône-Alpes Tester les développements effectués (maths et info) dans le cadre de ce projet sur de véritables applications utilisateurs. Transférer les outils développés

6 De fédérations locales à une fédération régionale
Projet CIMENT (Grenoble - coordinateur : L. Desbat ) plusieurs communautés de chercheurs utilisant la simulation numérique intensive (astrophysique, environnement, imagerie médicale, chimie, physique, sciences sociales) autour de plates-formes de calcul communes. Impliqué fortement dans le calcul sur grille (projet CIGRI, outil OAR) Fédération Lyonnaise de Calcul à Hautes Performances (Lyon - M. Buffat) 3 méso-centres (PSMN à l’ENS Lyon, P2CHPD à l’UCBL, PMCS2I à l’ECL) Renforcement d’une communauté en « calcul scientifique » Satisfaction des besoins en calcul dans les sites locaux Développements d’actions transverses (grille de calcul) Projet MUST (Annecy et Chambéry – N. Neyroud) 8 laboratoires Outils de stockage et de calcul Ouverture importante vers les grilles

7 Le point sur CIRA (Calcul Intensif en Rhône-Alpes)
La mise en commun effective dans chaque pôle (ressources de calcul, ingénieurs, échanges scientifiques) passe au niveau régional. Réunion de lancement de CIRA le 23 juin 2008 à Grenoble Soutien du CPER (1.37 M€) Rapprochement avec le CC-IN2P3 Participation à la mise en place d’un outil commun : grille Rhône-Alpes, en collaboration avec l’IN2P3

8 CIRA : travaux en cours Tester le middleware DIET (développé au LIP) sur CIMENT (et sur CC-IN2P3) sur applications dimensionantes Tester le middleware Ci-Gri (développé au LIG) sur les machines de la FLCHP (et sur CC-IN2P3) Bilans et échanges de compétences Créer des points d’entrée EGEE dans CIRA (Grenoble et Lyon)

9 Le point sur la grille Rhône-Alpes
Vers une structuration régionale des moyens de calcul (cf création de l’Institut des Grilles du CNRS) - colloque « grille Rhône-Alpes » le 10 janvier 2008. Les réflexions liées aux aspects techniques et à la gestion scientifique ont démarré : Quelles machines ? Quelle infrastructure midlleware ? Comité de pilotage ? Animation ? …

10 ADRs : Favoriser les sujets pluri-disciplinaires, combinant une problématique fondamentale et une application dimensionnante Oct : Etude de stratégies d’ordonnancement et de gestion de données pour des applications de physique et de bioinformatique sur la grille (thèse de J.-S. Gay, dir. : Y. Caniou, F. Desprez, LIP) Oct : Développement de méthodes de couplage entre modèles hétérogènes - analyse de sensibilité sur grilles de calcul (thèse de A. Toulougoussou, dir. : E. Blayo, L. Viry, LJK) Oct : Développement de schémas symplectiques adaptés pour la décomposition en temps de systèmes aux équations différentielles algébriques sur système multiprocesseurs. (thèse de P. Linel, dir. : D. Tromeur-Dervout, ICJ, et L. Lefèvre, LAGEP) Oct : Des modèles d'analyse de performances dans de grands systèmes de type grille pour des applications de calcul intensif (thèse de X., dir. : B. Gaujal, LIP, P. Valiron, LAOG, E. Caron, LIP)

11 Animation scientifique
Septembre 2006 : Atelier OSUG « couplage de modèles », Grenoble Janvier 2007 : Groupe de travail Grilles de l’Observatoire Virtuel (ENS Lyon) Mars 2007 : réunion autour des problèmes d’ordonnancement liés aux applications (DIET/OAR) Mars - mai 2007 : cours « calcul réparti » et « modélisation numérique » Janvier 2008 : cours « Assimilation de données » (50 participants) Janvier 2008 : colloque Grille Rhône-Alpes Février 2008 : groupe de travail DIET-CiGri Mars - mai 2008 : cours « calcul réparti » et « modélisation numérique » Mai 2008 à Lyon : organisation par le LIP de la conférence internationale CCGRID (8th IEEE International Symposium on Cluster Computing and the Grid) et de l’Open Grid Forum. Mai 2008 à Lyon : organisation par le CDCSP-ICJ de la conférence internationale Parallel Computational Fluid Dynamics

12 Aspects structurants Participation aux RTRA : Calcul Haute Performance pour le Micro et Nanotechnologies (RTRA « Nanosciences aux limites de la nanoélectronique ») RTRA Visibilité nationale : journée nationale « méso-centres » le 13 février à l’IHP (5/12 !!)

13 Renouvellement : les aspects qui évoluent

14 Organisation du projet
On conserve l’organisation en 2 volets + 1 réseau utilisateurs Volet « outils et méthodes logiciels et réseaux » Volet « outils et méthodes numériques » On resserre un peu chacun des volets autour des thématiques centrales On développe de nouveaux champs applicatifs

15 Volet « outils et méthodes logiciels et réseaux »
INF1: Outils pour le déploiement d’applications sur les grappes et les grilles (Coord: F. Desprez, LIP) INF2: Gestion et transport de grandes quantités de données sur architecture à large échelle (Coord: A. Legrand, LIG) Renforcer les liens entre les équipes autour de développements logiciels commun (autour de DIET, OAR, KAAPI) en relation avec les applications du projet. Aller de la compréhension des besoins applicatifs à la validation sur les plates-formes de la région en passant par la simulation. Recentrer sur 2 tâches plus ciblées

16 Exemple 1 : Cosmo (Eddy ?) Contexte applicatif : 16

17 Exemple 2 : ??? (Olivier, Arnaud ?)
Contexte applicatif : 17

18 Volet « outils et méthodes numériques »
NUM1: Couplages multi-physiques et multi-échelles (Coord: E. Blayo, LJK) NUM2: Outils mathématiques et numérique pour le calcul intensif (Coord: D. Tromeur-Dervout, ICJ) Plate-formes logicielles pour la simulation numérique Nouvelles applications en biologie et en micro-nano technologies Participation accrue du LAMA (Chambéry)

19 Exemple 1 : Analyse de sensibilité et quantification d’incertitudes
Problème générique pour les systèmes complexes de modélisation : Analyse de sensibilité : détermination des paramètres incertains les plus influents Quantification d’incertitude : estimation d’une surface de réponse du système Application choisie : prévision climatique régionale en Afrique de l’Ouest - sensibilité du régime des pluies à des paramètres incertains

20 Nouveauté : application à un « gros » système  collaboration numériciens / statisticiens/informaticiens Application incompatible avec les méso-centres, et souvent les grands centres de calcul, mais envisageable sur une grille de calcul avec un middleware adapté O( ) runs Chaque run : 12h/CPU, O(1Gb) en entrée et en sortie En cours : Déploiement sur la grille CIMENT (via l’outil CiGri) Collaboration pour l’utilisation de DIET Objectif : soumission à la grille EGEE

21 Exemple 2 : Simulation du système cardiovasculaire
Modélisation et simulation du système cardiovasculaire : Multi-physique : fluide-structure, transport de masse Multi-échelles (géométrique) : par ex. 0D, 1D pour les modèles de veines, artères, cœur, 2D/3D pour un zoom sur une région d’intérêt développant par ex. une pathologie Bords artificiels Quelles données doivent être prescrites sur les bords artificiels et comment ? Les données aux bords doivent : tenir compte de la présence du réseau vasculaire en amont et en aval assurer des solutions correctes (absence ou réduction d’effets indésirables)

22 Exemple 2 : Simulation du système cardiovasculaire
Modélisation et simulation du système cardiovasculaire : Multi-physique : fluide-structure, transport de masse Multi-échelles (géométrique) : par ex. 0D, 1D pour les modèles de veines, artères, cœur, 2D/3D pour un zoom sur une région d’intérêt développant par ex. une pathologie 3D 1D 0D

23 Exemple 2 : Simulation du système cardiovasculaire
Modélisation et simulation du système cardiovasculaire : Multi-physique : fluide-structure, transport de masse Multi-échelles (géométrique) : par ex. 0D, 1D pour les modèles de veines, artères, cœur, 2D/3D pour un zoom sur une région d’intérêt développant par ex. une pathologie INTIMA MEDIA ADVENTITIA Interactions mécaniques couplage fluide-paroi Interactions biochimiques Processus de transfert de masse: macromolécules, médicament, oxygène…

24 Exemple 2 : Simulation du système cardiovasculaire
Modélisation et simulation du système cardiovasculaire : Multi-physique : fluide-structure, transport de masse Multi-échelles (géométrique) : par ex. 0D, 1D pour les modèles de veines, artères, cœur, 2D/3D pour un zoom sur une région d’intérêt développant par ex. une pathologie Solveurs et coupleurs distribués sur une grille, les solveurs et coupleurs étant éventuellement parallèles (NS, CDR…) Mise en place complexe de l’application: données physiques, géométries complexes… Architecture similaire pour la simulation de micro-nano technologies lorsqu’on veut étudier un système complet comprenant des micro-nano composants Mise en place de méthodes de réduction d’ordre (RBOBM) afin de réduire le coût des simulations (paramétrisées) 2D/3D par rapport au 0D/1D. Nécessitent néanmoins des calculs offline lourds adaptés aux grilles de calcul

25 Exemple 3 : Interaction fluide-structure
3 approches : Level set ALE domaines fictifs (FBM) Applications : bio-mécanique vésicules (globules rouges) électro-mouillage (ALE) Défis : ordre élevé coût (parallélisation)

26 Exemple 4 : nouveaux paradigmes de programmation
Un langage pour les EDP: formes variationnelles projection nodale intégration numérique Applications : Galerkin standard (cG/dG) Galerkin généralisé (PG) applications complexes Objectifs (freefem++ like) parallélisation (MPI, OpenMP, GPU, ITBB)

27 CONCLUSIONS Cohésion de la communauté du calcul scientifique en Rhône-Alpes Animation entre les experts des grappes et des grilles et les chercheurs d’autres disciplines Demandes conjointes pour la création d’une grille Rhône-Alpes Success stories autour du portage de quelques applications ciblées et du développement commun d’outils logiciels