Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015.

Présentation au sujet: "Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015."— Transcription de la présentation:

1 Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015

2 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 2 Description du cluster de calcul Juillet 2015 1 nœud « maitre » de connexion 32 nœuds de calcul = 292 cœurs de calcul Baie de stockage 100 To

3 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 3 Description du Cluster de calcul Qu’est ce qu’un « cluster de calcul » ? o Un ensemble de PC « gonflés » taillés pour le calcul  Reliés sur un réseau dédié " Infiniband " à très haute vitesse " 40Gb/s » Permettant du calcul "parallèle " MPI  possédant beaucoup de mémoire vive RAM (64 Go) » Permettant de charger de grosses matrices  Des processeurs puissants : Bi-processeurs quad- core (2*4), hexa-core (2*6), octo-core (2*8) » 292 coeurs de calcul (juillet 2015)  Un stockage spécifique sur disques performants dédié à la sortie des modèles » ⇒ 100 To depuis juillet 2015

4 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 4 Description du Cluster de calcul Sur le plan logiciel le cluster possède tout un environnement de développement o Compilateurs : Fortran90, C, C++, Java o Librairies de parallélisation: parallélisation MPI o Progiciels scientifiques : Matlab, R o Librairies de visualisation de données : nco, ncview, ferret o modélisation écoulements 2D/3D, transport sédimentaire : – Delft3D o génétique des populations, bioinformatique (microbiome) – Mrbayes, Migrate, OBITools, Qiime o modèles d’océanographie et de météorologie ROMS, MARS3D, Symphonie, ECO3M, Ichtyop WRF

5 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 5 Combien ca coûte ? Cher… de nombreuses évolutions depuis 2008 1 ère phase 2008 sur FdR du COM : 40 k€ Architecture de base 8 noeuds 2 ème Phase 2011 sur crédits UnivMed : 32 k€ 16 nœuds 3 ème phase 2012 sur FEDER Oceanomed : 50 k€ Baie de stockage de 40To + Réseau Infiniband QdR 40Gb/s 4 ème phase 2015 sur FEDER Oceanomed : 60 k€ 100To de disque, rajout 8 nœud octocore, 2eme switch IB ⇒ Nécessité de mutualiser ce type d'équipement au sein de l’Institut Pythéas

6 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 6 Comment utiliser le " cluster " ? Se rapprocher du SIP : http://assistance.pytheas.univ-amu.frhttp://assistance.pytheas.univ-amu.fr Création du compte informatique et l'environnement de travail sur le cluster S'abonner à la liste cluster@pytheas.univ-amu.frcluster@pytheas.univ-amu.fr Prendre connaissance du WIKI (documentation utilisateur) Et lire un peu de documentation pour utiliser quelques commandes http://cluster.osupytheas.fr L'article du cluster sur le site WEB du SIP http://sip.osupytheas./?p=382

7 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 7 Comment fonctionne le " cluster " ? Le principe de fonctionnement Les utilisateurs se connectent sur le nœud " maitre " Déposent leur code de calcul Développent leur code de calcul, leur modèle, compilation → programme exécutable Lancent l'exécution de leur modèle sur le cluster au travers d'un logiciel d'ordonnancement (SGE ou OAR) L'ordonnanceur Gère le lancement et l'exécution des divers calcul Attribut les calculs à tel ou tel nœud au cours du temps, en fonction de la charge et des ressources demandées

8 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 8 Qui l’utilise ? Une 50 aine d’utilisateurs du M.I.O. + CEREGE + IMBE Nombre de comptes ouverts (cumulés depuis 2012) sur le cluster (Juillet 2015) – MIO 31 – IMBE 11 – CEREGE 9 – OTMED 1 – LAM 5

9 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 9 Un « wiki » utilisateur fournit la documentation sur les modèles et leur utilisation http://cluster.osupytheas.fr/pmwiki/ http://cluster.osupytheas.fr/pmwiki/

10 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 10 Accès aux Enseignements La puissance de calcul du Cluster HPC est utilisée pour plusieurs UEs d’enseignement de Master en Modélisation: – Modélisation Hydrodynamique avec ROMS – Modélisation couplée 2DH Leendertse/Bacher et al 1997 de l’Etang de Thau – Modélisation couplée MARS3D/ECO3M – Modélisation couplée 1DV/ECO3M

11 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 11 Supervision du " cluster " Suivi de la consommation des ressources : RAM, disques, processeurs http://cluster.osupytheas.fr/ganglia/http://cluster.osupytheas.fr/ganglia/

12 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 12 Modélisation 3D Océano Modélisation couplée Physique/Biogéochimie Ex : Nouvelle-Calédonie (Thèse R. Fuchs)

13 Nov. 2012 Plateforme de calcul HPC Institut Pythéas 13 Modélisation 3D Météo