Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015.

Slides:



Advertisements
Présentations similaires
L’INFORMATIQUE Mihalcea Cezar.
Advertisements

Le monde i-mode Epreuve Oral – 16/03/05 Master STIC / CAM API et environnement de développement Bakogiannis Anastasios ( )
Architecture de machines Principes généraux
1 HPC pour les opérations. Sommaire Quelques rappels sur Windows Compute Cluster Server Déploiement de Compute Cluster Administration de Compute cluster.
1 HPC et Windows 2003 CCS pour les développeurs Visual Studio 2005.
A NETWORK-AWARE DISTRIBUTED STORAGE CACHE FOR DATA INTENSIVE ENVIRONMENTS Brian L. TIERNEY, Jason LEE, Brian CROWLEY, Mason HOLDING Computing Sciences.
Architecture des ordinateurs
Introduction aux réseaux informatiques
TER Visualisation 3D de calculs électromagnétiques Production : Sébastien JOB Jean-Christophe LARRE Cédric PIOVANO Encadrement : Fabrice HUET.
CLUSTERING Grappe d'ordinateurs.
PLAN du COURS Introduction Structure des Systèmes Informatiques
Informatique parallèle hautes performances
Cours de spécialité PEIP Moteur intelligent
Architecture de machines Principes généraux
Restriction daccès aux logiciels et aux matériels Problème de licence Nicolas CHABANOLES Matière : SRR Lieu: UFRIMA.
Atelier ADOMOCA Nov 2007 Hervé Le Berre Larborescence du projet Mocage.

Optimisation et parallélisation de code pour processeur à instructions SIMD multimedia François Ferrand.
Les systèmes multiprocesseurs Ph. Sèvre le 19/12/08.
Présentation de Windows 2000 Quest-ce que Windows 2000? 2 versions principales : 1.Windows 2000 Professionnel : Système dexploitation client (comme Windows.
IFT 6800 Atelier en Technologies d’information
Détection du meilleur format de compression pour une matrice creuse dans un environnement parallèle hétérogène Olfa HAMDI-LARBI.
Architecture des ordinateurs, Environnement Numérique de Travail
Informatique 1. Les applications de l’informatique
Importance du réseau dans des architectures MIMD Tout échange entre les processeurs nécessite un transfert de données via le réseau.
8INF856 Programmation sur architectures parallèles
Plan Définitions et exemples Composants de cluster
Plate-forme MIRAGE Méso-Informatique Répartie pour des Applications en Géophysique et Environnement.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Master 1 ère année Sécurité des Systèmes Informatique 1 Gestion de modules  Un module est un morceau de code qui peut être chargé à la volée dans le noyau.
La programmation système
D. E ZEGOUR Institut National d ’Informatique
Programmation Système et Réseau
Le Traitement Informatique des Données Scientifiques Oleg LODYGENSKY Etienne URBAH LAL, Univ Paris-Sud, IN2P3/CNRS,
L’Audio sur PC Comparaison Numérique vs Analogique Comparaison Audio sur PC vs Hardware dédié (DSP) Rmq: beaucoup de simulitudes avec la vidéo, mais débit.
1 École des Mines de Saint-Etienne. 158, cours Fauriel Saint-Etienne Cedex 2. Tél Fax Jean-Jacques Girardot
Structure d’un ordinateur Et ses périphériques
Architecture matérielle Qu’est ce qu’un ordinateur ?
SYSTEMES d’INFORMATION séance 1 : Introduction et définitions
L'unité centrale est composé en générale de :
Présentation ESTRABOX
P ROJET D ’ INFORMATIQUE Fait par mélodie Lapointe-Bélanger Mélody Lapierre Sytaïna Vigneault.
Architecture des ordinateurs, Environnement Numérique de Travail
PSPA : une plateforme de simulation en physique des accélérateurs Les journées informatique de l’IN2P3-IRFU octobre.
PaCO++ André Ribes Réunion Hydrogrid Rennes 15/09/03.
Achat d’un ordi de «gamer» Fait par : Daphné Laflamme-Morin, Daphnée Allard, Jimmy Courtois et Christopher Girouard.
PROJET CAPS Compilation, Architecture, Parallélisme et Système.
Simulateur de microcontrôleur Intel 80C51
GenoToul2007 Présentation Bilan 2007 Perspectives Plateforme bioinformatique C. Gaspin, C. Klopp, D. Laborie, J.-M. Larré, C. Noirot.
Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes, C. Pinazo Juin 2015.
Les fermes de PCs au Centre de Calcul de l’IN2P3 Journée « ferme de PCs » 27 juin 2000 Benoit Delaunay
Visualisation des flots optiques en 3D
Journée de réflexion OGIIS Métadonnées et Information Scientifique Plateforme SIG Mardi 23 octobre 2012.
1.1: notions de bases de l’informatique
Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)
05/10/2001Etat de Spm Parallel ( Gérald Vétois ) Etat de Spm Parallel.
Gestion de configuration
Proposition de possibilité d’évolution de nos spécialités Deux projets (liés) : Projet 1 : Informatique Computationnelle – Etudiants 4 e et 5 e IR Projet.
Hébergement d’une infrastructure de Cloud Expérience d’un laboratoire Guillaume Philippon.
ARCHITECTURE MATERIELLE D’UN SYSTEME A MICROPROCESSEUR
PetaSky: Expérimentations avec HadoopDB et Hive 1 Amin Mesmoudi.
Entretiens Louis le Grand 29 et 30 août Entretiens Louis le Grand – 29 et 30 Août 2005 Étude de cas CS  Jacques DUYSENS (CS Communication & Systèmes)
Rappel : les différentes architectures de stockage Attachement direct NAS SAN.
Réunion « Comité Scientifique de l’OSU PYTHEAS » 29 Février 2016.
Tier 2 au LAPP. Plan Historique Objectifs Infrastructures Status/métriques Avenir Conclusion.
Révisions pour l’exam L2 Informatique Obligatoire.
Réunion des utilisateurs de MUST 8 juillet 2011 Bourget du Lac.
CeMEB La plateforme MBB
CeMEB La plateforme MBB
Transcription de la présentation:

Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015

Nov Plateforme de calcul HPC Institut Pythéas 2 Description du cluster de calcul Juillet nœud « maitre » de connexion 32 nœuds de calcul = 292 cœurs de calcul Baie de stockage 100 To

Nov Plateforme de calcul HPC Institut Pythéas 3 Description du Cluster de calcul Qu’est ce qu’un « cluster de calcul » ? o Un ensemble de PC « gonflés » taillés pour le calcul  Reliés sur un réseau dédié " Infiniband " à très haute vitesse " 40Gb/s » Permettant du calcul "parallèle " MPI  possédant beaucoup de mémoire vive RAM (64 Go) » Permettant de charger de grosses matrices  Des processeurs puissants : Bi-processeurs quad- core (2*4), hexa-core (2*6), octo-core (2*8) » 292 coeurs de calcul (juillet 2015)  Un stockage spécifique sur disques performants dédié à la sortie des modèles » ⇒ 100 To depuis juillet 2015

Nov Plateforme de calcul HPC Institut Pythéas 4 Description du Cluster de calcul Sur le plan logiciel le cluster possède tout un environnement de développement o Compilateurs : Fortran90, C, C++, Java o Librairies de parallélisation: parallélisation MPI o Progiciels scientifiques : Matlab, R o Librairies de visualisation de données : nco, ncview, ferret o modélisation écoulements 2D/3D, transport sédimentaire : – Delft3D o génétique des populations, bioinformatique (microbiome) – Mrbayes, Migrate, OBITools, Qiime o modèles d’océanographie et de météorologie ROMS, MARS3D, Symphonie, ECO3M, Ichtyop WRF

Nov Plateforme de calcul HPC Institut Pythéas 5 Combien ca coûte ? Cher… de nombreuses évolutions depuis ère phase 2008 sur FdR du COM : 40 k€ Architecture de base 8 noeuds 2 ème Phase 2011 sur crédits UnivMed : 32 k€ 16 nœuds 3 ème phase 2012 sur FEDER Oceanomed : 50 k€ Baie de stockage de 40To + Réseau Infiniband QdR 40Gb/s 4 ème phase 2015 sur FEDER Oceanomed : 60 k€ 100To de disque, rajout 8 nœud octocore, 2eme switch IB ⇒ Nécessité de mutualiser ce type d'équipement au sein de l’Institut Pythéas

Nov Plateforme de calcul HPC Institut Pythéas 6 Comment utiliser le " cluster " ? Se rapprocher du SIP : Création du compte informatique et l'environnement de travail sur le cluster S'abonner à la liste Prendre connaissance du WIKI (documentation utilisateur) Et lire un peu de documentation pour utiliser quelques commandes L'article du cluster sur le site WEB du SIP

Nov Plateforme de calcul HPC Institut Pythéas 7 Comment fonctionne le " cluster " ? Le principe de fonctionnement Les utilisateurs se connectent sur le nœud " maitre " Déposent leur code de calcul Développent leur code de calcul, leur modèle, compilation → programme exécutable Lancent l'exécution de leur modèle sur le cluster au travers d'un logiciel d'ordonnancement (SGE ou OAR) L'ordonnanceur Gère le lancement et l'exécution des divers calcul Attribut les calculs à tel ou tel nœud au cours du temps, en fonction de la charge et des ressources demandées

Nov Plateforme de calcul HPC Institut Pythéas 8 Qui l’utilise ? Une 50 aine d’utilisateurs du M.I.O. + CEREGE + IMBE Nombre de comptes ouverts (cumulés depuis 2012) sur le cluster (Juillet 2015) – MIO 31 – IMBE 11 – CEREGE 9 – OTMED 1 – LAM 5

Nov Plateforme de calcul HPC Institut Pythéas 9 Un « wiki » utilisateur fournit la documentation sur les modèles et leur utilisation

Nov Plateforme de calcul HPC Institut Pythéas 10 Accès aux Enseignements La puissance de calcul du Cluster HPC est utilisée pour plusieurs UEs d’enseignement de Master en Modélisation: – Modélisation Hydrodynamique avec ROMS – Modélisation couplée 2DH Leendertse/Bacher et al 1997 de l’Etang de Thau – Modélisation couplée MARS3D/ECO3M – Modélisation couplée 1DV/ECO3M

Nov Plateforme de calcul HPC Institut Pythéas 11 Supervision du " cluster " Suivi de la consommation des ressources : RAM, disques, processeurs

Nov Plateforme de calcul HPC Institut Pythéas 12 Modélisation 3D Océano Modélisation couplée Physique/Biogéochimie Ex : Nouvelle-Calédonie (Thèse R. Fuchs)

Nov Plateforme de calcul HPC Institut Pythéas 13 Modélisation 3D Météo