Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes, C. Pinazo Juin 2015.

Slides:



Advertisements
Présentations similaires
L’INFORMATIQUE Mihalcea Cezar.
Advertisements

GEF 435 Principes des systèmes dexploitation Les systèmes dexploitation en général (Tanenbaum 1.1 et 1.3)
Architecture de machines Principes généraux
1 HPC pour les opérations. Sommaire Quelques rappels sur Windows Compute Cluster Server Déploiement de Compute Cluster Administration de Compute cluster.
Applications de GdX Coordinateur thématique : Christophe Cérin
A NETWORK-AWARE DISTRIBUTED STORAGE CACHE FOR DATA INTENSIVE ENVIRONMENTS Brian L. TIERNEY, Jason LEE, Brian CROWLEY, Mason HOLDING Computing Sciences.
Architecture des ordinateurs
TER Visualisation 3D de calculs électromagnétiques Production : Sébastien JOB Jean-Christophe LARRE Cédric PIOVANO Encadrement : Fabrice HUET.
CLUSTERING Grappe d'ordinateurs.
PLAN du COURS Introduction Structure des Systèmes Informatiques
Systèmes Experts : Principes
Informatique parallèle hautes performances
Cours de spécialité PEIP Moteur intelligent
Architecture de machines Principes généraux
Cours d’initiation en Informatique
Restriction daccès aux logiciels et aux matériels Problème de licence Nicolas CHABANOLES Matière : SRR Lieu: UFRIMA.
Atelier ADOMOCA Nov 2007 Hervé Le Berre Larborescence du projet Mocage.
Programme et Langage C++
Optimisation et parallélisation de code pour processeur à instructions SIMD multimedia François Ferrand.
Pr. Alain Greiner (LIP6 - ASIM) Daniel Millot, Philippe Lalevee (INT)
Présentation de Windows 2000 Quest-ce que Windows 2000? 2 versions principales : 1.Windows 2000 Professionnel : Système dexploitation client (comme Windows.
Détection du meilleur format de compression pour une matrice creuse dans un environnement parallèle hétérogène Olfa HAMDI-LARBI.
Architecture des ordinateurs, Environnement Numérique de Travail
Informatique 1. Les applications de l’informatique
Importance du réseau dans des architectures MIMD Tout échange entre les processeurs nécessite un transfert de données via le réseau.
8INF856 Programmation sur architectures parallèles
Plate-forme MIRAGE Méso-Informatique Répartie pour des Applications en Géophysique et Environnement.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Master 1 ère année Sécurité des Systèmes Informatique 1 Gestion de modules  Un module est un morceau de code qui peut être chargé à la volée dans le noyau.
La programmation système
Structure de Base d’un ordinateur Matière : Informatique
D. E ZEGOUR Institut National d ’Informatique
Le Traitement Informatique des Données Scientifiques Oleg LODYGENSKY Etienne URBAH LAL, Univ Paris-Sud, IN2P3/CNRS,
Structure d’un ordinateur Et ses périphériques
Architecture matérielle Qu’est ce qu’un ordinateur ?
Introduction aux solutions Microsoft pour le HPC.
SYSTEMES d’INFORMATION séance 1 : Introduction et définitions
L'unité centrale est composé en générale de :
P ROJET D ’ INFORMATIQUE Fait par mélodie Lapointe-Bélanger Mélody Lapierre Sytaïna Vigneault.
Architecture des ordinateurs, Environnement Numérique de Travail
PaCO++ André Ribes Réunion Hydrogrid Rennes 15/09/03.
Achat d’un ordi de «gamer» Fait par : Daphné Laflamme-Morin, Daphnée Allard, Jimmy Courtois et Christopher Girouard.
Le portable d’Alice Jayson et Steven. *1. Processeur; Trie les données et exécute les programmes 1à 4 cœurs *2. Mémoire vive (RAM) placé les données -SRAM.
PROJET CAPS Compilation, Architecture, Parallélisme et Système.
Simulateur de microcontrôleur Intel 80C51
Interface de communication pour les réseaux InfiniBand
Réponse à l'appel d'offre de la société GSB
Structures de données avancées : Principales structures de fichiers
Les fermes de PCs au Centre de Calcul de l’IN2P3 Journée « ferme de PCs » 27 juin 2000 Benoit Delaunay
Réalisé par : Encadré par : - Keheli adnane Pr L.Lamrini
Visualisation des flots optiques en 3D
L’arrivée des versions parallèles des modèles de l’IPSL Adapter les codes aux architectures multiprocesseurs des futures machines afin d’améliorer les.
Contexte de l’apparition du Cloud
1.1: notions de bases de l’informatique
Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)
05/10/2001Etat de Spm Parallel ( Gérald Vétois ) Etat de Spm Parallel.
Gestion de configuration
Raison d'être de la structure de fichiers : Les premiers travaux : Début des années 1960 : En 1963 : Près de 10 ans plus tard... (à peu près 1973) : Durant.
Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes UMS 3470 Pytheas C. Pinazo UMR 7294 MIO Juin 2015.
ARCHITECTURE MATERIELLE D’UN SYSTEME A MICROPROCESSEUR
PetaSky: Expérimentations avec HadoopDB et Hive 1 Amin Mesmoudi.
Chapitre 12 Surveillance des ressources et des performances Module S41.
Journées informatique IN2P3/Dapnia, Lyon Septembre 2006 Consolidation des serveurs par virtualisation Retour d’expérience sur l’utilisation de VMware.
1 Expérience MSFG « Montpellier Sud de France Grille» Journées «Grilles France» IPNL, octobre 2009.
Rappel : les différentes architectures de stockage Attachement direct NAS SAN.
Systèmes à microprocesseur Les mémoires
Révisions pour l’exam L2 Informatique Obligatoire.
CeMEB La plateforme MBB
CeMEB La plateforme MBB
Transcription de la présentation:

Plateforme de Calcul Intensif “HPC” de l’lnstitut Pytheas M. Libes, C. Pinazo Juin 2015

Nov Plateforme de calcul HPC Institut Pythéas 2 Description du Cluster de calcul Qu’est ce qu’un « cluster de calcul » ? o Un ensemble de PC « gonflés » taillés pour le calcul  Reliés sur un réseau dédié " Infiniband " à très haute vitesse " 40Gb/s Permettant le calcul "parallèle "  possédant beaucoup de mémoire vive RAM (48Go) Permettant de charger de grosses matrices  Des processeurs puissants : Bi-processeurs quad- core (2*4), hexa-core (2*6), octo-core (2*8)  Un stockage sur disque performants et volumineux 40To dédié à la sortie des modèles ⇒ 100 To prévu en septembre 2015

Nov Plateforme de calcul HPC Institut Pythéas 3 Description du Cluster de calcul La photo 1 nœud maitre de connexion+ 32 nœuds de calcul = 292 cœurs de calcul Baie de stockage 100 To

Nov Plateforme de calcul HPC Institut Pythéas 4 Description du Cluster de calcul Sur le plan logiciel le cluster possède tout un environnement de développement o Compilateurs : Fortran90, C, C++, Java o Librairies de parallélisation: parallélisation MPI o Progiciels scientifiques : Matlab, R o Librairies de visualisation de données : nco, ncview, ferret o Logiciels de génétique des populations, modèles d’océanographie et de météorologie : Mrbayes, Migrate ROMS, MARS3D, Symphonie, ECO3M, Ichtyop WRF

Nov Plateforme de calcul HPC Institut Pythéas 5 Combien ca coûte ? Cher... 1 ère phase 2008 sur FdR du COM : 40 k€ Architecture de base 8 noeuds 2 ème Phase 2011 sur crédits Univmed : 32 k€ 16 nœuds 3 ème phase 2012 sur FEDER Oceanomed : 50 k€ Baie de stockage de 40To + Réseau Infiniband QdR 40Gb/s 4 ème phase 2015 sur FEDER Oceanomed : 60 k€ 100To de disque, rajout 8 nœud octocore, 2eme switch IB ⇒ Nécessité de mutualiser ce type d'équipement au sein de l’Institut Pythéas

Nov Plateforme de calcul HPC Institut Pythéas 6 Comment utiliser le " cluster " ? Se rapprocher du SIP : Création du compte informatique et l'environnement de travail sur le cluster S'abonner à la liste Prendre connaissance du WIKI (documentation utilisateur) Et lire un peu de documentation pour utiliser quelques commandes L'article du cluster sur le site WEB du SIP

Nov Plateforme de calcul HPC Institut Pythéas 7 Comment fonctionne le " cluster " ? Le principe de fonctionnement Les utilisateurs se connectent sur le nœud " maitre " Déposent leur code de calcul Développent leur code de calcul, leur modèle, compilation → exécutable Lancent l'exécution de leur modèle sur le cluster au travers d'un logiciel d'ordonnancement appelé SGE L'ordonnanceur SGE Gère le lancement et l'exécution des divers calcul Attribut les calculs à tel ou tel nœud au cours du temps, en fonction de la charge

Nov Plateforme de calcul HPC Institut Pythéas 8 Qui l’utilise ? Une 30 aine d’Utilisateurs du M.I.O. + CEREGE + IMBE Test effectués par des Utilisateurs de l’OAMP pour voir si l’on pourrait consacrer le cluster de Luminy au calcul parallèle et le cluster de l’OAMP au calcul séquentiel

Nov Plateforme de calcul HPC Institut Pythéas 9 Accès aux Enseignements La puissance de calcul du Cluster HPC est utilisée pour plusieurs UEs d’enseignement de Master en Modélisation: – Modélisation Hydrodynamique avec ROMS – Modélisation couplée 2DH Leendertse/Bacher et al 1997 de l’Etang de Thau – Modélisation couplée MARS3D/ECO3M – Modélisation couplée 1DV/ECO3M

Nov Plateforme de calcul HPC Institut Pythéas 10 Supervision du " cluster " Suivi de la consommation des ressources : RAM, disques, processeurs

Nov Plateforme de calcul HPC Institut Pythéas 11 Modélisation 3D Océano Modélisation couplée Physique/Biogéochimie Ex : Nouvelle-Calédonie (Thèse R. Fuchs)

Nov Plateforme de calcul HPC Institut Pythéas 12 Modélisation 3D Météo (Ch. Yohia)