Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois.

Slides:



Advertisements
Présentations similaires
Tutoriel - Les Ressources du BCH
Advertisements

CRÉER UNE APPLICATION INTERNET RELIEE A UNE BASE DE DONNEES
CGP2P, école des mines Sous-projet V La participation du LAL au projet CGP2P DataGRID CGP2P.
Tomcat et son fonctionnement XML
Applications de GdX Coordinateur thématique : Christophe Cérin
Introduction Pour concrétiser l’enseignement assisté par ordinateur
- Couche 7 - Couche application. Sommaire 1)Introduction 1)DNS 1)FTP et TFTP 1)HTTP 1)SNMP 1)SMTP 1)Telnet.
Le Grid Computing Par Frédéric ARLHAC & Jérôme MATTERA.
Le Grid Computing et son utilisation dans les entreprises et les industries Laurent CANTONE Résoul UNAL.
Fête de la Science 2011 Le LHC et ses expériences des géants pour sonder le coeur de la matière Bienvenue au Laboratoire De Physique Subatomique et de.
PROJET DATAGRID À lIPSL (Pôle Données) C. Boonne Réunion DataGRID - 31/01/ Lyon.
Nadia LAJILI DataGRID WP6 - Testbed Integration-BILAN Lyon, 12 Juillet 2001.
Grid Information Index Service D. Calvet, M. Huet, I. Mandjavidze DAPNIA/SEI CEA Saclay Gif-sur-Yvette Cedex.
Intégration du système de production LHCb sur la DataGRID V. Garonne, CPPM, Marseille Réunion DataGRID France, 13 fv fév
NFE 107 : Urbanisation et architecture des systèmes d'information
Module 13 : Implémentation de la protection contre les sinistres
Une approche pour un espace de confiance des collectivités locales.
SECURITE DU SYSTEME D’INFORMATION (SSI)
Module 1 : Préparation de l'administration d'un serveur
1 Sécurité Informatique : Proxy Présenter par : Mounir GRARI.
Sommaire Objectif de Peakup Principes de fonctionnement
Services fournis par le SI et technologies associées
Des outils pour le développement logiciel
Soutenance de stage de fin d’études
1 Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Novembre 2003 Contenu de la présentation Etat de lart : Grille de calcul.
Constitution des bases de données. n Partenaires u Creatis u Liris/Systèmes dinformation communicants n Lot de travail situé entre le lot Applications.
Module 8 : Surveillance des performances de SQL Server
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
PLAN I. Problématique A. Les besoins L’entreprise La productivité B. Enjeux économiques et techniques Redondance Éventuelle migration II. Solutions proposées.
Poste de travail physicien Commission Informatique – LAPP 15 mai 2008.
Jeu de Librairies Virtuelles « DLL » Windows pour la réalisation de programmes informatiques.
Centre de Calcul de l'IN2P3 - Lyon Toulouse - Lyon, 21 décembre 2004 Les projets de grille au Centre de Calcul de l’IN2P3.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
La programmation système
CAPRI 9 juin 2011 Cloud Académique Production Recherche Innovation Comité de Pilotage France-Grilles.
CAZIER Kévin JACOB Sébastien Réalisée dans le cadre du Projet Pluridisciplinaire Encadré par Mme Martine COQUET Responsable de l’entreprise.
1Auteur : Oleg LODYGENSKY XtremWeb-HEP Atelier Opérations France Grille Lyon – Villeurbanne 13 et 14 octobre.
Méthodologie Scientifique
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
Module 3 : Création d'un domaine Windows 2000
Introduction aux solutions Microsoft pour le HPC.
Réunion calcul simulations GIEC/IPCC - Prodiguer Lundi 23 Mars PRODIGUER un noeud français de distribution des données GIEC/IPCC Sébastien Denvil.
Optimisation par la virtualisation, et réflexions pour aller au-delà
PSPA : une plateforme de simulation en physique des accélérateurs Les journées informatique de l’IN2P3-IRFU octobre.
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
Des données numériques aux résultats de physique ATLAS offline reconstruction de données CERN ATLAS groupe ATC.
Les fermes de PCs au Centre de Calcul de l’IN2P3 Journée « ferme de PCs » 27 juin 2000 Benoit Delaunay
Développement et maintenance sur le projet RefPack
LE SERVEUR PROXY Un serveur proxy (traduction française de «proxy server», appelé aussi «serveur mandataire») est à l'origine une machine faisant fonction.
1 Démo SoftGrid. Le Séquenceur SoftGrid Utilisation d’un « packageur » SoftGrid Possibilité de “séquencer” en ligne de commande (CLI) Existence d’outils.
Lellouche Aaron ITIC Paris
Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)
D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo.
TP n°3 – Implantation d’un atelier de mécanique avec le logiciel Impact   Une entreprise de décolletage souhaite aménager une zone stockage produit fini.
29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.
Système de récupération de données pour EMC Avamar.
Hébergement d’une infrastructure de Cloud Expérience d’un laboratoire Guillaume Philippon.
Retour d'expérience de l'utilisation du cloud comme infrastructure de service Guillaume PHILIPPON.
PetaSky: Expérimentations avec HadoopDB et Hive 1 Amin Mesmoudi.
Chapitre 5 Configuration et gestion des systèmes de fichiers Module S41.
Chapitre 12 Surveillance des ressources et des performances Module S41.
Cloud et Petites entreprises. Stockage de données.
Mardi 31 mai 2016 JJS (Java Job Submission) Soumission de jobs sur grille Pascal Calvat Centre de calcul.
BABAR Georges Vasseur CEA Saclay, DSM/IRFU/SPP Workshop sur l’analyse des données au centre de calcul de Lyon 17 avril 2008.
JI2006Muriel Gougerot - Nicole Iribarnes Virtualisation au LAPP.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Tier 2 au LAPP. Plan Historique Objectifs Infrastructures Status/métriques Avenir Conclusion.
EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
Transcription de la présentation:

Yannick Patois _ Journée du Libre _ 1er Novembre n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois

Yannick Patois _ Journée du Libre _ 1er Novembre n° 2 Sommaire  Le Centre de Calcul de l'IN2P3 Le Centre de Calcul près de chez vous Les moyens informatiques du centre (I) Les moyens informatiques du centre (II)  Le Projet Datagrid Le concept de Grille de Calcul Les problèmes à résoudre Le projet Datagrid  Applications Applications en Physiques des Hautes Énergies Applications en biologie Applications en sciences de la Terre  Et linux, dans tout ça ?

Yannick Patois _ Journée du Libre _ 1er Novembre n° 3 Le Centre de Calcul près de chez vous  Le Centre de Calcul est situé sur la Doua (c'est le batiment brun avec des tubes rouges au dessus, vers le stade)  Il a pour mission de fournir des moyens de calcul et de stockage de données à l'ensemble des physiciens français impliqués dans de grandes expériences 

Yannick Patois _ Journée du Libre _ 1er Novembre n° 4 Les moyens informatiques du centre (I)  Puissance de calcul 51 machines AIX (RS390, H50, B50), au total 69 procs. 22 machines Sun (U60, bipro) 201 machine Intel-Linux (bipro PIII) Au total une puissance disponible proche de SI95 Un taux d'utilisation de 80%

Yannick Patois _ Journée du Libre _ 1er Novembre n° 5 Les moyens informatiques du centre (II)  Stockage Serveur de disques: environ 50To disponible (Sun, IBM et Hitachi) Bandes: 2 robots servant environ 200To de données.  Réseau Plusieurs liaisons (Renater III, connexion directes avec le CERN et les USA) Une BP totale qui se compte en Gb/s (2,1Gb/s si je ne me trompe pas).

Yannick Patois _ Journée du Libre _ 1er Novembre n° 6 DATAGRID Une grille de calcul....

Yannick Patois _ Journée du Libre _ 1er Novembre n° 7 Le concept de Grille de Calcul Stockage Calcul ''Quincaillerie du Milieu'' Le MidleWare

Yannick Patois _ Journée du Libre _ 1er Novembre n° 8 Les problèmes à résoudre  L'authentification  L'autorisation  La sélection des lieu de calcul  La localisation des données  Le transfers des données  La gestion d'un processus lancé sur la grille Contraintes (données,...), 'bac à sable' (sand-box), lancement Suivi de l'état Rapport de terminaison Rapatriement des résultats Gestion des erreurs ....

Yannick Patois _ Journée du Libre _ 1er Novembre n° 9 Le projet Datagrid  Projet Européen 9,8 M Euro sur 3 ans ( ) 21 partenaires  Coopération Mondiale GLOBUS ( Global Grid Forum

Yannick Patois _ Journée du Libre _ 1er Novembre n° 10 Solutions  Authentification Certificats X509 délivré par des autorités de certifications (en France, le CNRS en est une). Les machines, les services, comme les utilisateurs doivent en être munis.  Autorisations Repose sur des listes de certificats gerées par des « organisations virtuelles » (Annuaire LDAP)  L'allocateur de ressource Interprète un langage de description de tâche (JDL) Choisi en fonction le lieu le plus approprié  Métacatalogue de données Index la/es localisations/s des fichiers Convertis le nom logique universel en nom physique local Abstraction du mode d'accès  Gestion des copies de fichier Transfers rapide (multi stream) Évaluation des coûts de transferts

Yannick Patois _ Journée du Libre _ 1er Novembre n° 11 Computing Element Storage Element Ressource Broker Principe de fonctionnement Crédit: Fabio Hernandez UI JDL Information Service Replica Catalog Logging & Bookkeeping Job Submission Service Input Sandbox 1a2a 2b 3a 4a 1b Job Submit Event Job Status 3b 4b

Yannick Patois _ Journée du Libre _ 1er Novembre n° 12 Applications en Physiques des Hautes Énergies CMS ATLAS LHCb Stockage: Taux d'enregistrement des données brutes: GByte/sec Total des données stockées: 8-10 PetaBytes/an Seront nécéssaire a l'analyse: - 10 Po de disque -100,000 PC 'équivalent 2000'

Yannick Patois _ Journée du Libre _ 1er Novembre n° 13 Applications en biologie  Biologie Banque de données génomiques Modélisations en biochimie moléculaire  Médecine Étude épidémologiques (croisements de données hospitalières) Reconstruction 3D interactives à partir de données médicales (scanners...)

Yannick Patois _ Journée du Libre _ 1er Novembre n° 14 Applications en sciences de la Terre  Données satellites (100 Go/jour à l'ESA) Ozone Climat Végétation...  Paléoclimats  Modélisations climatiques à long terme (effet de serre...)  Autres calculs lourds  Accès facilité à ces données actuellement très dispersée

Yannick Patois _ Journée du Libre _ 1er Novembre n° 15 Et linux, dans tout ça ?  Datagrid est supposé être multi- plateformes, mais... En pratique, et malgrés quelques tentatives du coté de Solaris, elle n'est actuellement que Linux La gestion des configurations logicielles reponse entièrement sur RPM  Pourquoi ? En HEP, le choix est fait depuis plusieurs années déjà (à l'exception du CERN ;). Tous les clusters installés maintenant sont sous Linux Rapport Puissance/Prix déterminant  Datagrid est un Logiciel Libre Sous une licence BSD-like La gestion des problèmes de licenses sur une grille à cette échelle est très complexe  Les solutions libres (y compris coté applicatif) seront donc inévitablement favorisées.

Yannick Patois _ Journée du Libre _ 1er Novembre n° 16 Fin  Datagrid, page officielle :  Page du WP6 en France:  Code source, packages et bidouilles de votre serviteur:  Fini.