La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Giens Octobre 2002 J.J.Blaising Grille de calcul et de données1 J.J Blaising IN2P3/LAPP Pourquoi ?, Concept, Projets Domaines dapplication Analyse des.

Présentations similaires


Présentation au sujet: "Giens Octobre 2002 J.J.Blaising Grille de calcul et de données1 J.J Blaising IN2P3/LAPP Pourquoi ?, Concept, Projets Domaines dapplication Analyse des."— Transcription de la présentation:

1 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données1 J.J Blaising IN2P3/LAPP Pourquoi ?, Concept, Projets Domaines dapplication Analyse des besoins, Architecture Description des services, Exemple Testbeds (EDG/US), Applications HEP Bilan, Perspectives Conclusion La Grille

2 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données2 Besoins informatiques accrus et nouveaux GRILLE ? Les instruments scientifiques produisent dénormes quantités de données Les donnés à analyser doivent etre accessibles à tous les chercheurs indépendamment de la localisation géographique Pourquoi ?

3 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données3 Définition (Utilisateur du cc) La grille est un super-cc-in2p3 (cc-grid) Un seul login permet daccéder à cc-grid Toutes les données à analyser y sont accessibles Permet de faire du calcul batch et interactif

4 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données4 Définition (Expert) I.Foster, père du concept et fondateur de Globus (boîte à outils permettant la construction de grilles) La grille est une infrastructure matérielle et logicielle fournissant : Un accès sécurisé, transparent et bon marché à des ressources (calcul, stockage) hétérogènes distribuées géographiquement. Une gestion cohérente des ressources partagées par les utilisateurs dune organisation virtuelle (VO), Bio, Eobs, Alice, Babar, …

5 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données5 Projets Projets utilisant Globus CrossGrid/EU (interactif) DataGrid/EU BIO/EOBS/HEP Datatag/EU (interopérabilité) GridStart/US GriPhyN/US HEP iVDGL/US Astronomie/HEP Nasa Information PowerGrid/US NorduGrid/EU HEP PPDG/US HEP Teragrid/US Autres projets AP Grid, Astrogrid AVO - Astrophysical Virtual Observatory BBSRC Bioinformatics and e-science programme BIRN - Biomedical Informatics Research Network Condor, Damien DOE SciDAC, DOE science Grid ECOGRID EUROGRID GRIA, GRIP Gridware IBM Irish Computational Grid Legion NEES Grid NMI - NSF Middleware Initiative SpaceGrid The Earth System Grid II Trans PAC, UNICORE Plus

6 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données6 Domaines dapplication Les domaines dapplication qui dans le cadre de DataGrid (EDG) ont analysé les cas dutilisations et participent à lévaluation des services developpés par EDG et déployés sur les plate-formes de test sont: La biologie et la médecine Lobservation de la terre La physique des hautes énergies

7 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données7 Seq1 > dcscdssdcsdcdsc bscdsbcbjbfvbfvbvfbvbvbhvbhs vbhdvbhfdbvfd Seq2 > bvdfvfdvhbdfvb bhvdsvbhvbhdvrefghefgdscgdf gcsdycgdkcsqkc … dedzedzdzedez dzecdscsdcscds sdcsdcdscbscds bcbjbf Seqn > dedzedzdzedezdzecdscsd cscdssdcsdcdscbscdsbcbj bdfndfjvbndfbnbnfbjnbj xbnxbjk:nxbf Recherche danalogies entre une nouvelle séquence dADN et celles existants déja dans des bases de données dispersées géographiquement. RESULTAT dedzedzdzedezdzecdscsdcscdssdcsd cdscbscdsbcbjbfvbfvbvfbvbvbhvbh svbhdvbhfdbvfdbvdfvfdvhbdfvbhd bhvdsvbhvbhdvrefghefgdscgdfgcsd ycgdkcsqkcqhdsqhfduhdhdhqedezh dhezldhezhfehflezfzeflehfhezfhehf ezhflezhflhfhfelhfehflzlhfzdjazslzd hfhfdfezhfehfizhflqfhduhsdslchlkc hudcscscdscdscdscsddzdzeqvnvqvn q! Vqlvkndlkvnldwdfbwdfbdbd wdfbfbndblnblkdnblkdbdfbwfdbfn Génomique comparative s Séquençage de lADN => croissance du nombre et de la taille des bases de données Localisation Gestion des accès Réplication DB BLAST dedzedzd zedezdze cdscsdcsc dssdcsdc dscbscds bcbjbf dedzedzd zedezdze cdscsdcsc dssdcdcd scbscdsb cbjbf DB BLAST dedzedzd zedezdze cdscsdcsc dssdcsdc dscbscds bcbjbf dedzedzd zedezdze cdscsdcsc dssdcdcd scbscdsb cbjbf

8 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données8 Mais exige aussi: Fiabilité Interactivité (vidéo conf/opération) Confidentialité (cryptage) Faible latence, … Imagerie médicale Le développement de limagerie médicale => des besoins croissants en capacité de stockage (~ 10 Tb/CHU) et en puissance de calcul pour le traitement et linterprétation des images.

9 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données9 En 24 heures mesures temps danalyse: 24 heures avec 40 cpus (800 Mhz) GOME/ESA sur ERS échantillonne la couche dozone Surveillance de lEnvironnement

10 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données10 CMS ATLAS LHCb ~10 9 events/an raw data ~6-8 PetaBytes /an, cpu n*MSI95 2/3 puissance cpu/disk hors CERN ~10 3 utilisateurs batch, interactif Détecteurs LHC

11 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données11 Europe: 267 instituts, 4603 utilisateurs Ailleurs: 208 instituts, 1632 utilisateurs Instituts reliés au CERN

12 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données12 Analyse des besoins Lanalyse des cas dutilisation des expériences LHC a permis didentifier les besoins en matière de calcul distribué. SimulationDonnéesAnalyse Document -> LCG -> Priorités

13 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données13 Analyse des besoins La comparaison avec les autres domaines a mis en évidence des différences, mais aussi des besoins similaires qui permettent lutilisation de services communs: Authentification: identification de lutilisateur Autorisation: autorisation daccès aux ressources Gestion des tâches: création, contrôle, surveillance de léxécution Gestion des données et des meta-données accès à laide de protocoles standards des données locales et distantes.

14 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données14 Analyse des besoins Gestion des données (suite) protection stockage Publication des ressources Découverte des ressources Optimisation du choix des ressources Allocation et réservation de ressources Interopérabilité Comptabilité de lutilisation des ressources Calcul interactif

15 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données15 Collective Services Information & Monitoring Replica Manager Grid Scheduler Applications Biomed, Eobs, HEP Applications Biomed, Eobs, HEP Underlying Grid Services Computing Element Services Authentication Authorization Accounting Authentication Authorization Accounting Replica Catalog Storage Element Services SQL Database Services Fabric services Grid Fabric Grid Grid Application Layer Data Management Job Management Metadata Management Service Index APPLICATIONS GLOBUS M / W Architecture DataGrid Globus OS & Network,...

16 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données16 Elément de calcul (CE) Gère laccès au système de gestion des tâches du site Publie les informations sur les ressources de calcul du site CEId: lxshare0399.cern.ch:2119 OpSys: RH 6.2 TotalCPUs: 42, FreeCPUs: 38 TotalJobs: 11, RunningJobs: 4 LRMSType: PBS, … Description des Services Computing Element Storage Element Publish resources ral Computing Element Storage Element Publish resources cnaf Computing Element Storage Element Publish resources ccin2p3 Elément de stockage (SE) Gère laccès au système de stockage du site (disque, hpss, castor, …) aux données (open, rfio, gridftp) Publie les informations sur les ressources de stockage du site SEId: lxshare0393.cern.ch MountPoint: /flatfiles/SE00 SEfreespace: MB SEvo: alice:/flatfiles/SE00/alice,.. Ressources disponibles? CEId:tbn09.nikhef.nl CEId:gppce05.gridpp.rl.ac.uk CEId:testbed001.cnaf.infn.it CEId:ccgridli03.in2p3.fr CEId:ce001.crossgrid.fzk.de SEId:lxshare0393.cern.ch SEId:tbn03.nikhef.nl SEId:gppse05.gridpp.rl.ac.uk SEId:grid007g.cnaf.infn.it Pfn:lxshare0393.cern.ch:/flatfiles/SE00/cms/higgs-130 Pfn:tbn03.nikhef.nl:/flatfiles/SE1/cms/higgs-130 Lfn: higgs-130 Pfn ? Replica Catalogue Server (R.C) cnaf Information Index System GIIS cern RB JSS cern RB/JSS Système de gestion des tâches de la grille UI JDL cppm Interface Utilisateur Utilisateurs autorises ? Virtual Organization Users Server VO AuthorizedUser: /C=FR/O=CNRS/OU=LPNHE/CN=Claude Charlot AuthorizedUser: /C=FR/O=CNRS/OU=SUBATECH/CN=Yves Schutz AuthorizedUser: /C=IT/O=INFN/L=Milano/CN=Francesco Prelz AuthorizedUser: /C=FR/O=CNRS/OU=LAPP/CN=Jean-Jacques Blaising

17 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données17 UI JDL cppm Computing Element Storage Element Publish resources cin2p3 RB JSS Information Index System GIIS Replica Catalogue Server (R.C) cnaf cern Exemple de fonctionnement JDL Input Sandbox Output Sandbox # File job.jdl Executable = "job.csh"; Arguments = "123"; StdOutput = "job.out"; StdError = "job.err"; InputSandbox = {"job.csh"}; OutputSandbox = {"job.out",job.log,job.hist"}; InputData = "LF:higgs-130:; ReplicaCatalog = "ldap://atrc.cnaf.infn.it"; I/O Output Sandbox submit Job my proxy Output Sandbox Computing Element Storage Element Publish resources ral Computing Element Storage Element Publish resources cnaf Input Sandbox

18 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données18 Testbed Datagrid Avril 2001: Globus deployé sur quelques sites constituants la plate-forme de test (testbed0). Les applications commencent à utiliser globus. Décembre 2001 Testbed1 (Globus + EDG1.0) deployés CERN(CH), CC-IN2P3(FR), CNAF(IT), NIKHEF(NL), RAL(UK) problèmes (Globus et EDG), tests release Mars 2002 Nouveau release, tests dapplications pour valider les fonctionnalités tester les performances faire de petites productions (DC) Aout 2002 EDG1.2 robustesse ameliorée Septembre 2002 Atlas Data Challenges Map: Map Center Home Page.htm Ressources: TestbedMap Center Home Page.htmTestbed

19 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données19 Testbed US GriPhyn/PPDG/iVDGL utilisent: Globus + Condor + VDT, deployés sur 8 sites Atlas et Cms développent des services de: soumission et contrôle de tâches Grappa, Boss gestion de données, Gdmp, Magda gestion de meta-données, Magda monitoring Ressources utilisées pour les D.C Atlas, Cms

20 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données20 Application Alice AliEn: ensemble de logiciels distribués, Globus, Condor, Bbftp, …+ développements ALICE (management de tâches et de données) ALICE a développé des outils pour pallier l'absence de fonctionnalités des produits existants. Alien est modulaire et peut échanger ses modules avec ceux à venir, de la grille EDG/VDT ALICE utilise la GRILLE pour produire des données afin doptimiser les detecteurs et préparer le document concernant les performances dAlice pour la physique des ions lourds.

21 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données21 Application Atlas Atlas souhaite utiliser les logiciels de grille dans le cadre des productions nécessaires pour le TDR triggers de hauts niveaux (HLT). Atlas a developpé des applications utilisants les logiciels de management de jobs, de donneés et de meta-données fournis par EDG, Nordugrid, VDT Septembre, Data Challenges DC1 phase-1 simulation Atlsim v3.2.1 pre-installé sur les testbeds EDG, Nordugrid, VDT. 10% des données ont été re-produites sur le testbed EDG. Les resultats sont encourageants => Novembre, Data Challenges DC1 phase-1 pile-up nouvel ensemble de tests afin destimer la possibilité dutiliser la grille pour des productions plus importantes en 2003

22 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données22 Application Babar Babar dispose dun prototype dinterface permettant de soumettre des jobs sur les ressources Babar accessibles par la grille. Il utilise les services suivants: Un serveur de VO et un RB/JSS installés à Imperial College Les CE deployés a Slac au CC-IN2P3 et dans plusieurs autres sites UK Babar souhaite: Implémenter un catalogue de meta-données permettant la préparation des jobs. Evaluer: Lélément de stockage et le Replica manager EDG Le Storage Resource Broker VDT Fournir un proto de système de soumission de jobs Planifier les activités Babar pour 2003

23 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données23 Application Cms Cms souhaite tester ses outils de production dans lenvironnement de la grille. Cms a developpé des interfaces de logiciels de management de jobs, de données et meta-données BOSS, IMPALA, GDMP Souhaite utiliser le testbed EDG étendu avec des ressources supplémentaires venant de Cms Cpus~200, Disk~2TB Cmsim pre-installé sur les sites: CERN, CC-IN2P3, CNAF, X-IN2P3, Padova, RAL, IC Simuler ~ événements, début mi-novembre. Permettra de tester la robustesse et les performances des services EDG (RB, CE, SE)

24 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données24 Application LHCB Lhcb a developpé de nouveaux outils de production et souhaite les tester sur la grille. Ces outils sont en cours dinstallation sur les sites: CERN, CC-IN2P3, CNAF, Nikhef, RAL + ~ 10 petits sites. Souhaite effectuer le test suivant: Simulation MC données transferées vers SE fichiers logs et histos transferés au CERN Reconstruction donnees transferées vers SE, puis Castor Lire les données dans castor a laide dun job danalyse (hors grille). Permettra de planifier les activités Lhcb pour 2003

25 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données25 Linstallation et la configuration des services est encore peu conviviale. Certains services manquent de robustesse. Certaines fonctionnalités ne seront disponibles quen Les standards des protocoles daccès aux ressources et aux données ainsi que ceux des systèmes dinformation sont en cours de définition (GLUE). Des développements sont cours afin de tester linteropérabilité (Datatag). Les services disponibles permettent cependant aux expériences de tester des fonctionnalités de gestion de taches et de données et dutiliser les sites du testbed pour simuler des événements MC. Les nombreux développements et les tests des applications démontrent lintérêt croissant des expériences pour la grille. Bilan DataGrid (Oct-2002)

26 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données26 Perspectives Novembre 2002 Datatag (interopérabilité EDG/VDT) Décembre 2002, release EDG1.2.x tests release, D.C Atlas/Cms/Lhcb Février 2003 revue EU, Décembre 2003 fin EDG. Evolution technologique Globus Toolkit 3.0 Open Grid Service Architecture implémentation type services web (XML, SOAP, …) Commercialisation des services (IBM, SUN) IBM annonce IBM Grid: version commerciale de la boîte a outils Globus. Nouveaux Programmes (EU 2004, G.Wormser) Enabling Grids for E-science and industry in Europe EGEE EGEE (appel à expression dintérêt)EGEE

27 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données27 Conclusions Les développements et les tests de prototypes de calcul distribué en EU et au USA ont validé le concept. Les expériences développent des outils de production et les adaptent pour utiliser les services de la grille. Les développements technologiques en cours devraient permettre dintégrer et de mutualiser les ressources nécessaires à lexploitation des données des détecteurs LHC et des autres domaines dapplication.

28 Giens Octobre 2002 J.J.Blaising Grille de calcul et de données28 Pour en savoir plus Présentation de F.Hernandez (CC-IN2P3) sur le projet sur létat du testbed (F.Etienne) (déploiement, tests, …) sur les développements Biomed (V.Breton) sur l'état d'avancement au CC-IN2P3 sur Globus


Télécharger ppt "Giens Octobre 2002 J.J.Blaising Grille de calcul et de données1 J.J Blaising IN2P3/LAPP Pourquoi ?, Concept, Projets Domaines dapplication Analyse des."

Présentations similaires


Annonces Google