DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid.

Présentation au sujet: "DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid."— Transcription de la présentation:

1 DataGrid Revue Résumé de la seconde revue européenne du projet Datagrid

2 Agenda Au CERN du 4 février 14 heures au 5 février 18 heures http://documents.cern.ch/AGE/current/fullAgenda.php?ida=a021814 Agenda Introduction Project general status Software integration and deployement status WP8,WP9,WP10 progress and evaluation Middelware developments Quality assurance WP8,WP9,WP10 and Middelware demos Dissemination Datagrid in 2003 Reviewers feedback

3 Project General status Redéfinition des priorités : qualité et stabilité Publication dun document de définition de la qualité dans datagrid http://eu- datagrid.web.cern.ch/eu-datagrid/WP12/default.htm http://eu- datagrid.web.cern.ch/eu-datagrid/WP12/default.htm Liste des priorités a été réorganisée La résolution des points bloquants mis en évidences par les applications est prioritaire Prise en compte des besoins des applications État général du projet La version courante est la 1.4 qui est déployée sur une quinzaine de sites constituant le testbed dapplication. Différents projets de grille (Crossgrid, DataTAG,…) utilisent loffre logicielle de datagrid ce qui porte à une quarante le nombre de sites utilisant le logiciel EDG. La plus part des documents ont étaient fournis dans les temps exceptés quelques uns qui ont été reprogrammés pour être disponibles en Mars 2003.

4 Project General status WP1 Test de résistance à la charge notamment de la part des applications. WP2 Redéfinition et reimplementation des composants défectueux et collaboration productive avec Globus WP3 Meilleure stabilité du MDS et surtout développement de R-GMA WP4 Développement de la nouvelle version de LCFG et collaboration avec les US à travers le projet GLUE WP5 Développement dun interface commune vers les unités de stockage WP7 Déploiement de linfrastructure network

5 Project General status WP12 Réactivation du groupe darchitecture Organisation des diverses conférences Définition de la licence utilisée pour les développement fait dans le cadre datagrid Collaboration avec les autres projets de grilles

6 Software integration et deployement status Activités du groupe dintégration Intégrer les nouvelles fonctionnalités Tester : les développements du middelware et des applications Fournir du support: Installation,configuration,… 18 versions du logiciel EDG entre Février 2002 et Janvier 2003 Différents testbeds Application : stable Certification: en cour de mise en place Développement: 5 sites et instable Middelware: Ensemble de machines à la disposition des développeurs du middelware

7 Software integration et deployement status Ressources En progressions Consommations Assez importantes Disponibilité Quasiment pleine Utilisateurs En hausse (352) et très divers (nationalité ou VO) SiteCountryCPUsStorage CC-IN2P3*FR620192 GB CERN*CH1381321 GB CNAF*IT481300 GB Ecole Poly.FR6220 GB Imperial Coll.UK92450 GB LiverpoolUK210 GB ManchesterUK915 GB NIKHEF*NL142433 GB OxfordUK130 GB PadovaIT11666 GB RAL*UK6332 GB SARANL010000+ GB TOTAL5107514969 GB *also Dev. TB; +200 TB including tape

8 Software integration et deployement status Évaluation logicielle Nombre utilisateurs et de sites en hausses, nombre de sites, exécution de « vrai » job Disponibilité,installation,configuration, maintenance, …. Globus : interface vers systèmes de batch,transfert de fichiers,… stabilité Évolutions Replica catalogs Mass storage interface Information Service MDS -> RGMA Nouveaux outils Conclusions Version courante est viable et fonctionnelle

9 WP8,WP9,WP10 progress and evaluation Objectifs Utiliser le testbed et valider les versions de logiciels Participer au groupe en charge de larchitecture du projet Définir une couche logicielle commune aux applications de physique des hautes énergies Utiliser les fonctionnalités de EDG pour les Data Challenge Participer à lélaboration des cours et documents Évaluation ATLAS Août 2002 Utilisation du logiciel dATLAS Plusieurs centaines de soumission de « job » de plusieurs heures de calcul Concordance entre les résultats issues des simulations faites sur la grille et des simulations « hors grille » Mise en évidence de plusieurs limitations ou problèmes

10 WP8,WP9,WP10 progress and evaluation Évaluation CMS Décembre 2002 Déploiement du logiciel CMS sur la grille Génération de lordre de 250 k événements soit 10 000 « jobs » Mise en évidence de plusieurs limitations (souvent identiques à celles misent en évidence par ATLAS) ou problèmes. Recommandations et besoin de changement Data management: notamment au niveau des replica catalogue Information services: Workload management: Détection et récupération derreur:

11 WP8,WP9,WP10 progress and evaluation Autres expériences HEP ALICE: « gridification » de leur logiciel, développement de leur interface LHCb: « gridification » de leur logiciel BaBar:testé avec succès la simulation et lanalyse des jobs avec la couche logicielle EDG D0: Près sur de nombreux points (VO, logiciel,…) Conclusions et perspectives ATLAS et CMS sont globalement satisfaits de leur tests Les expériences du LHC vont utiliser la grille pour leur productions. Les expériences Babar, D0 vont faire des analyses sur la grille.

12 WP8,WP9,WP10 progress and evaluation Objectifs Créer un environnement ( création de portail web, validation des algorithmes,….) Communiquer sur le grid dans la communauté des science de la terre ( création de groupes et initiatives diverses) Participe à larchitecture task force. Évaluation et résultats Data réplication : Avec création de plus de 10 000 entrées dans le replica catalogue Processing: De plusieurs centaines de « jobs » Lintégrations d applicatifs (GOME) a permit avec succès leur utilisation dans le contexte de grille. Mise en évidence de problèmes de stabilité du Testbed

13 WP8,WP9,WP10 progress and evaluation Conclusions et perspectives Satisfait des résultats. Adapter et optimiser les logiciels à une environnement de grille Étendre lutilisation de la grille à des nouvelles expériences et de nouvelles données ( utiliser les 5 ans de données de GOME)

14 WP8,WP9,WP10 progress and evaluation Objectifs Avoir une middelware compatible avec les besoins de la biologie Déployer des nœuds de grille dans des laboratoires de biologie Faire tourner des applications de biologie sur la grille Évaluations et résultats Implémentation dun portail pour la phylogénétique. Implémentation dune application de gestion dimage médicale. Plus de 15 utilisateurs WP10 de la grille. Lancement dun projet de grille dédiée à la biologie avec une première conférence en janvier 2003 regroupant plus de 200 participants. Pas encore de site Datagrid dans un laboratoire de biologie Besoin de plus de coopération entre les work packages applicatifs

15 WP8,WP9,WP10 progress and evaluation Perspectives Faire des tests à grande échelle Déployer de nouvelles applications Installer des nœuds de la grille dans des laboratoires de biologie

16 Middelware developments Présentation des différents composants du middelware Avenir du testbed dapplication Passage à la Redhat 7.3 et LCFGng Upgrade de Globus et Condors vers les version 2.2.4 et 6.4.6 Nouveau service information : R-GMA: sapplique à linformation et au monitoring, utilise un modèle de publication/consommation pour fournir les informations. Replica Management Services: Ensemble de service de réplication. Replica Location Service. Nouvelle version du Storage Element : Multiple interfaces, accès natif vers Castor. Prise en compte du coût du réseau par le Replica catalog et publication dans le système dinformation.

17 Middelware developments Nouveau ressource broker: VOMS: Nouvelle version des organisations virtuelles Déploiement de ces nouveautés pour mai 2003

18 Quality assurance Objectifs Stabilité du système Qualité du logiciel produit Support utilisateur Groupe qualité Groupe crée en août 2002 et qui doit définir les règles de qualité Produit le Datagrid developers guide Définie le processus de test et validation Sert de pont commun entre les différents WP pour ce qui est de outil commun et des « bonne » pratique de travail.

19 Quality assurance Indicateur de qualité Outil de rapport de bugs (Bugzilla) Taille des sites en productions Documentation Processus de validation:

20 Quality assurance WPs add unit tested code to CVS repository Run nightly build & auto. tests Grid certification Application Certification Build system Certification (**) Testbed ~40cpu WP specific (*) machines Certified public release for use by apps. Build system Test Group WPs Bugzilla anomalies reports Unit TestBuild Certification Users Development (*) Testbed ~15cpu Individual WP tests Integration Team Integration Office hours Overall release tests Tagged package Tagged release selected for certification Releases candidate Tagged Releases Releases candidate Certified Releases Certified release selected for deployment Apps. Representatives (**) with LCG (*)Current infrastructure

21 Dissemination Outils Web: 220 000 hits sur le site Datagrid Conférences : 29 sur lannée 2002 Démonstration Tutorial Deroule sur 2 jours Environ une session par mois

22 Datagrid in 2003 Les Activités de 2003 De nombreuses nouvelles versions de composants sont attendues débouchant courant mai 2003 sur la version 2.0 du logiciel EDG. Support aux applications Coopération et coordination avec les autres projets de grilles de part le monde Explorer la migration des logiciels EDG vers OGSA (Open Grid Services Architecture) WP1 Intégration des notions: destimation et de coût du calcul, de dépendance entre taches,de réservation et allocation de ressources,…. Rapprochement avec OGSA/Web Services

23 Datagrid in 2003 WP2 Stabilisation et la tolérance aux erreurs du service de replica catalogue Généralisation des interfaces WP3 Implémentation dautorisation daccès Migration vers OGSA WP4 Définition de nouveaux composants pour linstallation Réorganisation de certains composants WP5 Introduire la notion de répartition de charge dans les Storage Elements Production dinformation pour le système dinformation R-GMA Support des différentes bases de données

24 Datagrid in 2003 WP7 Poursuivre la collaboration avec les projets de « reseau » Fournir des outils de transfert les plus performants Adapter les outils WP7 pour être compatible avec OGSA, cest à dire sous forme de web services Collaborations Crossgrid (Europe) DataTAG (Europe – US) Nordugrid (pays scandinaves) iVDGL/GriPhy/PPDG (US)

25 Conclusion de la revue Commentaire généraux Bonnes présentations et démonstrations. Lintérêt des partenaires pour le projet est évident. La refocalisation sur du projet sur la qualité est évidente et appréciée. Recommandations Les applications doivent définir des couches communes et se fixer des objectifs clairs. Les outils déployés par WP4 sont très intéressants et méritent de vivre en dehors du projet de Datagrid Le WP11 doit pour la prochaine année se fixer des objectifs quantifiables. Continuer le travail avec OGSA et la collaboration avec Globus. Formaliser lexploitation et le développement du testbed