DataGrid France – 12/02/03 TSTG et al. Activités du groupe de test TSTG Organisation Stratégie LCG Activités du TSTG – Mise en place dun framework – Intégration.

Présentation au sujet: "DataGrid France – 12/02/03 TSTG et al. Activités du groupe de test TSTG Organisation Stratégie LCG Activités du TSTG – Mise en place dun framework – Intégration."— Transcription de la présentation:

1 DataGrid France – 12/02/03 TSTG et al. Activités du groupe de test TSTG Organisation Stratégie LCG Activités du TSTG – Mise en place dun framework – Intégration des tests existants – Definition et Mise en place des différentes suites de test Premiers tests sur le CERT-TB au CERN Conclusion

2 DataGrid France – 12/02/03 TSTG et al. Organisation du groupe TSTG Collaboration entre projets de grille: DataGrid, LCG, CrossGrid Participants : IFAE (Barcelone), INFN (CNAF), Portugal (LIP), DAPNIA, IN2P3 (CPPM, LPC Clermont, LAPP, LAL), CS-SI Activité essentielle pour le groupe de déploiement du LCG : –cf. TSTG Meeting 6/02/03 présentation de I.Bird responsable du groupe GD/IT http://documents.cern.ch/AGE/current/fullAgenda.php?ida=a03267 http://documents.cern.ch/AGE/current/fullAgenda.php?ida=a03267 –Activités de Certification et de Test sont associées –Objectif : qualifier des services de pré-production pour LHC –LCG Grid Deployment Group = groupe de la division IT –G.Grosdidier (IN2P3-LAL) responsable et coordinateur de lactivité de test au sein de LCG –Nécessité et volonté de renforcer le groupe de test

3 DataGrid France – 12/02/03 TSTG et al. Stratégie LCG - groupe GD/IT (I.Bird) Déploiement LCG release 1 (Juillet 2003) : EDG 2.0, VDT 1.1.7 (globus, condor : iVDGL et al.) and GLUE schema (DataTAG et al.) 15 personnes env. aujourdhui - 3 Equipes – Certification and Testing + System support ( Z.Sekera) – Grid Infrastructure Support ( Markus Schultz) – Experiment Integration and Support ( Flavia Donno) Contribution IN2P3 : L.Poncet, G.Grosdidier, F.Chollet Maintenance au CERN par le LCG dun banc de test dit de certification : CERT-TB (M.Serra, G.Grosdidier) – UI, CE, 2 SEs, RB, WN, LB, PX, MDS, RC – EDG 1.3.4 – installation LCFG – inclus dans le processus de release du middleware Projet technique conjoint avec les groupes américains (G.Groddidier, F.Chollet) HICB (HENP Inter Grid Collaboration Board) Certification and Testing

4 DataGrid France – 12/02/03 TSTG et al. Same machine User Interface (PBS) Worker Node EDG Job Submission Output Retrieval Job Submission and Execution Resource Broker Globus MDS Replica Catalogue Proxy Server Storage Element Globus Job Submission NFS server (+ HOME dirs) (lxshare???) NFS Logging & Bookkeeping Virtual Organisation Server lxshare0307 lxshare0304 lxshare0303 LCFG Server (MCAM) lxshare0301 lxshare0306 Same machine Testing Group Framework (MCAM) Same machine lxshare0305 NIS Service (testbed010) AFS Service (lxplus) MCAM: Must be able to Connect to All Machines lxshare0302 Computing Element (Gatekeeper) (fake) Information Index lxshare0233 lxshare0231 Storage Element lxshare0232 (PBS) Worker Node current Cert TB TSTG : G.Grosdidier

5 DataGrid France – 12/02/03 TSTG et al. Le « framework » de test Conventions, outils et mécanismes de base pour le développement et lintégration de scripts de test – langages : bash, perl – ensemble de fonctions de base réutilisables – codes derreur standard – pour les scripts de plus haut niveau script générique, options standard mécanisme de définition des tests module BaseTest PERL et méthodes standard – fichiers de configuration et variables denvironnement – présentation de rapports HTML IFAE (G.Merino) et CS-SI (R.Metery, L.Bobelin)

6 DataGrid France – 12/02/03 TSTG et al. Lorganisation des tests dans le cadre du « framework » par niveau de test : –Installation et Configuration verifications de bon fonctionnement des services dun site –Fonctionnalités par composant / grille locale sur un site / globales –Stress : Tenue en charge / Performances / Robustesse par étapes de test = ens. de vérifications fournissant un diagnostic significatif./CE_config_test.sh –i Step 1: Op. System required services Step 2: EDG mandatory variables and files Step 3: Check Globus Configuration Step 4: check MDS configuration Step 5: check necessary grid services Step 6: Check the user environment : $PATH, $LD_LIBRARY_PATH Step 7: Check the NFSmount Step 8: RPM List installation check for EDG CE $EDG_VERSION Step 9: MDS / GRIS check Step 10: MDS / GRIS query Step 11: PBS check

7 DataGrid France – 12/02/03 TSTG et al. Les tests existants Origines diverses en cours dintégration au sein du TSTG –INFN Suite Install. & Config (M. Reale, G. Tortore, A. Forte) –IFAE Tests de fonctionnalités (G. Merino, M. Barcelo) –CPPM Sécurité (E.Fede) –EDG IT (C.Loomis) existants ou en cours de développement au sein de LCG –Tests dérivés des expériences ( CMS A. Sciabà, EDG Loose Canons…) –Projet conjoint HICB VDT : globus et condor suite –Test RLS (Replica Location Service LCG) autres –Tests dérivés des cas dutilisation HEPCAL –Projet conjoint HICB VDT : globus et condor suite –EDG : Plan de test des Work Packages – …

8 DataGrid France – 12/02/03 TSTG et al. Différentes suites de test différentes suites de test à prévoir pour différents usages –Certification dune version du middleware Processus de validation dune nouvelle release –Certification dun site Après installation ou mise a jour En exploitation (garantie de bon fonctionnement) –Qualification de la grille (applications standard, cas dutilisation…)

9 DataGrid France – 12/02/03 TSTG et al. Utilisation du « framework » de test sur le CERT-TB Lancement des tests depuis une machine centrale (typ. UI) depuis un compte utilisateur autorisé Pre-requis : (sur chaque machine) –Installation du framework –Création dun compte utilisateur –Agent ssh + Mécanisme de distribution de la clé publique ssh –configuration du shell: export EDG_TESTROOT=/your/installation/path # Fichier de configuration du framework de test. $EDG_TESTROOT/etc/edg-test.conf # Fichier de configuration du site. $EDG_TESTROOT/etc/test-site.conf

10 DataGrid France – 12/02/03 TSTG et al. Intégration des tests Install.&Config Validation et mise à jour des tests sur le CERT-TB –pertinence des tests et des diagnostics, conformité release 1.3.4, mise à jour A définir avec les administrateurs de site –Qui exécute les tests ? –Pb privilèges pour certains tests intrusifs (nbre limité) –authentification par password / automatisation des tests Possibilité : utilisation de sudo –exécution des tests en tant quutilisateur autorisé –autorisation par machine et par commande accordée par ladministrateur de site cf /etc/sudoers –exemple :grep sur un fichier protégé: /home/dguser/CondorG/etc/condor_config [ fchollet@lxshare0304]$ sudo –l User fchollet may run the following commands on this host: (root) NOPASSWD: /bin/grep

11 DataGrid France – 12/02/03 TSTG et al. Intégration des tests Approche plutôt bottom – up UI, RB, CE Install and Config test –HTML outputs of tests run 2/5/2003 : UI, RB, CE –Test de Securité Suite de Test IT (C.Loomis) en cours Gatekeeper, GridFTP, II, MDS

12 DataGrid France – 12/02/03 TSTG et al. Utilisation des outils collaboratifs bugs have been reported to EDG Bug Tracking system http://marianne.in2p3.fr/datagrid/bugzilla/ product :Testsuite bugs forwarded to E.Fede in charge of the dispatching cvs repository : http://datagrid.in2p3.fr/cgi-bin/cvsweb.cgi/edg-tests/ TBD urgently : minimal TSTG SW chart -Fix the package structure -Tag the existing Generate a release -Be able to develop the packages against the release LCG est en train de mettre en place ses propres outils – utilisation conjointe a definir

13 DataGrid France – 12/02/03 TSTG et al. Conclusions des outils de base ont été mis en place au sein du TSTG… certaines sources de test sont encore inexploitées –WP, IT, US contacts essentiels a établir avec IT – groupe Qualité gros travail de fond en cours qui requiert une compréhension des composants du middleware pour –vérifier le contenu des tests, les valider, les mettre a jour –développer les tests manquants Pb de ressources humaines souligne par Gilbert Grosdidier EDG : personnes a temps partiel, déjà largement impliquées ailleurs LCG : 2 personnes pour lactivité TEST Enjeu pour 2003 –Intégrer le processus de release –Définir, intégrer et diffuser des suites de tests