AMI (ATLAS METADATA INTERFACES) AMI Databases AMI (ATLAS METADATA INTERFACES) Une brève introduction   Solveig Albrand 21/11/2018 S.A.

Plan ATLAS - c’est quoi? Meta données dans le contexte d’ATLAS AMI Databases Plan ATLAS - c’est quoi? Meta données dans le contexte d’ATLAS Conception d’AMI Etat d’AMI aujourd’hui Récapitulation technique (possible points pour collaboration) 21/11/2018 S.A.

ATLAS ATLAS (A Toroidal LHC Apparatus ) http://atlas.ch/ AMI Databases ATLAS ATLAS (A Toroidal LHC Apparatus ) http://atlas.ch/ 1 des expériences du LHC au CERN Energie de LHC 14 Tev (deux 7Tev faisceaux de protons) 1015 bytes de données/an Le détecteur est ~ la taille d’1 bâtiment de 5 étages. 21/11/2018 S.A.

Gestion des données On ne peut pas les stocker toutes ensemble. AMI Databases Gestion des données On ne peut pas les stocker toutes ensemble. Il faut savoir où elles sont, Il faut pouvoir les accéder On ne peut plus les traiter toutes au CERN  GRID + Distributed Data management. Il faut un catalogue pour identifier les données d’intérêt  AMI 21/11/2018 S.A.

ATLAS DDM Architecture AMI Databases ATLAS DDM Architecture AMI 21/11/2018 S.A.

AMI Databases Fonctions d’AMI Permettre aux physiciens de trouver les données qui peuvent les intéresser en fonction des “méta données” Pour les données de simulation: “physics process”, version d’algorithm, nEvents,…. Pour les vraies données, run conditions, detector configuration, trigger configuration, quality factors….. N.B. AMI n’est pas le PRIMARY SOURCE de la plupart de ces données.  Nous devons gérer des liens vers d’autres sources de méta-données. 21/11/2018 S.A.

Principes Indépendant de plateformes et OS  Java. AMI Databases Principes Indépendant de plateformes et OS  Java. Plusieurs RDBMS  JDBC connections. Interface web, API et CLI pour plusieurs langages de programmation. (Web service) « Scalable» déployé de façon transparent sur plusieurs serveurs (Nous utilisons une indirection gérée par l’endpoint du Web Service) Distribué  Catalogues à Lyon et à Grenoble, de façon transparente pour l’utilisateur. Evolutif  Auto-descriptif. 21/11/2018 S.A.

Architecture I 21/11/2018 S.A. AMI Databases Middle software layer – for AMI compliant databases Lower level of AMI software – handles connections and SQL syntax (back-ends for different RDBMS) Java Data Base Connection Layer and DB specific drivers Other AMI compliant Databases Atlas Production Databases Other Packages Atlas Production Packages Java API for AMI databases Generic software: used by all AMI applications Application specific software: Application Databases 21/11/2018 S.A.

Architecture II AMI Web Container : TOMCAT Client Side AMI Web Service AMI Databases Architecture II AMI Web Container : TOMCAT Client Side AMI Web Service AMI Web Interface AMI WS Client Core HTTP(S) (SOAP) AMI framework DB 21/11/2018 S.A.

Un peu plus de détails sur l’évolution de schéma. Nous pouvons gérer plusieurs schémas en même temps avec le même logiciel. Chaque «namespace » contient sa propre description. Namspace ORACLE:Schema, MySQL:Database, SQLite:File Le transparent suivant explique l’exploitation pour le dataset search interface. 21/11/2018 S.A.

How does it work? JFlex lib parser 1. MQL query 2. Analyzed clauses Conf file defining grammar JFlex lib parser 1. MQL query 2. Analyzed clauses AMI 3. Get DB structure 5. Unified result XML message MySQL Database Oracle Database Other Database 4. Specific queries 21/11/2018

Autorisation + Authentification. DB Connexions AMI Databases Autorisation + Authentification. DB Connexions Nous gérons notre propre base d’utilisateurs. Système hiérarchique et fin d’attribution de rôles. Chaque connexion DB fait par AMI utilise un compte unique pour le « namespace » Connection Pooling X509 marche sauf pour Safari. Nous allons bientôt intégrer VOMS. 21/11/2018 S.A.

Quelques Liens AMI Home page https://ami3.in2p3.fr:8443/AMI/ AMI Databases Quelques Liens AMI Home page https://ami3.in2p3.fr:8443/AMI/ Dataset Search https://ami3.in2p3.fr:8443/AMI/datasetSearch.html Tag Collector https://atlastagcollector.in2p3.fr ATLAS http://atlas.ch/ ATLAS France http://atlas-france.in2p3.fr/Atlas/index.html Exemple d’une page qui combine des infos DDM et AMI http://lapp.in2p3.fr/atlas/Informatique/Offline/CCIN2P3_csc11/CBNT/list_CC.html 21/11/2018 S.A.

AMI Databases Questions Ouvertes ATLAS commence seulement maintenant à prendre sérieusement l’analyse des besoins pour méta données. Rapport attendu pour Octobre 2007. Notre relation avec la GRID n’est pas encore claire. Peut-être AMI serait utilisé seulement « off-line ». 21/11/2018 S.A.

Recapitulation Technique AMI Databases Recapitulation Technique Java – JDBC, Web Service, Servlets, Tomcat RDBMS : mySQL, ORACLE, SQLite Connection Pooling Schéma Evolution Distribution + replication. Web Interface : liens aux autres sources de méta données. (Semantic Web?) Certificats, VOMS, (VOMS proxy?) 21/11/2018 S.A.

Collaborateurs AMI IN2P3 : Univ. Of Glasgow: Tom Doherty, Paul Millar Développeurs: Solveig Albrand, Jerome Fulachier, Fabian Lambert. (LPSC) Physiciens: Fairouz Malek (LPSC) Stephane Jezequel (LAPP) Univ. Of Glasgow: Tom Doherty, Paul Millar 21/11/2018 S.A.