Le portail des opérations: retour d'expérience

Présentation au sujet: "Le portail des opérations: retour d'expérience"— Transcription de la présentation:

1 Le portail des opérations: retour d'expérience
30/03/10 30/03/10 mardi 18 mai 2010 Le portail des opérations: retour d'expérience Cyril L’Orphelin , Olivier Lequeux , Pierre Veyre IN2P3/CNRS Centre de Calcul , Lyon, France 1

2 Plan Contexte EGEE Architecture de l'application Lavoisier Symfony
30/03/10 Plan Contexte EGEE Architecture de l'application Lavoisier Symfony Un exemple concret avec le Dashboard des Opérations Plans futurs Journées Informatiques - 18 Mai 2010

3 30/03/10 Le contexte EGEE Ce projet est né au sein de l'activité Opération du projet EGEE. Afin de proposer une application web développé au CCIN2P3 proposant : Des outils pour les opérations Des outils de communication Des outils de management d'information Portail historique: Nouveau Portail : SITE USER VO info Site info Operations Portal User Support Monitoring tools Communication tools OPERATOR REGIONAL CENTER Journées Informatiques - 18 Mai 2010

4 Contexte EGEE / LCG : les sources d'informations
30/03/10 Contexte EGEE / LCG : les sources d'informations CIC-DB - VO Information VO Contacts User Contacts SQL VO repository (static) SQL HTTP - Site Information - Site Contacts - Downtimes Site repository (static) GOC-DB Ticketing System GGUS - Create ticket - Update ticket - View ticket SOAP Monitoring Framework Nagios Notifications about problem on services AMQ SAM - Test results - Status per nodes X-SQL Job Submission Framework HTTP - GIIS status per site - Storage Information - Jobs Information GSTAT GIIS browser BDII LDAP Dynamic information per nodes , per sites LDAP Database for sites VOMS VO User repository (dynamic) - VOMS certificates. - VOMS users HTTP + Script Journées Informatiques - 18 Mai 2010 30/03/10 4

5 30/03/10 Contexte - Résumé En résumé , on fait face à de multiples technologies: Sans language commun Sans possibilité de faire des requêtes croisées directes . En plus, les sources d'informations peuvent être : Indisponibles momentanément Trop longues à interroger Inexploitables Pour une application web cela signifie beaucoup de traitements spécifiques, une efficacité réduite et une maintenance cauchemardesque. Journées Informatiques - 18 Mai 2010

6 Architecture de l'application
30/03/10 Architecture de l'application L'application est composée de 3 parties distinctes Un service d'accès uniforme à des sources de données hétérogènes : Lavoisier Le module Web ( fichiers css , php , html ) basé sur Symfony La base de données Journées Informatiques - 18 Mai 2010

7 http://grid.in2p3.fr/lavoisier Lavoisier
30/03/10 30/03/10 Lavoisier La solution développée par Sylvain Reynaud : Lavoisier Un mécanisme pour construire des vues unifiées et homogènes. "Nothing is lost, nothing is created, all is transformed" Antoine Laurent Lavoisier ( ) Journées Informatiques - 18 Mai 2010 30/03/10 7 7

8 30/03/10 L'accès aux données Journées Informatiques - 18 Mai 2010

9 La séparation des rôles
30/03/10 La séparation des rôles Journées Informatiques - 18 Mai 2010

10 Les fonctionnalités de Lavoisier
30/03/10 Les fonctionnalités de Lavoisier Journées Informatiques - 18 Mai 2010

11 30/03/10 Console Web Journées Informatiques - 18 Mai 2010

12 30/03/10 Journées Informatiques - 18 Mai 2010

13 30/03/10 Journées Informatiques - 18 Mai 2010

14 lavoisierViewHandler class
30/03/10 Du Xml à l'objet <Alarms> <Assigned> <Alarm> <Id>1</Id> <CreationTime> </CreationTime> <Status>2</Status> </Alarm> <Id>2</Id> [..] </Alarms/ [Alarms] [Assigned] [1] [CreationTime] = [Status] = 2 [Id] = 1 [2] [...] XML - Lavoisier PHP – Application Web magicArray class Implémente des accesseurs par le biais de fonctions magiques PHP XMLHandler class Transforme une chaine XML en tableau multidimensionnel. lavoisierViewHandler class Se connecte au web service Lavoisier et récupère la vue XML demandée. <?php Obj = new lavoisierViewHandler(‘alarms’); $assigned = Obj->getAlarms->getAssigned( ); $status= $assigned ->find(‘1’)->getStatus( ); ?> Journées Informatiques - 18 Mai 2010

15 Le dashboard pour les Opérations
30/03/10 Le dashboard pour les Opérations Le dashboard des Opérations est un tableau de bord utilisé pour la détection et le suivi de problèmes sur les sites de la grille . Journées Informatiques - 18 Mai 2010

16 La vue synoptique – 1er niveau
30/03/10 La vue synoptique – 1er niveau portal.in2p3.fr/ Journées Informatiques - 18 Mai 2010

17 Les vues détaillées – 2ème niveau
30/03/10 Les vues détaillées – 2ème niveau Journées Informatiques - 18 Mai 2010

18 Futurs développements : migration sous symfony
30/03/10 Futurs développements : migration sous symfony Le reste des fonctionnalités du portail historique est en cours de migration : Vo ID Card , consultation , gestion et update des informations statiques des Vo Broadcast tool : outil d'envoi de mails aux différents acteurs de la communauté Interfaces de visualisation des ressources Journées Informatiques - 18 Mai 2010

19 Futurs développements : Lavoisier 1.*
30/03/10 Futurs développements : Lavoisier 1.* RDBMS plug-in (développement en cours) L'utilisateur voit la DB comme un document XML unique sans que ce document ne soit physiquement construit : Avec une structure décrite par les fichiers de mapping Hibernate ou Doctrine Avec des Requêtes SQL traduites en Xpath XQuery et XPath en plus de XSLT À travers des opérations SOAP et REST A travers l'usage de plug-ins Journées Informatiques - 18 Mai 2010

20 Futurs développements : Lavoisier 2.0
30/03/10 Futurs développements : Lavoisier 2.0 Refactoring du coeur de Lavoisier : Se baser sur JMS pour augmenter la flexibilité Communication inter et intra Lavoisier Améliorer l'extensibilité avec 4 types de plug-in au lieu d'un à l'heure actuelle Protocole (JMS, http , https ...) Format ( xml , yml , txt , ...) Type de cache ( nouvelles implémentations possibles ) Règles de refresh ( nouvelles implémentations possibles ) Ajout d'un scheduler pour ordonner les refresh de cache Journées Informatiques - 18 Mai 2010

21 Liens Lavoisier : Homepage : http://grid.in2p3.fr/lavoisier/ Symfony
30/03/10 Liens Lavoisier : Homepage : Symfony Homepage : Documentation: Tutorial en 24 h : Dashboard : Homepage : (enregistrement préalable dans la GOC DB nécessaire) Proceedings of EELA-2 Conference - A standalone regional dashboard implementation : Journées Informatiques - 18 Mai 2010