Mardi 30 mars 2010 Technologies employées par le portail des opérations Cyril L’Orphelin, Olivier Lequeux, Pierre Veyre IN2P3/CNRS Computing Centre, Lyon,

Présentation au sujet: "Mardi 30 mars 2010 Technologies employées par le portail des opérations Cyril L’Orphelin, Olivier Lequeux, Pierre Veyre IN2P3/CNRS Computing Centre, Lyon,"— Transcription de la présentation:

1 mardi 30 mars 2010 Technologies employées par le portail des opérations Cyril L’Orphelin, Olivier Lequeux, Pierre Veyre IN2P3/CNRS Computing Centre, Lyon, France

2 Séminaire IN2P3 - 30 avril 20102 Plan  Contexte EGEE  Architecture de l'application  Lavoisier  Symfony  Un exemple concret avec le Dashboard des Opérations  Plans futurs

3 Séminaire IN2P3 - 30 avril 20103 Le contexte EGEE Le portail est né au sein de l'activité Opération du projet EGEE pour proposer une application web comprenant :  Des outils pour les opérations  Des outils de communication  Des outils de management d'information  Portail historique: http://cic.gridops.org  Nouveau Portail : https://operations-portal.in2p3.fr Operations Portal Communication tools REGIONAL CENTER SITE USER OPERATOR Monitoring tools VO info User Support Site info

4 Séminaire IN2P3 - 30 avril 20104 30/03/104 Contexte EGEE / LCG : les sources d'informations Contexte EGEE / LCG : les sources d'informations CIC-DB - VO Information - VO Contacts - User Contacts SQL VO repository (static) GGUS - Create ticket - Update ticket - View ticket SOAP Ticketing System SAM - Test results - Status per nodes X-SQL Job Submission Framework BDII LDAP Dynamic information per nodes, per sites... LDAP Database for sites VOMS HTTP +Script - VOMS certificates. - VOMS users VO User repository (dynamic) - GIIS status per site - Storage Information - Jobs Information GSTAT HTTP GIIS browser GOC-DB - Site Information - Site Contacts - Downtimes SQL Site repository (static) HTTP Monitoring Framework Nagios Notifications about problem on services AMQ

5 Séminaire IN2P3 - 30 avril 20105 En résumé, on fait face à de multiples technologies:  Sans language commun  Sans possibilité de faire des requêtes croisées directes. En plus, les sources d'informations peuvent être :  Indisponibles momentanément  Trop longues à interroger  Inexploitables Pour une application web cela signifie beaucoup de traitements spécifiques, une efficacité réduite et une maintenance cauchemardesque. Contexte - Résumé

6 Séminaire IN2P3 - 30 avril 20106 Le portail est composée de 3 parties distinctes  Un service d'accès uniforme à des sources de données hétérogènes : Lavoisier  Le module Web ( fichiers css, php, html ) basé sur Symfony  La base de données Architecture de l'application

7 Séminaire IN2P3 - 30 avril 20107 30/03/107 Lavoisier La solution développée par Sylvain Reynaud : Lavoisier Un mécanisme pour construire des vues unifiées et homogènes. http://grid.in2p3.fr/lavoisier "Nothing is lost, nothing is created, all is transformed" Antoine Laurent Lavoisier (1743 - 1794)

8 Séminaire IN2P3 - 30 avril 20108 L'accès aux données

9 Séminaire IN2P3 - 30 avril 20109 La séparation des rôles

10 Séminaire IN2P3 - 30 avril 201010 Les fonctionnalités de Lavoisier

11 Séminaire IN2P3 - 30 avril 201011 Console Web

12 Séminaire IN2P3 - 30 avril 201012

13 Séminaire IN2P3 - 30 avril 201013

14 Séminaire IN2P3 - 30 avril 201014

15 Séminaire IN2P3 - 30 avril 201015

16 Séminaire IN2P3 - 30 avril 201016 <?php Obj = new lavoisierViewHandler(‘alarms’); $assigned = Obj->getAlarms->getAssigned(); $status= $assigned ->find(‘1’)->getStatus(); ?> magicArray class Implémente des accesseurs par le biais de fonctions magiques PHP lavoisierViewHandler class Se connecte au web service Lavoisier et récupère la vue XML demandée. Du Xml à l'objet 1 10122321 2 2 [..] </Alarms/ [Alarms] [Assigned] [1] [CreationTime] = 10122321 [Status] = 2 [Id] = 1 [2] [...] XML - LavoisierPHP – Application Web XMLHandler class Transforme une chaine XML en tableau multidimensionnel.

17 Séminaire IN2P3 - 30 avril 201017 Le dashboard pour les Opérations Le dashboard des Opérations est un tableau de bord utilisé pour la détection et le suivi de problèmes sur les sites de la grille.

18 Séminaire IN2P3 - 30 avril 201018 La vue synoptique – 1er niveau https://operations-portal.in2p3.fr/

19 Séminaire IN2P3 - 30 avril 201019 Les vues détaillées – 2ème niveau

20 Séminaire IN2P3 - 30 avril 201020 Futur développement : package régional

21 Séminaire IN2P3 - 30 avril 201021 Futurs développements : migration sous symfony Le reste des fonctionnalités du portail historique est en cours de migration :  Vo ID Card, consultation, gestion et update des informations statiques des Vo  Broadcast tool : outil d'envoi de mails aux différents acteurs de la communauté  Interfaces de visualisation des ressources

22 Séminaire IN2P3 - 30 avril 201022 Futurs développements : Lavoisier 1.* RDBMS plug-in (développement en cours) L'utilisateur voit la DB comme un document XML unique sans que ce document ne soit physiquement construit  Avec une structure décrite par les fichiers de mapping Hibernate ou Doctrine  Avec des Requêtes SQL traduites en Xpath XQuery et XPath en plus de XSLT  À travers des opérations SOAP et REST  A travers l'usage de plug-ins

23 Séminaire IN2P3 - 30 avril 201023 Refactoring du coeur de Lavoisier :  Se baser sur JMS pour augmenter la flexibilité  Communication inter et intra Lavoisier  Améliorer l'extensibilité avec 4 types de plug-in au lieu d'un à l'heure actuelle  Protocole (JMS, http, https...)  Format ( xml, yml, txt,...)  Type de cache ( nouvelles implémentations possibles )  Règles de refresh ( nouvelles implémentations possibles )  Ajout d'un scheduler pour ordonner les refresh de cache Futurs développements : Lavoisier 2.0

24 Séminaire IN2P3 - 30 avril 201024 Liens  Lavoisier :  Homepage : http://grid.in2p3.fr/lavoisier/http://grid.in2p3.fr/lavoisier/  Symfony  Homepage : http://www.symfony-project.org/http://www.symfony-project.org/  Documentation: http://www.symfony-project.org/doc/1_4/http://www.symfony-project.org/doc/1_4/  Tutorial en 24 h : http://www.symfony-project.org/jobeet/1_4/Doctrine/fr/http://www.symfony-project.org/jobeet/1_4/Doctrine/fr/  Dashboard :  Homepage : https://operations-portal.in2p3.fr (enregistrement préalable dans la GOC DB nécessaire)https://operations-portal.in2p3.fr  Proceedings of EELA-2 Conference, A standalone regional dashboard implementation : http://www.ciemat.es/portal.do?TR=A&IDR=1&identificador=3985