Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules Rien ne se perd, rien ne se crée, tout se Cyril L’Orphelin,

Présentation au sujet: "Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules Rien ne se perd, rien ne se crée, tout se Cyril L’Orphelin,"— Transcription de la présentation:

1 Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules Rien ne se perd, rien ne se crée, tout se Cyril L’Orphelin, Olivier Lequeux, Sylvain Reynaud, Lionel Schwarz

2 ORM Scripts, programme Librairies Avant Sources de données MySQL Oracle wget java rest soap ldap Application web REST Mais ça c’était AVANT … Coût de développement/maintenance Hétérogénéité des protocoles et formats Tolérance aux pannes Extensibilité Performance LAVOISIER Langages standards et homogènes Maintenabilité // Flexibilité Performance Robustesse Outils de supervision Modes d’accès (rendu) multiples

3 Caractéristiques (1/2) Langages déclaratifs : templating (xml/html) et assemblage de plugins Langages basés uniquement sur des standards : XML et XPath Accélération du développement Facilité d’ajout/remplacement des sources de données Des plugins réutilisables : HTTP, LDAP, RDBMS,XSLT Possibilité de développer ses propres plugins Maintenabilité Flexibilité Utilisation RAM indépendante du volume de données (streaming) Minimisation de la latence (caches) Optimiseur de Xpath Performance

4 Caractéristiques (2/2) Tolérance aux interruptions de service des sources de données Système de caches avec des règles de rafraichissements Gestion des cas d’erreurs Robustesse Visualisation des données Visualisation de l’usage et de l’état des ressources Outils de débug Visualisation graphique des dépendances Supervision Différents modes d'accès : REST, CLI, Formulaire HTML auto-généré Plugins de rendu : csv, json, xml, text, pdf… Différents modes d’authentification et d’autorisation Accès

5 Fonctionnement : un chainage de plugins pour décrire les vues de données XML  Vue des données  plugin

6 Fonctionnement : un chainage de plugins pour décrire les vues de données

7 transformationtechnologies Format d’entrée Format de sortie cache validation authentication ≈ 100 plugins

8 Fonctionnement : un chainage de plugins pour décrire les vues de données transformationtechnologies Format d’entrée Format de sortie

9 transformationtechnologies Format d’entrée Format de sortie Exemple: download d’un fichier CSV, extraction de la colonne "Profit" et rendu en Json Fonctionnement : un chainage de plugins pour décrire les vues de données

10 { "entries": [ { "entry": [ "89", "1587", { "entries": [ { "entry": [ "89", "1587", JSON Month;Sales;Profit March;28;89 April;432;1587 May;267;529 June;622;2103 … Month;Sales;Profit March;28;89 April;432;1587 May;267;529 June;622;2103 … CSV 529 May 267 529 May;267;529 " 529 ", May;267;529 May 267 529 transformationtechnologies Format d’entrée Format de sortie Exemple: download d’un fichier CSV, extraction de la colonne "Profit" et rendu en Json

11 Fonctionnement : un chainage de plugins pour décrire les vues de données

12  Nouveaux plugins  GUI pour l’édition des configurations / vues Perspectives

13  Site web ◦ http://software.in2p3.fr/lavoisierhttp://software.in2p3.fr/lavoisier  Guide de démarrage: ◦ http://software.in2p3.fr/lavoisier/quickstart.htmlhttp://software.in2p3.fr/lavoisier/quickstart.html  Contact ◦ https://forge.in2p3.fr/projects/lavoisier/boardshttps://forge.in2p3.fr/projects/lavoisier/boards Liens