SITools Système léger d’accès aux données spatiales

Présentation au sujet: "SITools Système léger d’accès aux données spatiales"— Transcription de la présentation:

1 SITools Système léger d’accès aux données spatiales
CCT SIL – OP 24/11/2006

2 Du vocabulaire… Plan Les données spatiales :
Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Les données spatiales : Des documents quelconques Fichiers de mesures temporelles de champ magnétique, Prise de vue de la terre, Annuaires d’étoiles, … Jeu de donnée : regroupement de données homogènes et cohérentes Selon la source (capteur, expérience), Selon le niveau de traitement, … SVA (Service à Valeur Ajoutée) : application de traitement prenant des données en entrée et accessibles en ligne Tracé de graphique à la carte, tracé 3D, Conversion de format, compression, Extraction temporelle conditionelle, … Utiliser l’exemple des MP3 : Pour les données Pour les jeux (regroupement par jeux de MP3 selon l’auteur ou bien l’album Pour les services : conversion de format à la volée. Présentation SITools – CCT SIL–OP – 24/11/2006

3 Le contexte Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion SGDS (Service de Gestion des Données Spatiales) : réflexion sur la pérennisation et la dissémination des données, depuis 1990. Constat sur la gestion des données dans les laboratoires : Peu de moyens (pas d’outils comme le SIPAD) Petits volumes de données ayant vocation à rester dans les labos (donc pas au CNES) Systèmes d’accès spécifiques et hétérogènes, ou données inaccessibles Services associés non partagés Comment répondre à ce besoin de mise à disposition ? Maintenance des systèmes ? Interopérabilité ? Observatoires virtuels ? Présentation SITools – CCT SIL–OP – 24/11/2006

4 Le besoin Plan Simplicité d’installation et de maintenance
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Simplicité d’installation et de maintenance Possibilité de modifier soit même l’IHM ou le modèle de données Installable soi-même Portabilité (plateformes très différentes dans les labos) Généricité Adaptation à tous types de données Modularité des composants Adaptation à l’existant (remplacement de modules par des services existant)  interface simples et claires Adaptation à l’architecture système Interopérabilité interfaçage avec d’autres systèmes d’accès aux données Observatoires Virtuels Présentation SITools – CCT SIL–OP – 24/11/2006

5 L’action SITools Une action de R & T CNES (faisabilité) Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Une action de R & T CNES (faisabilité) Boîte à outil permettant de créer rapidement un système d’accès aux données Installé, implémenté et administré par les laboratoires utilisateurs (pas une solution clé en main rigide) Fédère et uniformise un effort de mise à disposition de données scientifiques Système de données interopérables  unifier l’accès Présentation SITools – CCT SIL–OP – 24/11/2006

6 Exemple Plan L’instance de démonstration de SITools : Jeu fruit
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion L’instance de démonstration de SITools : Jeu fruit Jeu fleur Jeu légume Chaque jeu correspond à une table en base de donnée en base Switcher vers SITools de démo. Présentation SITools – CCT SIL–OP – 24/11/2006

7 Technologies Sitools est constitué : Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Sitools est constitué : D’une couche de logiciels « libres » MySQL / PostgreSQL (tout SGBD accessible via JDBC) Tomcat 4 / Tomcat 5 (nécessitant une JRE 1.4 ou 1.5) Apache 2 D’un ensemble de webapps (modules web) hébergés par Tomcat Complètement configurables Interconnectés et dialoguant en SOAP Accédés par des applications clientes Présentation SITools – CCT SIL–OP – 24/11/2006

8 Architecture (1/6) Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Présentation d’un schéma d’architecture de SITools simplifié Données réparties sur deux sites (avec des bases de données existantes) : A et B Un site pour le serveur SITools : site C Schéma simplifié Rappeler que la plupart du temps tout est groupé sur la même machine. Possibilité d’éclater l’architecture Ou de la centraliser Présentation SITools – CCT SIL–OP – 24/11/2006

9 Application Cliente IHM
Schéma d’architecture SITools SITE C Catalogue A SITE A Architecture Application Cliente IHM Repository Jeux de données Super Catalogue Metadonnées Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Présentation d’un schéma d’architecture de SITools Deux sites pour les données : un site A, un site B Un site pour le serveur SITools : site C Dictionnaire de synonymes catalogue A Catalogue B SITE B Dictionnaire de synonymes Mais aussi convertisseurs (ex. degré Celsius / Fahrenheit; degré / radian) Ex. Une mission avec plusieurs expériences Un jeu par expérience : tous les jours un fichier par jeu (avec date et n° d’orbite) Un table par expérience qui référence les fichiers ainsi que les attributs de date et d’orbite. Le catalogue fourni une interface générique pour les autres composants SITools. Il s peuvent donc interroger la ou les bases de manière transparente. Pour les synonymes : ex. du filename et nomFichier / orbitNumber et numeroOrbite. Un seul et même critère orbitnumber dans l’interface. Jeux de données Dictionnaire de synonymes catalogue B Metadonnées Présentation SITools – CCT SIL–OP – 24/11/2006

10 Architecture (2/6) Remplissage des méta données Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Remplissage des méta données Pas de modification des tables de données existantes Possibilité de configurer toute l’application via la base de données Phase la plus coûteuse et le plus importante de l’instanciation de SITools. Exemple… Présentation SITools – CCT SIL–OP – 24/11/2006

11 Base de données SITools
Table de données: MAG_KSM Table dataset Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Table attribute Présentation SITools – CCT SIL–OP – 24/11/2006

12 Architecture (3/6) SITools est un boîte à outil : Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion SITools est un boîte à outil : Modules nécessaires Catalogue (au moins 1) Repository IHM utilisateur (Instanciation de l’IHM de base) Modules facultatifs Commande Service à valeur ajoutée (autant que nécessaire) Présentation SITools – CCT SIL–OP – 24/11/2006

13 Architecture (4/6) Plan Modules nécessaires Module Catalogue :
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Modules nécessaires Module Catalogue : Permet un accès générique aux données pour les autres modules de SITools. Autant de catalogue que nécessaire. Module Repository Référence les catalogues utilisés et les services associés Gère les droits des utilisateurs Gère les synonymes et les convertisseurs Module IHM Interface graphique standard pour l’accès aux données la recherche par critères … Présentation SITools – CCT SIL–OP – 24/11/2006

14 Architecture (5/6) Modules facultatifs Plan Module commande
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Modules facultatifs Module commande Gère le processus de commande de données (gros volumes / traitement batch) Dépôt de la commande sur un espace utilisateur (DAV) Gestion de l’espace utilisateur sur le serveur SITools Possibilité de faire évoluer l’espace utilisateur : - Dépôt par FTP par exemple. Présentation SITools – CCT SIL–OP – 24/11/2006

15 Architecture (6/6) Modules facultatifs : Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Modules facultatifs : Modules de Services à Valeur Ajoutée Plusieurs types : Services interactifs Externes Internes Services Batch (dépôt sur espace utilisateur ou autre). Un Kit de développement de SVA est fourni Une interface à implémenter Présentation SITools – CCT SIL–OP – 24/11/2006

16 Architecture détaillée
Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Schéma détaillé de l’architecture Tous les modules peuvent être éclatés sur plusieurs machines Communication SOAP (XML over HTTP – Port 80) Présentation SITools – CCT SIL–OP – 24/11/2006

17 Architecture détaillée
Site A Repository Site A Client Application (Web Server) Site C Description of services Dictionnaires des synonymes Site B Description of services Internet browser Architecture détaillée Site A Description of services Site A Catalog Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Schéma détaillé de l’architecture Tous les modules peuvent être éclatés sur plusieurs machines Communication SOAP (XML over HTTP – Port 80) Connection bus between the various services Catalog 1 Catalog 2 Data 1 Client Site A Added-Value Services 1 Site C Added-Value Services 2 Service 1 Site A Command Processing Site C User Space Catalogue : online / off line Connecteur (imaginer un connecteur STAF : implémentation de l’interface) Repository : il dit aussi quel sont les services dispos sur un site et à quel jeux ils s’appliquent. Service à valeur ajoutée : ex. du site A  le service tourne sur une autre machine : ex. DATAQTIS le service de localisation 3D. Command + user workspace : présenté comme un seul et même module (si on installe la commande on installe l’espace utilisateur). Site B Catalog off-line Catalog 1 Catalog 2 Data 1 Site B AVS 3 Existant Site N Added-Value Services N Présentation SITools – CCT SIL–OP – 24/11/2006

18 Implémentation (1/3) Laboratoires testeurs : Projets CNES :
Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Laboratoires testeurs : LAM (Données SOHO / Corot) IAS (idem) CESR (Cassini, CDPP) Projets CNES : GEIPAN DATAQTIS Quelques copies d’écran… Présentation SITools – CCT SIL–OP – 24/11/2006

19 Présentation SITools – CCT SIL–OP – 24/11/2006

20 Présentation SITools – CCT SIL–OP – 24/11/2006

21 Présentation SITools – CCT SIL–OP – 24/11/2006

22 Implémentation (2/3) Quelques exemples de services à valeur ajoutée
Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Quelques exemples de services à valeur ajoutée Présentation SITools – CCT SIL–OP – 24/11/2006

23 Présentation SITools – CCT SIL–OP – 24/11/2006

24 Présentation SITools – CCT SIL–OP – 24/11/2006

25 Présentation SITools – CCT SIL–OP – 24/11/2006

26 Présentation SITools – CCT SIL–OP – 24/11/2006

27 Présentation SITools – CCT SIL–OP – 24/11/2006

28 Présentation SITools – CCT SIL–OP – 24/11/2006

29 Présentation SITools – CCT SIL–OP – 24/11/2006

30 Implémentation (3/3) Démonstration sur l’instance DATAQTIS (CNES) :
Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Démonstration sur l’instance DATAQTIS (CNES) : Démonstration sur l’instance SOHO (IAS) : Présentation SITools – CCT SIL–OP – 24/11/2006

31 Utiliser SITools (1/2) Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Implémentation de SITools dans le cadre d’un projet Installation SITools de base V3.2 : 1 à 2 jours Adaptation de l’IHM (qq jours – dépend compléxité) Remplissage de la base de données (ordre de la semaine) Ajout de services (en fonction de la compléxité) On peut rapidement (env. 1 semaine) avoir une version simple d’un serveur de données : les raffinements viennent après et sont fonctions de la complexité. Présentation SITools – CCT SIL–OP – 24/11/2006

32 Utiliser SITools (2/2) Support CNES présent Contrat industriel Plan
Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Support CNES présent DCT/PS/VDO Architecture à mettre en œuvre Aide à la mise en place Contrat industriel CAP G. développeur de SITools Javadoc complète et détaillée pour un industriel ≠ Présentation SITools – CCT SIL–OP – 24/11/2006

33 Avantages / Inconvénients de SITools
Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Avantages : Souplesse modification simple de l’IHM Modification simple du modèle de données, des critères de sélection Facilité d’installation Facilité de développement des SVAs Beaucoup d’interfaces (convertisseurs, connecteurs, SVAs, etc..) Portable (plateforme, SGBD, …) Open source Inconvénients ( = avantages SIPAD-NG) : Solution non sécurisée au sens CNES Pas de vérification stricte des données entrées par rapport à un dictionnaire Connaissances informatique requises pour l’administration (et l’implémentation), gestion de la base de données Pas d’interface admin AVANTAGES / INCONVENIENTS A COMPLETER ! Présentation SITools – CCT SIL–OP – 24/11/2006

34 Merci de votre attention.
Conclusion Plan Du vocabulaire Le contexte Le besoin L’action SITools Exemple Technologies Architecture Implémentation Utiliser SITools + / - Conclusion Plus d’informations sur le site web de SITools : Merci de votre attention. Présentation SITools – CCT SIL–OP – 24/11/2006