Jour 4 : Publication des données sur l'Internet Création de réseaux d'information sur la biodiversité.

Présentation au sujet: "Jour 4 : Publication des données sur l'Internet Création de réseaux d'information sur la biodiversité."— Transcription de la présentation:

1 Jour 4 : Publication des données sur l'Internet Création de réseaux d'information sur la biodiversité

2 Sommaire Rappel sur le XML Présentation des standards de connexion

3 Sommaire Présentation de lIPT (Integrated Publishing Toolkit) Démonstration de lIPT

4 XML

5 Sommaire Présentation Avantages Utilisation du XML

6 Présentation XML : eXtensible Markup Language Format déchange de données Méta-Langage à balises Même principe que le HTML Information ajoutée au contenu pour marquer la structure logique

7 Présentation ENTÊTE et ENCODAGE BDI ELEMENT BoBO - Botanic Garden Berlin BDI Observations 2004-09-27 COMMENTAIRE BALISE OUVRANTE 2 Observation... animalia ATTRIBUT BALISE FERMANTE

8 Présentation Séparation du fond et de la forme Forme : présentation à partir de la structure (style) Fond : structure + données (contenu) Langage multi-support

9 Avantages Lisibilité : simple à comprendre Autodescriptif et extensible Structure arborescente Facilement déployable Intégrabilité

10 Utilisation du XML Standardise linformation indépendamment de la structure de la base de données source Principe de « wrapping » : permet une mise en correspondance des colonnes et les tables d'une base de données avec un ou plusieurs éléments d'un schéma XML donné

11 Utilisation du XML Au niveau du wrapper: Standards XML : ABCD et DarwinCore Logiciels : Biocase, TAPIR, DIGIR et IPT

12 Standards

13 Standards Standard : document qui fournit des règles pour des procédés et méthodes de production. Utilisé pour la conception des collections et bases de données de gestion de l'information.

14 Standards Standards déchange de données : Protocoles de transfert utilisés pour organiser et formater linformation pour échange. ABCD et Darwin Core : standards déchange les plus connus pour les données de collection.

15 Standards Pourquoi des standards? Fournir le medium, les règles et les protocoles pour échanger linformation. Permer linteroperatibilité des données avec dautres données. Homogeneise linformation en vue de son intégration à un système mondial

16 Darwin Core Facilite léchange dinformation à propos des occurrences géographiques des espèces et lexistence des spécimens dans les collections. Pertinent pour les collections dhistoire naturelle.

17 Darwin Core Schéma simple, adapté aux données sur fichiers plats. 46 éléments regroupés dans 7 catégories : Record level, taxonomic, identification, locality, collecting event, biological, reference. Liste des champs sur : http://wiki.tdwg.org/twiki/bin/view/DarwinCore/Darwin CoreDraftStandard http://wiki.tdwg.org/twiki/bin/view/DarwinCore/Darwin CoreDraftStandard

18 ABCD Projet BIOCASE Standard déchange de données sur les spécimens et les données dobservation. Plus complexe que Darwin Core (1200 élements). Site internet : http://wiki.tdwg.org/activities/ABCDhttp://wiki.tdwg.org/activities/ABCD (Access to Biological Collections Data)

19 Biocase Logiciel mettant en correspondance une source de données avec un standard choisi. Produit : Fichier XML formaté et exploitable

20 Démonstration

21 Integrated Publishing Toolkit (1.0)

22 Présentation générale de lIPT Introduction Fonction dans le réseau GBIF Resources Caractéristiques Fonctionnalités Une plate-forme pour faciliter la décentralisation Sommaire

23 Démonstration Configuration Publication de métadonnées Publication de données Web application, interfaces Sommaire

24 LIPT est… Une web application Java open-source : Connecter et publier 3 types de données de biodiversité : - Données primaires - Information sur les espèces - Métadonnées sur les ressources À partir dune source de données : - Base de données - Fichier plat Pour rendre ces données visibles sur le réseau distribué du GBIF

25 Un composant du réseau GBIF

26 Ressources Documentation et téléchargement http://code.google.com/p/gbif-providertoolkit/ Demo site http://ipt.gbif.org Version 1.0 disponible depuis le 31/03/2009 Chef de projet : Markus Döring, Senior Software Engineer, GBIF

27 Caractéristiques Web application multilingue Contient un serveur de géolocalisation Gestion de rôles Base de données embarquée Supporte lutilisation de fichiers texte (.csv) Utilisation de vocabulaire pour limiter les termes Utilisation dextension pour Darwin Core Vérification de la qualité de données basique Utilisation didentifiant unique (uuid)

28 Utilisation des wrappeurs Scénario original Les wrappeurs exposent les bases de données aux requêtes

29 Utilisation des wrappeurs Scénario fréquent Une copie de base est utilisée pour la publication des données Souvent sur une machine de moins bonne qualité (perte de performance) Souvent non mise à jour (fraîcheur des données)

30

31 Récolte avec les protocoles existants Le fournisseur a un wrappeur TAPIR Ce wrappeur permet de récuperer 200 enregistrements par requete. Si la base contient 260,000 enregistrements à récuperer : 1300 request / responses 9 heures au total 500MB de transfert XML Seulement 32MB utiles à lindex Compressées en 3MB

32 U Une fois défini, le vocabulaire est accessible à tous les utilisateurs de lIPT Contrôle du vocabulaire

33 Schéma extensible

34 Page daccueil paramétrable (1)

35 Page daccueil paramétrable (2)

36 Gestion de rôles Les users ne peuvent quexplorer les données Les managers ne gèrent que leurs données Possibilité de partager une même instance IPT

37 Senregistrer au GBIF

38 Gestion des extensions

39 Gestion des vocabulaires

40 Créer des métadonnées

41 Catégories de métadonnées Basic metadata Resource originator Geographic coverage Taxonomic coverage Temporal coverage IP Rights Research project information Methods Keywords

42 Mapping

43 Chargement des données Pendant le chargement, les données sont importées de la source (fichier plat ou base de données) Des statistiques sont calculés

44 Vue sur les ressources disponibles

45 Exploration taxonomique La taxonomie provient de la source de données Un premier niveau de contrôle de qualité de données est effectué

46 Résumé statistique

47 Graphiques

48 Contrôle de la qualité de données

49 Sortie XML

50 Web site: http://www.gbif.org http://www.gbif.org Data portal: http://data.gbif.org http://data.gbif.org GBIF Secretariat Universitetsparken 15 2100 Copenhagen Denmark E-mail: trobertson@gbif.orgtrobertson@gbif.org Phone: +45 3532 1487 Contact