Jour 4 : Publication des données sur l'Internet Création de réseaux d'information sur la biodiversité

Sommaire Rappel sur le XML Présentation des standards de connexion

Sommaire Présentation de lIPT (Integrated Publishing Toolkit) Démonstration de lIPT

XML

Sommaire Présentation Mise en page du XML Structure des documents XML Avantages Utilisation du XML

Présentation XML : eXtensible Markup Language Format universel pour représenter les données et les documents. Format déchange de données Méta-Langage à balises Même principe que le HTML Information ajoutée au contenu pour marquer la structure logique

Présentation ENTÊTE et ENCODAGE BDI ELEMENT BoBO - Botanic Garden Berlin BDI Observations COMMENTAIRE BALISE OUVRANTE 2 Observation... animalia ATTRIBUT BALISE FERMANTE

Présentation Séparation du fond et de la forme Forme : présentation à partir de la structure (style) Fond : structure + données (contenu) Langage multi-support

Mise en page du XML La représentation des données est assuré par un langage de mise en page tiers: CSS (Cascading StyleSheet) XSLT (eXtensible StyleSheet Language Transformation)

Mise en page du XML XSLT : Transforme un document XML en tout autre format textuel Principe : XML XSLT PDF HTML … RTF

Structure des documents XML DTD (Document Type Definition) : Décrit la structure des documents

Hugo Victor Charles Paris Structure des documents XML

Un document XML suivant les règles XML est un document bien formé Un document XML conforme à une DTD est un document valide

Avantages Lisibilité : simple à comprendre Autodescriptif et extensible Structure arborescente Facilement déployable Intégrabilité

Utilisation du XML Standardise linformation indépendamment de la structure de la base de données source Principe de « wrapping » : permet une mise en correspondance des colonnes et les tables d'une base de données avec un ou plusieurs éléments d'un schéma XML donné

Utilisation du XML Au niveau du wrapper: Standards XML : ABCD et DarwinCore Logiciels : Biocase, TAPIR, DIGIR et IPT

Standards

Standards Standard : document qui fournit des règles pour des procédés et méthodes de production. Utilisé pour la conception des collections et bases de données de gestion de l'information.

Standards Standards déchange de données : Protocoles de transfert utilisés pour organiser et formater linformation pour échange. ABCD et Darwin Core : standards déchange les plus connus pour les données de collection.

Standards Pourquoi des standards? Fournir le medium, les règles et les protocoles pour échanger linformation. Permer linteroperatibilité des données avec dautres données. Homogeneise linformation en vue de son intégration à un système mondial

Darwin Core Facilite léchange dinformation à propos des occurrences géographiques des espèces et lexistence des spécimens dans les collections. Pertinent pour les collections dhistoire naturelle.

Darwin Core Schéma simple, adapté aux données sur fichiers plats. 46 éléments regroupés dans 7 catégories : Record level, taxonomic, identification, locality, collecting event, biological, reference. Liste des champs sur : nCoreDraftStandard nCoreDraftStandard

ABCD Projet BIOCASE Standard déchange de données sur les spécimens et les données dobservation. Plus complexe que Darwin Core (1200 élements). Site internet :

Biocase Logiciel mettant en correspondance une source de données avec un standard choisi. Produit : Fichier XML formaté et exploitable

Démonstration Base de données Biocase / ABCD XML

Integrated Publishing Toolkit (1.0)

Présentation générale de lIPT Introduction Fonction dans le réseau GBIF Resources Caractéristiques Fonctionnalités Une plate-forme pour faciliter la décentralisation Sommaire

Démonstration Configuration Publication de métadonnées Publication de données Web application, interfaces Sommaire

Une web application Java open-source : Connecter et publier 3 types de données de biodiversité : - Données primaires - Information sur les espèces - Métadonnées sur les ressources À partir dune source de données - Base de données - Fichier plat Pour rendre ces données visibles sur le réseau distribué du GBIF LIPT est…

Un composant du réseau GBIF

Ressources Documentation et téléchargement Demo site Version 1.0 disponible depuis le 31/03/2009 Lead developer Markus Döring, Senior Software Engineer, GBIF

Caractéristiques Web application multilingue Contient un serveur de géolocalisation Gestion de rôles Base de données embarquée Supporte lutilisation de fichiers texte (.csv) Utilisation de vocabulaire pour limiter les termes Utilisation dextension pour Darwin Core Vérification de la qualité de données basique Utilisation didentifiant unique (uuid)

Utilisation des wrappeurs Scénario original Les wrappeurs exposent les bases de données aux requêtes

Utilisation des wrappeurs Scénario fréquent Une copie de base est utilisée pour la publication des données Souvent sur une machine de moins bonne qualité (perte de performance) Souvent non mise à jour (fraîcheur des données)

Récolte avec les protocoles existants Le fournisseur a un wrappeur TAPIR Ce wrappeur permet de récuperer 200 enregistrements par requete. Si la base contient 260,000 enregistrements à récuperer : 1300 request / responses 9 heures au total 500MB de transfert XML Seulement 32MB utiles à lindex Compressées en 3MB

Une fois définies, les vocabulaires sont accessibles à tous les utilisateurs de lIPT Contrôle du vocabulaire

Schéma extensible

Page daccueil paramétrable (1)

Page daccueil paramétrable (2)

Gestion de rôles Les users ne peuvent quexplorer les données Les managers ne gèrent que leurs données Possibilité de partager une même instance IPT

Senregistrer au GBIF

Gestion des extensions

Gestion des vocabulaires

Créer des métadonnées

Catégories de métadonnées Basic metadata Resource originator Geographic coverage Taxonomic coverage Temporal coverage IP Rights Research project information Methods Keywords

Mapping

Chargement des données Pendant le chargement, les données sont importées de la source (fichier plat ou base de données) Des statistiques sont calculés

Vue sur les ressources disponibles

Exploration taxonomique La taxonomie provient de la source de données Un premier niveau de contrôle de qualité de données est effectué

Résumé statistique

Graphiques

Contrôle de la qualité de données

Sortie XML

Web site: Data portal: GBIF Secretariat Universitetsparken Copenhagen Denmark Phone: Contact