Formation sur la publication des données de biodiversité dans le réseau GBIF et leur aptitude à être utilisées , édition 2011 Comment le DwC-A a changé la manière de publier les données de biodiversité Michael Akbaraly(akbaraly@gbif.fr) IT Engineer GBIF France Buenos Aires (Argentina) 28 September 2011

Rappel : Standards d'échange ABCD (TDWG Standard) > 1200 concepts XML Utilisé par BioCase, Tapir Darwin Core (pre-standard v. 1.2, 47 versions) 48 concepts, specimens Utilisé par DiGIR Darwin Core (pre-standard v. 1.4) 46 concepts (plus extensions), specimens Utilisé par Tapir Darwin Core (TDWG Standard) 172 concepts (156 dans Simple Darwin Core), données de biodiversité CSV, XML, RDF, JSON, … Utilisé par Tapir, Darwin Core Archive ou fichier texte - Reminder about the existing standards

Darwin Core Archive Données Primaires Données Taxonomiques Métadonnées http://www.quelquepart.org/data.zip

Darwin Core Archive Contenu de l'archive Une archive correspond à un jeu de données Fichiers formatés par le standard Darwin Core Données d’occurrences ou taxonomiques Métadonnées sous format EML C'est le schméExplain the 3 components of an archive: Core data file + optionnal extensions files Metafile Descriptor file

Darwin Core Archive: Avantages Format simple (fichiers texte) Processus de récolte efficace (fichier unique) Stockage efficace (archive compressée) Facilité d'accès (ne nécessite pas de logiciel spécifique) Extensible (fichiers liées dans une archive unique) Simpler data transfer:  what takes 500MB of data transfer in Tapir takes 3MB data transfer in DwC-A.  Extensible format: more flexible way to map data Format d'échange préferé pour la publication des données sur le réseau GBIF

Darwin Core Archive: Anatomie Les archives ont toujours un fichier de métadonnées EML C'est le schméExplain the 3 components of an archive: Core data file + optionnal extensions files Metafile Descriptor file

Ecological Metadata Language (EML) Décrit les jeux de données – même ceux qui ne sont pas publiés Titre et Description Citation and Attribution Contacts et Auteurs Couverture Géographique Méthode d'échantillonage Bibliographie Et plus...

Darwin Core Archive: Anatomie Les archives ont toujours un fichier de données principal (Core Data File) C'est le schméExplain the 3 components of an archive: Core data file + optionnal extensions files Metafile Descriptor file

Types de fichier de données principal (Core data file) Données taxonomiques – une espèce par ligne OU Données d'occurrences – une par ligne

Darwin Core Archive: Anatomie Les archives ont toujours un fichier de données principal (Core Data File) C'est le schméExplain the 3 components of an archive: Core data file + optionnal extensions files Metafile Descriptor file

Darwin Core Archive: Anatomie Le fichier principal a une colonne “ID_Principal” unique pour chaque enregistrement du fichier

Les colonnes sont mises en correspondance avec les concepts DarwinCore Darwin Core Archive: Anatomie Les colonnes sont mises en correspondance avec les concepts DarwinCore

“Wingspan” n'est pas un concept Darwin Core Archive: Anatomie Les colonnes ne correspondant pas à un concept DarwinCore peuvent être rajoutées, mais seront ignorées “Wingspan” n'est pas un concept Darwin Core

1) Renommer les colonnes dans le fichier Darwin Core Archive: Anatomie Il y a deux manières de mettre en correspondance les colonnes avec les concepts DarwinCore 1) Renommer les colonnes dans le fichier

2) Faire la correspondance des champs dans le fichier meta.xml Darwin Core Archive: Anatomie Il y a deux manières de mettre en correspondance les colonnes avec les concepts DarwinCore 2) Faire la correspondance des champs dans le fichier meta.xml

Darwin Core Archive: Anatomie meta.xml décrit les colonnes du fichier de données principal (species.txt) Plus d'informations sur le meta.xml plus tard...

Les archives peuvent inclure des extensions Darwin Core Archive: Anatomie Les archives peuvent inclure des extensions Species.txt Les extensions sont reliées au fichier principal par l'ID_Principal Common_names.txt Les extensions permettent de relier plusieurs enregistrements à un enregistrement principal

GBIF héberge les définitions des extensions http://rs.gbif.org/extension/

Plusieurs extensions peuvent être reliées au fichier principal Darwin Core Archive: Anatomie Plusieurs extensions peuvent être reliées au fichier principal

Darwin Core Archive: Anatomie Tous les fichiers sont stockées dans un seul dossier

Darwin Core Archive: Anatomie Le dossier est zippé Ceci est une archive DarwinCore Fichiers de données Fichier de correspondance des colonnes (meta.xml) Fichier de métadonnées (eml.xml)

Darwin Core Archive: Publication http://www.organisation.org /my_data.zip Les archives sur un serveur web peuvent être accessible par une URL. Partagez cette URL pour publier vos données!

Options de Publication Darwin Core Archive: Options de Publication

GBIF Spreadsheet Templates

Integrated Publishing Toolkit

Data Hosting Centers

Darwin Core Mapping Assistant Metafile http://tools.gbif.org/dwca-assistant/

Darwin Core Mapping Assistant

Options de publication Darwin Core Archive: Options de publication GBIF Darwin Core Archive Spreadsheet Templates: Les données sont déja sous forme de tableur Création d'une simple archive IPT: Créer/gérer plusieurs archives venant de plusieurs jeux de données Gérer les archives provenant de plusieurs organisations Édition des métadonnées sous le GBIF Metadata Profile Création manuelle: Automatisation de la creation des archives Customisation Centre d'hébergement: Économie d'échelle Infrastructure et assistance Un peu de tout ça... Explain the 3 components of an archive: Core data file + optionnal extensions files Metafile Descriptor file

GB18 Training Session - Jour 1 Comment le DwC-A a changé la manière de publier les données de biodiversité Michael Akbaraly / Anne-Sophie Archambeau / Nicolas Noé GBIF France - BeBIF Global Biodiversity Information Facility (GBIF) 28/09/11