Février-Avril 2006 Licence Pro BDAN 1 4. Partager les métadonnées 2 méthodes pour partager: Le serveur Z39.50 Le serveur.

Présentation au sujet: "Février-Avril 2006 Licence Pro BDAN 1 4. Partager les métadonnées 2 méthodes pour partager: Le serveur Z39.50 Le serveur."— Transcription de la présentation:

1 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 1 4. Partager les métadonnées 2 méthodes pour partager: Le serveur Z39.50 Le serveur OAIPMH Le partage nécessite dutiliser une norme ou standard. Z39.50 -> MARC OAI -> Dublin Core

2 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 2 3. Z39.50 / OAI Z39.50 Une norme pour permettre linterrogation Protocole spécifique Ensemble dattributs normalisés Ensemble de réponses normalisées (MARC) Buts: Interroger plusieurs bases simultanément Interroger une base de référence pour faire du catalogage (récupération de notice) OAI Un standard pour permettre le moissonnage Requêtes http normalisées Réponses normalisées (en XML-dublin core) Buts: Télécharger périodiquement un ensemble de métadonnées afin de bâtir une application spécifique (client) Exposer ses métadonnées au public afin de les partager (serveur)

3 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 3 Z39.50, suite Z39.50 peut fonctionner indépendamment du web: il n'utilise pas http ! Par exemple, interface de catalogage d'un logiciel de gestion de bibliothèques

4 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 4 Z39.50 avec le web Rajout d'un couche logicielle interface Z39.50 - web

5 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 5 Z39.50 / OAI -suite Z39.50 Complexité d'implémentation Protocole compliqué "ensemble d'attributs" compliqués Essentiellement restreint aux catalogues de bibliothèques OAI Simplicité d'implémentation Protocole http (simple) Ensemble de requêtes très limité, faciles à comprendre Retraitement facile (XML) Utilisé par des archives ouvertes et/ou bibliothèques numériques (pas forcément en accès libre)

6 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 6 OAI et moissonneurs "web" (google et autres) Moissonneurs web Visitent des sites Processus lent Lit page d'accueil Indexe contenu (parfois titre, et mots clés) Visite chaque lien => récursif jusqu'à la fin d'un site OAI Moissonnage spécialisé " plus rapide Indexation plus précise (champs du DC, ou autres) Plus intéressant si on se spécialise dans les documents se trouvant dans les archives ouvertes

7 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 7 4. Les archives ouvertes : politique Open Archives Initiative. Une initiative « politique » Encourager le développement du libre accès à la documentation Initiative de Budapest pour l'Accès Ouvert « Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities » Communication directe auteur=lecteur Combattre lhégémonie des grands éditeurs commerciaux

8 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 8 Archives Ouvertes: exemples ArXiv : (www.arxiv.org) LA référence !www.arxiv.org Par les scientifiques pour les scientifiques, depuis 1992 ! Miroirs partout. En France le serveur HAL (hal.archives-ouvertes.fr) est une frontale dArXiv.hal.archives-ouvertes.fr Principe dauto archivage ! Des archives de différentes institutions Des serveurs de thèses en ligne (NDLTD) Voir une liste (assez) complète sur archives.eprints.org archives.eprints.org

9 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 9 4. Archives Ouvertes: technique Même principe que nimporte quelle bibliothèque numérique (cf premier cours) : Identifiants + base de métadonnées + fichiers en ligne En plus: Système dinscription/authentification pour les auteurs (auto archivage) Système de « datestamp » obligatoire Parfois, système de « validation » (authentification) Service dalerte (faire connaître les nouveaux documents déposés) Serveur OAIPMH pour « partager » les métadonnées

10 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 10 4. Archives Ouvertes: technique Le protocole OAIPMH. (Open Archives Protocol for Metadata Harvesting). Crée par lopen archives initiative, années 2000-2002. Notions de data provider (détient les données et les expose), et service provider (récupère les données et les utilise pour proposer un service à ses utilisateurs) Côté serveur (data provider) : Export (dynamique ou statique) des métadonnées de la base en XML et conforme au standard « dublin core ». Possibilité dexporter dautres formats de métadonnées. (cf premier TD) Savoir répondre à des requêtes normalisées et renvoyer la réponse adéquate et normalisée (développement ou installation dun logiciel adéquat) Côté client (service provider) Utiliser un « vocabulaire » (ensemble restreint de requêtes normalisées) Récupérer les réponses pour les réutiliser (savoir exploiter lXML )

11 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 11 4. Les Archives Ouvertes: technique OAIPMH côté serveur les logiciels disponibles Pour gérer tout le processus (soumission BD, stockage…) : eprints.org DSpace Fedora Pour fournir un serveur OAI-PMH « par-dessus » une base déjà existante: PHP OAI Data Provider XMLFile v2.2 Liste (in)complète sur http://www.openarchives.org/tools/tools.html http://www.openarchives.org/tools/tools.html

12 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 12 4. Les Archives Ouvertes: technique OAIPMH côté client Pas indispensable de disposer dun logiciel spécifique. Un navigateur web (ou commande « wget ») suffit ! Apprendre/comprendre les requêtes OAI normalisées URL+verbe+arguments URL = lurl de base dun fournisseur OAI Verbe: lun des 6 verbes possibles Arguments : préciser les dates ou le sous ensemble ou le format des métadonnées.

13 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 13 4 Les archives Ouverts: technique OAIPMH les 6 verbes GetRecord (récupération dun enregistrement) Identify (info sur le service) ListIdentifiers (Liste des identifiants) ListMetadataFormats (infos sur les formats de métadonnées possibles) ListRecords(récupération de plusieurs notices) ListSets(info sur les divisions logiques du serveur OAI)

14 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 14 4. Les Archives Ouvertes: technique OAIPMH: les arguments From, until : pour récupérer des données depuis (ou jusquà) une certaine date Set : pour récupérer un sous ensemble MetadataPrefix : pour récupérer les métadonnées dans différents formats (argument obligatoire avec les verbes ListRecords et GetRecord) resumptionToken: reprendre la suite des réponses

15 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 15 4. Les Archives Ouvertes: exemples de requêtes OAIPMH http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListSets Quels sont les sous ensembles dans la collection OAI HAL http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListMetadataFormats Quels sont les formats de métadonnées possibles? http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListRecords&set=MATH& metadataPrefix=oai_hal http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListRecords&set=MATH& metadataPrefix=oai_hal Je veux tous les enregistrements dans le domaine « math » avec lensemble de métadonnées « oai_hal » http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListRecords&set=MATH& metadataPrefix=oai_hal&from=2007-02-01&until=2007-02-27 http://hal.ccsd.cnrs.fr/oai/oai.php?verb=ListRecords&set=MATH& metadataPrefix=oai_hal&from=2007-02-01&until=2007-02-27 Même chose entre le 1/01/2007 et le 27/02/2007 http://arXiv.org/oai2?verb=GetRecord&identifier=oai:arXiv.org:cs/ 0112017&metadataPrefix=oai_dc http://arXiv.org/oai2?verb=GetRecord&identifier=oai:arXiv.org:cs/ 0112017&metadataPrefix=oai_dc je veux la notice cs/0112017 dans ArXiv en oai_dc

16 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 16 4. Les Archives Ouvertes: OAIPMH Récupération des résultats Sauvegarder le résultat dune requête dans un fichier. « Transformer » lXML récupéré (cf cours XML) En général on veut automatiser la tache. Il existe des bibliothèques de programmes permettant de le faire. (ex Perl Harvester).Perl Harvester Liste à http://www.openarchives.org/tools/tools.html http://www.openarchives.org/tools/tools.html

17 Février-Avril 2006 Elizabeth.Cherhal@ujf-grenoble.fr, Licence Pro BDAN 17 Archives Ouvertes: conclusion Archive ouverte = bibliothèque numérique + fonctionnalités spécifiques Archive ouverte # bibliothèque numérique Dans une archive ouverte, les documents sont librement consultables. Tendance générale à trop décentraliser (réinvention constante de la roue).