Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Stage Logiciels libres, ENSSIB Villeurbanne, 23 octobre 2008.

Présentation au sujet: "Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Stage Logiciels libres, ENSSIB Villeurbanne, 23 octobre 2008."— Transcription de la présentation:

1 Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Stage Logiciels libres, ENSSIB Villeurbanne, 23 octobre 2008

2 23 octobre 2008ORI-OAI2 Sommaire Contour fonctionnel Concepts Mise en oeuvre Bilan Introduction Évolutions et projets connexes

3 23 octobre 2008ORI-OAI33 Projet ORI-OAI Introduction

4 23 octobre 2008ORI-OAI44 Contexte Les établissements universitaires Croissance de la création numérique institutionnelle (scientifique, pédagogique, administrative, documentaire) Accessibilité aux ressources dans divers contextes Référentiel unique de documents, indexation professionnelle «Système Global dInformation» La structuration initiée par les projets nationaux (UNT, UNR, SI détablissement)

5 23 octobre 2008ORI-OAI55 Contexte Les UNT (Universités Numériques Thématiques) Réflexion UNIT : évolution du portail et choix dune organisation en « réseau de portails OAI-PMH» Convergence sur les besoins de référencement et dindexation avec lUNT UVED Nécessité de mutualiser les outils et les moyens daccompagnement pour favoriser la démarche avec lensemble des UNT ORI-OAI : projet Open Source inter-UNT soutenu par la SD/TICE

6 23 octobre 2008ORI-OAI66 Les acteurs du projet UNTÉtablissementsAvec le soutien du MESR

7 23 octobre 2008ORI-OAI7 Les acteurs du projet Équipe de pilotage avec des représentants des établissements des UNT des SCD

8 23 octobre 2008ORI-OAI8 Les acteurs du projet Équipe fonctionnelle 1 coordinatrice 10 membres Ressources pédagogiques numériques 8 membres Thèses 7 membres Archives ouvertes 8 membres Documents administratifs …

9 23 octobre 2008ORI-OAI9 Les acteurs du projet Équipe technique 1 coordinateur 1 conseiller technique 5 développeurs 2 personnes Rennes 1 1 personne INP Toulouse 1 personne SICD Toulouse 2 personnes Valenciennes

10 23 octobre 2008ORI-OAI10 Conduite du projet ORI-OAI Un projet commun alimenté de lexpérience de chacun Une démarche douverture et déchange Diffusion des sources Site Web Listes de diffusion Financement coopératif par les établissements

11 23 octobre 2008ORI-OAI11 Contour fonctionnel Projet ORI-OAI

12 23 octobre 2008ORI-OAI12 ORI-OAI – Points clés Gérer et publier les ressources numériques de létablissement Référentiel unique de ressources connecté au SI Production de métadonnées et diffusion des ressources produites par létablissement Valoriser la production de létablissement par une indexation de qualité Indexation avec des normes et standards Utilisation de classifications paramétrables articulées sur des standards comme Dewey

13 23 octobre 2008ORI-OAI13 ORI-OAI – Points clés Partager les ressources numériques avec dautres établissements Exposition des fiches de métadonnées de létablissement Agrégation de fiches de métadonnées Accéder aux ressources numériques à distance en fonction des droits daccès Système de recherche avancée et thématique Définition des droits

14 23 octobre 2008ORI-OAI14 ORI-OAI – les fonctions indexation de qualité adaptée aux divers types de documents, classification pivot sur les métadonnées, texte intégral en respectant le droit dauteur, les licences et les droits daccès versions de publication, workflows, plusieurs schémas de métadonnées documents natifs toujours disponibles pour les auteurs protocole OAI/PMH, fédération didentités recherche diffusion publication web archivage référencement partage

15 23 octobre 2008ORI-OAI15 Synthèse Outil de Référencement et dIndexation mettre en réseau des ressources numériques + Protocole OAI/PMH échanger des données +.ORG développé en logiciel libre pour les UNT, UNR, les établissements universitaires, … = ORI-OAI.ORG

16 23 octobre 2008ORI-OAI16 Projet ORI-OAI Insertion de ORI-OAI dans létablissement

17 23 octobre 2008ORI-OAI17 Types de documents Ressources denseignement ressources pédagogiques multimédia, QCM, exercices, polycopiés numériques, … Travaux de recherche publications, pré-publications, rapports techniques Thèses, mémoires de Master Documents administratifs Ressources documentaires éditoriales revues, livres électroniques

18 23 octobre 2008ORI-OAI18 Le partage dans ORI-OAI Patrimoine pérenne pouvant se partager Avec les acteurs de létablissement Avec les partenaires des réseaux locaux, nationaux et internationaux de létablissement Avec les internautes En respectant les règles du numérique et les standards Droit dauteur Interopérabilité des systèmes (OAI/SOAP) Normes déchange (schémas XML) Vocabulaire commun

19 23 octobre 2008ORI-OAI19 Insertion de ORI-OAI dans l'établissement Pourquoi intégrer ORI-OAI dans un établissement? ORI-OAI comme portail de ressources numériques Diffusion et partage des ressources Publication des productions de l'établissement ORI-OAI comme archive institutionnelle Diffusion et partage des ressources Publication des productions de l'établissement Conservation du patrimoine documentaire

20 23 octobre 2008ORI-OAI20 Insertion de ORI-OAI dans l'établissement Mise en place de ORI-OAI dans l'établissement

21 23 octobre 2008ORI-OAI21 Insertion de ORI-OAI dans l'établissement Mise en place de ORI-OAI dans l'établissement

22 23 octobre 2008ORI-OAI22 Insertion de ORI-OAI dans l'établissement Éléments d'une démarche de projet de gestion des documents numériques : Une volonté politique en appui du projet Une communication autour du projet Auprès des utilisateurs tout au long du projet Auprès de la communauté Auprès des instances internes concernées Mise en place d'un groupe de travail transversal impliquant tout les acteurs Bibliothécaires Cellule TICE Informaticiens

23 23 octobre 2008ORI-OAI23 Insertion de ORI-OAI dans l'établissement Insertion de ORI-OAI dans le Système d'Information: Complémentarité avec les applications déjà existantes Utilisation des référentiels de l'établissement (LDAP...) Système d'authentification / contrôle des accès (CAS, Shibboleth,...) Intégration à l'ENT Interopérabilité avec l'ensemble des briques du SI (LMS, SI recherche, HAL, application de la scolarité,...) Référentiel des documents numériques pour le SI (plateforme pédagogique, moteur documentaire, sites web de communication,...)

24 23 octobre 2008ORI-OAI24 Concepts Projet ORI-OAI

25 23 octobre 2008ORI-OAI25 Projet ORI-OAI Concept de métadonnées

26 23 octobre 2008ORI-OAI26 Concept de métadonnées Données liées à une ressource Attributs communs à un ensemble de ressources Données liées à un contexte dutilisation Format générique (Dublin Core) Format spécifique Pédagogique : LOM, LOMFR, SupLOMFR Offre de formation : CDM Thèse : TEF Bibliographique : MARC

27 23 octobre 2008ORI-OAI27 Concept de métadonnées Format de métadonnées semi-structuré basé sur un schéma XML structure imbriquée, récursive éléments répétables Rôle des métadonnées dans un entrepôt de données mise en commun dattributs, constitution densembles qualité de référencement vocabulaires fermés, saisie contrôlée gestion de la cohérence des données et des redondances

28 23 octobre 2008ORI-OAI28 Projet ORI-OAI Classification

29 23 octobre 2008ORI-OAI29 Classifications Quoi ? Langage documentaire Organisation des connaissances en domaines Structure arborescente: des notions générales aux détails Représentation dun domaine par un indice numérique

30 23 octobre 2008ORI-OAI30 Classification Décimale Dewey (CDD) Objectif ? Échange et partage, interopérabilité Classification internationale Couvre lensemble des domaines de la connaissance interopérable avec les applications qui utilisent la Dewey (BU, Thèses) Utilisation arborescente Numérique

31 23 octobre 2008ORI-OAI31 Un exemple : 5 Science 53 Physique 54 Chimie 547 Chimie organique … Division Section Classe Classification Décimale Dewey (CDD)

32 23 octobre 2008ORI-OAI32 Classification Décimale Dewey (CDD) Application ? Classement physique des documents dans la bibliothèque Comment ? Traduction du contenu de documents en indice(s) (indexation systématique) Distinction des indexations systématique accès thématique (par domaine, point de vue) analytique accès par sujet

33 23 octobre 2008ORI-OAI33 Classification locale Objectif ? construction d'un « plan de classement » spécifique pour lindexation et pour la recherche thématique Quelle interaction entre la classification locale et la classification Dewey ?

34 23 octobre 2008ORI-OAI34 Classification UNIT Vocabulaire des Communautés UNIT Classification UNIT élaborée par les communautés UNIT points dentrée thématiques sur les ressources numériques

35 23 octobre 2008ORI-OAI35 Classification pivot Objectif ? Permettre linteraction entre une classification locale et la classification Dewey Comment ? définition de domaines spécifiques aux besoins de la bibliothèque caractérisation de ces domaines, par des indices Dewey ou leur combinaison exploitation de l'indexation Dewey des documents

36 23 octobre 2008ORI-OAI36 classification Dewey = pivot pour la constitution de classifications spécifiques Approche transposable aux ressources numériques (avantages : "bibliothèque" virtuelle ; classement possible d'une ressource dans plusieurs domaines ; réorganisation rapide et souple ; …) Classification pivot

37 23 octobre 2008ORI-OAI37 Exemple Mon cours.pdf Métadonnées LOM Titre Titre = Technologies énergétique Classification Dewey Classification Dewey = 621.45 (Aéromoteurs, éoliennes)etc.

38 23 octobre 2008ORI-OAI38 621.312 136* 621.312 42* 621.312 44* 621.45* 629.229 5* Exemple: classification UNIT 333.92* 621.312 136* 621.45* … Systèmes pour énergie renouvelable Technologies de lénergie éolienne … Energétique, énergie Classification UNIT … Electricité et électrotechnique

39 23 octobre 2008ORI-OAI39 Exemple: classification Valenciennes Sciences, techniques, sport … Génie mécanique et énergétique 621* … Classification Valenciennes

40 23 octobre 2008ORI-OAI40 Projet ORI-OAI Principe du référencement et de la diffusion

41 23 octobre 2008ORI-OAI41 Titre Description Auteur Document Upload Demander la publication Procédure de publication (étape auteur) Entrepôt de ressources ORI-OAI Auteur Étape de saisie auteur Metadonnées Doc À publier Demander la publication

42 23 octobre 2008ORI-OAI42 Procédure de publication (étape bibliothécaire) Entrepôt de ressources ORI-OAI Bibliothécaire Étape de saisie bibliothécaire Titre Description Auteur Document Metadonnées Doc Publié Publier Rejeter Publier Rejeter Classification Metadonnées

43 23 octobre 2008ORI-OAI43 Privé En attente de publication Publié Demander à publier publier retirer rejeter [propriétaire, modérateur] [propriétaire] [modérateur] créer [tous] indexer désindexer Envoi mail modérateur Envoi mail propriétaire Positionner permissions Etats (empruntables par la fiche) Transitions (changements détats) Conditions (pour les transitions) Actions (lors de transitions) Schématisation du processus : diagramme Etats / Transitions Notion de workflow: chaîne de publication

44 23 octobre 2008ORI-OAI44 Etats Transitions Conditions Actions Déroulement … (demande de publication de la fiche acceptée) Privé En attente de publication Publié Demander à publier publier [auteur] [bibliothécaire] créer [tous] indexer Envoi mail modérateur Positionner permissions Notion de workflow: chaîne de publication

45 23 octobre 2008ORI-OAI45 Gestion des vocabulaires Centralisation et automatisation des vocabulaires Répartition en réseau des vocabulaires avec tolérance à la panne (cache intelligent) Utilisés en amont (workflow) et en aval (recherche, OAI) Chaque vocabulaire est partageable par x établissements, UNT/UNR Vocabulaires de référence fermés et statiques avec peu de fluctuations (taxonomies, liste de mots-clés fermée) Vocabulaires dynamiques générés automatiquement depuis un annuaire LDAP ou Active Directory daprès les valeurs déjà indexées (auteurs, mots-clés libres) daprès des référentiels existants (bases de données…)

46 23 octobre 2008ORI-OAI46 Projet ORI-OAI Principe des échanges

47 23 octobre 2008ORI-OAI47 Entrepôt ORI-OAI Document Quest-ce quun entrepôt ORI-OAI ? Stockage des ressources numériques Métadonnées sur les documents LOM Dublin Core Etc. Métadonnées

48 23 octobre 2008ORI-OAI48 OAI-PMH Protocole informatique d'échange de données Permet la collecte et le partage de références Fait intervenir deux types d'acteurs: Fournisseur de données (data provider) : met en forme les métadonnées (au moins en DC) les stocke dans un entrepôt (repository) définit éventuellement des ensembles (sets) Fournisseur de services (service provider) : envoie des requêtes aux entrepôts (grâce à un moissonneur) récupère les métadonnées exposées correspondantes les exploite en fournissant des services à valeur ajoutée

49 23 octobre 2008ORI-OAI49 Open Archive Initiative (OAI) Etablissement A Moissonneur UNT, UNR, … Entrepôt Etablissement B Entrepôt OAI

50 23 octobre 2008ORI-OAI50 OAI pour lutilisateur internaute Moissonneur OAI UNT Entrepôt Site Web UNT Recherche Accès au site Lancement de la recherche Résultat de la recherche Accès au 1 er document Accès au 2 ème document

51 23 octobre 2008ORI-OAI51 OAI pour lutilisateur dun établissement Entrepôt ENT ? Moissonneur OAI Etablissement Recherche Accès à lENT Lancement de la recherche Résultat de la recherche Accès au 1 er document Accès au 2 ème document

52 23 octobre 2008ORI-OAI52 Fédération didentités (Shibboleth) Entrepôt Shib Qui est-ce ? Un étudiant en médecine 2 ème année Tentative daccès au document Requête à létablissement « fournisseur didentités » Réponse à létablissement « fournisseur de services » Accès au document

53 23 octobre 2008ORI-OAI53 UNIT Vue Consortium Site Web UNIT Moissonneur UVED Moissonneur Site Web UVED Etc…

54 23 octobre 2008ORI-OAI54 UNIT Vue établissement Entrepôt Shib OAI UNR UVED.eu ENT Moissonneur

55 23 octobre 2008ORI-OAI55 Mise en oeuvre Projet ORI-OAI

56 23 octobre 2008ORI-OAI56 Projet ORI-OAI Architecture

57 23 octobre 2008ORI-OAI57 Fondations 7 modules Indépendants Ayant chacun un rôle précis Tous interopérables Dialoguent entre eux par Web Services Chaque module est très configurable Plusieurs configurations sont proposées par défaut pour sadapter au mieux aux besoins des différents établissements Possibilité de faire évoluer ou dintégrer dautres configurations

58 23 octobre 2008ORI-OAI58 Architecture complète ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt dexposition des métadonnées ORI-OAI-indexing moteur dindexation ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-harvesting moissonneur de métadonnées ORI-OAI-search moteur de recherche 7 modules interopérables

59 23 octobre 2008ORI-OAI59 Cas 1: producteur de données UtilisateursSSO ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt dexposition des métadonnées ORI-OAI-indexing moteur dindexation ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-vocabulary gestionnaire de vocabulaires Référencement du lien vers le(s) document(s) Indexation des métadonnées Saisie des métadonnées via vocabulaires Vocabulaires dynamiques basés sur lindex Exposition OAI (optionnelle) Exposition des fiches par requêtes sur lindex Génération de sets OAI via le vocabulaire

60 23 octobre 2008ORI-OAI60 Cas 2: Agrégateur de données Internet ORI-OAI-repository entrepôt dexposition des métadonnées ORI-OAI-harvesting moissonneur de métadonnées ORI-OAI-indexing moteur dindexation ORI-OAI-vocabulary gestionnaire de vocabulaires Moissonnage des fiches de métadonnées via OAI Indexation des métadonnées Exposition OAI (optionnelle) Exposition des fiches par requêtes sur lindex Génération de sets OAI via le vocabulaire

61 23 octobre 2008ORI-OAI61 Recherche de documents ORI-OAI-indexing moteur dindexation ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-search moteur de recherche Génération des interfaces à partir du vocabulaire Recherche dans lindex Traduction de certains résultats via vocabulaire

62 23 octobre 2008ORI-OAI62 Projet ORI-OAI Développement

63 23 octobre 2008ORI-OAI63 Architecture technique Développement Java Technologies et standards Dublin Core LOM / LOMFR XML Lucene/Lius OAI-PMH Shibboleth Spring JSR-168 (intégration dans ENT, CMS, etc.) Etc. Licence GPL

64 23 octobre 2008ORI-OAI64 Les distributions ORI-OAI Version 1 1.0 disponible depuis le 15 octobre 2007 1.1 depuis juin 2008 Supporte différents types de documents Édition de métadonnées Ressources pédagogiques (LOM) Ressources « génériques » (Dublin Core) Moissonnage par OAI de ressources extérieures Tout format de métadonnées Pré-configuré pour Dublin Core, LOM et CDM Types dinstallation De production Configuration avancée De démonstration Auto-install dune application Windows

65 23 octobre 2008ORI-OAI65 Les distributions ORI-OAI ORI-OAI est mis en place (ou en cours de test) par : UNIT UNISCIEL UNR Nord-pas-de-Calais Université de Rennes 1 Université de Valenciennes INSA de Lyon INP de Toulouse / ENSEEIHT Université des Antilles Université dArtois Université de Bordeaux 1 Université de Brest Université de Bretagne Sud Université de Limoges Université du Mans Université de Nancy 2 Université de Paris 5 Université de Paris 10 Université de Paris Sud Université de Rennes 2 Université de Versailles IUFM de Bretagne Ecoles de Saint-Cyr Coëtquidan ENS Lyon Campus Virtuel Marocain Université virtuelle de Tunis etc.

66 23 octobre 2008ORI-OAI66 Évolutions et projets connexes Projet ORI-OAI

67 23 octobre 2008ORI-OAI67 Évolutions Version 1.5.0 Workflow Dépôt des documents depuis le workflow Gestion des droits daccès aux documents depuis le dépôt Utilisateurs locaux, groupes locaux et distants (shibboleth) Mise en place dun protocole de communication avec dautres plates-formes Moteur dindexation Indexation en texte intégral Crawler web pour les documents distants Moteur de recherche Flux RSS Personnalisation des interfaces suivant le profil utilisateur Nouveaux modes de recherche

68 23 octobre 2008ORI-OAI68 Évolutions Gestionnaire de vocabulaires Gérer des vocabulaires distants et centralisés Système de stockage Refonte du système Évolutions générales du projet Statistiques De recherche Daccès aux documents

69 23 octobre 2008ORI-OAI69 Évolutions et autres projets Prochaines versions Référencement et publication dans larchive de létablissement des thèses avec le format TEF des publications de la recherche ORI-OAI / STAR Export de métadonnées TEF vers larchive nationale STAR ORI-OAI / HAL Échange des métadonnées et des ressources de larchive de létablissement avec larchive nationale HAL CEPIA Référencement dans ORI-OAI depuis une plate-forme LMS et un outil de chaîne éditoriale

70 23 octobre 2008ORI-OAI70 Projet ORI-OAI Bilan

71 23 octobre 2008ORI-OAI71 Bilan Fruit dun travail collaboratif efficace Analyse des besoins multi-métiers enseignants/chercheurs cellule TICE bibliothécaires informaticiens etc. Rédaction des spécifications par les groupes de travail inter-établissements inter-UNT Paramétrage avancé pour répondre aux caractéristiques de chaque établissement Logiciel évolutif et libre

72 23 octobre 2008ORI-OAI72 Repères Site du projet http://www.ori-oai.org Contacts Liste de discussion ori-oai-utilisateurs http://listes.univ-rennes1.fr/wws/info/ori-oai-utilisateurs Liste dinformation ori-oai-info http://listes.univ-rennes1.fr/wws/info/ori-oai-info

73 23 octobre 2008ORI-OAI73 Licence Ce travail est mis à disposition sous une licence Creative Commons Vous êtes libres De reproduire, distribuer et communiquer cette création au public De modifier cette création Cette création est mise à disposition selon le Contrat Paternité- NonCommercial-ShareAlike 2.5 disponible en ligne http://creativecommons.org/licenses/by-nc-sa/2.5/ Remarque : Les transparents présentés ici ont été réalisés par : Rosa-Maria Gomez (INSA de Lyon) Yohan Colmant (Université de Valenciennes) Raymond Bourges (Université de Rennes 1) Monique Joly (INSA de Lyon) Alain Mayeur (Université de Valenciennes) François Jannin (EINSEEIHT – INP de Toulouse) Nolwen Huet (INSA de Lyon)