Université Ibn Zohr Agadir, 12 mai 2008 Projet ORI-OAI Outil de Référencement et d’Indexation Réseau de portails OAI Université Ibn Zohr Agadir, 12 mai 2008

Sommaire Introduction Contour fonctionnel Concepts Mise en oeuvre Évolutions et projets connexes Bilan 12 mai 2008 ORI-OAI

Projet ORI-OAI Introduction 12 mai 2008 ORI-OAI 3 3

Contexte Les établissements universitaires Croissance de la création numérique institutionnelle (scientifiques, pédagogiques, administratifs, documentaires) Accessibilité aux ressources dans divers contextes Référentiel unique de documents, indexation professionnelle «Système Global d’Information» La structuration initiée par les projets nationaux (UNT, UNR, SI d’établissement) 12 mai 2008 ORI-OAI 4

Contexte Les UNT (Universités Numériques Thématiques) Réflexion UNIT : évolution du portail et choix d’une organisation en « réseau de portails OAI-PMH» Convergence sur les besoins de référencement et d’indexation avec l’UNT UVED Nécessité de mutualiser les outils et les moyens d’accompagnement pour favoriser la démarche avec l’ensemble des UNT ORI-OAI : projet Open Source inter-UNT soutenu par la SD/TICE 12 mai 2008 ORI-OAI 5

Conduite du projet ORI-OAI Un groupe projet (établissements: Insa de Lyon, Université de Rennes 1, INPT, Université de Valenciennes) Un pilotage inter-UNT Une démarche d’ouverture et d’échange Site Web et listes de diffusion Groupes de travail (ressources pédagogiques, thèses, archives ouvertes) 12 mai 2008 ORI-OAI 6 6

Les acteurs du projet Établissements UNT Avec le soutien du MENESR 12 mai 2008 ORI-OAI 7 7

Insertion de ORI-OAI dans l’établissement Projet ORI-OAI Insertion de ORI-OAI dans l’établissement 12 mai 2008 ORI-OAI

Insertion de ORI-OAI dans l'établissement Pourquoi intégrer ORI-OAI dans un établissement? La réponse est fonction de l'utilisation que l'on a de l'outil : ORI-OAI comme portail de ressources numériques Diffusion et partage des ressources Publication des productions de l'établissement ORI-OAI comme archive institutionnelle Conservation du patrimoine documentaire 12 mai 2008 ORI-OAI

Insertion de ORI-OAI dans l'établissement Mise en place de ORI-OAI dans l'établissement Deux modes de mise en place qui dépendent du contexte de l'établissement : ORI-OAI doit répondre a un besoin global Une réflexion transversale à mener Découpage du projet en plusieurs sous-projets Prise en compte des spécificités de chaque sous-projet ORI-OAI doit répondre a un besoin précis Action rapide inscrite dans une démarche à plus long terme Peut constituer un test pour un projet de plus grande envergure 12 mai 2008 ORI-OAI

Insertion de ORI-OAI dans l'établissement Éléments d'une démarche de projet de gestion des documents numériques : Une volonté politique en appui du projet Une communication autour du projet Auprès des utilisateurs tout au long du projet Auprès de la communauté Auprès des instances internes concernées Mise en place d'un groupe de travail transversal impliquant tout les acteurs Bibliothécaires Cellule TICE Informaticiens 12 mai 2008 ORI-OAI

Insertion de ORI-OAI dans l'établissement Insertion de ORI-OAI dans le Système d'Information: Principe de complémentarité avec les applications déjà existantes : Utilisation des référentiels de l'établissement (LDAP...) Système d'authentification / contrôle des accès (CAS, Shibboleth, ...) Intégration à l'ENT Interopérabilité avec l'ensemble des briques du SI (Moodle, GRAAL, HAL, application de la scolarite, ...) Référentiel des documents numériques pour le SI (plateforme pédagogique, moteur documentaire, sites web de communication, ...) 12 mai 2008 ORI-OAI

Projet ORI-OAI Contour fonctionnel 12 mai 2008 ORI-OAI

ORI-OAI – Points clés Gérer et publier les ressources numériques de l’établissement Référentiel unique de ressources connecté au SI Production de métadonnées et diffusion des ressources produites par l’établissement Valoriser la production de l’établissement par une indexation de qualité Indexation avec des normes et standards Utilisation de classifications paramétrables articulés sur des standards comme Dewey 12 mai 2008 ORI-OAI

ORI-OAI – Points clés Partager les ressources numériques avec d’autres établissements Exposition des fiches de métadonnées de l’établissement Agrégation de fiches de métadonnées Accéder aux ressources numériques à distance en fonction des droits d’accès Système de recherche avancée et thématique Définition des droits 12 mai 2008 ORI-OAI

ORI-OAI – Intégration au SI Référentiels partagés Système d’identification et d’authentification de l’établissement Intégration dans l’ENT … 12 mai 2008 ORI-OAI

ORI-OAI – les fonctions recherche sur les métadonnées, texte intégral en respectant le droit d’auteur, les licences et les droits d’accès diffusion versions de publication, workflows, plusieurs schémas de métadonnées publication web archivage documents natifs toujours disponibles pour les auteurs partage protocole OAI/PMH, fédération d’identités référencement indexation de qualité adaptée aux divers types de documents, classification pivot 12 mai 2008 ORI-OAI

Ressources d’enseignement Types de documents Ressources d’enseignement ressources pédagogiques multimédia, QCM, exercices, polycopiés numériques, … Travaux d’étudiants rapports de stage synthèses bibliographiques Travaux de recherche publications, pré-publications, rapports techniques Thèses, mémoires de Master Ressources documentaires éditoriales revues, livres électroniques 12 mai 2008 ORI-OAI

Travail fonctionnel Groupes de travail par types de ressources Ressources pédagogiques numériques Thèses Archives ouvertes Documents administratifs ? … Financement coopératif par les établissements 12 mai 2008 ORI-OAI

Synthèse Outil de Référencement et d’Indexation + Protocole OAI/PMH mettre en réseau des ressources numériques + Protocole OAI/PMH échanger des données + .ORG développé en logiciel libre pour les UNT, UNR, les établissements universitaires, … = ORI-OAI.ORG 12 mai 2008 ORI-OAI

Projet ORI-OAI Concepts 12 mai 2008 ORI-OAI

Concept de métadonnées Projet ORI-OAI Concept de métadonnées 12 mai 2008 ORI-OAI

Concept de métadonnées Données liées à une ressource Attributs communs à un ensemble de ressources Titre Mot-clé Ressource Auteur Taxon Description 12 mai 2008 ORI-OAI

Concept de métadonnées Données liées à un contexte d’utilisation Format générique (Dublin Core) Format spécifique Pédagogique : LOM, LOMFR, SupLOMFR Offre de formation : CDM Thèse : TEF Bibliographique : MARC 12 mai 2008 ORI-OAI

Exemple du Dublin Core Créé en 1995 à Dublin (Ohio, USA) à l'initiative de l'OCLC Objectif : décrire les ressources numériques Définit une liste de 15 éléments « de base » permettant de décrire n'importe quelle ressource Possibilité de raffiner certains éléments (Dublin Core qualifié)‏ Existence d'un schéma XML 12 mai 2008 ORI-OAI

Exemple du Dublin Core Dublin Core simple Ressource descriptives 15 éléments DC : Titre Sujet Description Date Langue Type Couverture Contributor Creator Publisher Format Identifier Source Relation Rights descriptives agents techniques structurelles Ressource 12 mai 2008 ORI-OAI

Concept de métadonnées Formats de métadonnées génériques ou spécifiques LOM Dublin Core Titre Taxon Auteur Durée d’apprentissage Description Mot-clé Niveau de difficulté 12 mai 2008 ORI-OAI

Concept de métadonnées Format de métadonnées semi-structuré basé sur un schéma XML structure imbriquée, récursive éléments répétables Rôle des métadonnées dans un entrepôt de données mise en commun d’attributs, constitution d’ensembles qualité de référencement vocabulaires fermés, saisie contrôlée gestion de la cohérence des données et des redondances 12 mai 2008 ORI-OAI

Projet ORI-OAI Classification 12 mai 2008 ORI-OAI

Classification Décimale Dewey (CDD) Quoi ? Langage documentaire Organisation des connaissances en domaines Structure arborescente: des notions générales aux détails Représentation d’un domaine par un indice numérique 12 mai 2008 ORI-OAI

Classification Décimale Dewey (CDD) Un exemple : 5 Science 53 Physique 54 Chimie 547 Chimie organique … Division Section Classe 12 mai 2008 ORI-OAI

Classification Décimale Dewey (CDD) Application ? Classement physique des documents dans la bibliothèque Comment ? Traduction du contenu de documents en indice(s) (indexation systématique) Distinction des indexations systématique  accès thématique (par domaine, point de vue)‏ analytique  accès par sujet 12 mai 2008 ORI-OAI

Classification pivot Objectif ? Comment ? construction d'un « plan de classement » (autrement dit d'une classification simplifiée) Comment ? définition de domaines spécifiques aux besoins de la bibliothèque caractérisation de ces domaines, par des indices Dewey ou leur combinaison exploitation de l'indexation Dewey des documents 12 mai 2008 ORI-OAI

Classification pivot classification Dewey = pivot pour la constitution de classifications spécifiques Approche transposable aux ressources numériques (avantages : "bibliothèque" virtuelle ; classement possible d'une ressource dans plusieurs domaines ; réorganisation rapide et souple ; …)‏ 12 mai 2008 ORI-OAI

Exemple Titre = Technologies énergétique Mon cours.pdf Métadonnées LOM Titre = Technologies énergétique Classification Dewey = 621.45 (Aéromoteurs, éoliennes) etc. 12 mai 2008 ORI-OAI

Exemple: classification UNIT Energétique, énergie Technologies de l’énergie éolienne … 333.92* 621.312 136* 621.45* Electricité et électrotechnique … Systèmes pour énergie renouvelable 621.312 136* 621.312 42* 621.312 44* 621.45* 629.229 5* … 12 mai 2008 ORI-OAI

Exemple: classification Valenciennes Sciences, techniques, sport Génie mécanique et énergétique 621* … … 12 mai 2008 ORI-OAI

Principe du référencement et de la diffusion Projet ORI-OAI Principe du référencement et de la diffusion 12 mai 2008 ORI-OAI

Procédure de publication (étape auteur) Étape de saisie auteur Doc Titre Description Auteur Document Upload Demander la publication Metadonnées Another view of the process shows more precisely what each actor need to do to fulfill his role. Author fills relevant metadata, ask to publish the resource. Demander la publication Entrepôt de ressources ORI-OAI À publier 12 mai 2008 ORI-OAI

Procédure de publication (étape bibliothécaire) Étape de saisie bibliothécaire Document Bibliothécaire Titre Metadonnées Description Auteur Moderator can then review metadata, before to publish or reject submited resource . Classification Publier Publier Rejeter Rejeter Entrepôt de ressources ORI-OAI Publié Metadonnées Doc 12 mai 2008 ORI-OAI

Notion de workflow: chaîne de publication Schématisation du processus : diagramme Etats / Transitions créer [tous] Positionner permissions Privé Envoi mail propriétaire Demander à publier Etats (empruntables par la fiche) rejeter [propriétaire] Envoi mail modérateur Schématiquement, la chaîne de publication se caractérise par un diagramme « Etats / Transitions » qui décrit : les états dans lesquels être une fiche, à un moment donné de son cycle de vie Les passages possibles entre les états (les transitions) Les conditions pour que les transitions soient possibles Les actions déclenchées lors des transitions (ex.: envoi d’un mail) Transitions (changements d’états) En attente de publication retirer [propriétaire, modérateur] Conditions (pour les transitions) désindexer Actions (lors de transitions) publier [modérateur] indexer Publié 12 mai 2008 ORI-OAI

(demande de publication de la fiche acceptée) Notion de workflow: chaîne de publication Déroulement … (demande de publication de la fiche acceptée) créer [tous] Positionner permissions Privé Demander à publier [auteur] Envoi mail modérateur Voici illustré l’enchaînement du processus pour l’exemple précédemment montré (Auteur 1, Doc 1). En attente de publication Etats Transitions publier Conditions [bibliothécaire] indexer Actions Publié 12 mai 2008 ORI-OAI

Projet ORI-OAI Principe des échanges 12 mai 2008 ORI-OAI

Entrepôt ORI-OAI Qu’est-ce qu’un entrepôt ORI-OAI ? Stockage des ressources numériques Métadonnées sur les documents LOM Dublin Core Etc. Document Métadonnées 12 mai 2008 ORI-OAI 44

OAI-PMH Protocole informatique d'échange de données Permet la collecte et le partage de références Fait intervenir deux types d'acteurs: Fournisseur de données (data provider) : met en forme les métadonnées (au moins en DC) les stocke dans un entrepôt (repository)‏ définit éventuellement des ensembles (sets)‏ Fournisseur de services (service provider) : envoie des requêtes aux entrepôts (grâce à un moissonneur)‏ récupère les métadonnées exposées correspondantes les exploite en fournissant des services à valeur ajoutée 12 mai 2008 ORI-OAI

Open Archive Initiative (OAI) Etablissement A Etablissement B Entrepôt Entrepôt OAI OAI OAI Moissonneur UNT, UNR, … 12 mai 2008 ORI-OAI

OAI pour l’utilisateur internaute Entrepôt Entrepôt Accès au site Lancement de la recherche Résultat de la recherche Accès au 1er document Accès au 2ème document Site Web UNT Recherche Moissonneur OAI UNT 12 mai 2008 ORI-OAI

OAI pour l’utilisateur d’un établissement Entrepôt Entrepôt ? Moissonneur OAI Etablissement Recherche ENT Accès à l’ENT Lancement de la recherche Résultat de la recherche Accès au 1er document Accès au 2ème document 12 mai 2008 ORI-OAI

Fédération d’identités (Shibboleth) Entrepôt Qui est-ce ? Un étudiant en médecine 2ème année Tentative d’accès au document Requête à l’établissement « fournisseur d’identités » Réponse à l’établissement « fournisseur de services » Accès au document 12 mai 2008 ORI-OAI

Vue Consortium UNIT UVED Etc… Moissonneur Moissonneur Site Web UVED Je vous ai parlé les composants du projet ORI-OAI Je vous ai brièvement présenté les mécanismes OAI et de fédération d’identités Je vous propose, avant de passer à la démonstrations de Yohan, de vous présenter des cas d’utilisation Dans cet exemple, une UNT, par exemple UNIT, dispose d’un site Web Ce site Web permet d’accéder au moissonneur OAI UNIT et par ce biais, permet de retrouver des documents disséminés sur l’ensemble des entrepôts de ses établissements membres Une autre UNT, par exemple UVED, dispose d’un site Web Ce site Web permet d’accéder au moissonneur OAI UVED et par ce biais, permet de retrouver des documents disséminés sur l’ensemble des entrepôts de ses établissements membres Etc. Moissonneur Moissonneur Site Web UVED Site Web UNIT 12 mai 2008 ORI-OAI

Vue établissement UNR UVED .eu UNIT Shib OAI ENT Entrepôt Moissonneur Dans ce nouvel exemple un établissement dispose de son propre entrepôt compatible OAI et fédération d’identités Mais cet établissement fait parti d’une UNT, d’une UNR, d’une deuxième UNT et, pourquoi pas, d’un consortium internationale L’établissement met à disposition de ses utilisateurs un ENT qui permet d’accéder, entre autres, au moissonneur de l’établissement Il est alors possible pour l’utilisateur d’accéder de façon unifiée aux documents présents dans son établissement mais aussi présents dans tous les établissements partenaires de son établissement d’appartenance OAI Moissonneur ENT 12 mai 2008 ORI-OAI

Projet ORI-OAI Mise en oeuvre 12 mai 2008 ORI-OAI

Projet ORI-OAI Architecture 12 mai 2008 ORI-OAI

Fondations 7 modules Chaque module est très configurable Indépendants Ayant chacun un rôle précis Tous interopérables Dialoguent entre eux par Web Services Chaque module est très configurable Plusieurs configurations sont proposées par défaut pour s’adapter au mieux aux besoins des différents établissements Possibilité de faire évoluer ou d’intégrer d’autres configurations 12 mai 2008 ORI-OAI

Architecture complète ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt d’exposition des métadonnées ORI-OAI-harvesting moissonneur de métadonnées ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-indexing moteur d’indexation ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-search moteur de recherche 7 modules interopérables 12 mai 2008 ORI-OAI

Cas 1: producteur de données ESUP-serveur-WebDAV stockage des documents et gestion des authentifications ORI-OAI-repository entrepôt d’exposition des métadonnées ORI-OAI-workflow gestionnaire du workflow de saisie des métadonnées ORI-OAI-indexing moteur d’indexation SSO Utilisateurs Référencement du lien vers le(s) document(s) Indexation des métadonnées Saisie des métadonnées via vocabulaires Vocabulaires dynamiques basés sur l’index Exposition OAI (optionnelle) Exposition des fiches par requêtes sur l’index Génération de sets OAI via le vocabulaire ORI-OAI-vocabulary gestionnaire de vocabulaires 12 mai 2008 ORI-OAI

Cas 2: Agrégateur de données ORI-OAI-repository entrepôt d’exposition des métadonnées ORI-OAI-harvesting moissonneur de métadonnées Internet ORI-OAI-indexing moteur d’indexation ORI-OAI-vocabulary gestionnaire de vocabulaires Moissonnage des fiches de métadonnées via OAI Indexation des métadonnées Exposition OAI (optionnelle) Exposition des fiches par requêtes sur l’index Génération de sets OAI via le vocabulaire 12 mai 2008 ORI-OAI

Recherche de documents Génération des interfaces à partir du vocabulaire Recherche dans l’index Traduction de certains résultats via vocabulaire ORI-OAI-indexing moteur d’indexation ORI-OAI-vocabulary gestionnaire de vocabulaires ORI-OAI-search moteur de recherche 12 mai 2008 ORI-OAI

Projet ORI-OAI Développement 12 mai 2008 ORI-OAI

Architecture technique Développement Java Technologies et standards Dublin Core LOM / LOMFR XML Lucene/Lius OAI-PMH Shibboleth Spring JSR-168 (intégration dans ENT, CMS, etc.) Etc. Licence GPL 12 mai 2008 ORI-OAI

Les distributions ORI-OAI Version 1.0.0 Disponible depuis le 15 octobre 2007 Supporte différents types de documents Édition de métadonnées Ressources pédagogiques (LOM) Ressources « génériques » (Dublin Core) Moissonnage par OAI de ressources extérieures Tout format de métadonnées Pré-configuré pour Dublin Core, LOM et CDM Types d’installation De production Configuration avancée De démonstration Auto-install d’une application Windows 12 mai 2008 ORI-OAI

Les distributions ORI-OAI ORI-OAI version 1.0.0 est mis en place (ou en cours) par : UNIT UNR Nord-pas-de-Calais Université de Rennes 1 Université de Valenciennes INP de Toulouse / ENSEEIHT Université de Nancy 2 Université de Paris 5 Université de Paris 10 Université de Paris Sud Université de Bretagne Sud Université de Limoges INSA de Lyon IUFM de Bretagne Université de Brest Université de Bordeaux 1 Université du Mans Université de Versailles St-Cyr Educagri Etc. 12 mai 2008 ORI-OAI

Évolutions et projets connexes Projet ORI-OAI Évolutions et projets connexes 12 mai 2008 ORI-OAI

Évolutions Version 1.5.0 (juin 2008) Workflow Moteur d’indexation Dépôt des documents depuis le workflow Gestion des droits d’accès aux documents depuis le dépôt Utilisateurs locaux, groupes locaux et distants (shibboleth) Mise en place d’un protocole de communication avec d’autres plates-formes Moteur d’indexation Indexation en texte intégral Crawler web pour les documents distants Moteur de recherche Flux RSS Personnalisation des interfaces suivant le profil utilisateur Nouveaux modes de recherche 12 mai 2008 ORI-OAI

Évolutions Gestionnaire de vocabulaires Système de stockage Gérer des vocabulaires distants et centralisés Système de stockage Refonte du système Évolutions générales du projet Identifiants et URL d’accès des ressources uniques et pérennes Statistiques De recherche D’accès aux documents 12 mai 2008 ORI-OAI

Évolutions et autres projets Version beta 1.6 (juillet 2008) Référencement et publication dans l’archive de l’établissements des thèses avec le format TEF des publications de la recherche Version 2.0.0 (octobre 2008) ORI-OAI / STAR Export de métadonnées TEF vers l’archive nationale STAR ORI-OAI / HAL Échange des métadonnées et des ressources de l’archive de l’établissement avec l’archive nationale HAL CEPIA Référencement dans ORI-OAI depuis une plate-forme LMS et un outil de chaîne éditoriale 12 mai 2008 ORI-OAI

Projet ORI-OAI Bilan 12 mai 2008 ORI-OAI

Bilan Fruit d’un travail collaboratif efficace Analyse des besoins multi-métiers enseignants/chercheurs cellule TICE bibliothécaires informaticiens etc. Rédaction des spécifications par les groupes de travail inter-établissements inter-UNT Paramétrage avancé pour répondre aux caractéristiques de chaque établissement Logiciel évolutif et libre 12 mai 2008 ORI-OAI

Repères Site du projet Contacts http://www.ori-oai.org Liste de discussion ori-oai-utilisateurs http://listes.univ-rennes1.fr/wws/info/ori-oai-utilisateurs Liste d’information ori-oai-info http://listes.univ-rennes1.fr/wws/info/ori-oai-info 12 mai 2008 ORI-OAI

Licence Ce travail est mis à disposition sous une licence Creative Commons Vous êtes libres De reproduire, distribuer et communiquer cette création au public De modifier cette création Cette création est mise à disposition selon le Contrat Paternité- NonCommercial-ShareAlike 2.5 disponible en ligne http://creativecommons.org/licenses/by-nc-sa/2.5/ Remarque : Les transparents présentés ici ont été réalisés par : Rosa-Maria Gomez (INSA de Lyon) Yohan Colmant (Université de Valenciennes) Raymond Bourges (Université de Rennes 1) Monique Joly (INSA de Lyon) Alain Mayeur (Université de Valenciennes) François Jannin (EINSEEIHT – INP de Toulouse) Nolwen Huet (INSA de Lyon) 12 mai 2008 ORI-OAI