sss Histoire naturelle, anatomie et dissection Calames Histoire naturelle, anatomie et dissection Ecole nationale des chartes Yann NICOLAS (ABES)

Calames – Ecole des chartes sss Calames et l’ABES Calames = Catalogue en ligne des archives et des manuscrits de l’enseignement supérieur ABES = Agence bibliographique de l’enseignement supérieur Sudoc (monographies, périodiques…)  PeB Calames (manuscrits, archives) Star (workflow des thèses électroniques) Groupement de commandes pour la doc. élec. … Calames – Ecole des chartes

Calames – Ecole des chartes sss Plan Genèse de Calames Anatomie de Calames Dissection de Calames Calames – Ecole des chartes

Calames – Ecole des chartes sss Genèse de Calames Calames – Ecole des chartes

sss a. La naissance du projet 2. Genèse de Calames a. La naissance du projet Calames – Ecole des chartes

Calames – Ecole des chartes sss Les 2 faces de Calames une interface de consultation et de recherche (ouverte depuis le 1er décembre 2007) un outil de catalogage (rodage à partir d’avril 2008, avec 9 établissements) Calames – Ecole des chartes

Périmètre de Calames (1) Quels documents ? sss Périmètre de Calames (1) Quels documents ?  Manuscrits et archives diversité : ms. médiévaux, papiers de chercheurs ou d'érudits, ms. littéraires contemporains, archives audiovisuelles, … quelles limites ? Calames – Ecole des chartes

Périmètre de Calames (2) Quels établissements ? sss Périmètre de Calames (2) Quels établissements ? Etablissements d’enseignement supérieur : en majorité des bibliothèques mais les bibliothèques ne sont pas les seuls partenaires  Calames, c'est aussi un réseau Calames – Ecole des chartes

Calames – Ecole des chartes sss Calames : pourquoi ? Fonds de manuscrits : peu décrits au mieux en format MARC dans les catalogues de bibliothèques format peu adapté à la structure des données, recherche parfois difficile, mais au moins disponible en ligne beaucoup d’inventaires manuscrits, dactylographiés ou imprimés : consultables sur place encore beaucoup de fonds tout juste inventoriés, et à peine accessibles Calames – Ecole des chartes

Une opportunité : le CGM sss Une opportunité : le CGM Projet d’informatisation du Catalogue général des manuscrits des bibliothèques publiques de France 116 volumes, 182 000 notices, publiés entre 1849 et 1993 tous types de « bibliothèques publiques » : municipales, universitaires, sociétés savantes, ministères, BN (Arsenal)… Calames – Ecole des chartes

Calames – Ecole des chartes sss Le projet CGM Projet interministériel (Culture + Ens. Sup.) lancé en 2001 Choix d'une structure XML : DTD EAD (Encoded Archival Description) Accès commun par le CCFr mais chacun disposera de ses données (pour l'Ens. Sup. : l’ABES + chaque bibliothèque) Calames – Ecole des chartes

Calames – Ecole des chartes sss Palme Répertoire de manuscrits littéraires français contemporains constitué entre 1995 et 2006 dans toutes sortes de bibliothèques françaises hébergé dans BN-Opaline jusqu’en juin 2007 données converties en EAD Calames – Ecole des chartes

Calames – Ecole des chartes sss CGM + Palme = Deux opportunités pour mener une politique des manuscrits globale, dans le périmètre Ens. Sup.  autour du réseau et des outils Calames Calames – Ecole des chartes

Calames – Ecole des chartes sss Politique Ens. Sup. Catalogage centralisé en ligne Sécurité Cohérence Esprit réseau Simplicité Hors Sudoc Fonctionnalités avancées Catalogue collectif en ligne, mais … Exports vers les outils locaux (Pléade…) Vues locales et customisées sur le catalogue Données réutilisables (SRU, RDF…) Calames – Ecole des chartes

sss b. La déroulement du projet 2. Genèse de Calames b. La déroulement du projet Calames – Ecole des chartes

Le projet Calames : quand ? sss Le projet Calames : quand ? Conception : mars – décembre 2006 Développements : janvier – juillet 2007 Tests et ajustements : juillet – novembre 2007 Chargement des données EAD : octobre 2007 – février 2008 Lancement de Calames (interface publique) : 1er décembre 2007 Ouverture de l’interface de catalogage : avril 2008 Ca a d'abord été un projet (qu'on appelait, faute de mieux, CGM) « Calames »: courant 2007 Rappel : début du projet de rétroconversion = 2001 Calames – Ecole des chartes

Les contraintes du projet sss Les contraintes du projet Les délais : 18 mois La masse des données La structure des données EAD Les performances L’extensibilité Ouverture (recherche fédérée SRU, moteurs…) Calames – Ecole des chartes

Les contraintes du projet (suite) sss Les contraintes du projet (suite) Les exports en UNIMARC La gestion des autorités Calames – Ecole des chartes

Calames – Ecole des chartes sss La solution retenue Développer à partir de solutions XML génériques : Une base de données mixte (XML + relationnel) Un éditeur XML générique et accessible par un navigateur Encoded Archival Description, comme dit plus haut : le standard international pour la description des archives DTD (mais le schéma vient de sortir) Travail direct en EAD, EAD directement traité. bases de données => laisse bcp de possibilités pour en savoir plus : articles de Yann Nicolas dans Arabesques n° 48 (outil de consultation) et n° 49 (outil de production) Calames – Ecole des chartes

Qui a travaillé sur les outils ? sss Qui a travaillé sur les outils ? Choix de développer des outils en interne 2 informaticiens (conception + développement) 2 bibliothécaires Appel à un graphiste professionnel Appui sur le groupe de travail ES de la rétroconversion et non acheter un produit fini dvpt en interne : - bien sûr pas possibles si les compétences n'avaient pas été là - choix qui expose aux critiques (« vous n'yarriverez pas, surtout en si peu de temps... » ) ; mal mené, peut provoquer des tensions en interne - sur le marché, pas de produit totalement adapté - coût : très limités sur ce projet, sauf bien sûr le personnel (mais bon emploi des compétences de développement, motivation…) - surtout pour la souplesse de réalisation, réactivité, indépendance (si ça ne marche pas : on sait pourquoi, quelles sont les limites, on ne dépend pas de la réponse d'un fournisseur avec laquelle il faut se débrouiller) réserve financière quand même - en interne : non sans s'appuyer sur des produits de base éprouvés (cf. plus tard) sans doute des choses pourraient être mieux, mais on ne le regrette pas Suggestions : p. ex., choix de l'éditeur EAD, selon leur expérience (on en avait étudié 2) ; sur l'ergonomie, les fonctionnalités souhaitables... voire, quand réalisation assez avancée, tests sur des collègues ou des lecteurs --> retour du “profane” participation de membres de l'enseignement supérieur aux groupes de travail sur la rétroconversion le sous-groupe ES se réunit pour réfléchir à la manière dont il est souhaitable que soit menée la rétroconversion pour l'ES (particularités : existence d'un réseau, coordonné par l'abes) Calames – Ecole des chartes

Calames – Ecole des chartes sss Le groupe de travail composition : SDBIS, bibliothèques avec de riches fonds de manuscrits, dont des experts et formateurs EAD Jacqueline Artier (Sorbonne), Pascale Heurtel (Museum), Patrick Latour (Mazarine), Gérard Littler (BNUS), Max Naudi (SDBIS), Fabienne Queyroux (Institut), Nathalie Rollet (BSG), Mireille Vial (BIU Montpellier) travail concomitant sur la préparation des données et sur les développements des outils  avantages et inconvénients travail concomitant -> avantages : - adapter la structuration des données, les choix de rétroconversion à ce qu'on pourra en faire (par ex., indexation des langues ; entrées secondaires...) - inversement, faire l'outil en tenant compte de ce qu'il y aura dedans (le pb : on a eu les 1res données très tard, ça a été un peu long avant d epouvoir faire des tests) Calames – Ecole des chartes

Relations ABES / Groupe de travail sss Relations ABES / Groupe de travail Forte interaction Itérations spécifications/développements ABES, force de proposition (scénarios, prototypes, maquettes…)  Pas du « développement agile », mais ça y ressemble Calames – Ecole des chartes

Calames – Ecole des chartes sss 2. Anatomie Calames – Ecole des chartes

Calames – Ecole des chartes sss Questions clés Comment stocker la structure XML EAD ? Comment l’indexer ? Comment y accéder ? Comment l’afficher Calames – Ecole des chartes

Calames – Ecole des chartes sss 2 méthodes Le fichier EAD en tant qu’instance XML Le fichier EAD en tant que base de données  Calames utilise les deux méthodes Calames – Ecole des chartes

Méthode 1 : EAD en tant que XML sss Méthode 1 : EAD en tant que XML Exploiter le fichier tel quel On garde toutes la richesse des données On utilise des outils standard : XQuery pour interroger XQuery update (en développement au W3C) Méthode utilisée pour le catalogage dans Calames XML-DML (Microsoft) en attendant XQuery update Calames – Ecole des chartes

Méthode 1 : EAD en tant que XML sss Méthode 1 : EAD en tant que XML Le fichier EAD est stocké et mis en mémoire comme un tout Dans l’interface de catalogage, il est affiché et modifié bloc par bloc Démo Calames Catalogage Souplesse maximale Calames – Ecole des chartes

Méthode 1 : EAD en tant que XML sss Méthode 1 : EAD en tant que XML Pourquoi ne pas utiliser encore cette méthode pour la recherche et la consultation ? problèmes de performance problèmes de la recherche Full Text  Le « tout XML » n’est pas encore prêt Calames – Ecole des chartes

Méthode 2 : EAD en tant que base de données sss Méthode 2 : EAD en tant que base de données Traduire la structure EAD en base de données relationnelles Pour : Technologie éprouvée et performante La régularité de l’EAD s’y prête assez bien Contre : Trop rigide Comment gérer le contenu mixte ? <unittitle>Papiers de <persname>Untel</persname></unittitle> Calames – Ecole des chartes

Méthode 2 : EAD en tant que base de données sss Méthode 2 : EAD en tant que base de données Compromis dans Calames : Découper EAD en <c> liés Chaque <c> est stocké en tant qu’instance XML Le meilleur du relationnel et le meilleur d’XML Calames – Ecole des chartes

Calames – Ecole des chartes sss De la base à la page Web La base renvoie directement de l’XML… … qui est exploitable dans le navigateur Calames – Ecole des chartes

Calames – Ecole des chartes sss Interface AJAX AJAX = Asynchronous JavaScript and XML Modifier une page Web de manière partielle, en allant chercher certaines infos XML (ou JSON) sur le serveur.  Permet une interface plus réactive Calames – Ecole des chartes

Calames – Ecole des chartes sss Interface AJAX Le serveur envoie de l’XML C’est le navigateur (client) qui est en charge de construire l’HTML Avec Javascript Avec XSLT  le serveur est soulagé  performances améliorées Calames – Ecole des chartes

AJAX inconvénients et solutions sss AJAX inconvénients et solutions Interfaces non accessibles par les handicapés visuels par les moteurs de recherche (robots)  Proposer une version dégradée du site en pur HTML (ex: Gmail) Calames – Ecole des chartes

Calames – Ecole des chartes sss 3. Dissection Calames – Ecole des chartes

Calames – Ecole des chartes sss Méthode de dissection Scalpel = Firebug (plugin Firefox) Observer le code (html, javascript, css, xslt) Observer les requêtes AJAX Observer les flux de données Calames – Ecole des chartes

sss a. La page de recherche 2. Dissection de Calames a. La page de recherche Calames – Ecole des chartes

Anatomie > la recherche (1) sss Anatomie > la recherche (1) Recherche simple par défaut Combinable avec recherche avancée Filtrage sur bibliothèque(s)  Apparition du champ Cote Accès direct à chaque bibliothèque Feuilletage des index Calames – Ecole des chartes

Anatomie > la recherche (2) sss Anatomie > la recherche (2) Chargement initial de données : Liste des bibliothèques (XML) Liste des langues (XML) Décodage des bibliothèques (JSON) Décodage des langues (JSON) Chargement initial de l’XSLT Calames – Ecole des chartes

Anatomie > la recherche (3) sss Anatomie > la recherche (3) Feuilletage des index Listes dynamiques en fonction de la bibliothèque Autocomplétion (search as you type) Exploitation des renvois des autorités Sudoc Calames – Ecole des chartes

sss b. La page des résultats 2. Dissection de Calames b. La page des résultats Calames – Ecole des chartes

Anatomie > les résultats (1) sss Anatomie > les résultats (1) Une liste de résultats (1000 max) Une URL réutilisable Liste filtrée (traitements côté serveur) 50 résultats par page (car rapide) Tris Facettes Calames – Ecole des chartes

Anatomie > les résultats (2) sss Anatomie > les résultats (2) Traitements sur la liste brute : infanticide Si un lot de résultats contient un <c> parent et un de ses <c> enfants, on supprime l’enfant. Moins de résultats Moins de redondances Compense l’héritage (des dates, langues, sujets…) La navigation permet de retrouver l’enfant disparu Calames – Ecole des chartes

Anatomie > les résultats (3) sss Anatomie > les résultats (3) Facettes Filtres a posteriori (non a priori) Évitent de reformuler la recherche Raffiner pas à pas la recherche Hélas, pas de mention du nombre d’occurrences (prix à payer pour infanticide…) Calames – Ecole des chartes

sss c. L’affichage des notices 2. Dissection de Calames c. L’affichage des notices Calames – Ecole des chartes

Anatomie > les notices et leur contexte (1) sss Anatomie > les notices et leur contexte (1) Zoomer sur un composant <c> Pouvoir se déplacer autour : Les ancêtres Les enfants Les frères (avant et après) Pouvoir afficher plusieurs niveaux dans la même page Avoir une vue moins parcellaire Affichage et impression à la carte Calames – Ecole des chartes

Anatomie > l’arborescence sss Anatomie > l’arborescence Obtenir une vue plus large sur l’arborescence globale Enjeu = comment se promener dans des arbres composés de milliers d’items ? Calames – Ecole des chartes

Anatomie > les nuages sss Anatomie > les nuages Vue globale sur un corpus Calames – Ecole des chartes

Anatomie > Liens sortants sss Anatomie > Liens sortants Lier vers des images, des transcriptions, des bibliographies… Lier sans vampiriser Lier sans saisir toutes les URL http://elec.enc.sorbonne.fr/miroir/donat/traduction/?para=paris2 ? Calames – Ecole des chartes

Anatomie > Liens entrants sss Anatomie > Liens entrants Aujourd’hui : URL stables et propres Demain : URL pérennes Dilemme pérennité / « usabilité » Sur quoi construire l’URL pérenne ? La cote ?  Réflexion en cours… Calames – Ecole des chartes

Calames – Ecole des chartes sss pour en savoir plus... Calames http://www.calames.abes.fr Site de l’ABES http://www.abes.fr/abes/page,580,manuscrits.html Arabesques n° 48 et n° 49 http://www.abes.fr/abes/page,386,arabesques.html Calames, le blog http://calames.wordpress.com/ Nous écrire manuscrits@abes.fr Calames – Ecole des chartes

Calames – Ecole des chartes sss Crédits photos http://flickr.com/photos/54945394@N00/1338967778/ http://flickr.com/photos/drlopezfranco/1447712697/ http://flickr.com/photos/patrlynch/450129440/ Calames – Ecole des chartes