La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet Lorrain Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Magali COLIN - Chef de projet statistiques d’usage, enquêtes utilisateurs à l'INIST Thomas Jouneau – Bibliothèque numérique à l'université de Lorraine

Le développement de statistiques locales à l’Inist-CNRS La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Plan de présentation Le développement de statistiques locales à l’Inist-CNRS Partenariat CNRS-Couperin, l’Université de Lorraine site pilote Résultats et exploitation à l’Inist-CNRS Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

2001 2008 2001 : Apparition des BiblioSites thématiques pour le CNRS La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Les Bibliosites 2001 2008 Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain 2001 : Apparition des BiblioSites thématiques pour le CNRS L’INIST-CNRS, acteur d’un équilibre à maintenir entre : Les directives des Instituts Scientifiques, Les besoins des chercheurs Les budgets alloués aux acquisitions par le CNRS

Connaître l'utilisation des ressources et les mesurer La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Besoins en statistiques d’usage Connaître l'utilisation des ressources et les mesurer Optimiser les acquisitions, être en adéquation avec les attentes des utilisateurs et négocier avec les éditeurs Rationaliser les dépenses et accompagner de données chiffrées les demandes budgétaires Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Récupération mensuelle des chiffres éditeurs La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Existant Récupération mensuelle des chiffres éditeurs Collecte manuelle, Dépendante des mises à jour des éditeurs, Offre des données hétérogènes Statistiques incomplètes Pas toujours disponibles Informations sur les ressources limitées Pas d’information sur les unités qui consultent (1 IP par portail) Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Création d’un groupe de travail L’équipe La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain La projet des statistiques locales Création d’un groupe de travail 2006 L’équipe 3 utilisateurs 1 informaticien Périmètre Revues en accès réservé Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Données riches et homogènes Pour tous les éditeurs La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Besoins en statistiques locales Données riches et homogènes Pour tous les éditeurs Rapidité de mise à disposition Liens avec les laboratoires utilisateurs Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

L'Inist-CNRS dispose d'un EZProxy La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain EZProxy L'Inist-CNRS dispose d'un EZProxy Ré-écriture des urls dans le HTML Transparent pour l'utilisateur Flexible pour l'authentification Analyse des logs EZProxy Permet de compter les consultations plus finement Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Accès au portail BiblioXXX Utilisateurs Identification communauté CNRS Plateforme éditeur Identification INIST Portail BiblioXXXX Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Fichiers de journalisation = LOG

La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Information exploitables Fichiers journaux Une ligne pour chaque transaction entre un navigateur (utilisateur) et le serveur (plateforme éditeur) Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Date AMontsouris-156-1-97-191.w83-202.abo.wanadoo.fr - SDVIFR89 [02/Oct/2007:00:11:13 +0100] " GET http://www.sciencemag.org:80/cgi/reprint/317/5844/1534.pdf HTTP/1.1" 200 289654 http://www.sciencemag.org:80/cgi/reprint/317/5844/1534.pdf Transaction demandée

Chaque plateforme éditeur est spécifique La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Traitement d’analyse des consultations Chaque plateforme éditeur est spécifique Chaque plateforme éditeur a sa propre façon de proposer les consultations Un « parseur » par plateforme éditeur (~30aine)‏ Les transactions de certaines plateformes ne peuvent être exploitées Tous les types de consultations ne sont pas analysables sur toutes les plateformes Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Un archivages des fichiers journaux La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Choix Un archivages des fichiers journaux Une base de données pour stocker et centraliser les informations portail_stat‏ : 2006-2009 num_stat (uniquement les logs) : depuis 2010 Des procédures d'alimentation de la base de données Un accès direct à la base de données pour les statisticiens (Accès JDBC) Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Identification des utilisateurs Transactions datées La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Spécificité des statistiques locales Identification des utilisateurs Transactions datées Traitements particuliers Résultats vérifiés Détection des anomalies Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Garantie des données locales La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Validation des données Garantie des données locales Comptage de consultations en interne Comparaison avec les statistiques produites Les données sont identiques, le parseur est validé Les données sont différentes, le parseur est affiné Les données non validées ne sont pas retenues et remplacées par les statistiques des éditeurs Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Statistiques de l’INIST-CNRS La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Les statistiques produites Table des logs Identifiant revue Login Plateforme Type de consultation Date Host URL Nb de consultations Statistiques locales Lien possible avec les disciplines scientifiques Statistiques de l’INIST-CNRS Identifiant revue reconnu dans les logs Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Pas d’identifiant revue dans les logs Statistiques des éditeurs Table des statistiques éditeurs Identifiant revue* Nb de consultations Lien possible avec les langues des revues Identifiant revue reconnu dans les logs Statistiques éditeurs Identifiant revue non reconnu dans les logs Lien possible avec les utilisateurs UNIQUEMENT pour les statistiques locales Lien possible avec les tarifs des revues Pas d’identifiant revue

La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Enrichissement des données Logs Revues Tarifs scientifiques Disciplines Langue statistiques éditeurs Unités CNRS correspondance login/unité ayants droit Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

1er Janvier 2011 : fusion des quatre universités lorraines La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen Contexte de l’Université de Lorraine 1er Janvier 2011 : fusion des quatre universités lorraines Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Disparité des données recueillies LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : DES CONSTATS PEU ORIGINAUX Disparité des données recueillies Respect non-systématique(même si globalement majoritaire) des recommandations COUNTER Qualité des données recueillies très variable Imprécisions ou manques flagrants, part. dans certaines disciplines (SHS, Droit) Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : TABLEAUX FOURNIS PAR LES EDITEURS Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

EZP opérationnel dès octobre 2009 côté Nancéien LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : L’UTILISATION D’EZPROXY EZP opérationnel dès octobre 2009 côté Nancéien Trois bouquets d’abonnements (INPL, UHP, N2) sur une même installation Accès locaux ET distants Difficulté liée à la déclaration d’une seule IP Recueil sommaire de statistiques de « sessions » =nb d’occurrences du domaine racine (déclaré dans EZP) dans les logs Chiffres ne recoupant pas ceux des éditeurs et au final peu fiables… Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Ex. : sessions ouvertes sur PsycINFO sur l’année 2010 à Nancy-2 LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : L’UTILISATION D’EZPROXY Ex. : sessions ouvertes sur PsycINFO sur l’année 2010 à Nancy-2 Mois Accès EZP Sessions COUNTER Janvier 339 226 Février 345 247 Mars 258 263 Avril 206 142 Mai 214 176 Juin 106 177 Juillet 136 156 Août 113 141 Septembre 248 269 Octobre 307 235 Novembre 383 320 Décembre 217 249 Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Origine de la collaboration La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Origine de la collaboration Intérêt de la part des universités et des EPST pour le projet de l’Inist-CNRS Participation commune de l’UL et de l’Inist-CNRS au GTStats COUPERIN, et plus particulièrement le travail sur les statistiques locales. Approche régulière de l’Inist de la part de l’UHP (UL) pour les chiffres des Unités mixtes de recherche. Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Premiers Contacts Présentation des statistiques locales pour l’UHP (UL) : mai 2011 Validation d’un travail en commun UHP (UL) /Inist-CNRS Première réunion de faisabilité : novembre 2011 Vérifier la convergence des abonnements, des configurations Impliquer Couperin dans le processus Seconde réunion : début janvier 2012 Première ébauche de calendrier : Tests sur les logs de l’Université de Lorraine Travail sur un cahier des charges Développement, ouverture Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Ce qui est attendu d’un travail en commun… La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Ce qui est attendu d’un travail en commun… Disposer de statistiques locales à comparer avec celles fournies par les éditeurs. Disposer de statistiques consolidées universités-organismes à l’échelle des laboratoires UMR. Disposer de statistiques pour les bases qui n’en fournissent pas. Partager la maintenance des parseurs … et ce qui le rend possible Nombre de plates-formes communes UL-INIST intéressant (26 dénombrées) Logs disponibles à l’UL pour l’ensemble des accès (sauf exception…) Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

L’analyse des logs UL Prévue pour la fin janvier… La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin L’analyse des logs UL Prévue pour la fin janvier… … les logs 2010 et 2011 s’avèrent finalement difficiles/impossibles à exploiter (choix du format SPU) Nouvelle analyse effectuée en mars sur des logs « frais ». Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Faciliter le déploiement vers d’autres universités La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Ce qui reste à faire 2-4 mai : travail sur un cahier des charges en commun Travail en commun et partage de connaissances : Création d’une base de connaissance commune Mise en place d’une plateforme de traitement des logs Liaison avec les annuaires utilisateurs Rédaction des règles de lecture et d’analyse des logs, des parseurs dont chacun pourra profiter. Prévoir une maintenance partagée sur les parseurs Faciliter le déploiement vers d’autres universités Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

Exemples de traitement en réel La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Comment sont traitées les données Exemples de traitement en réel Généralités Traiter des sources hétérogènes Traiter de très gros volumes de données Naviguer rapidement et repérer les indicateurs pertinents. Comment traiter au mieux les statistiques des éditeurs ? Visualiser les données de façon interactive. Gagner du temps sur le traitement : permet l’analyse ! Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

MERCI ! Magali Colin – Inist-CNRS Journée d’études COUPERIN – 23 mars 2012 - 14 mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Magali Colin – Inist-CNRS Chef de projet statistiques d’usages et enquêtes utilisateurs magali.colin@inist.fr Thomas Jouneau – Université de Lorraine Bibliothèque numérique thomas.jouneau@univ-lorraine.fr