La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet Lorrain Journée d’études.

Présentation au sujet: "La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet Lorrain Journée d’études."— Transcription de la présentation:

1 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet Lorrain Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Magali COLIN - Chef de projet statistiques d’usage, enquêtes utilisateurs à l'INIST Thomas Jouneau – Bibliothèque numérique à l'université de Lorraine

2 Le développement de statistiques locales à l’Inist-CNRS
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Plan de présentation Le développement de statistiques locales à l’Inist-CNRS Partenariat CNRS-Couperin, l’Université de Lorraine site pilote Résultats et exploitation à l’Inist-CNRS Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

3 2001 2008 2001 : Apparition des BiblioSites thématiques pour le CNRS
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Les Bibliosites 2001 2008 Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain 2001 : Apparition des BiblioSites thématiques pour le CNRS L’INIST-CNRS, acteur d’un équilibre à maintenir entre : Les directives des Instituts Scientifiques, Les besoins des chercheurs Les budgets alloués aux acquisitions par le CNRS

4 Connaître l'utilisation des ressources et les mesurer
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Besoins en statistiques d’usage Connaître l'utilisation des ressources et les mesurer Optimiser les acquisitions, être en adéquation avec les attentes des utilisateurs et négocier avec les éditeurs Rationaliser les dépenses et accompagner de données chiffrées les demandes budgétaires Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

5 Récupération mensuelle des chiffres éditeurs
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Existant Récupération mensuelle des chiffres éditeurs Collecte manuelle, Dépendante des mises à jour des éditeurs, Offre des données hétérogènes Statistiques incomplètes Pas toujours disponibles Informations sur les ressources limitées Pas d’information sur les unités qui consultent (1 IP par portail) Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

6 Création d’un groupe de travail L’équipe
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain La projet des statistiques locales Création d’un groupe de travail 2006 L’équipe 3 utilisateurs 1 informaticien Périmètre Revues en accès réservé Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

7 Données riches et homogènes Pour tous les éditeurs
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Besoins en statistiques locales Données riches et homogènes Pour tous les éditeurs Rapidité de mise à disposition Liens avec les laboratoires utilisateurs Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

8 L'Inist-CNRS dispose d'un EZProxy
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain EZProxy L'Inist-CNRS dispose d'un EZProxy Ré-écriture des urls dans le HTML Transparent pour l'utilisateur Flexible pour l'authentification Analyse des logs EZProxy Permet de compter les consultations plus finement Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

9 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Accès au portail BiblioXXX Utilisateurs Identification communauté CNRS Plateforme éditeur Identification INIST Portail BiblioXXXX Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Fichiers de journalisation = LOG

10 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Information exploitables Fichiers journaux Une ligne pour chaque transaction entre un navigateur (utilisateur) et le serveur (plateforme éditeur) Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Date AMontsouris w abo.wanadoo.fr - SDVIFR89 [02/Oct/2007:00:11: ] " GET HTTP/1.1" Transaction demandée

11 Chaque plateforme éditeur est spécifique
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Traitement d’analyse des consultations Chaque plateforme éditeur est spécifique Chaque plateforme éditeur a sa propre façon de proposer les consultations Un « parseur » par plateforme éditeur (~30aine)‏ Les transactions de certaines plateformes ne peuvent être exploitées Tous les types de consultations ne sont pas analysables sur toutes les plateformes Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

12 Un archivages des fichiers journaux
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Choix Un archivages des fichiers journaux Une base de données pour stocker et centraliser les informations portail_stat‏ : num_stat (uniquement les logs) : depuis 2010 Des procédures d'alimentation de la base de données Un accès direct à la base de données pour les statisticiens (Accès JDBC) Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

13 Identification des utilisateurs Transactions datées
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Spécificité des statistiques locales Identification des utilisateurs Transactions datées Traitements particuliers Résultats vérifiés Détection des anomalies Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

14 Garantie des données locales
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Validation des données Garantie des données locales Comptage de consultations en interne Comparaison avec les statistiques produites Les données sont identiques, le parseur est validé Les données sont différentes, le parseur est affiné Les données non validées ne sont pas retenues et remplacées par les statistiques des éditeurs Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

15 Statistiques de l’INIST-CNRS
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Les statistiques produites Table des logs Identifiant revue Login Plateforme Type de consultation Date Host URL Nb de consultations Statistiques locales Lien possible avec les disciplines scientifiques Statistiques de l’INIST-CNRS Identifiant revue reconnu dans les logs Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Pas d’identifiant revue dans les logs Statistiques des éditeurs Table des statistiques éditeurs Identifiant revue* Nb de consultations Lien possible avec les langues des revues Identifiant revue reconnu dans les logs Statistiques éditeurs Identifiant revue non reconnu dans les logs Lien possible avec les utilisateurs UNIQUEMENT pour les statistiques locales Lien possible avec les tarifs des revues Pas d’identifiant revue

16 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Enrichissement des données Logs Revues Tarifs scientifiques Disciplines Langue statistiques éditeurs Unités CNRS correspondance login/unité ayants droit Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

17 1er Janvier 2011 : fusion des quatre universités lorraines
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen Contexte de l’Université de Lorraine 1er Janvier 2011 : fusion des quatre universités lorraines Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

18 Disparité des données recueillies
LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : DES CONSTATS PEU ORIGINAUX Disparité des données recueillies Respect non-systématique(même si globalement majoritaire) des recommandations COUNTER Qualité des données recueillies très variable Imprécisions ou manques flagrants, part. dans certaines disciplines (SHS, Droit) Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

19 LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : TABLEAUX FOURNIS PAR LES EDITEURS Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

20 EZP opérationnel dès octobre 2009 côté Nancéien
LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : L’UTILISATION D’EZPROXY EZP opérationnel dès octobre 2009 côté Nancéien Trois bouquets d’abonnements (INPL, UHP, N2) sur une même installation Accès locaux ET distants Difficulté liée à la déclaration d’une seule IP Recueil sommaire de statistiques de « sessions » =nb d’occurrences du domaine racine (déclaré dans EZP) dans les logs Chiffres ne recoupant pas ceux des éditeurs et au final peu fiables… Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

21 Ex. : sessions ouvertes sur PsycINFO sur l’année 2010 à Nancy-2
LA PRODUCTION DE STATISTIQUES LOCALES AU MOYEN DE L’ANALYSE DES LOGS D’UN REVERSE PROXY : L’EXPÉRIENCE DE L’INIST-CNRS ET LE PROJET NANCÉEN LES STATISTIQUES CÔTÉ UL : L’UTILISATION D’EZPROXY Ex. : sessions ouvertes sur PsycINFO sur l’année 2010 à Nancy-2 Mois Accès EZP Sessions COUNTER Janvier 339 226 Février 345 247 Mars 258 263 Avril 206 142 Mai 214 176 Juin 106 177 Juillet 136 156 Août 113 141 Septembre 248 269 Octobre 307 235 Novembre 383 320 Décembre 217 249 Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

22 Origine de la collaboration
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Origine de la collaboration Intérêt de la part des universités et des EPST pour le projet de l’Inist-CNRS Participation commune de l’UL et de l’Inist-CNRS au GTStats COUPERIN, et plus particulièrement le travail sur les statistiques locales. Approche régulière de l’Inist de la part de l’UHP (UL) pour les chiffres des Unités mixtes de recherche. Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

23 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Premiers Contacts Présentation des statistiques locales pour l’UHP (UL) : mai 2011 Validation d’un travail en commun UHP (UL) /Inist-CNRS Première réunion de faisabilité : novembre 2011 Vérifier la convergence des abonnements, des configurations Impliquer Couperin dans le processus Seconde réunion : début janvier 2012 Première ébauche de calendrier : Tests sur les logs de l’Université de Lorraine Travail sur un cahier des charges Développement, ouverture Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

24 Ce qui est attendu d’un travail en commun…
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Ce qui est attendu d’un travail en commun… Disposer de statistiques locales à comparer avec celles fournies par les éditeurs. Disposer de statistiques consolidées universités-organismes à l’échelle des laboratoires UMR. Disposer de statistiques pour les bases qui n’en fournissent pas. Partager la maintenance des parseurs … et ce qui le rend possible Nombre de plates-formes communes UL-INIST intéressant (26 dénombrées) Logs disponibles à l’UL pour l’ensemble des accès (sauf exception…) Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

25 L’analyse des logs UL Prévue pour la fin janvier…
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin L’analyse des logs UL Prévue pour la fin janvier… … les logs 2010 et 2011 s’avèrent finalement difficiles/impossibles à exploiter (choix du format SPU) Nouvelle analyse effectuée en mars sur des logs « frais ». Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

26 Faciliter le déploiement vers d’autres universités
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet nancéen le projet CNRS-INIST, Université de Lorraine, Couperin Ce qui reste à faire 2-4 mai : travail sur un cahier des charges en commun Travail en commun et partage de connaissances : Création d’une base de connaissance commune Mise en place d’une plateforme de traitement des logs Liaison avec les annuaires utilisateurs Rédaction des règles de lecture et d’analyse des logs, des parseurs dont chacun pourra profiter. Prévoir une maintenance partagée sur les parseurs Faciliter le déploiement vers d’autres universités Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

27 Exemples de traitement en réel
La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist-CNRS et le projet lorrain Comment sont traitées les données Exemples de traitement en réel Généralités Traiter des sources hétérogènes Traiter de très gros volumes de données Naviguer rapidement et repérer les indicateurs pertinents. Comment traiter au mieux les statistiques des éditeurs ? Visualiser les données de façon interactive. Gagner du temps sur le traitement : permet l’analyse ! Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain

28 MERCI ! Magali Colin – Inist-CNRS
Journée d’études COUPERIN – 23 mars mars 2012 La production de statistiques locales au moyen de l’analyse des logs d’un reverse proxy : l’expérience de l’Inist et le projet lorrain Magali Colin – Inist-CNRS Chef de projet statistiques d’usages et enquêtes utilisateurs Thomas Jouneau – Université de Lorraine Bibliothèque numérique