AGIMUS NG pour une remontée automatique des indicateurs de l’utilisation des services numériques https://www.esup-portail.org Khadija Dib - DGESIP/MiPNES, Julien Marchal Université de Lorraine

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 PLAN Bref Historique Rappels Principes généraux Principe de fonctionnement Où en est on ? DGESIP/MINES – JT INTER-UNR 08 juillet 2015 2

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Historique AGIMUS : Application de gestion d’indicateurs de mesure des usages des services (numériques) Anonymisation et enrichissement (3 dimensions : statut, niveau de diplôme, discipline) + dimensions libres Collecte des données d’usage des services au niveau d’un établissement Traitement de ces données Agrégation et dépôt des résultats au niveau d’une UNR Agrégation et dépôt des résultats au niveau du MESR L’application est développée en open source (marché public 2009-2011) Déploiement (autre marché public 2012-2013) DGESIP/MINES – JT INTER-UNR 08 juillet 2015

indicateurs statistiques d'usage des services numériques Rappel Qu’es aquo ? AGIMUS-NG est une plateforme qui permet d'utiliser les fichiers de traces et le système d'information afin de produire un entrepôt de données pour produire des indicateurs statistiques d'usage des services numériques DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Rappel Qui ? Esup-portail - Université de Lorraine - Université de Lille 1 - Université Paris 1 - Université de Tours - Observatoire des Usages du Numérique OBSUN - Université de Franche Comté - Université de Valenciennes - Université de Bordeaux DGESIP/MINES – JT INTER-UNR 08 juillet 2015

Rappels objectif et exigences Objectifs Améliorer la qualité de service des services numériques, Comprendre et analyser les usages, Aider au pilotage du numérique. Exigences Anonymiser les données, Environnements informatiques hétérogènes, Le moins intrusif possible dans les SI, Fiable Développer en open source DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Principes généraux Niveau établissement Traitement Transmission Gestion Visualisation Référentiels Utilisateurs Usager Élaboration des trames de collecte Entrepôt de données Collecte Gestion des droits administrateur Paramétrage contextuel Processus informatique Interface Homme / Machine DGESIP/MINES – JT INTER-UNR 08 juillet 2015

Principe de fonctionnement cas-service.log apache-esup.log cas-trace.log apache-moodle.log apache-apps.log + = REFERENTIEL UTILISATEURS DGESIP/MINES – JT INTER-UNR 08 juillet 2015

Production des logs Authentification validée cas-trace.log Production des logs TRACE-625-4SIg9haAh → dupont37@univ.fr Authentification validée Le CAS va, en parallèle, écrire dans un fichier de log la valeur du cookie déposé dans le navigateur du client et l’identité de l’utilisateur cas-service.log L’ENT le renvoie vers l’authentification CAS DATE: 19/Mar/2015:15:26:53 +0100 IP: 212.198.XXX.X ID: dupont37@univ.fr TICKET: ST-1857-q4G4eWz SERVICE: http://ent.univ.fr/Login USER-AGENT: Mozilla/5.0 (Macint... Le CAS va aussi alimenter un ficher qui contient l’identité de l’utilisateur et le service qui a demandé l’authentification Le CAS va utiliser le référenciel afin de valider les informations utilisateur L’utilisateur accède à son ENT pour la première fois COOKIE → TRACE-625-4SIg9haAh Le CAS va déposer sur la navigateur du client un cookie supplémentaire au TGC. Ce cookie (« TRACEME ») est opaque et valable pour tout le domaine (.univ.fr) Le cookie « TRACEME » est transmis vers l’ENT Une fois l’authentification validée, retour dans l’ENT apache-esup.log COOKIE → TRACE-625-4SIg9haAh REFERENTIEL UTILISATEURS L’ENT ou le frontal (apache) va pouvoir écrire dans un fichier les actions de l’utilisateur. Le cookie (« TRACEME ») positionné par le CAS sera présent dans les lignes de logs DATE:19/Mar/2015:15:26:54 +0100 IP: 212.198.XXX.X URI: /Login?ticket=ST-1857-q4G4eWz REFERER: https://www.google.fr/?gws_rd=ssl#q=ent USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh DGESIP/MINES – JT INTER-UNR 08 juillet 2015

Le principe de fonctionnement LogStash REFERENTIEL UTILISATEURS fichier.log Kibana Elasticsearch DGESIP/MINES – JT INTER-UNR 08 juillet 2015

L’enrichissement des données Extraction d’informations du SI Utilisation des affectations, des inscriptions, … Typage de population (étudiants, personnels, doctorant, émérites, ...) Informations basées sur l’adresse IP Type de réseau (wifi, filaire interne établissement, externe) Géolocalisation Informations basées sur l’utilisation du User-agent Système d’exploitation Mobile ou Desktop Matériel (Device) Travail sémantique sur les adresses pour extraire de l’information DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Les rendus Outils Kibana WYSIWYG Permet de créer ces graphiques en ligne Fouille en temps réel l’entrepôt de données Etapes Création de visualisation Filtrage des données Agrégation de visualisation en tableaux de bord DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 La démonstration DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Où en est on ? Chaine d’’alimentation de l’entrepôt fait Rendu graphique et tableaux de bord fait Documentation fait (à améliorer) Configurations d’injection traitement des logs encours Réaliser une interface de rendu plus intuitive à faire DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Où en est on ? Réalisation d’un workshop à faire Partage des configurations encours Retour d’expérience encours DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Questions ? https://www.esup-portail.org Documentations https://www.esup-portail.org/wiki/x/DQCfFg DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015

DGESIP/MINES – JT INTER-UNR 08 juillet 2015 Au cas où … DGESIP/MINES – JT INTER-UNR 08 juillet 2015