AGIMUS-NG en ~15 minutes Concepts.

Présentation au sujet: "AGIMUS-NG en ~15 minutes Concepts."— Transcription de la présentation:

1 AGIMUS-NG en ~15 minutes Concepts

2 ENT Authentification validée
cas-trace.log ENT TRACE-625-4SIg9haAh → Authentification validée Le CAS va, en parallèle, écrire dans un fichier de log la valeur du cookie déposé dans le navigateur du client et l’identité de l’utilisateur cas-service.log L’ENT le renvoie vers l’authentification CAS DATE: 19/Mar/2015:15:26: IP: XXX.X ID: TICKET: ST-1857-q4G4eWz SERVICE: USER-AGENT: Mozilla/5.0 (Macint... Le CAS va aussi alimenter un ficher qui contient l’identité de l’utilisateur et le service qui a demandé l’authentification Le CAS va utiliser le référenciel afin de valider les informations utilisateur L’utilisateur accède à son ENT pour la première fois COOKIE → TRACE-625-4SIg9haAh Le CAS va déposer sur la navigateur du client un cookie supplémentaire au TGC. Ce cookie (« TRACEME ») est opaque et valable pour tout le domaine (.univ.fr) Le cookie « TRACEME » est transmis vers l’ENT Une fois l’authentification validée, retour dans l’ENT apache-esup.log COOKIE → TRACE-625-4SIg9haAh REFERENTIEL UTILISATEURS L’ENT ou le frontal (apache) va pouvoir écrire dans un fichier les actions de l’utilisateur. Le cookie (« TRACEME ») positionné par le CAS sera présent dans les lignes de logs DATE:19/Mar/2015:15:26: IP: XXX.X URI: /Login?ticket=ST-1857-q4G4eWz REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh

3 ENT Le cookie « TRACEME » est retransmis vers l’ENT à chaque requête
L’utilisateur accède à son ENT pour un autre service (« accès LMS ») L’ENT ou le frontal (apache) va pouvoir écrire dans un fichier toutes les actions de l’utilisateur COOKIE → TRACE-625-4SIg9haAh apache-esup.log COOKIE → TRACE-625-4SIg9haAh REFERENTIEL UTILISATEURS DATE:19/Mar/2015:15:39: IP: XXX.X URI: /p/mon-lms/max REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh

4 LMS Le CAS va ajouter une ligne d’accès au service LMS dans son log
Le LMS renvoie vers l’authentification CAS L’authentification de l’utilisateur est déjà valide cas-service.log Le cookie TRACEME est transmis au LMS DATE: 19/Mar/2015:15:29: IP: XXX.X ID: TICKET: ST-1859-r7P9sKw SERVICE: USER-AGENT: Mozilla/5.0 (Macint... COOKIE → TRACE-625-4SIg9haAh Une fois l’authentification validé, retour dans le LMS L’utilisateur accède à son LMS pour la première fois apache-moodle.log COOKIE → TRACE-625-4SIg9haAh REFERENTIEL UTILISATEURS DATE:19/Mar/2015:15:29: IP: XXX.X URI: /login.php?ticket= ST-1859-r7P9sKw REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh

5 AUTRES Le CAS va ajouter une ligne d’accès au service APPS dans son log L’APPS renvoie vers l’authentification CAS L’authentification de l’utilisateur est déjà valide cas-service.log Votre application Le cookie TRACEME est transmis à l’APPS DATE: 19/Mar/2015:15:39: IP: XXX.X ID: TICKET: ST-1862-r9M3tQx SERVICE: USER-AGENT: Mozilla/5.0 (Macint... COOKIE → TRACE-625-4SIg9haAh Une fois l’authentification validé, retour dans une APPS L’utilisateur accède dans une APPS pour la première fois apache-apps.log COOKIE → TRACE-625-4SIg9haAh REFERENTIEL UTILISATEURS DATE:19/Mar/2015:15:39: IP: XXX.X URI: /entree.php?ticket= ST-1862-r9M3tQx REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh

6 REFERENTIEL UTILISATEURS
Et maintenant cas-service.log apache-esup.log cas-trace.log apache-moodle.log apache-apps.log + = REFERENTIEL UTILISATEURS

7 Etape 1 : cas trace Traitement du fichier cas-trace.log par LogStash
TRACE-625-4SIg9haAh → Traitement du fichier cas-trace.log par LogStash Découpe et injecte dans Elasticsearch LogStash Enregistrement dans Elasticsearch index : trace Elasticsearch { "_type": "trace", "cookie_id": "TRACE-625-4SIg9haAh ", "ldap_uid": }

8 REFERENTIEL UTILISATEURS
Etape 2 : ldap REFERENTIEL UTILISATEURS eduPersonPrimaryAffiliation=student supannEntiteAffectation=FEA--, FEC-- supannEtuInscription= [annee=2015][cur={SUPANN}M1][dip={VDI}XX-X][etape={VET}YY-Y] attributMaison=ET LogStash Extraction d’information depuis le ldap par LogStash Formate et injecte dans Elasticsearch Enregistrement dans Elasticsearch index : ldap Elasticsearch { "_type": "ldap", "uid": [ ], "eduPersonPrimaryAffiliation": [ "student" ], "supannEntiteAffectation": [ "FEA--", "FEC--" ], "supannEtuInscription": [ " [annee=2015][cur={… "attributMaison= ": [ "ET" ], }

9 Etape 3 : apache esup DATE:19/Mar/2015:15:39: IP: XXX.X URI: /p/lms-moodle/max REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh DATE:19/Mar/2015:15:39: IP: XXX.X URI: /p/esup-portlet-annuaire-desktop/max REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh DATE:19/Mar/2015:15:39: IP: XXX.X URI: /p/iframe-planning-etu/max REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh apache-esup.log DATE:19/Mar/2015:15:39: IP: XXX.X URI: /p/zimbra-etud/max REFERER: USER-AGENT: Mozilla/5.0 (Macint.. TRACE: TRACE-625-4SIg9haAh 1 - Découpage des enregistrements 2 - Enrichissement « useragent » Mozilla/5.0 (Linux; U; Android 4.4.4; … → os: Android 4.4.4 os_name: Android device: c6603 browser: chrome mobile LogStash 3 - Enrichissement «  geoip  » XXX.X → Latitude: Longitude: 4 - Transformation «  trace » TRACE-625-4SIg9haAh → uid: 5 - Enrichissement «  ldap » → eduPersonPrimaryAffiliation: student supannEntiteAffectation: FEA--, FEC— attributMaison : ET supannEtuInscription: [annee=2015][cur={… attributMaisonRead: [ET] Etudiants inscrits primaryAffiliationRead: étudiant anneeInscription: 2015 supannEntiteAffectationRead: [FEA] 1ère année de médecine [FEC] PACES { "_type": "esup4", "clientip": " XXX.X", "request": "/p/lms-moodle/max", "referer": " "os": "Android 4.4.4", "os_name": "Android", "device": "c6603", "browser": "chrome mobile" "geoip": { "location": [ 6.178, ] }, "uid": "b4b4fab3b7ca5b4daa9e8ad66fea26f2", "attributMaison": [ "ET" ], "attributMaisonRead": [ "[ET] Etudiants inscrits" ], "eduPersonPrimaryAffiliation": [ "student" ], "primaryAffiliationRead": [ "étudiant" ], "supannEntiteAffectation": [ "FEA--", "FEC--" ], "supannEntiteAffectationRead": [ "[FEA] 1ère année de médecine", "[FEC] PACES" ], "anneeInscription": "2015" } index : trace { "type": "trace", "cookie_id": "TRACE-625-4SIg9haAh ", "ldap_uid": } 6 - Transformation «  anonymize  » → b4b4fab3b7ca5b4daa9e8ad66fea26f2 Traitement du fichier apache-esup.log par LogStash index : ldap { "_type": « ldap« , "uid": [ ], "eduPersonPrimaryAffiliation": [ "student" ], "supannEntiteAffectation": [ "FEA--", "FEC--" ], "supannEtuInscription": [ " [annee=2015][cur={… "attributMaison= ": [ "ET" ], } Elasticsearch index : logstash-YYYY.MM.DD type : esup4

10 Etape X : autres Possibilité d’ajouter son fichier de log et son type dans Elasticsearch XXXXX.log { "_type": "casservice", "clientip": " XXX.X", "service": { "request": " "proto": "https", "host": "mail.etu.univ.fr", "uripath": "/p_etu.jsp" }, "os": "Android 4.4.4", "os_name": "Android", "device": "c6603", "browser": "chrome mobile" "geoip": { "location": [ 6.178, ] }, "uid": "b4b4fab3b7ca5b4daa9e8ad66fea26f2", "attributMaison": [ "ET" ], "attributMaisonRead": [ "[ET] Etudiants inscrits" ], "eduPersonPrimaryAffiliation": [ "student" ], "primaryAffiliationRead": [ "étudiant" ], "supannEntiteAffectation": [ "FEA--", "FEC--" ], "supannEntiteAffectationRead": [ "[FEA] 1ère année de médecine", "[FEC] PACES" ], "anneeInscription": "2015" } LogStash { "_type": "moodle", "clientip": " XXX.X", "request": "lms.univ.fr/course/search.php?search=fouille", "referrer": "lms.univ.fr/course/index.php", "os": "Android 4.4.4", "os_name": "Android", "device": "c6603", "browser": "chrome mobile" "geoip": { "location": [ 6.178, ] }, "uid": "b4b4fab3b7ca5b4daa9e8ad66fea26f2", "attributMaison": [ "ET" ], "attributMaisonRead": [ "[ET] Etudiants inscrits" ], "eduPersonPrimaryAffiliation": [ "student" ], "primaryAffiliationRead": [ "étudiant" ], "supannEntiteAffectation": [ "FEA--", "FEC--" ], "supannEntiteAffectationRead": [ "[FEA] 1ère année de médecine", "[FEC] PACES" ], "anneeInscription": "2015" } Type : Moodle Elasticsearch Type : casservice Index : logstash-YYYY.MM.DD type : esup4 type : moodle type : casservice

11 Requêtes Elasticsearch
Résultat { "hits": { "total": }, "aggregations": { "2": { "buckets": [ "key": "Windows 7", "doc_count": "key": "Mac OS X", "doc_count": "key": "Android", "doc_count": "key": "iOS", "doc_count": "key": "Windows 8", "doc_count": "key": "Windows XP", "doc_count": … 59 M documents qui correspondent Windows 7: 22 M Mac OS : 7,5 M Android : 4,7 M iOS : 4,6 M Windows 8 : 1,5 M Rendu la base Requêtes Elasticsearch GET logstash-*/esup4/_search { "query": { "filtered": { "query_string": { "query": "_type:esup4" } }, "aggs": { "2": { "terms": { "field": "os_name.raw", "size": 10, "order": { "_count": "desc" "size":0 Trouve dans tous les index « logstash-* » Tous les types « esup4 » Regroupe les résultats par l’attribut « os_name » Trier les résultats par ordre décroissant Et ne garde que les 10 premiers résultats Elasticsearch Un index par jour Chaque index regroupe les informations (type) de l’ENT, du LMS et des services utilisant le CAS index : logstash-YYYY.MM.DD type : esup4 type : moodle type : casservice

12 Créateurs de graphique
Kibana Rendu Kibana visualisation La création de "visualization" kibana se fait grâce à une interface graphique permettant de réaliser la requête Elasticsearch et ses agrégations « Create a new visualization » Type de rendu « Pie Chart » Index : « logstash-* » Découper les parts : « Split Slices » « Aggregation » : « Terms » « Field » pour faire l’agrégation : « os_name.raw » Combien en garder « top » : 60 Elasticsearch Créateurs de graphique index : logstash-YYYY.MM.DD

13 Créateurs de graphique
Kibana Rendu Kibana visualisation Kibana traduit en requête Elasticsearch Requêtes GET logstash-*/esup4/_search { "query": { … }, "aggs": { "2": { "terms": { "field": "os_name.raw", … Elasticsearch Créateurs de graphique index : logstash-YYYY.MM.DD

14 Créateurs de graphique
Kibana Rendu Kibana visualisation Kibana traduit le résultat en graphique Résultat { "hits": { "total": }, "aggregations": { "2": { "buckets": [ "key": "Windows 7", "doc_count": "key": "Mac OS X", "doc_count": … Elasticsearch Créateurs de graphique index : logstash-YYYY.MM.DD

15 Kibana peut aussi agréger plusieurs visuablisations dans un « dashboard »
Rendu Kibana Kibana peut créer plusieurs types de rendu

16 Pour participer ou poser vos questions
Merci Pour participer ou poser vos questions