© Copyright IKAYROS 2015 IKAYROS - 51, Rue du Rocher - 75008 Paris - Tél. : + 33 (0)6 88 67 98 51 – www.ikayros.com Big Data et intégration Hadoop Prototype.

Présentation au sujet: "© Copyright IKAYROS 2015 IKAYROS - 51, Rue du Rocher - 75008 Paris - Tél. : + 33 (0)6 88 67 98 51 – www.ikayros.com Big Data et intégration Hadoop Prototype."— Transcription de la présentation:

1 © Copyright IKAYROS 2015 IKAYROS - 51, Rue du Rocher - 75008 Paris - Tél. : + 33 (0)6 88 67 98 51 – www.ikayros.com Big Data et intégration Hadoop Prototype de gestion des données WiFi Data Science

2 Présentation d’Ikayros Tirer profit des technologies et des approches innovantes/en rupture Valorisation Entreprises partenaires Systèmes standards internes à l’entreprise Données externes Echange de données Nouveaux services Optimisation opérationnelle Réduction de coûts Formats et qualités non maitrisés Identification et qualification Données structurées et non structurées Données nouvelles ou inexploitées Data Science Big Data Systèmes et données cloisonnés Structures rigides Hétérogénéité Logs machines Objets connectés Logs systèmes Capteurs Opportunités commerciales Ikayros aide ses clients à prendre le virage du ‘Digital’ en tirant profit des opportunités offertes par les nouvelles technologies de l’information

3 Nous sommes à votre écoute et nous mobilisons nos compétences scientifiques et organisationnelles pour faire émerger et approfondir vos cas métiers, vous conseiller dans le choix de technologies innovantes et fiables, pour développer des prototypes et/ou des solutions complètes aux problématiques « Data » soulevées. Nos compétences Une double expertise: conseil et technologies Conseil Expertises Métier/Cas d’usages Etude et conception Big Data Data Science Centre d’innovation Veille technologique R&D

4 CAS METIERS Cadrage des besoins Etude de faisabilité Priorisation Principes d’architecture Conception fonctionnelle Implémentation Démonstrateur Principes d’industrialisation CONCEPTION PROTOTYPE Opportunité interne Tendance du marché Retard concurrentiel Accompagnement Cas d’usage Recommandations Valeur apportée Solution sur mesure Outil du marché Mise en oeuvre Support et maintenance SOLUTION Driver Difficulté opérationnelle Validation à moindre risques et coûts Généralisation Accompagnement usages Validation et ROI Notre proposition de valeur Un accompagnement sur mesure et complet

5 © Copyright IKAYROS 2015 Notre centre d’innovation a réalisé un prototype d’exploitation de logs Wifi permettant de retracer le parcours des visiteurs et de calculer un ensemble d’indicateurs métier (densités, flux, temps de présence, catégorisation des visiteurs…) Ce prototype se base sur un principe de captation ‘passive’ des visiteurs Sous couvert de cette hypothèse, seule une partie des visiteurs sont détectés, ce qui entraine un besoin de redressement statistique des données Exploitation des logs WiFi Prototype Ikayros - Principes Notre prototype a été développé de façon modulaire: chaque étape du processus est indépendante et peut évoluer rapidement, indépendamment des autres Notre solution n’a pas vocation à être isolée, mais vise à s’intégrer pleinement au SI cible, quelles que soient les technologies utilisées (Oracle, SAS, R…) La chaine d’alimentation et de traitement réalisée est reproductible partiellement ou dans sa totalité pour s’appliquer à d’autres sources de données Processus d’exploitation

6 © Copyright IKAYROS 2015 Map/Reduce FLUME Exploitation des logs WiFi Prototype Ikayros – Architecture technique Captation des données brutes Anonymisation Intégration des données brutes Nettoyage et redressement Agrégations et stockage de données apurées Calcul d’indicateurs /exploitation Borne 1 Borne 2 Borne N log Anonymisation – SHA 1 Intégration HDFS Données brutes Nettoyage Redressement Calcul d’indicateurs Agrégation Sqoop Intégration Postgres DB relationnelle Données exploitables Données Apurées

7 © Copyright IKAYROS 2015 Exploitation des logs WiFi Pour aller plus loin avec SNCF Gare et Connexions Intégration et analyse des données Wifi SI SNCF G&C Définition ou validation des besoins et des indicateurs à calculer Identification des données requises et de leur niveau de granularité Définition et Intégration de la solution d’analyse de données Wifi dans le SI SNCF G&C  Données cartographiques  Données utiles au redressement (enquêtes, comptages…)  Données apurées Mise au point de la solution dans une gare:  Choix du meilleur algorithme de géolocalisation  Mise au point/utilisation des bons algorithmes d’apprentissage pour le redressement et l’apurement des données  Validation de la solution technique bout en bout Déploiement de la solution à plus grande échelle Support, évolution et maintenance de la solution

8 © Copyright IKAYROS 2015 Annexes

9 © Copyright IKAYROS 2015 Exemples de réalisations de nos consultants Laboratoire pharmaceutique - développement de la stratégie digitale Contexte: Le secteur de la santé est en pleine mutation. Les objets connectés médicaux sont de plus en plus populaires, les lois de santé demandent de plus en plus d’ouverture des données (comme le dossier médical du patient par exemple), et les technologies sont en rapide évolution (séquençage ADN, Big Data, …) Objectif de la mission: Analyser les opportunités offertes par le Big Data et les objets connectés, et de voir comment les utiliser de façon pertinente et pragmatique au sein du département R&D et de l’entreprise Réalisations: Objets connectés: Développement d’un POC avec Garmin sur les bracelets connectés (comptage de pas, calories brulées etc.). Sur quelques bracelets, récupération des données de manière automatique en utilisant l’API Garmin. Analyses via SAS et R. Intégration dans les outils utilisés au quotidien par le client. Big Data: Mise en place d’un cluster « Bac à Sable » 4 nœuds sur Cloudera et analyse de plusieurs cas d’usages : Deport de base Oracle non utilisées sur Hadoop avec pour objectif de pouvoir décomissionner des instances Oracle Augmentation de la puissance de calcul pour les analyses statistiques existantes; interfaçage avec SAS et R Nouvelles possibilités d’analyses statistiques via du machine learning avancé (utilisation de Spark et Mahout)

10 © Copyright IKAYROS 2015 Exemples de réalisations de notre centre R&D Supervision non intrusive de plan de production informatique Système 3Système 2Système 1 1 6 234 5 Utilisateurs logs Analyse et intégration Stockage NoSQL: Graph DataBase Elaboration de modèles statistiques Alertes Statuts Analyses Enrichissement des données  Réduction des coûts  Réduction des délais  Amélioration de la qualité