Son importance & son architecture de référence

Présentation au sujet: "Son importance & son architecture de référence"— Transcription de la présentation:

1 Son importance & son architecture de référence
Le BIG DATA : Son importance & son architecture de référence Salon MED IT le 29 Novembre 2017

2 1- La donnée est plus chère que le pétrole

3 Une transformation impressionnante !!!
12,3 milliards de dollars Une transformation impressionnante !!! 1,5 milliards de dollars 1 milliards de dollars

4 L’exploitation du pétrole

5 Existe-t-il d’autres richesses qui peuvent nous rendre aussi riches ?
Selon LESECHOS.fr : Les GAFA, valent plus que Total, Sanofi, BNP Paribas et les 37 autres entreprises du CAC 40 Facebook vaut 4 fois la valeur de TOTAL en bourse. Plus de 400 milliards $ en bourse aujourd’hui VS 92 Milliards $ pour TOTAL Année de création : Facebook : 2004 VS 1927 pour TOTAL Facebook vend des données et Total vend du pétrole

6 La valeur de la donnée vaut plus chère que celle du pétrole
« La connaissance vaut davantage que les matières premières » L’économie de la connaissance vous permet d’avoir une croissance infinie car elle est basée sur une matière 1ère infinie, à savoir, « la donnée ». Dr. Idriss Aberkane

7 Comment exploiter cette richesse ?

8 La solution est trouvée chez la plus grosse référence BIGDATA en Europe
Présent à PARIS LONDRES NEW YORK JEMS-Datafactory 30 M€ de CA *prévisions 2017 Fondé en 2002

9

10 2- La donnée possède sa propre raffinerie

11 DATALAKE DE PRODUCTION

12 L’ARCHITECTURE DATALAKE
Données Référentielles Besoins Utilisateurs Requêtage Sources Externes Datalake Exposition des données Requêtage ad’hoc Intégration RAWDATA Datatable Algorithme & Calcul API Rest PorTail sécurisé Vues Métiers Reporting Sources Internes Requetage De donnees API Rest Stockage Historisation Nettoyage / Consolidation / Sémantisation / Rejets / Enrichissement Meta Données Enrichissement Référentiels + Data Discovery Agrégats Calculs Croisements ODBC Alimentation en Batch et/ou en Temps Réel DataManagement (Qualité, Traçabilité, Gouvernance)

13 L’ARCHITECTURE DATALAKE
Données Référentielles Besoins Utilisateurs Requêtage Sources Externes Datalake Exposition des données Requêtage ad’hoc Intégration RAWDATA Datatable Algorithme & Calcul API Rest PorTail sécurisé Vues Métiers Reporting Sources Internes Requetage De donnees API Rest Stockage Historisation Nettoyage / Consolidation / Sémantisation / Rejets / Enrichissement Meta Données Enrichissement Référentiels + Data Discovery Agrégats Calculs Croisements ODBC Alimentation en Batch et/ou en Temps Réel DataManagement (Qualité, Traçabilité, Gouvernance)

14 Publisher MAPR-stream
ZOOM SUR L’INGESTION DES DONNEES 1 PRODUCER INIT HUB OMNICHANNEL Broker INCR récurrent INCR Publisher Consumer JMS / Publisher MAPR-stream Topic JMS Real Time Big Data Platform Source en temps réel JMS Output JMS Input HUB OMNICHANNEL (JSON) (JSON) Dépôt manuel INIT (JSON) 3 Consumer MAPR-stream CONSUMER Sources en mode batch (TXT) DM CRM Real Time Big Data Platform (TXT) Autres sources Data Lake récurrent … Enterprise Storage MapR-FS Database MapR-DB JSON Event Streaming MapR-Streams INIT (JSON) INCR (TXT) (JSON) Vision des flux entrants dans le Data Lake Vision INIT batch Vision RUN batch ou temps réel Zone de Transfert (JSON) 6 noeuds 4 2 RAWDATA STREAM

15 LES ACTEURS

16 Les différents acteurs BIGDATA
Architect BIG DATA Identification du socle technique ( le choix des technologies) Etudier et gérer le dimensionnement de la plateforme Assurer le maintient applicatif de toutes les applications Data Engineer La mise en place des flux d’ingestions et de traitements des données Optimisation et industrialisation des algorithmes Déploiement en production Data Scientist L’exploitation des données La création du modèle de référence applicatif sur les données (algorithme) avec les descriptions Spécification des règles d’implémentation des données Représentant DLK en PROD La gestion d’exploitation de toutes les applications liées à DLK en production.

17 Les bonnes pratiques à adopter

18 Les 5 facteurs clés pour réussir un projet BIGDATA
Etudier et choisir le socle technique de votre plateforme 1 Penser à la stabilité la plateforme 2 Construire et définir le périmètre de responsabilité des acteurs en fonction de leurs compétences Penser à l’exploitation de vos projets en production 3 Oublier la modélisation classique des données et dénormaliser au maximum vos Datasets. Penser aux performances Penser à la Data Gouvernance 4 Mettre en place un outil de data management 5 Innover Créer de la valeur

19 QUELQUES REFERENCES

20 GESTION DE LA FRAUDE CONFIDENTIEL Projet : Lutte anti-Fraude ciblée.
Taille : 5 ETP // 700 jours (en cours) Description : Notre client ferroviaire souhaite optimiser son système anti-Fraude aux resquilleurs (248 millions d’euros de perte annuelle), en mettant en œuvre une architecture permettant de collecter l’ensemble des indicateurs (Capteurs machine + les Flux des passages par station + Les paiements effectués) en temps réel et obtenir une puissance de calcul afin de cibler les stations victimes. Mise à jour des systèmes sources en instaurant le temps réel, mise en place du datalake, implémentation des algorithmes développés par les datascientists, mise en œuvre d’une console de monitoring et système d’alerte pour les agents dédies au contrôle afin d’intervenir à la minute qui suit. Technologies : Talend, MapR, Qlik, Spark Streaming,Python ROI : Limitation de la fraude, 190 Millions d’euros d’économie par an. CONFIDENTIEL

21 CONNAISSANCE CLIENT CONFIDENTIEL Projet :
Mise en place d’un DataLake Marketing – Vision 360° Taille : 11 ETP // 900 jours (en cours) Description & Objectifs : Notre client, leader de la vente de cosmétique, est actuellement en train de revoir son programme d’animation client pour l’ensemble des pays d’Europe et du Moyen Orient, l’objectif de cette réécriture des parcours clients est d’offrir une expérience unique et sur mesure en se basant sur une connaissance approfondie des clients et surtout en uniformisant l’ensemble des canaux de communication. Uses cases : optimisation parcours client, conseils aux clients multi-canaux, nouveaux services commercialisés auprès des créateurs, … Technologies : Talend, MapR, Qlik, Java, Spark, Scala, Dataiku, R, Python ROI : Croissance prévisionnelle de 20% niveau monde CONFIDENTIEL

22 MERCI POUR VOTRE ATTENTION Hicham BOUR-RHA hbour-rha@jems-group
MERCI POUR VOTRE ATTENTION Hicham BOUR-RHA RDV AU STAND 76