Analyse en temps réel des CDR/EDR Télécoms avec Elastic Stack Yassine LASRI ​Product Manager Synapticiel Ingénieur Télécoms +12, Architect Senior SI BSS/OSS.

Présentation au sujet: "Analyse en temps réel des CDR/EDR Télécoms avec Elastic Stack Yassine LASRI ​Product Manager Synapticiel Ingénieur Télécoms +12, Architect Senior SI BSS/OSS."— Transcription de la présentation:

1 Analyse en temps réel des CDR/EDR Télécoms avec Elastic Stack Yassine LASRI ​Product Manager Synapticiel Ingénieur Télécoms +12, Architect Senior SI BSS/OSS

2 Démarche Vous pouvez poser des questions pendant le webinaire dans l’onglet chat Questions  Vous allez recevoir la Présentation et la video par email  Contenu téléchargeable sur le blog synapticiel.co Slides & Video  Problématiques et Enjeux de la big data dans les télécoms  Présentation de la Stack Elastic  Démonstration  Questions/Réponses Agenda

3 Problématiques et Enjeux de la big data dans les télécoms “ “ 3

4 Business Intelligence La BI vise à collecter, nettoyer et enrichir des données structurées pour les stocker dans un data warehouse ou data mart. les données sont organisées et traitées en fonction de l’objectif pour lequel elles étaient collectées. Leur valeur est liée à la conception ex-ante de l’usage que l’on avait l’intention d’en faire. Il s’agit d’aider les métiers à prendre des décisions sur des bases solides, documentées et argumentées

5 Business Intelligence | Chaine de valeur MSC/GMSC SGSN/GGSN SMSC MMSC IMS-GW/SIP-AS VMS Legacy Telecom Switches (Alcatel, Siemens, Nokia, Ericsson, Huawei, ZTE, Nortel, …) Collection Pre-Process Distribution Auditing & Monitoring Mediation System FTAM, CMIP, FTP, SFTP, SCP, NFS over X25, TCP/IP ETLDWHOLAP

6 Big Data : Un regard différent sur les données et leur utilisation 3V de Gartner (Volume, Vitesse, Variété)  100M à Plus de 800M de CDR par jour (Taille 1M à 10M de clients Actifs).  Plus de 150K CDR/minute  Variété des formats (ASCII, Binaire, ASN1, XML, JSON, Logs, Traces SS7, DPI, ODBC) L'objectif peut être plus large (Discovery, Recharges, Analyse) Selon McKinsey Global Institute, Les opérateurs télécoms « Data Driven » sont :  23 fois performants dans l’acquisition des nouveaux clients  6 fois performants dans la fidélisation des client (Réduction du Taux de churn)  19 fois profitables (Générateurs de plus de revenus) la valeur de la donnée réside dans sa "réutilisation"

7 Elastic Stack “ “ 7

8 Elastic Stack, Composantes

9 Démonstration “ “ 9

10  Logs  Traces  CDR  EDR Filebeat Mediation Logstash Plugin

11 Q/A “ “ 11

12 Thank you for joining. We will email the recording and slides to you soon “ “ 12

13 13 Filebeat, Agent de transfert léger conçu pour les logs Metricbeat, Agent de transfert léger des statistiques des systèmes et services. Packetbeat, Analyseur léger de paquets réseau, qui envoie les données vers Logstash ou Elasticsearch. Winlogbeat, Agent léger conçu pour le transfert des logs d'événements Windows Auditbeat, Agent de collecte des données du Framework d'audit Linux Heartbeat, Agent de transfert léger conçu pour le monitoring de la disponibilité Functionbeat, Agent de transfert sans serveur conçu pour les données cloud Beats (GO)

14 Logstash (Java & Ruby) INPUT PLUGINS Ingérer tous les types de données possibles et imaginables  Beat  File  JDBC  http/tcp/udp/snmp  Kafka/JMS  Elasticsearch FILTRES PLUGINS Analysez et transformez vos données en temps réel  Aggregate (Corrélation)  CSV/JSON/XML  Translate (Enrichissement) OUTPUTS PLUGINS Choisissez votre data store et transportez vos données  File  Elasticsearch

15 Elasticsearch : Stockage, Indexation & Analyse Elasticsearch est un moteur de recherche et d'analyse RESTful distribué, capable de résoudre un nombre grandissant de cas d’usage. Élément clé de la Suite Elastic, il stocke de manière centralisée vos données et vous permet d'être préparé en toutes circonstances. RECHERCHE Elasticsearch vous permet d’effectuer et de combiner des recherches variées sur des données structurées, non-structurées, de géolocalisation ou indicateurs ANALYZE Les agrégations d'Elasticsearch vous permettent d'explorer les tendances et d'identifier des modèles à partir de vos données. RAPIDITÉ Étant donné que tout est indexé par le moteur « Lucene », vous pouvez accéder à vos données et les exploiter en un temps record. SCALABILITÉ Elasticsearch scale horizontalement pour traiter un nombre impressionnant d'événements par seconde, tout en gérant la façon dont les index et recherches sont distribués dans le cluster pour des opérations d'une fluidité sans pareille. RÉSILIENCE Elasticsearch opère dans un environnement hautement distribué conçu pour une tranquillité d’esprit perpétuelle. FLEXIBILITÉ Chiffre, texte, géo, structuré, non-structuré – tous les types de données sont les bienvenus !

16 Aujourd’hui, Business Intelligence et Big Data sont avant tout segmentés sur une question de technologies, principalement les bases de données qui ne sont pas les mêmes. Big Data & Business Intelligence | Segmentation Technologique Big Data permet de centraliser l’ensemble des données, dans tous les formats, en toute fiabilité et sécurité, et pour un coût très largement inférieur à celui des systèmes traditionnels de gestion de données (SGBD)

17 Elastic Stack Une Suite fiable et sécurisée, qui vous permet de collecter, décoder, transformer, enrichir, stocker massivement, rechercher, analyser et de visualiser vos données en temps réel. Et ce, quels que soient leur source ou leur format. Le tout, en open source. Agents légers conçus pour le transfert de données Agents lights délocalisé sur les serveurs pour le tranfer de données Centralisez, transformez et stockez vos données Transformation, Enrichissement, Corrélation et Ingestion Massive des données Stockage/Analyse (NoSQL, Rapide, Scalable, Résiliente, et Flexible) Elasticsearch est un moteur de recherche et d'analyse RESTful distribué, conçu pour répondre à une multitude de cas d'utilisation. Il centralise le stockage et l’analyse des données Visualisation/Stack Management Kibana vous permet de visualiser vos données Elasticsearch et de naviguer dans la Suite Elastic

18 Fonctionnalités de la Suite Elastic

19 Datawarehouse, CRM, Billing, Call Center, Identification