SQLSaturday Paris 2015 La BI dans le Cloud Quelles solutions ? Franck Microsoft.

Présentation au sujet: "SQLSaturday Paris 2015 La BI dans le Cloud Quelles solutions ? Franck Microsoft."— Transcription de la présentation:

1 SQLSaturday Paris 2015 La BI dans le Cloud Quelles solutions ? Franck Mercier @franmerMS Microsoft

2 SQLSaturday Paris 2015 Merci à nos sponsors…

3 SQLSaturday Paris 2015 Merci à nos volontaires…

4 SQLSaturday Paris 2015 Agenda  Pourquoi le Cloud ?  Quelles solutions  Solution IaaS (Complète ou hybride)  Solution PaaS (Complète ou hybride)  Solution SaaS (Complète ou hybride)  Comment y aller ?  Big bang, par fonctionnalité, par périmètre fonctionnel,…

5 SQLSaturday Paris 2015 Qui est responsable de quoi ? Qui contrôle quoi ? Sur site Storage Servers Networking O/S Middleware Virtualization Applications Data Runtime Service Informatique IaaS public Storage Servers Networking O/S Middleware Virtualization Applications Data Runtime Fournisseur de Cloud Client du service PaaS public Fournisseur de Cloud Client du service Storage Servers Networking O/S Middleware Virtualization Data Runtime Applications SaaS public Fournisseur de Cloud Storage Servers Networking O/S Middleware Virtualization Data Runtime Applications

6 SQLSaturday Paris 2015 Storage Blob, Table Database Low cost High Availability Le Cloud Extensible Large choice of services Real-Time capabilities APIs to extend functionality Add new capabilities Allow for inclusion in custom environments Automated Failover Unmonitored failover to replicated data Built for resiliency Metadata stored for later retrieval Hyper-Scale Add resources as desired Built to include commodity configs Direct correlation of performance and resources Distributed Compute Distributed processing Resource Utilization Cost-Efficient method calls

7 SQLSaturday Paris 2015 Evolution de la BI 7 Data sources Increasing data volumes 1 Real- time data 2 Non-Relational Data New data sources & types 3 Cloud-born data 4

8 SQLSaturday Paris 2015 Pourquoi la BI dans le Cloud ? Speed Scale Economics Always Up, Always On Open and flexible Time to value Data of all Volume, Variety, Velocity Massive Compute and Storage Real Time

9 SQLSaturday Paris 2015 BI et machines virtuelles Azure Infrastructure as a Service (IaaS)

10 SQLSaturday Paris 2015 Server Cloud Continuum Low Control Shared Lower cost Dedicated Higher cost High Control 100% Compatible Rapidité de mise en service 100% Compatible Rapidité de mise en service Server dans WA VM - IaaS Machine virtuelle Server Machine physique Contrôle total du matériel Gestion de votre solution de PRA Contrôle total du matériel Gestion de votre solution de PRA Machine en libre service Contrôle total du matériel Machine en libre service Contrôle total du matériel Server cloud privé Machines virtuelles on-premises

11 SQLSaturday Paris 2015 BI In IaaS: Full Cloud Points de terminaisons Stockage Blob Azure (VHDs) SQL Server Domain Controller (Active Directory) Ferme SharePoint Virtual Network  Contrôle complet de l’infrastructure  Installation classique des composants BI  Aucune gestion de machines physiques  Toutes les données sont dans le Cloud

12 SQLSaturday Paris 2015 Le Continuum du Cloud Computing Vous avez le choix dans l’évolution de votre SI !!! Cloud hybride Datacenter traditionnel Datacenter virtualisé Cloud public Cloud privé

13 SQLSaturday Paris 2015 Tunnel VPN BI In IaaS : Hybride Points de terminaisons Stockage Blob Azure (VHDs) SQL Server Domain Controller (Active Directory) Ferme SharePoint Virtual Network Infrastructure sur site Les données restent sur site

14 SQLSaturday Paris 2015 Demo BI dans une machine virtuelle Azure : http://frite.cloudapp.nethttp://frite.cloudapp.net

15 SQLSaturday Paris 2015 Full Cloud BI PaaS & SaaS

16 SQLSaturday Paris 2015 Solution « Full Cloud »  Idéal pour de nouveaux projets  Lors de traitement de larges volumes de données « brutes »  Utilisation de services pour :  Le stockage de toutes les données  Transformer les données  Visualiser les données

17 SQLSaturday Paris 2015 SQL Server Cloud Continuum Low Control Shared Lower cost Dedicated Higher cost High Control 100% Compatible Rapidité de mise en service 100% Compatible Rapidité de mise en service Server dans WA VM - IaaS Machine virtuelle Server Machine physique Contrôle total du matériel Gestion de votre solution de PRA Contrôle total du matériel Gestion de votre solution de PRA Service de base de données Peu d’administration technique Service de base de données Peu d’administration technique Base de données virtualisée Azure SQL Database - PaaS Machine en libre service Contrôle total du matériel Machine en libre service Contrôle total du matériel Server cloud privé Machines virtuelles on-premises

18 SQLSaturday Paris 2015 Data Usage SSRS SharePoint BI Excel BI Power BI Azure Marketplace Data ProcessingStorage Event Processing MAHOUT HIVE OOZIE SQOOP PIG SQL Server Analysis Services (IaaS) Azure HDInsight (Hadoop) Azure Machine Learning Data Warehouse Azure Document DB Azure SQL DB HBase on Azure HDInsight Azure Blob Storage Azure Event Hubs Storm on Azure HDInsight Azure Stream Analytics Services Azure pour la donnée AZURE DATA FACTORY

19 SQLSaturday Paris 2015 Azure Data Factory  Service Azure pour la création et la mise en œuvre de « pipeline » de données  Composer des services de transformations et mouvements de données  Supporte les sources de données Cloud et sur site => Scénarios hybrides  Administration centralisée

20 SQLSaturday Paris 2015 Call Log Files Customer Table Call Log Files Customer Table Customer Churn Table Data Factory Concepts Data SourcesIngestTransform & AnalyzePublish Customer Call Details Customer s Likely to Churn

21 SQLSaturday Paris 2015 Data Usage SSRS SharePoint BI Excel BI Power BI Azure Marketplace Data ProcessingStorage Event Processing MAHOUT HIVE OOZIE SQOOP PIG SQL Server Analysis Services (IaaS) Azure HDInsight (Hadoop) Azure Machine Learning Data Warehouse Azure Document DB Azure SQL DB HBase on Azure HDInsight Azure Blob Storage Azure Event Hubs Storm on Azure HDInsight Azure Stream Analytics Services Azure pour la donnée AZURE DATA FACTORY

22 SQLSaturday Paris 2015 Cloud BI : Exemple d’architecture  500 To de données  Stockage répliqué 3x  Plusieurs Po de données  Mise à l’échelle indépendante des données et des calculs  Architecture MPP (Massive Parallel Processing)  Polybase  Sauvegarde automatique des données  … …  Solution Cloud d’analyse de données  Création de rapports interactifs  Aucune installation  Nombreux connecteurs vers tous types de données (fichiers, services SaaS, services PaaS, données hybrides)  Accès au service via :  Un navigateur web  Une application (iPhone, Android, Windows)  Power BI Desktop

23 SQLSaturday Paris 2015 Hybrid architecture Paas & SaaS “Je ne veux pas voir mes données dans le Cloud !”

24 SQLSaturday Paris 2015 Connexion “live” aux données “on-premises” Direct Connect & Scheduled Data Refresh

25 SQLSaturday Paris 2015 Power BI Scénario hybride avec SSAS Tabular connector et Personal Gateway

26 SQLSaturday Paris 2015 Power BI architecture

27 SQLSaturday Paris 2015 PaaS Architecture Real Time BI and Data Intelligence

28 SQLSaturday Paris 2015 Architecture Lambda

29 SQLSaturday Paris 2015 Architecture Lamdba

30 SQLSaturday Paris 2015 Real Time Twitter Analytics Worker Role Event Hub Machine Learning Stream Analytics Blob Storage Worker Role Streaming API Sentiment Analysis Streaming API Sentiment Analysis Filtered Tweets Archive Stream Analytics Aggregate Tweets by topics Aggregate Tweets Real time Dashboard HDInsight Excel / Power BI Desktop Hive / Power query Twitter Sentiment 140 Event Hub Filtered Tweets Stream Analytics Event Hub Power BI Real time

31 SQLSaturday Paris 2015 Demo : BI temps réel http://franmertweet.azurewebsites.net/

32 SQLSaturday Paris 2015 Comment y aller ?

33 SQLSaturday Paris 2015 Nouveau projet ? Comment y aller ? Données dans le Cloud ? Oui Non Oui Solution PaaS Migration des données Oui SSIS ADF Non Solution Hybride ? Non Projet BI classique SQL Server DataZen Server Oui Solution PaaS ? Non Machines virtuelles avec VPN Oui Connecteurs ? Oui SSAS Tabular connector ou Personal Gateway Non Mouvement des données dans un stockage* Azure : SSIS/ADF * Blob, SQL Db, NoSQL,…

34 SQLSaturday Paris 2015 BI dans le Cloud- Options

35 SQLSaturday Paris 2015 Et c’est tout ?  Azure Data Lake  Stockage de la donnée telle quelle est :  structurées, semi-structurées ou non structurées  Pas de limite de taille  Très faible latence  Supporte toutes les applications Hadoop  Optimisé pour les scénarios :  IoT  Détection de fraudes  …

36 SQLSaturday Paris 2015 …Et en plus on peut gagner des cadeaux http://GUSS.pro/sqlsat