La Passerelle de données locales Nicolas Georgeault CEO – Principal Product Manager
Objectifs Vous souhaitez utiliser vos données pour vos services Office 365 dans le cloud? Qu’est ce que la Passerelle de données locales Comment compléter une installation Hybride pour les services de Power BI, Microsoft Flow, PowerApps, Azure Logic Apps et Azure Analysis Services.
La situation Infrastructures hybrides Données encore conservées localement Applications locales vieillissantes – PowerApps Applications de visualisation des données – Power BI Automatisation de processus – Flow/Logic Apps
Exploiter ses données dans Power BI 3 options principales: Import DirectQuery Connexions de service Données importées dans Power BI Données chargées en flux
Sources de données supportées Sources infonuagiques Sources SaaS Azure – SQL, DW, Blob, Table, HDInsight, Marketplace SharePoint, web sources, Odata OneDrive Sources locales SQL Server, Teradata, Oracle, DB2, MySQL, PostgreSQL, SAP BW, SAP HANA Sybase, Access, Custom SQL, Custom ODBC Drivers SQL Server Analysis Services Files/folder, SharePoint on-Premices
Passerelle de données Locales Situation Microsoft Azure (Région B) Office 365 (Région A) Passerelle de données Locales Latence Latence Data source
Passerelle de données Locales Situation Microsoft Azure (Région B) Office 365 (Région A) Passerelle de données Locales (Région C) Latence Data source
Passerelle de données Locales Situation Microsoft Azure (Région B) Office 365 (Région A) Passerelle de données Locales (Région C) Data source (Region D)
Démo – Installation La passerelle de données locales
Démo – Définition des sources La passerelle de données locales
A quoi ca ressemble…
Rafraichissement des données La passerelle de données locales
Les options de rafraichissement Import (Mode cache) DirectQuery ou connexion directe Fréquence de rafraichissement Programmée – Demi-heure ou journalière Temps réel Performance Pas de delais notables comme les données sont deja en cache Depend de la Vitesse de requetage de la source de donnees comme les requetes sont executes en temps réel Stockage des donnees dans Power BI Avec le cache, les données sont conservées dans le nuage Aucunes données conservées dans Power BI. Les données sont toujours locales Taille des données Limite actuelle de 1GB (Compressée) par modèle La taille de la base de données locale est la seule limite Row level Security Pas de support du RLS pour les données locales Réutilisation du RLS du service Analysis Services.
Data Gateway - Personnelle Rafraichissement en self-Service sans aucune dépendance aux IT Facile à déployer et utiliser. Assistant pour la station locales 1 seule Passerelle personnelle par utilisateurs Fonctionne en mode service ou application
Personnelle v/s On Premises data gateway Passerelle Personnelle On-premises data gateway Utilisateur cible Les analystes d’affaire autonomes qui installent et utilisent la passerelle pour leur données Les Administrateurs BI font l’installation pour la compagnie De multiple utilisateurs se connectent a la passerelle Usage Directement par l’analyste Un administrateur BI Fonctionnalités Importe avec un rafraichissement planifié DirectQuery et rafraichissement planifié Les connexions aux sources sont controlees par l’utilisateurs Gestion des sources de donnees centralisée et controle des accès Pas de controle centralisé Monitoring et controle centralisé Services supportés Power BI Power BI, Power Apps, Microsoft Flow, Azure Logic Apps et Azure Analysis Services
Comment ca marche… Installer et configurer la passerelle Créer une source de donnée et planifier le rafraichissement Interagir avec le rapport, planifier le rafraichissement ou mettre a jour Le service de la passerelle pousse vers le Service Bus Azure La passerelle interroge le bus pour voir si il y a des requêtes La passerelle traite la requête et décrypte l’authentification La passerelle se connecte et exécute la requête La passerelle envoi les résultats
Considérations du Pare-feu Ports sortants 443 5671, 5672 9350-9354 Nom de domaine Ports sortant *.powerbi.com 443 *.analysis.windows.net *.login.windows.net *.servicebus.windows.net 443, 5671-5672, 9350-9354 *.frontend.clouddatahub.net *.core.windows.net Login.microsoftonline.com Login.windows.net
Démo – Planification du rafraichissement La passerelle de données locales
Tabulaire v/s Multidimensionnel Type Description de la modélisation Diffusion Tabulaire Constructions de modélisation relationnelle (modèle, tables, colonnes). En interne, les métadonnées sont héritées de constructions de modélisation OLAP (cubes, dimensions, mesures). Le code et les scripts utilisent des métadonnées OLAP. SQL Server 2012 et versions ultérieures (niveaux de compatibilité 1050-1103) 1 Tabulaire dans SQL Server 2016 Relationnelle constructions (modèle, tables, colonnes), exprimées dans les définitions des objets dans les métadonnées tabulaires de modélisation TMSL Tabular Model Scripting Language () et le modèle d’objet tabulaire (TOM) code. SQL Server 2016 (niveau de compatibilité 1200) Tabulaire dans SQL Server 2017 Relationnelle constructions (modèle, tables, colonnes), exprimées dans les définitions des objets dans les métadonnées tabulaires de modélisationTMSL Tabular Model Scripting Language () et le modèle d’objet tabulaire (TOM) code. SQL Server 2017 (niveau de compatibilité 1400) (Multidimensionnel) Constructions de modélisation OLAP (cubes, dimensions, mesures). SQL Server 2000 et versions ultérieures Power Pivot À l’origine un complément, désormais entièrement intégré dans Excel.Modélisation uniquement, sur une infrastructure tabulaire interne. Vous pouvez importer un modèle PowerPivot dans SSDT pour créer un modèle tabulaire s’exécutant sur une instance Analysis Services. Via Excel et Power BI Desktop https://docs.microsoft.com/fr-fr/sql/analysis-services/comparing-tabular-and-multidimensional-solutions-ssas
Démo – Azure et LogicApps La passerelle de données locales
Connecteurs locaux Logic Apps
Microsoft SharePoint Server 2013 Bonnes pratiques Utilisez le mode entreprise, par opposition au mode personnel. Recommandations pour la passerelle: 8 cœurs CPU, 16 Go de RAM. Configuration de la surveillance Escalade ou mise à l'échelle Separer l’Importation distincte par rapport à DirectQuery Configuration de la surveillance des performances sur l'ordinateur de passerelle comprendre si la passerelle devient surchargée et devient un goulot d'étranglement. Pour plus d'informations, consultez Dépannage de la passerelle de données locale. Si la passerelle devient un goulot d'étranglement, envisagez l’upgrade ou de la multiplication de passerelles en clusters ou non. En cas de multiplication des passerelles, envisagez de séparer les passerelles responsables de l'import par rapport aux responsables de DirectQuery. © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Microsoft SharePoint Server 2013 Latence réseau Vérifiez la région dans laquelle se trouve votre instance Power BI Utilisez Azure speed test pour évaluer la latence Conserver les sources de données, les passerelles et votre cluster de puissance bi le plus près possible Pour améliorer la latence du réseau, pensez à utiliser Azure ExpressRoute. © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Sources Guy in a cube: Documentation: https://www.youtube.com/watch?v=nRJvTuEDFwk Documentation: http://aka.ms/logicapps-gateway Performance de la passerelle: https://docs.microsoft.com/en-us/power-bi/power-bi-reports-performance