2 Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft

3 Data Warehousing – Data Warehouse aujourd’hui & Challenges Associés Vision Microsoft Appliance ??? Solutions Techniques – SQL Server Fast Track Data Warehouse Qu’est ce que SQL Fast Track Data Warehouse Futur – SQL Server Parallel Data Warehouse Architecture Matérielle Architecture Logicielle Distributed Data Warehouse Architecture Etapes suivantesEtapes suivantes Agenda

4 > 10TB 17% 34% 57% Appliances 78% 92% 82 % Croissance Marché Massive Parallel Processing Source – TDWI, “Next Generation Data Warehouse Platforms”

5 Solution Data Warehouse Complete Choix et flexibilité Evolutivité Massive à prix réduit Vision Microsoft Data Warehouse Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base Adminsitration Simplifiée du Data Warehouse

6 Appliance ??? Définition & DWH Définition générale – Dispositif, outil ou système conçu pour un usage particulier Transposition aux Entrepôts de Données : – Infrastructure matérielle dédiée – Logiciel SGBD dédié / Configuration optimisée – Service dédié (Assemblage/Installation/Maintenance…)

7 FC HBA A B FC HBA A B FC SWITCH STORAGE CONTROLLER A B A B CACHE SERVER CACHE SQL SERVER WINDOWS CPU CORES CPU Feed RateHBA Port RateSwitch Port RateSP Port Rate A B DISK LUN DISK LUN SQL Server Read Ahead Rate LUN Read RateDisk Feed Rate

8 Appliance ??? Avantages Avantages – Réduction des risques – Usage simplifié – Réduction drastique du « Time to Value » Système opérationnel en quelques heures – Performances garanties – Pas de dégradation de performances pour les autres utilisateurs du stockage – Meilleur ratio prix/performance

9 Pour aller là

10 Les écueils potentiels HBA Où placer les cartes ?

11 La bonne configuration HBA 1 sur 2 avec 2 slot 4x et 2 8x occupés

12 Les écueils potentiels Câblage Server 4 x Qlogic QLE Gbit dual port HBAs Storage 6 x AX4-5F DP Array Fabric 2 x Qlogic Sanbox 5802V 8Gb Fibre Switch 8 x 8Gb SPF (SPF4-SW-JD4) 6 x 4Pack 4Gb SPF (SPF8-SW-1PK) Où placer les SFPs? Comment connecter les SFPs au serveur et au SANs?

13 La bonne configuration Câblage Chaque switch à une connection vers chaque HBA Ports 8Gbit attachés au serveur 8GBit Connected to Switch 1 Connected to Switch 2

14 FC SWITCH STORAGE PROCESSOR A A B SERVER FC HBA A B FC HBA A B FC HBA A B FC HBA A B FC SWITCH STORAGE PROCESSOR B A B STORAGE PROCESSOR A A B STORAGE PROCESSOR B A B SAN 1 SAN 6 La bonne configuration Câblage

15 Câblage Les risques Problème facile à diagnostiquer Pas si facile

16 Pour aller là

17 Offres Appliance Microsoft SQL Server SQL Server Fast Track SQL Server Parallel Data Warehouse Solutions livrées prêtes à l’emploi ! Utilisation immédiate Performance du matériel et de la configuration logicielle garanties

18 Solutions Microsoft Data Warehousing Scalable and reliable platform for Data Warehousing on any hardware Reference Architectures offering best price performance for data warehousing Appliance for high end Data Warehousing requiring highest scalability, performance or complexity Ideal for data marts or small to mid-sized EDWs Ideal for large data marts or mid-sized EDWs Ideal for data marts or small to mid-sized DWs with scan centric workloads Offers flexibility in hardware and architecture Software only Reference Architectures (Software and Hardware) DW Appliance (Fully integrated Software and Hardware) Scale-Up DW Scale-Out DW with MPP 10s of TB 4 – 48 TB 10s - 100s of TB

19 SQL Server Fast Track Data Warehouse

20 SQL Server Fast Track Data Warehouse Solution pour accélérer les déploiements data warehouse

21 Composants Fast Track Data Warehouse Software: SQL Server 2008 Enterprise Windows Server 2008 Hardware: Tight specifications for servers, storage and networking ‘Per core’ building block Configuration guidelines: Physical table structures Indexes Compression SQL Server settings Windows Server settings Loading

22 Fast Track Data Warehouse 2.0

23 Configurations de Référence Fast Track 2.0

24 Fast Track 3.0 Machines 2 et 4 processeur disponibles (et testables !!!) Disponibilité 8 processeurs estimée à mi février Proc FT approx 1,8GB/sec approx 1,8GB/sec v2.0 v3.0 approx 3,5GB/sec approx 3,5GB/sec SAN 0,3GB/sec SAN 0,3GB/sec Higly Tuned SAN 1,5GB/sec Higly Tuned SAN 1,5GB/sec 4 Proc FT approx 4GB/sec approx 4GB/sec approx 7GB/sec approx 7GB/sec 8 Proc FT approx 8 GB/sec approx 8 GB/sec Testing => ?? GB/sec ??????? Testing => ?? GB/sec ??????? 3,5 comp 12,25 GB/sec 12,25 GB/sec 24,25 GB/sec 24,25 GB/sec Testing ?? GB/sec ?????? Testing ?? GB/sec ?????? MPP N * Débit Nominal d’1 noeud MPP N * Débit Nominal d’1 noeud

25 Vidéo Fast Track en action (Centre de performance HP de Boebligen)

26 SQL Server Parallel Data Warehouse

27 Offre appliance Enterprise Data Warehouse High End – Haute évolutivité - Dizaine à centaines de terabytes – Haute performance grâce à un système MPP Flexibilité et choix – Plusieurs Fournisseurs matériel possibles – Possibilité de déploiement au travers d’architecture distribuées Solution la plus complète – Solution data warehouse complète couvrant le poste de travail, data warehouse d’ enterprise (EDW), et les data marts – Intégration forte avec l’offre de business intelligence Microsoft – Outillage complet: BI, ETL, MDM, et streaming data Introduction à Parallel Data Warehouse

28 Une nouvelle vision du Data Warehouse “High Scale “ Tire parti des solutions data marts et data warehouse existantes Configurations pré-testées pour réduire le risque d’implémentation Solution BI complète Plusieurs choix matériels Pas de contrainte fournisseur Support des data marts, implémentations Fast Tracks, et hubs MPP Options de stockage et traitement adaptable à vos besoins Architecture “Ultra shared nothing” Performance et évolutivité grâce à l’exécution en parallèle des opérations Interopérabilité avec les solutions BI existantes High End Enterprise Data Warehouse Flexibilité et choix Solution la plus complète

29 Control Rack Data Rack Control Nodes Landing Zone Built-in Backup

30 Appliance Parallel Data Warehouse Appliance Parallel Data Warehouse Architecture matérielle Compute Nodes Dual Infiniband Control Nodes Active/Passive Landing Zone Backup Node Storage Nodes Spare Database Server Dual Fiber Channel Management Servers Client Drivers ETL Load Interface Corporate Backup Solution Data Center Monitoring Monitoring Corporate Network Private Network Star Schema Or Normalized Data Star Schema Or Normalized Data Data stored on servers Backup Data

31 Control Rack Data Rack Apports PDW– Traitement parallèle massif Requête 1 La requête 1 est soumise à SQL Server sur le Control Node ? ? ? ? ? ? ? ? ? ? La requête est exécutée sur les 10 noeuds Le résultat est envoyé au client

32 Control Rack Data Rack Apports PDW– Traitement parallèle massif Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra shared nothing hautement performants. Requêtes multiples exécutées simultanément sur tous les noeuds PDW supporte le requêtage pendant le chargement de données. ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

33 Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise. La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services Permet le support de groupe utilisateurs ayant des SLA différents: Performance Capacité Chargement Concurrence Sécurité Architecture Data Warehouse distribuée Flexibilité et alignement Business

34 Vidéo Parallel Data Warehouse en action (Centre de performance HP de Boebligen) HP : Jour : :00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229)

35 Microsoft Data Warehousing 2008Beyond Enterprise ETL Services Star Join Query Optimizations DW Reference Architectures Predictable performance at low cost Faster time to solution Fast Track Data Warehouse Massively scalable DW appliance MPP with Shared nothing architecture Managed Self-Service BI Application & Multi-Instance Management Master Data Services Stream Data Processing “Denali” Column Store Data Quality Services Enhanced ETL Capabilities vNext 3.0 Fast Track Data Warehouse 2011

36 Pour en savoir plus ou aller plus loin – Microsoft Technology Center (Issy) – Microsoft Data Warehousing portal Microsoft Data Warehousing portal – Pages Web Fast Track et Parallel Data Warehouse Fast TrackParallel Data Warehouse – TechNet - SQL Server DW PortalDW Portal – Sessions techdays » BULL : Jour 1 – 13 :00 – 14 :00 - Optimisation de flux de données sous Fast Track, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR104) » HP : Jour : :00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229) OU MERCI !!!