La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS.

Présentations similaires


Présentation au sujet: "#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS."— Transcription de la présentation:

1 #JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS

2 #JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS Parallel Data Warehouse: The Data Warehouse Consolidation Appliance Lionel Pénuchot PDW Center of Excellence

3 #JSS2013 Aperçu de SQL Server PDW SSAS + PDW: la dream team Consolidation Les principales évolutions de lappliance Une démo peut-être ? Agenda

4 #JSS2013 3/4 Rack 45.3TB (Raw) Reserved Space (9U) Data Integration Platform server Passive Unit (adds Failover Node) Future expansion Reserved Space (8U) Data Integration Platform server Passive Unit (adds Failover Node) Future expansion Infiniband Ethernet Control Node Failover Node JBOD 1 Compute Node 1 Compute Node 2 JBOD 2 Compute Node 3 Compute Node 4 JBOD 3 Compute Node 5 Compute Node 6 JBOD 4 Compute Node 7 Compute Node 8 Reserved Space PDW Backplane (6U): Redundant Infiniband Redundant Ethernet Management and control (Active) Rack Failover Node (Passive) Base Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB ¼ Rack 15.1TB (Raw) 1/2 Rack 30.2TB (Raw) Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Full Rack 60TB (Raw) Infiniband Ethernet Failover Node JBOD 5 Compute Node 9 Compute Node 10 JBOD 6 Compute Node 11 Compute Node 12 JBOD 7 Compute Node 13 Compute Node 14 JBOD 8 Compute Node 15 Compute Node 16 Reserved Space Extension Base Unit (5U): Redundant Infiniband Redundant Ethernet Rack Failover Node (Passive) Extension Base Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75TB 1¼ Rack 75.5TB (Raw) Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB 3 Rack 181.2TB (Raw) 1 1/2 Rack 90.6TB (Raw) 2 Rack 120.8TB (Raw) Infiniband Ethernet Failover Node JBOD 9 Compute Node 17 Compute Node 18 JBOD 10 Compute Node 19 Compute Node 20 JBOD 11 Compute Node 21 Compute Node 22 JBOD 12 Compute Node 23 Compute Node 24 Reserved Space Extension Base Unit (5U): Redundant Infiniband Redundant Ethernet Rack Failover Node (Passive) Extension Base Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/Ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Reserved Space (9U) Data Integration Platform server Passive Unit (adds Failover Node) Future expansion Scale Unit (7U): 2 HP 1U servers (16 cores/Ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Scale Unit (7U): 2 HP 1U servers (16 cores/ea. Total: 32) JBOD 5U 1 TB drives User data capacity: 75 TB Configuration HP

5 #JSS2013 1/3 Rack 22.6TB (Raw) 2/3 Rack 45.3TB (Raw) Full Rack 67.9TB (Raw) Base Unit (6U): Redundant Infiniband Redundant Ethernet Management and Control (Active) Rack Failover Node (Passive) Base Unit (10U): 3 servers in 2U enclosure (16 cores/ea. Total: 48) 2 JBOD 4U ea. 1 TB drives User data capacity: 79 TB Scale Unit (10U): 3 servers in 2U enclosure (16 cores/ea. Total: 48) 2 JBOD 4U ea. 1 TB drives User data capacity: 79 TB Reserved Space (6U) Passive Unit (adds Failover Node) Future expansion Infiniband Ethernet Control Node Failover Node JBOD 2 Compute Node 2 Compute Node 3 JBOD 1 Compute Node 1 JBOD 5 Compute Node 8 Compute Node 9 JBOD 6 Compute Node 7 Scale Unit (10U): 3 servers in 2U enclosure (16 cores/ea. Total: 48) 2 JBOD 4U ea. 1 TB drives User data capacity: 79 TB Reserved Use JBOD 3 Compute Node 5 Compute Node 6 JBOD 4 Compute Node 4 JBOD 1 Compute Node 2 Compute Node 3 JBOD 2 Compute Node 1 Dell configuration

6 #JSS2013 Architecture logiciel Détails généraux Tous les serveurs sont sous Windows Server 2012 Standard Toutes les VMs sont sous Windows Server 2012 Standard Les tâches de type fabric et workload sont dans des VMs Fabric VM, MAD01, and CTL partagent un serveur Cela permet de réduire le surcoût spécialement pour les petites configurations Lagent PDW tourne sur tous les hosts et toutes les VMs DWConfig and Admin Console existent toujours La technologie Windows Storage Spaces gère le mirroring et les secours, ainsi cela permet de réduire les coûts en utilisant du DAS (JBODs) plutôt que du SAN Détails du moteur PDW SQL Server 2012 Enterprise Edition (PDW build) sur le control node et sur les compute nodes Détails sur le stockage Similaire à la V1 Double de datafiles par filegroup Plus de disques physiques en parallèle HST02 HST01 HSA01 HSA02 JBOD IB and Ethernet Direct attached SAS CTL MAD FAD VMM Compute 2 Compute 1 Window Server 2012 Standard PDW engine DMS Manager SQL Server 2012 Enterprise Edition (PDW build) Shell databases Window Server 2012 Standard DMS Core SQL Server 2012 Enterprise Edition (PDW build)

7 #JSS2013 Extensions possibles DELLBaseActiveComputeCapacity inc.SpareTotalRaw disk: 1TBRaw disk: 3TBCapacity One third-rack103N/A1522.6567.9579-340 TB Two thirds116100%1845.3135.9159-680 TB Full rack12950%11167.95203.85238-1019 TB One & third221233%21590.6271.8317-1359 TB One & two thirds231525%218113.25339.75396-1699 TB Two racks241820%221135.9407.7476-2039 TB Two & a third342117%325158.55475.65555-2378 TB Two & two thirds352414%328181.2543.6634-2718 TB Three racks362713%331203.85611.55713-3058 TB Four racks483633%441271.8815.4951-4077 TB Five racks5104525%551339.751019.251189-5096 TB Six racks6125420%661407.71223.11427-6116 TB HPBaseActiveComputeIncr.SpareTotalRaw disk: 1TBRaw disk: 3TBCapacity Quarter-rack102N/A1415.145.353-227 TB Half114100%1630.290.6106-453 TB Three-quarters12650%1845.3135.9159-680 TB Full rack13833%11060.4181.2211-906 TB One-&-quarter231025%21375.5226.5264-1133 TB One-&-half241220%21590.6271.8317-1359 TB Two racks261633%219120.8362.4423-1812 TB Two and a half372025%324151453529-2265 TB Three racks392420%328181.2543.6634-2718 TB Four racks4123233%437241.6724.8846-3624 TB Five racks5154025%5463029061057-4530 TB Six racks6184820%655362.41087.21268-5436 TB Seven racks7215617%764422.81268.41480-6342 TB 2–56 nodes 15 TB–1.3 PB raw Up to 6 PB user data 2–3 node increments for small topologies

8 #JSS2013 PDW + MOLAP PDW + ROLAP PDW + TABULAR Direct Query SSAS + PDW: la dream team

9 #JSS2013 EnableRolapDistinctCountOnDataSource=1 ROLAPDimensionProcessingEffort>=300000 Connexion via le client natif SQL Server SNAC 11. Les prérequis SSAS

10 #JSS2013 Inventaire des cubes et de leurs Data Warehouse Migration vers PDW – Répliquer les tables de dimensions – Distribuer les tables de faits – Distribuer les tables de dimensions changeantes – Pas dindex – CCI (Clustered Column Store Index) Prérequis PDW

11 #JSS2013 Gain processing – Les temps de processing peuvent être réduits à 10% du temps initial. – Le processing tire antièrement partie du réseau Infiniband de lappliance – Cubes et dimensions inchangés Gain stockage – Pas dindex – Stockage In-memory columnstore. PDW + MOLAP

12 #JSS2013 Gain processing – Processing immédiat Gain stockage – Pas de données stockée par SSAS – Pas dindex – Stockage In-memory columnstore. PDW + ROLAP

13 #JSS2013 Gain processing – Processing immédiat Gain stockage – Pas de données stockée par SSAS – Pas dindex – Clustered column store index. Plusieurs modes – DirectQuery – InMemoryWithDirectQuery – DirectQueryWithinMemory PDW + TABULAR Direct Query

14 #JSS2013 PDW User space SSAS ROLAPMOLAPTABULAR Exemple de consolidation 1 IB

15 #JSS2013 PDW User spaceSSAS Example de consolidation 2 IB

16 #JSS2013 PDW User space Sharepoint 2013 + Excel Services Example de consolidation 3 IB

17 #JSS2013 Appliance Update Fréquence : tous les 6 mois Les principales évolutions de lappliance

18 #JSS2013 Région dédiée Hadoop Appliance préassemblée et préconfigurée Massively Parallel Processing (MPP) jusquà 6 PBs In-memory columnstore : jusquà 100x plus rapide Région dédiée Hadoop Requêtes SQL sur données relationnelles et Hadoop Disponible auprès de HP et Dell SQL Server Parallel Data Warehouse

19 #JSS2013 Extension du stockage en petabytes Massively Parallel Processing (MPP) parallelise les requêtes Multiple noeuds avec CPU, mémoire et stockage dédiés Ajout incrémental de HW pour une augmentation quasi linéaire en volume et performance Ajout de capacité par incrément dans la même appliance Scale OUT Des Terabytes aux Multi-Petabytes

20 #JSS2013 Différentes options de déploiement et solutions hybrides

21 #JSS2013 Windows Azure

22 #JSS2013 Intégration relationel et non-relationel Requête relationelle et Hadoop en parallèle Requête unique Pa besoin dETL dHadoop vers DW Requête Hadoop à laide de T-SQL Requête relationelle + non relationelle SQLRésultat Données relationelles PolyBase Requête integrant PolyBase in SQL PDW

23 #JSS2013 Démo

24 #JSS2013 Questions ?

25 #JSS2013 Merci à nos sponsors

26 #JSS2013 http://www.microsoft.com/en-us/sqlserver/solutions- technologies/data-warehousing/pdw.aspx http://www.microsoft.com/en-us/sqlserver/solutions- technologies/data-warehousing/pdw.aspx http://download.microsoft.com/download/4/2/6/42616D7 1-3488-46E2-89F0- E516C10F6576/SQL_Server_to_SQL_Server_PDW_Migration _Guide.pdf http://download.microsoft.com/download/4/2/6/42616D7 1-3488-46E2-89F0- E516C10F6576/SQL_Server_to_SQL_Server_PDW_Migration _Guide.pdf http://blogs.technet.com/b/sql/archive/2013/11/12/sql- server-chez-les-clients-parallel-data-warehouse.aspx http://blogs.technet.com/b/sql/archive/2013/11/12/sql- server-chez-les-clients-parallel-data-warehouse.aspx Références

27 #JSS2013


Télécharger ppt "#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS."

Présentations similaires


Annonces Google