La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS.

Présentations similaires


Présentation au sujet: "#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS."— Transcription de la présentation:

1 #JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS

2 #JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS SSIS Design Patterns David Joubert Thomas Ricquebourg

3 #JSS2013 Merci à nos sponsors

4 #JSS2013 Thomas Ricquebourg – Consultant décisionnel – Blog : BIppy & Smile (thomasricquebourg.wordpress.com/)thomasricquebourg.wordpress.com/ David Joubert – Architecte décisionnel – Blog : La BI et les outils Microsoft (joubertd.blogspot.fr)joubertd.blogspot.fr – Twitter Les speakers

5 #JSS2013 Introduction Pourquoi des design patterns ? Points forts et points faibles de SSIS Exemple de design patterns – Paralléliser des traitements – Chargement de fichiers – Gestion du SCD – Gestion des Upsert – Range Lookup – Gestion des NULL substitution Conclusion Agenda

6 #JSS2013 SQL Server 7 : Data Transformation Services (DTS) – Ancêtre de lETL sur SQL Server (Plutôt ELT dailleurs) SQL Server 2005 : SQL Server Integration Services – Refonte complet de lETL de Microsoft Releases mineures sur SQL Server 2008/2008R2 Release majeure sur SQL Server 2012 Release mineure sur SQL Server 2014 SSIS : petite chronologie de lETL chez Microsoft

7 #JSS2013 Aujourdhui, laccent est mis sur la BI Self-Service où lutilisateur importe directement ses données MAIS Si vous voulez… – alimenter un data warehouse – batcher des traitements – aller plus loin que la seule importation des données Si vos volumétries sont importantes SSIS reste votre principal allié Il faut sauver le soldat SSIS

8 #JSS2013 Quest-ce cest ? – Modèles de conception répondant à des problématiques récurrentes Pourquoi ? – Pour optimiser et rationaliser le développement Comment, quand et où ? – En utilisant les bons composants pour chaque situation qui se présente dans notre outil de développement Pourquoi des design patterns ?

9 #JSS2013 « Je suis un smiley … Ou pas ?»

10 #JSS2013 « Je suis un smiley ! »

11 #JSS2013 « On dirait un chargement de DWH… ou des flux de données spécifiques »

12 #JSS2013 « Cest un chargement parallélisé de DWH avec un DFT de dimension SCD1 »

13 #JSS2013 Dépend de plusieurs paramètres Application à SSIS Outil de développement SSDT Données & Volumétrie Infrastructure & Performance Compétences & Ressources

14 #JSS2013 Optimiser ses packages bien connaître loutil Points forts et points faibles de SSIS Points FortsPoints Faibles -Outil complet -Forte maintenabilité -Travail en mémoire -Bonne ergonomie -Parfois moins performant que du script SQL -Gestion de métadonnées figée -Scénario

15 #JSS2013 Points forts et points faibles de SSIS Important de connaître le caractère synchrone ou asynchrone des composants BloquantSemi Bloquant Non bloquant Conditionnal SplitX Data ConversionX Derived ColumnX LookupX MulticastX MergeX Merge JoinX Union AllX PivotX AggregateX SortX

16 #JSS2013 Moteur SQL VS SSIS Démo

17 #JSS2013 La parallélisation peut être appliquée sur les 3 objets de SSIS: – Package – Control Flow – Data Flow Efficace pour gagner en performance Propriétés : MaxConcurrentExecutables et EngineThreads => Diviser votre solution en operations simples permettra une plus grande facilité de parallélisation Parallélisation

18 #JSS2013 Parallélisation Démo

19 #JSS2013 Plus que la performance, il sagit ici de rationaliser et duniformiser le chargement de ses fichiers : – Fichiers multiples (boucle foreach) – Gestion des erreurs – Gestion des types – Archivage Chargement de fichiers

20 #JSS2013 Package de chargement dun fichier csv Démo

21 #JSS2013 Concept de base en Business Intelligence Composant existant dans SSIS, optimisation à apporter à la configuration de base. Composants tiers disponibles : Kimball Method SCD (payant sur 2012) SCD - Slowly Changing Dimension

22 #JSS2013 Utilisation du composant SCD de base dans SSIS et Optimisation Démo

23 #JSS2013 Cas particulier du SCD 1 On insère ou on update les lignes 3 (en plus du composant SCD vu précédemment) possibilités : – Double lookup – Double lookup vers table temporaire – Script SQL avec MERGE Upsert

24 #JSS2013 Comparaison de 3 packages avec les 3 possibilités dupsert Démo

25 #JSS2013 Le range lookup correspond à un lookup sur une theta-jointure On attend la feature depuis possiblités : – Lookup – Conditionnal split – Script – SQL Range Lookup

26 #JSS2013 Différence entre les 3 packages avec range lookup Démo

27 #JSS2013 Lorsque vous récupérez les lignes qui ne matchent pas sur un lookup Vous remplacez le NULL par la clé inconnue => Plus judicieux de configurer du « Ignore Error » et de remplacer les NULL en une seule fois Dernière petite astuce : NULL Substitution

28 #JSS2013 Package avec NULL Substitution Démo

29 #JSS2013 Oui il existe des design pattern pour nous faciliter la vie Attention : utiliser des design patterns, ce nest pas uniquement améliorer la performance. Il y a des contraintes dergonomie et de maintenabilité à prendre en compte Aujourdhui, la réutilisation des composants et des packages nest pas aisée : mais bon espoir pour demain via BIML par exemple : Conclusion

30 #JSS2013 Pour aller plus loin

31 #JSS2013 Questions

32 #JSS2013 MERCI

33 #JSS2013


Télécharger ppt "#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS."

Présentations similaires


Annonces Google