Analyse comparative des fonctionnalités OLAP Entre DB2, Oracle et SQL-Server Jocelyn (¼ minute) : Ouverture de la présentation. Présentation de l'équipe. Introduction du sujet. Business Intelligence, Data Warehousing, OLAP = buzwords. Beaucoup de battage publicitaire autour de ces concepts. Nous avons chercher à faire un peu de lumière sur le sujet. Jocelyn Labrèche Mohamed Takim Souad Kartti

Démarche d'analyse Étude individuelle des solutions proposées par IBM, Oracle et Microsoft. Grille d'analyse comparative. Architecture, Performance, Implémentation, Administration, Interface utilisateur et API, Fonctionnalités Ressources utilisées : Manuels techniques des fournisseurs de SGBD, installation d'essai,Internet. Comparaison d'un point de vue fonctionnel. Pourquoi pas une comparaison sur la performance ? Difficultés rencontrées … Jocelyn (1~2 minutes) : Explication de la démarche suivie. Chaque équipier a procédé à une étude individuelle d’un SGBD majeur actuel. Les SGBD retenus sont DB2 (Jocelyn), Oracle (Takim), SQL-Server (Souad). Justification du choix de SGBD. Les plus répandus dans l’industrie. Les trois fournisseurs cherchent à percer le secteur du Business Intelligence. Considération de tous les éléments pertinents à OLAP. C’est à dire aussi, les fonctionnalités intégrées aux SGBD, mais aussi les extensions OLAP propre aux gammes de produits associés aux SGBD. Ressources; manuels techniques de chaque produit, version d'essai de logiciel, recherche Internet. Comparaison uniquement du point de vue fonctionnel. Explication pourquoi ce n'est pas un benchmark de performance. Aurait nécessité une base de test uniforme pour chaque SGBD. Ressources physiques, ressources logiques (OS), banc d’essai standard, etc. Dépasse largement le temps dont on disposait. Pas de données comparables disponibles dans la littérature au niveau de la performance OLAP. Donc, pas de gagnant à la course à la performance au terme de notre étude. Difficultés rencontrées; Largeur du sujet, "hype" autour de OLAP et Business Intelligence, OLAP = tout et rien, Frontière flou de ce qu’est ou n’est pas OLAP, malgré l’existence de règles générales (FASMI). (Fast, Analysis, Shared, Multidimensionnal, Information).

DB2 - Composantes Historique de DB2 et évolution OLAP Composantes logicielles … Composante logicielle DB2 Coûts de licence et de support annuel DB2 UDB Enterprise Server Edition $ 46,011.00 DB2 Cube Views $ 13,022.00 DB2 Office Connect $ 435.00 DB2 QMF Distributed Edition MultiPlatform $ 6077.00 DB2 UDB Data Warehouse Enterprise Edition $ 104,175.00 DB2 UDB Data Warehouse Standard Edition $ 32,989.00 DB2 UDB Database Partitionning Feature (Bases de données parallèles) $ 13,821.00 DB2 Information Integrator $ 90,286.00 Jocelyn (½ minute) : Historique rapide de DB2. Un des plus anciens SGBD. 1970, Dr. E.F.Codd chez IBM, article décrivant les fondements du modèle relationnel. Jeunesse et adolescence sur plates-formes mainframe, (MVS, VM, VSE). Maturité sur AIX, Linux et Windows. Support des fonctions OLAP aussi bien qu’un SGBD relationnel peu le faire (de façon mitigée). Essai d’intégrer Essbase modifié en ROLAP vers 1998. (manque de performance et retrait du produit) DB2 V8 en 2003 introduit un nouveau paradigme OLAP avec la composante DB2 Cube Views. Survol de composantes et des coûts. Composantes individuelles DB2 essentielles pour un support OLAP avec DB2. Coûts de licence annuelle et de support. Composantes toutes disponibles (sauf quelques exceptions) sur les plates-formes (AIX, HP-UX, Solaris, Windows, Linux. DB2 z/OS, z/VM, z/VSE et OS5 sur i/Series (anciennement AS400). Packages variés et diversifiés offert par IBM selon le type et le degré de fonctionnalités désirés. DB2 DPF (base de données parallèles) et DB2 Information Integrator (fédération de DB) aussi considéré un peu puisque permettent le support de data warehouse requis pour OLAP. Explication de l'exclusion de DB2 OLAP Server. DB2 OLAP Server est Essbase d’Hypérion. Vendu sous license. Pas développé par IBM. Pas considéré dans l’analyse comparative. Où est DB2 OLAP Server ?

DB2 – Architecture OLAP Jocelyn (1~2 minutes) : Description de l'architecture. Trois entités principales supportant OLAP dans DB2 Les données comme telles, Les méta données, Les tables de sommarisation. Meta données, Représentation des modèles de cubes, et des relations entre les éléments constituants. Donne à DB2 une conscience OLAP. Permet la mise sur pied de mécanisme d’optimisation. Permet l’interaction et l’intégration avec d’autres produits OLAP. Support relationnel. Toutes les données sont représentées dans des tables relationnelles standards. Tables de sommarisation, non illustrées, Materialized Query Tables. Contiennent les agrégations pré calculées ainsi que les jointures inhérentes aux schémas en étoile. Élément fondamental de l’optimisation OLAP réalisée par DB2. Donc, strictement parlant, DB2 est un ROLAP.

DB2 - Fonctionnalités Fonctions de classification et de groupement. RANK, DENSERANK ROWNUMBER GROUP BY, GROUPING SETS() ROLLUP(), CUBE() OVER, PARTITION BY, ORDER BY ROWS, RANGE, UNBOUNDED PRECEDING, FOLLOWING Fonctions d'agrégation sur colonnes. AVG, MIN, MAX COUNT, COUNT_BIG SUM COVARIANCE, STDDEV, CORRELATION, VARIANCE Jocelyn (½ minute) : Survol rapide de fonctionnalités de base OLAP supportées par SQL. Fonctionnalités de classification et de regroupement (assez standard). RANK Rang ordinal de rangées indépendamment des duplications. DENSERANK Rang ordinal de rangées en ne considérant que les rangées distinctes. ROWNUMBER Numéro de rangée par rapport à son ordre dans une fenêtre. GROUP BY, GROUPING SETS(), ROLLUP(), CUBE() Regroupement de rangées selon un ensemble de colonnes. OVER Fenêtrage de données. (window partitionning) PARTITION BY Détermine une partition (sous-ensemble) sur lequel un fonction d'agrégation peut être appliquée. ORDER BY Défini l'ordre de tri des rangées dans une partition. ROWS, RANGE, UNBOUNDED PRECEDING, FOLLOWING Limitent la place cible d'une opération d'agrégation Fonctions d'agrégation sur colonnes. AVG Moyenne d'un ensemble de valeurs. MIN Valeur minimal d'un ensemble de valeurs. MAX Valeur maximale d'un ensemble de valeurs. COUNT, COUNT_BIG Calcul du nombre de valeurs d'un ensemble. SUM Calcul de la somme des valeurs d'un ensemble. COVARIANCE Calcul de la covariance d'un ensemble de paires de valeurs. STDDEV Calcul de la déviation standard d'un ensemble de valeurs. CORRELATION Calcul de la corrélation sur un ensemble de paires de valeurs. VARIANCE Calcul de la variance sur un ensemble de valeurs.

DB2 – Intégration/interfaces API donnant accès aux méta données de DB2 Cube Views Ponts (bridge) entre DB2 Cube Views et d'autres applications OLAP Fichiers XML importés et exportés pour l'échange de méta données (Exemple de Fichier XML) Services accessibles par le Web Librairie de composantes J2EE (DB2 Alphablox) SGBD relationnel d'arrière plan (back-end) Jocelyn (1~2 minutes, incluant la prochaine slide) : DB2 s’intègre aux autres logiciels et composantes OLAP de plusieurs façons. Description des 6 mécanismes d'intégration et des interfaces disponibles avec DB2. 1) API donnant accès aux méta données de DB2 Cube Views; Implémenté sous forme de procédures mémorisées (stored procedures). Invocable par CLI, ODBC, JDBC ou SQL enchâssé. Utilise intensivement l’XML pour l’échange d’information. 2) Ponts (bridge) entre DB2 Cube Views et d'autres applications OLAP; préciser la différence avec le prochain point Fichiers XML décrivant la structure OLAP (en méta données), importés et exportés entre les participants. 3) Fichiers XML importés et exportés pour l'échange de méta données; 4) Services accessibles par le Web; Services web pour développeurs d’application requérant l’accès aux méta données. Utilise UDDI, WSDL, SOAP, XML et Xpath. UDDI, Universal Description, Discovery and Integration (répertoire) WSDL, Web Services Description Language (partie de UDDI pour décrire les services). SOAP, Simple Object Access Protocol Pas une interface Web aux modèles de cube ! 5) Librairie de composantes J2EE; DB2 Alphablox; 6) SGBD relationnel d'arrière plan (back-end); Type d’intégration minimal. Traditionnel, support du datawarehouse et accéder par des moteurs MOLAP.

DB2 - Optimisation Materialized Query Tables Jocelyn (1½ minutes) : L’optimisation des fonctionnalités OLAP repose sur deux mécanismes complémentaires, les MQT et les MDC. Description des MQT. Table de sommarisation, ou aussi Automatic Summary Table. Contient les agrégats et les jointures de tables calculés à l’avance. Utilisées automatiquement par l’optimiseur de requête pour reformuler les requêtes. Gain majeurs de performance, transparent pour l'application. Création des MQT. Wizzard (magicien), système expert. Analyse le coût et le bénéfice des MQT potentielles. Paramétrable sur l'espace disque, le temps de calcul et l'usage escompté des cubes. Tient compte des types de requêtes anticipées, module le degré d'agrégation. drill-down, sommarisation au niveaux supérieurs. Extract, agrégation aux niveaus de base. Report, niveaux supérieurs et intermédiaires Drill-through, niveau supérieur. Utilise aussi les statistiques internes pour créer les MQT les mieux adaptées. Peut aussi faire de l'échantillonage du contenu des tables. (aussi paramétrable) Scripts de création générés par le Wiz. Espace disque utilisé pour MQT détermine les gains en performance possible. 10% des tables de base conduit à des gains significatifs. Mise à jour des MQT. Peuvent être mises à jour sans reconstruction complète dans certains cas, restreint aux fonctions d'agrégation distributives (SUM, COUNT, etc.). Plusieurs contraintes. Utilisation par l'optimiseur de requête. Dynamique MQT pas utilisée sur requêtes statiques.

DB2 - Optimisation Multidimensional Clustering Jocelyn (½ minute) : Description du multi-dimensionnal clustering. Concepts. Regroupement physique par blocs des données ayant les mêmes attributs dimensionnels. Plusieurs dimensions peuvent servir à qualifier le partitionnement. Réduction des I/O majeures. Dimensions doivent être bien sélectionnées. (Facteur critique) Caractéristiques. Défini lors du CREATE TABLE ... ORGANIZE BY DIMENSION (...) Regroupement automatique par DB2. Mécanismes et organisation réduisant au minimum la nécessité de réorganisation. Indexage des blocs, combiné aussi avec les index de rangées. Supporte le pré-chargement (look-ahead fetching). Ne pas confondre avec le partitionnement des BD (avec DPF)

DB2 - Administration OLAP Center CLP RUNSTATS db2advis explain Jocelyn (½ minute) : OLAP Center. Interface d'administration graphique. Accessible via Control Center. Intuitif et contextuel. CLP. Command line processor Commandes manuelles. Scriptage. RUNSTATS Acquisition de statistiques détaillées sur les bases de données gérées et leur contenu. Améliore l'optimisation et la création des MQT. Db2advis Analyse une charge de travail (énoncés SQL) Produit des recommandations pour améliorer la performance. (définition de MQT, d'index.) Paramétrable sur durée et profondeur d'analyse. Explain Graphique du plan d'accès spécifique à une requête. Permet de vérifier l'efficacité des MQT, etc. Localise les problèmes de performance.

DB2 – Présentation, etc. Query Management Facility pour Windows. Query Management Facility pour Websphere. Office Connect. Sources de données multiples. Évolutivité. Sécurité. Jocelyn (1 minute) : QMF. Interface graphique utilisateur pour accès aux cubes et données. Outil d'analyse et de rapport. Affichage graphique enrichis. (image, tableaux, etc.) Riche historique. QMF, Intégration avec Websphere. Rend accessible les fonctions QMF aux clients web légers. DB2 Office connect. Interface avec Excel, Utilise les services de tableaux dynamiques croisés (pivot table) Utilise l'API DB2 Cube Views pour obtenir les méta données, Autres caractéristiques. DB2 Information Integrator. Fédération des BD et autres sources de données. Pertinent dans un contexte d'entrepôt de données et OLAP. Évolutivité, scalabilité Limites pratiques très élevées, selon ressources disponibles (serveurs, disques, etc.) Sans limite avec DPF (bases de données parallèles.) Sécurité. Mécanismes standards DB2 et des plates-formes de support. Rien de spécifique à OLAP.

Oracle- Présentation Historique d’Oracle Évolution OLAP: Oracle Express Server Oracle Option OLAP Mohamed (x minutes) : Historique d’Oracle Évolution OLAP La solution Express La solution Oracle OLAP

Oracle OLAP- Avantage Simplification de la gestion Disponibilité élevée Sécurité élevée Accès ouvert Réduction du temps de mise à jour Fiabilité de données amélioré Mohamed (x minutes) : Les avantages d’Oracle OLAP Simplification de la gestion Disponibilité élevée Sécurité élevée Accès ouvert Réduction du temps de mise à jour Fiabilité de données amélioré

Oracle OLAP- Architecture Mohamed (x minutes) : Architecture d’Oracle OLAP

Oracle OLAP- Composantes Moteur de calcul Espace de travail analytique OLAP DML  Fonctions de table de SQL API OLAP Méta-donné de catalogue OLAP Mohamed (x minutes) : Les composantes d’Oracle OLAP: Moteur de calcul Espace de travail analytique OLAP DML  Fonctions de table de SQL API OLAP Méta-donné de catalogue OLAP

Oracle OLAP- Administration Oracle entreprise manager Analytic workspace Manager OLAP Worksheet Mohamed (x minutes) : Les outils d’administration d’Oracle OLAP: Oracle entreprise manager Analytic workspace Manager OLAP Worksheet

SQL Server - Composantes Historique de SQL Server et évolution OLAP Composantes logicielles … Microsoft SQL Server 2000 Standard Edition $4,999 Total Cost Enterprise Edition $19,999 Data Transformation Services Included Data Mining OLAP Server Cost of additional core Total souad (1 minute) : Historique rapide de SQL Server. Survol des composantes et des coûts. Explication de l’inclusion de l’Analysis Services, appelé avant “Serveur OLAP”.

SQL Server 2000 - Architecture Souad (1~2 minutes) : Description de l'architecture. Meta données, représentation des modèles de cubes, etc. Support relationnel. Etc.

Stockage des données Mode de stockage MOLAP Interrogation d’un cube ROLAP HOLAP Interrogation d’un cube Drill-down ou forage vers le bas Drill-up ou Roll-up Slice Dice Rotation Drillthrough Souad(1~2) Dépliage drilldown passer à un niveau inférieur dans une dimension Pliage drillup ou rollup passer à un niveau supérieur dans une dimension Tranchage Slice ne garder qu’une tranche du cube (une tranche étant une coupe du cube selon un membre) Le cubage (dice) qui s’intéresse à plusieurs tranches à la fois. Avec ces cinq opérations, on peut naviguer dans les données (pratiquer le data surfing ) La désagrégation (drillthrough) qui permet de retrouver les données qui ont permis de calculer un agrégat.

Langage MDX Syntaxe MDX vs SQL. SELECT [<axis_specification> FROM [<cube_specification>] [WHERE [<slicer_specification>]] Fonctions MDX : Exemple Count MDX vs SQL. SELECT , WHERE FROM : un seul cube GROUP BY , ORDER BY WITH, CELL PROOERTIES Souad (1 minute) : Dans ces requêtes on peut à tout moment utiliser une multitude d’autres fonctions offertes par MDX MDX vs SQL la syntaxe des clauses SELECT et WHERE n’a rien à voir ; la clause FROM n’admet qu’un seul cube, en MDX; les clauses SQL GROUP BY, HAVING et ORDER BY n’existent pas en MDX; et il existe d’autres clauses spécifiques à MDX (WITH et CELL PROPERTIES).

SQL Server 2000 - Performances Cubes Virtuels Cube virtuel – cubes Vue – Tables Performances Sécurité Simplicité Clause FROM plusieurs cubes Souad(1min) Exemple de performance cubes virtuels Sécurité peut masquer aux utilisateurs les données qui ne les concernent pas. Simplicité permet de masquer les données inutiles et de regrouper les données utiles selon les utilisateurs une requête MDX peut porter sur un cube virtuel (clause FROM), c’est d’ailleurs la seule façon d’utiliser plusieurs cubes.

SQL Server 2000 : Administration Analysis Manager Souad(1/2 min) Analysis Manager décrit les interfaces usager pour l’administration d’Analysis Services.

SQL Server 2000 Résumé Souad (4) : Dans l’entreprise les rôles concernant le système décisionnel se repartissent ainsi : – les concepteurs de l’entrepôt de données se charge de mettre en place le schéma relationnel de la base décisionnelle, la structure des cubes et les modèles de mining ; – les développeurs ont pour tâche, la mise en place de la phase ETL (DTS), la programmation des requêtes MDX et des interfaces graphiques ; – enfin, il reste aux décideurs de s’appuyer sur les résultats pour prendre les bonnes décisions.

Conclusion de la comparaison Historique Coût Portabilité Sécurité Outils XML Java