IBM Tivoli Enterprise Data Warehouse

Présentation au sujet: "IBM Tivoli Enterprise Data Warehouse"— Transcription de la présentation:

1 IBM Tivoli Enterprise Data Warehouse
Tivoli Users Group

2 Agenda Architecture Installation Utilisation Démo

3 ITEDW - composants Source Apps ITEDW High-value Apps
DM TEC TBSM Source App n TWSM TAPM Source Apps Central Data Warehouse Control Server: IBM DB2® DWC ITEDW Report Interface Application Reports High-value Apps ITSLA ETL IBM Cognos Business Objects Business Intelligence Tools Brio Data Marts ETL Tivoli Enterprise Data Warehouse can extract data from any application (Tivoli and non-Tivoli) and store them in a common central database. The Tivoli Enterprise Data Warehouse application also provides transparent access for third party BI solutions (CWM standard), such as IBM DB2 OLAP, Crystal Decisions, Cognos, Business Objects, Brio Technology, and Microsoft OLAP Server. CWM stands for Common Warehouse Metadata, an industry standard specification for metadata interchange defined by the Object Management Group (see g.org). Tivoli Enterprise Data Warehouse provides a Web-based reporting front end, called the Report Interface, but the open architecture provided by the Tivoli Enterprise Data Warehouse allows other BI front ends to be used to access the data in the central warehouse. The value here is f exibi ity. Customers can use the reporting application of their choice, and are not limited to any application. One important part of the warehouse packs are the ETL programs. The abbreviation ETL is for extract, transform and load data. In principle, ETL programs process data in three steps. First they extract the data from a data source. Then the data is validated, transformed, aggregated, and/or cleansed so that it fits the format and needs of the data target. Finally the data is loaded into the target database. In Tivoli Enterprise Data Warehouse there are two types of ETLs. The centra data warehouse ETL pulls the data from the source applications and loads it into the central data warehouse (see Figure 2-1 on page 34). The central data warehouse ETL is also known as source ETL or ETL1. The second type of ETL is the data mart ETL, which is discussed later. The centra data warehouse (CD ) is the database that contains all enterprise-wide historical data (with hour as the lowest granularity). This data store is optimized for the efficient storage of large amounts of data and has a documented format that makes the data accessible to many analysis solutions. The database is organized in a very flexible way, which lets you store data from new applications without adding or changing tables. Section 2.2.4, “Central data warehouse data model” on page 42 covers the CDW model in detail. The data mart ETL extracts a subset of historical data from the central data warehouse that contains data tailored to and optimized for a specific reporting or analysis task. This subset of data is used to create data marts. The data mart ETL is also known as target ETL or ETL2. A data mart is a subset of the historical data that satisfies the needs of a specific department, team, or customer. A data mart is optimized for interactive reporting and data analysis. The format of a data mart is specific to the reporting or analysis tool you plan to use. Each application that provides a data mart ETL creates its data marts in the appropriate format. Section 2.2.5, “Data mart’s star schema” on page 43 gives more information on typical Tivoli Enterprise Data Warehouse data mart schemas. Tivoli Enterprise Data Warehouse provides a Report Interface (RI) that creates static two-dimensional reports of your data using the data marts. The RI is a role-based Web interface that can be accessed with a simple Web browser without any additional software installed on the client. You can also use other tools to perform OLAP analysis, business intelligence reporting, or data mining. The Control server is the system that contains the control database that contains metadata for Tivoli Enterprise Data Warehouse and from which you manage your data warehouse. The Control server controls communication between the Control server, the central data warehouse, the data marts, and the Report Interface. The Control server uses the Data Warehouse Center to define the ETL processes and the star schemas used by the data marts. You use the Data Warehouse Center to schedule, maintain, and monitor these processes. 3rd Party A B Other Applications Etc

4 ITEDW - composants Control Server Central Data Warehouse Data Mart
ETL Control Point TWH_MD database Central Data Warehouse TWH_CDW database Data Mart TWH_MART database Report Interface Uses the TWH_MD database on the Control Server

5 Extract Transform Load
Utilitaires ETL inclus avec DB2 UDB V7 TEDW ajoute ses programmes: execsql – pour des extractions incrément ales à partir des bases source via scripts SQL rollup – pour des rapprochements des données horaires sur base jour, semaine et mois Contrôle d’access à l’information sécurisé

6 Data Marts et Star Schemas
Base de données orientée rapports et analyses Transforme les données brutes en information business Fournit un accès transparent aux outils de reporting et d’analyses La base de données Data mart contient des schemas “star”, chacun d’eux contenant : une table de dimension de type métrique une ou plusieurs tables de dimension de type composant une table de valeurs (fact table)

7 Warehouse Packs Un Warehouse Pack par application source qui fournit des données dans ITEDW Contient en général: ETL source: ETL de la base source vers CDW meta data de composants et de mesures dans CDW NLS ETL cible: ETL de CDW vers Data Mart Star Schemas, tables de faits et de dimension Rapports

8 Installation de ITEDW Grandes étapes d’installation
DB2 7.2 with FixPack 5 TDW 1.1 DB2 FixPack 6 1.1-TDW-0002 (DB2 FixPack 6 compat. For TDW 1.1) 1.1-TDW-0004 (HTTP security fix) TEDW FixPack 02 conseillé : DB2 FixPack 8 1.1-TDW-0008e

9 Installation de ITEDW

10 Installation de ITEDW

11 Installation de ITEDW

12 Installation de ITEDW

13 Installation de ITEDW Changer 80 en autre et 8008 en autre (si WAS et IBM console sur la même machine) Répertoire c:\ps sans blanc

14 Installation de ITEDW

15 Installation de ITEDW

16 Installation de ITEDW

17 Installation de ITEDW Log dans c:\twh\TWH.log
TWH Core Tools Installation TWH_MD TWH_CDW TWH_MART Presentation services JDBC 1.2 drivers uninstaller Attendre que l’aide en ligne soit complètement créée (activité cpu 2%) Ou dans répertoire c:\ps\log\fp_mcr doit affiché message « build the help completed successfully)

18 Installation de ITEDW Attendre que l’aide en ligne de PS soit complètement créée (activité cpu retourne à 2%) ou dans C:\PS\log\fwp_mcr\stdout1.txt attendre la ligne suivante avant de rebooter : :55: McrClientServer$HelpBuilderExec run() FWP1734I The utility that was started by the Management Component Repository to build the help set has completed successfully.

19 Installation de ITEDW reboot

20 Installation du Fixpack 6 de DB2
Dans ligne de commande db2 Db2stop force Db2admin stop Setup.exe Dans db2 command prompt Db2stop force Db2admin stop Setup.exe

21 Installation du patch 1.1-TEDW-0002
Pour rendre DB2 FixPack 6 compatible avec TDW 1.1 cd %DB2ROOT%\SQLLIB\bin db2stop force copy X:\%PATCH%\iwh2exp2.exe copy X:\%PATCH%\db2level2.exe db2start

22 Installation du patch 1.1-TDW-0004
Pour corriger un problème de sécurité dans le serveur HTTP de « Tivoli Presentation Services » Net stop "Tivoli Presentation Services HTTP Server" cd c:\PS\ibmhttpd\modules" copy "X:\<PATCH>\1.1-tdw-0004\windows\mod_ei_bugoff.dll«  Dans c:\PS\ibmhttp\conf Rajouter la ligne suivante à la fin du "httpd.conf": LoadModule ei_bugoff_module c:\PS\ibmhttpd\modules\mod_ei_bugoff.dll Net start "Tivoli Presentation Services HTTP Server"

23 Installation du fixpack 1.1-TEDW-FP02
Setup.bat (avec éventuellement au préalable :set TWH_TOPDIR="X:\<WH_SW_DIR>" et set TEMP="X:\<TEMP_DIR>" au cas où des messages d’erreur l’explicitent (par exemple set TWH_TOPDIR=C:\TWH et set TEMP=C:\TEMP) Puis dans C:\temp\twh_core_patcher.cfg PS_HOME=C:\PS DB2PASS=db2admin COPT_CTRL_DB2PASS=db2admin COPT_CDW_DB2PASS=db2admin COPT_MART_DB2PASS=db2admin

24 Installation du Fixpack 8 de DB2
Dans ligne de commande db2 Db2stop force Db2admin stop Setup.exe

25 Installation du patch 1.1-TDW-0008e
Setup.bat Puis dans ligne de commande db2: db2 connect to TWH_CDW user db2admin using db2admin Cd C:\TWH\cdw\schema db2 -td"#" -vf "%TWH_TOPDIR%\cdw\schema\twh_cdw_misc_schema_efix5.sql" db2 -tvf "%TWH_TOPDIR%\cdw\schema\twh_cdw_misc_delete_efix5.sql"

26 Fichier db2java.zip Si un fixpack est appliqué sur DB2, penser à vérifier la cohérence du fichier db2java.zip Si besoin recopier Db2java.zip à partir de c:\…\sqllib\java12 vers c:\twh\tools\bin et aussi vers c:\ps\db2

27 Install TBSM et TEC ETL source
Dans c:\twh\install\bin Modifier fichier twh_app_install.cfg avec APP_MEDIA_DIR=D:/…/GTM et db2admin password Puis taper: bash Puis exécuter: ./twh_app_install.sh –c twh_app_install.sh Idem pour ETL TEC : APP_MEDIA_DIR=D:/…/GTM

28 Install ITM511 ETLs source et target
Dans \twh\install\bin Modifier fichier twh_app_install.cfg avec APP_MEDIA_DIR=D:/…/AMX et db2admin password Puis taper: bash Puis exécuter : ./twh_app_install.sh –c twh_app_install.sh Idem pour AMY : APP_MEDIA_DIR=D:/…/AMY et db2admin password

29 Install Fixpack 4 pour AMX
Dans c:\twh\install\bin exécuter : tedw_wpack_patchadm.sh (commande bash) Puis modifier le fichier c:\temp\twh_app_patcher.cfg avec APP_MEDIA_DIR=C:/…/ITM-FP03/tedw_apps_etl/AMX et les autres champs (db2admin password…) Ré-exécuter tedw_wpack_patchadm.sh

30 Install Fixpack 4 pour AMY
Dans c:\twh\install\bin exécuter : tedw_wpack_patchadm.sh (commande bash) Puis modifier c:\temp\twh_app_patcher.cfg avec APP_MEDIA_DIR=C:/…/ITM-FP03/tedw_apps_etl/AMY et les autres champs (db2admin password…) Ré-exécuter : tedw_wpack_patchadm.sh

31 Création des data sources ODBC
Pour chaque ETL Source il faut créer une source de données de type System DSN

32 Configuration du Data WareHouse Center

33 Configuration du Data WareHouse Center

34 Configuration des propriétés des sources de données dans le Warehouse
Pour toutes les sources

35 Idem pour les cibles de données

36 Configuration des programmes ETL

37

38

39

40 Rapports ITEDW Superadmin password L’utilisateur initial est superadmin / Mot de passe password Cet utilisateur vous permet de créer d’autres utilisateurs avec des droits limités

41 DB2 reporting

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57 Redbooks : Introduction to Tivoli Enterprise Data Warehouse
Redbooks : Introduction to Tivoli Enterprise Data Warehouse sg Planning a Tivoli Enterprise Data Warehouse Project sg IBM Tivoli Monitoring for Databases Database Management Made Simple sg Introducing IBM Tivoli Service Level Advisor sg Questions ?

58 Install Fixpack 3 pour AMY (suite)
Modifier le fichier : twh_install_props.cfg

59 Modifier le fichier : twh_install_props.cfg
Changer APP_REL_VERSION= Par APP_REL_VERSION=

60 Install Fixpack 3 pour AMY (suite)
Modifier le fichier : amy_cdw_data.sql

61 Modifier le fichier : amy_cdw_data.sql
Supprimer ou commenter les lignes UPDATE AMY.D_ITM_METRIC SET MET_UNITS = 'B' WHERE MET_NAME = 'TotalAvail' AND MSRC_NM = 'ITM for Operating Systems' ;

62 Modifier le fichier : amy_cdw_schema.sql
Supprimer ou commenter les lignes DROP TABLE AMY.Temp_RelnRul; DROP TABLE AMY.Temp_RelnRul_Transl;