IBM Tivoli Enterprise Data Warehouse Tivoli Users Group Brigitte.Lanciau@fr.ibm.com

Agenda Architecture Installation Utilisation Démo

ITEDW - composants Source Apps ITEDW High-value Apps DM TEC TBSM Source App n TWSM TAPM Source Apps Central Data Warehouse Control Server: IBM DB2® DWC ITEDW Report Interface Application Reports High-value Apps ITSLA ETL IBM Cognos Business Objects Business Intelligence Tools Brio Data Marts ETL Tivoli Enterprise Data Warehouse can extract data from any application (Tivoli and non-Tivoli) and store them in a common central database. The Tivoli Enterprise Data Warehouse application also provides transparent access for third party BI solutions (CWM standard), such as IBM DB2 OLAP, Crystal Decisions, Cognos, Business Objects, Brio Technology, and Microsoft OLAP Server. CWM stands for Common Warehouse Metadata, an industry standard specification for metadata interchange defined by the Object Management Group (see http://www.o g.org). Tivoli Enterprise Data Warehouse provides a Web-based reporting front end, called the Report Interface, but the open architecture provided by the Tivoli Enterprise Data Warehouse allows other BI front ends to be used to access the data in the central warehouse. The value here is f exibi ity. Customers can use the reporting application of their choice, and are not limited to any application. One important part of the warehouse packs are the ETL programs. The abbreviation ETL is for extract, transform and load data. In principle, ETL programs process data in three steps. First they extract the data from a data source. Then the data is validated, transformed, aggregated, and/or cleansed so that it fits the format and needs of the data target. Finally the data is loaded into the target database. In Tivoli Enterprise Data Warehouse there are two types of ETLs. The centra data warehouse ETL pulls the data from the source applications and loads it into the central data warehouse (see Figure 2-1 on page 34). The central data warehouse ETL is also known as source ETL or ETL1. The second type of ETL is the data mart ETL, which is discussed later. The centra data warehouse (CD ) is the database that contains all enterprise-wide historical data (with hour as the lowest granularity). This data store is optimized for the efficient storage of large amounts of data and has a documented format that makes the data accessible to many analysis solutions. The database is organized in a very flexible way, which lets you store data from new applications without adding or changing tables. Section 2.2.4, “Central data warehouse data model” on page 42 covers the CDW model in detail. The data mart ETL extracts a subset of historical data from the central data warehouse that contains data tailored to and optimized for a specific reporting or analysis task. This subset of data is used to create data marts. The data mart ETL is also known as target ETL or ETL2. A data mart is a subset of the historical data that satisfies the needs of a specific department, team, or customer. A data mart is optimized for interactive reporting and data analysis. The format of a data mart is specific to the reporting or analysis tool you plan to use. Each application that provides a data mart ETL creates its data marts in the appropriate format. Section 2.2.5, “Data mart’s star schema” on page 43 gives more information on typical Tivoli Enterprise Data Warehouse data mart schemas. Tivoli Enterprise Data Warehouse provides a Report Interface (RI) that creates static two-dimensional reports of your data using the data marts. The RI is a role-based Web interface that can be accessed with a simple Web browser without any additional software installed on the client. You can also use other tools to perform OLAP analysis, business intelligence reporting, or data mining. The Control server is the system that contains the control database that contains metadata for Tivoli Enterprise Data Warehouse and from which you manage your data warehouse. The Control server controls communication between the Control server, the central data warehouse, the data marts, and the Report Interface. The Control server uses the Data Warehouse Center to define the ETL processes and the star schemas used by the data marts. You use the Data Warehouse Center to schedule, maintain, and monitor these processes. 3rd Party A B Other Applications Etc

ITEDW - composants Control Server Central Data Warehouse Data Mart ETL Control Point TWH_MD database Central Data Warehouse TWH_CDW database Data Mart TWH_MART database Report Interface Uses the TWH_MD database on the Control Server

Extract Transform Load Utilitaires ETL inclus avec DB2 UDB V7 TEDW ajoute ses programmes: execsql – pour des extractions incrément ales à partir des bases source via scripts SQL rollup – pour des rapprochements des données horaires sur base jour, semaine et mois Contrôle d’access à l’information sécurisé

Data Marts et Star Schemas Base de données orientée rapports et analyses Transforme les données brutes en information business Fournit un accès transparent aux outils de reporting et d’analyses La base de données Data mart contient des schemas “star”, chacun d’eux contenant : une table de dimension de type métrique une ou plusieurs tables de dimension de type composant une table de valeurs (fact table)

Warehouse Packs Un Warehouse Pack par application source qui fournit des données dans ITEDW Contient en général: ETL source: ETL de la base source vers CDW meta data de composants et de mesures dans CDW NLS ETL cible: ETL de CDW vers Data Mart Star Schemas, tables de faits et de dimension Rapports

Installation de ITEDW Grandes étapes d’installation DB2 7.2 with FixPack 5 TDW 1.1 DB2 FixPack 6 1.1-TDW-0002 (DB2 FixPack 6 compat. For TDW 1.1) 1.1-TDW-0004 (HTTP security fix) TEDW FixPack 02 conseillé : DB2 FixPack 8 1.1-TDW-0008e

Installation de ITEDW

Installation de ITEDW

Installation de ITEDW

Installation de ITEDW

Installation de ITEDW Changer 80 en autre et 8008 en autre (si WAS et IBM console sur la même machine) Répertoire c:\ps sans blanc

Installation de ITEDW

Installation de ITEDW

Installation de ITEDW

Installation de ITEDW Log dans c:\twh\TWH.log TWH Core Tools Installation TWH_MD TWH_CDW TWH_MART Presentation services JDBC 1.2 drivers uninstaller Attendre que l’aide en ligne soit complètement créée (activité cpu 2%) Ou dans répertoire c:\ps\log\fp_mcr doit affiché message « build the help completed successfully)

Installation de ITEDW Attendre que l’aide en ligne de PS soit complètement créée (activité cpu retourne à 2%) ou dans C:\PS\log\fwp_mcr\stdout1.txt attendre la ligne suivante avant de rebooter : 2003.06.02 11:55:34.082 McrClientServer$HelpBuilderExec run() FWP1734I The utility that was started by the Management Component Repository to build the help set has completed successfully.

Installation de ITEDW reboot

Installation du Fixpack 6 de DB2 Dans ligne de commande db2 Db2stop force Db2admin stop Setup.exe Dans db2 command prompt Db2stop force Db2admin stop Setup.exe

Installation du patch 1.1-TEDW-0002 Pour rendre DB2 FixPack 6 compatible avec TDW 1.1 cd %DB2ROOT%\SQLLIB\bin db2stop force copy X:\%PATCH%\iwh2exp2.exe copy X:\%PATCH%\db2level2.exe db2start

Installation du patch 1.1-TDW-0004 Pour corriger un problème de sécurité dans le serveur HTTP de « Tivoli Presentation Services » Net stop "Tivoli Presentation Services HTTP Server" cd c:\PS\ibmhttpd\modules" copy "X:\<PATCH>\1.1-tdw-0004\windows\mod_ei_bugoff.dll«  Dans c:\PS\ibmhttp\conf Rajouter la ligne suivante à la fin du "httpd.conf": LoadModule ei_bugoff_module c:\PS\ibmhttpd\modules\mod_ei_bugoff.dll Net start "Tivoli Presentation Services HTTP Server"

Installation du fixpack 1.1-TEDW-FP02 Setup.bat (avec éventuellement au préalable :set TWH_TOPDIR="X:\<WH_SW_DIR>" et set TEMP="X:\<TEMP_DIR>" au cas où des messages d’erreur l’explicitent (par exemple set TWH_TOPDIR=C:\TWH et set TEMP=C:\TEMP) Puis dans C:\temp\twh_core_patcher.cfg PS_HOME=C:\PS DB2PASS=db2admin COPT_CTRL_DB2PASS=db2admin COPT_CDW_DB2PASS=db2admin COPT_MART_DB2PASS=db2admin

Installation du Fixpack 8 de DB2 Dans ligne de commande db2 Db2stop force Db2admin stop Setup.exe

Installation du patch 1.1-TDW-0008e Setup.bat Puis dans ligne de commande db2: db2 connect to TWH_CDW user db2admin using db2admin Cd C:\TWH\cdw\schema db2 -td"#" -vf "%TWH_TOPDIR%\cdw\schema\twh_cdw_misc_schema_efix5.sql" db2 -tvf "%TWH_TOPDIR%\cdw\schema\twh_cdw_misc_delete_efix5.sql"

Fichier db2java.zip Si un fixpack est appliqué sur DB2, penser à vérifier la cohérence du fichier db2java.zip Si besoin recopier Db2java.zip à partir de c:\…\sqllib\java12 vers c:\twh\tools\bin et aussi vers c:\ps\db2

Install TBSM et TEC ETL source Dans c:\twh\install\bin Modifier fichier twh_app_install.cfg avec APP_MEDIA_DIR=D:/…/GTM et db2admin password Puis taper: bash Puis exécuter: ./twh_app_install.sh –c twh_app_install.sh Idem pour ETL TEC : APP_MEDIA_DIR=D:/…/GTM

Install ITM511 ETLs source et target Dans \twh\install\bin Modifier fichier twh_app_install.cfg avec APP_MEDIA_DIR=D:/…/AMX et db2admin password Puis taper: bash Puis exécuter : ./twh_app_install.sh –c twh_app_install.sh Idem pour AMY : APP_MEDIA_DIR=D:/…/AMY et db2admin password

Install Fixpack 4 pour AMX Dans c:\twh\install\bin exécuter : tedw_wpack_patchadm.sh (commande bash) Puis modifier le fichier c:\temp\twh_app_patcher.cfg avec APP_MEDIA_DIR=C:/…/ITM-FP03/tedw_apps_etl/AMX et les autres champs (db2admin password…) Ré-exécuter tedw_wpack_patchadm.sh

Install Fixpack 4 pour AMY Dans c:\twh\install\bin exécuter : tedw_wpack_patchadm.sh (commande bash) Puis modifier c:\temp\twh_app_patcher.cfg avec APP_MEDIA_DIR=C:/…/ITM-FP03/tedw_apps_etl/AMY et les autres champs (db2admin password…) Ré-exécuter : tedw_wpack_patchadm.sh

Création des data sources ODBC Pour chaque ETL Source il faut créer une source de données de type System DSN

Configuration du Data WareHouse Center

Configuration du Data WareHouse Center

Configuration des propriétés des sources de données dans le Warehouse Pour toutes les sources

Idem pour les cibles de données

Configuration des programmes ETL

Rapports ITEDW http://t30tiv1:81/servlet/com.tivoli.pf.wc.WcSignOn Superadmin password L’utilisateur initial est superadmin / Mot de passe password Cet utilisateur vous permet de créer d’autres utilisateurs avec des droits limités

DB2 reporting

Redbooks : Introduction to Tivoli Enterprise Data Warehouse Redbooks : Introduction to Tivoli Enterprise Data Warehouse sg24-6607 Planning a Tivoli Enterprise Data Warehouse Project sg24-6608 IBM Tivoli Monitoring for Databases Database Management Made Simple sg24-6613 Introducing IBM Tivoli Service Level Advisor sg24-6611 Questions ?

Install Fixpack 3 pour AMY (suite) Modifier le fichier : twh_install_props.cfg

Modifier le fichier : twh_install_props.cfg Changer APP_REL_VERSION=5.1.1.3 Par APP_REL_VERSION=1.1.0.1

Install Fixpack 3 pour AMY (suite) Modifier le fichier : amy_cdw_data.sql

Modifier le fichier : amy_cdw_data.sql Supprimer ou commenter les lignes UPDATE AMY.D_ITM_METRIC SET MET_UNITS = 'B' WHERE MET_NAME = 'TotalAvail' AND MSRC_NM = 'ITM for Operating Systems' ;

Modifier le fichier : amy_cdw_schema.sql Supprimer ou commenter les lignes DROP TABLE AMY.Temp_RelnRul; DROP TABLE AMY.Temp_RelnRul_Transl;