OLAP Par Myriam Corrales Yaqueline Corrales INF7115 – Base de données Avril 2004

Plan de présentation Description de l’architecture de la technologie OLAP Caractéristiques des applications conforme OLAP selon le OLAP Report Architectures OLAP Applications OLAP Principaux fournisseurs de cette technologie Parts de marché d’OLAP Description des quelques infrastructures proposées afin d’améliorer sa performance

Description de l’architecture OLAP Méthode d'analyse représentée par un cube et basée sur des vues de données multidimensionnelles fonctionnalités : Présenter une vue des données multidimensionnelle et logique à l'utilisateur sans des conditions quant à la façon dont les données sont stockées. Faire des prévisions, dépister des tendances, et exécuter d'autres analyses complexes. Permettre aux utilisateurs de se déplacer d'une requête à l'autre et obtenir des résultats rapidement et facilement.

Caractéristiques des applications conforme OLAP selon OLAP Report Rapide : le système devrait répondre aux utilisateurs généralement dans environ cinq secondes Analyse : le système doit être en mesure de faire face à n’importe quelle logique d’affaires et réaliser des analyses statistiques appropriées à l’application et à l’utilisateur. Partage : le système doit mettre en application toutes les exigences de sécurité pour la confidentialité.

Caractéristiques des applications conforme OLAP selon OLAP Report Multidimensionnelle : Le système doit fournir une vue conceptuelle multidimensionnelle des données y compris le support aux hiérarchies simples et multiples Information: elle comprend toutes les données et les informations dérivées requises

Architectures OLAP Organisation de données (Data staging) : Zone de stockage temporaire impliquant souvent la duplication des données Stockage des données actives d’OLAP « Storing active OLAP data » Base de données relationnelle base de données multidimensionnelle Les fichiers basé client « Client-based files » Le « data staging area » est la zone dans laquelle sont stockées temporairement les données, entre le moment où elles sont extraites des sources avant d'être versées dans un entrepôt de données, et dans laquelle on leur fait subir les différentes opérations de nettoyage et de transformation.

Architectures OLAP Traitement des données OLAP : SQL Moteur de serveur multidimensionnel Moteur multidimensionnel de client

Matrice architecturale d’OLAP Source : http://www.olapreport.com/Architectures.htm

Applications OLAP L’analyse des parcours Les Base de données de marketing Rapports financiers et de consolidation L’analyse des parcours est l'une des dernières applications d'OLAP. Les sites commerciaux Web produisent des gigaoctets de données par jour qui décrivent chaque action faite par chaque visiteur à l'emplacement. Aucun détaillant de clic et mortier [1] n'a le même niveau du détail disponible au sujet de la façon dont les visiteurs passent en revue les offres et le chemin qu'ils prennent. Un grand site a un volume de données presque impossible d’analyser, et un cadre multidimensionnel est probablement la meilleure manière de le faire. [1] Expression désignant une entreprise qui existe à la fois dans Internet et dans le monde réel où elle dispose d'installations matérielles

Principaux fournisseurs de cette technologie Source : OLAP Report http://www.olapreport.com/market.htm

Parts de marché d’OLAP Figure 1: Consolidation du marche de OLAP. Ce diagramme montre que le marché d'OLAP réduisait en fragments jusqu'en 1999, mais s’est consolidé depuis, avec un marché en 2003 étant plus consolidé qu'en n'importe quelle autre année dans la dernière décennie. Source : OLAP Report http://www.olapreport.com/market.htm

Parts de marché d’OLAP (2) Figure 2 : Taille du marché d’OLAP OLAP report estime que tout le marché mondial d'OLAP, y compris des services d'exécution, était de environ $1 milliards de 1996, $1.4 milliards de 1997, $2bn en 1998, $2.5bn en 1999, $3bn en 2000, $3.3bn en 2001, $3.5bn en 2002 et $3.7bn en 2003. Ceci montré un taux de croissance de 40 pour cent au cours des quatre années jusqu'en 1997, mais s'est étonnamment développé près plus de 45 pour cent en 1998 Source : OLAP Report http://www.olapreport.com/market.htm

Parts de marché d’OLAP(3) Figure 3 : Tendance estimé du partage du marché mondial OLAP. Les chiffres incluent le serveur d'OLAP, le logiciel client, et les applications OLAP Source : OLAP Report http://www.olapreport.com/market.htm

Survol de quelques infrastructures OLAP proposées Infrastructure LDOS et GDOS Skalla Data Warehousing and OLAP Technology Portail de connaissance d’entreprise

LDOS et GDOS Infrastructure conçue et prototypée aux laboratoires HP afin de supporter l’intelligence des affaires et du commerce électronique. Infrastructure d’entrepôt de données distribué et coopératif avec le but principale de de pouvoir faire une analyse complète des habitudes des clients et générer des règles d’association très significatives pour les études de marché. Les LDOS sont divisés géographiquement. Chaque LDOSs contient un entrepôt de données et un ou plusieurs serveurs OLAP. L’information qu’ils obtiennent est envoyée au GDOS pour être analysée avec l’information obtenue d’autres LDOS. Ainsi, un LDOS sert à distribuer la réception de données, à faire l'agrégation et la réduction de l’information. Ils améliorent de façon considérable le parallélisme de données analysées et réduit le chargement de transfert de données et calcul sur le GDOS.

LDOS et GDOS (2) Cette infrastructure est composée de multiples stations Data-warehouse/OLAP locaux appelés LDOS et de stations Data-warehouse/OLAP globales, appelées GDOS. Chaque LDOSs contient un entrepôt de données et un ou plusieurs serveurs OLAP. L’information qu’ils obtiennent est envoyée au GDOS. Les GDOS assemble l’information analysée par les LDOSs et génère une connaissance plus complète de l’information. Il contient un entrepôt de données global et un ou plusieurs serveurs OLAP

LDOS et GDOS (3) L’infrastructure proposée devrait offrir en plus : des règles d'association d’étendue, qui peuvent être basées sur les éléments différents, tel que les transactions ou les clients; les règles d'association avec des articles en commun; et les règles d'association fonctionnelles.

LDOS et GDOS (4) Les données envoyées au GDOS par les LDOS sont un Profile Snapshot Cube (PSC) lesquels contiennent de l’information partielle sur le profil du client. Chaque serveur OLAP est utilisé comme moteur de calcule pour construire et incrémenter le PSC, en analysant les nouvelles transactions et les transactions que dérivent d’autres modèles.   En plus d’envoyer les PSC vers les GDOS, le LDOS reçoit d’autres données analysées, tels quel les règles d’association et les alarmes. Il peut accéder aux GDOS pour obtenir les règles et les profils des usagers si nécessaire. Les GDOS combine l’information recueillie par les différentes LDOS afin d’incrémenter et mettre à jour les profils globaux des clients et les règles d’association qui ne peuvent pas être complétés par les LDOS et retourne les profils résultants, les règles et autres objets dérivés comme les plans de promotion vers les LDOSs.

Skalla Entrepôts de données adjacents gérés par un coordinateur Skalla qui fait une traduction des requêtes OLAP spécifiés en utilisant l’algèbre relationnelle

Skalla (2) Skalla fonctionne comme suit : chaque site local exécute quelques calculs et communique les résultats au coordinateur; Le coordinateur synchronise les résultats et les communique aux autres sites. Skalla inclut plusieurs optimisations exprimées en algèbre et qui sont facilement intégrées dans le query optimizer

Data Warehousing and OLAP Technology L’architecture des entrepôts de données inclut les outils nécessaires pour traiter, transformer et intégrer les données, et pour mettre à jour les données périodiquement. Les données des entrepôt de données et les données corrompues sont conservées et gérées par un ou plusieurs serveurs. Finalement, il a un dépôt de gestion des méta-données et les outils nécessaires pour l’administration du système. lesquels offrent différentes vues des données et des outils des requêtes et d’analyses ==== La conception des entrepôts de données inclut les activités suivantes : §         Définir l’architecture, faire la planification de la capacité et sélectionner les serveurs de données, les serveurs OLAP et les outils; §         Intégrer les serveurs, l’entrepôt et les outils; §         Concevoir les schémas d’entrepôt des données et les vues; §         Définir l’organisation physique de l’entrepôt de données, la division et les méthodes d’accès; §         Connecter les sources en utilisant de passerelles, etc. §         Concevoir et implémenter les scripts nécessaires pour l’extraction des données et les opérations requises (extraction, mise à jour, etc.); §         Peupler le contenant avec le schéma, les vues, les scripts et tous les autres meta-données; §         Concevoir et implémenter les applications des usagers; Mettre en marche l’entrepôt de données et les applications.

Data Warehousing and OLAP Technology (2) Outils et utilités proposés  Data Cleaning : Les anomalies des données doivent être détectés et corrigés. Pour ce faire, trois outils sont proposés : Les outils de migration des données, les outils d’assemblage des données et les outils de purification des données. Chargement dans l’entrepôt de données  Rafraîchissement. Deux techniques sont utilisées : l’expédition des données et l’expédition des transactions. Outils et utilités proposés   Data Cleaning : Les anomalies des données tel que les largeurs erronées, les descriptions et les assignations de donnés inconsistantes et la violation de l’intégrité de données doivent être détectés et corrigés. Pour ce faire, trois outils sont proposés : Les outils de migration des données, les outils d’assemblage des données et les outils de purification des données. Chargement : Après l’extraction, le nettoyage et la transformation, les données doivent être chargées dans l’entrepôt de données. Un traitement supplémentaire peut être toujours exigé afin de vérifier les contraintes d'intégrité, la répartition, l'agrégation et autres calculs pour construire les tables dérivées. Pour peupler l’entrepôt des données, un utilitaire de chargement doit permettre au système de gérer son état afin de canceller, suspendre ou résumer le chargement ou de ré-initialiser après une erreur sans perdre l’intégrité des données. Pour les entrepôts des données, les pipelines et le parallélisme sont utilisés pour le chargement. Rafraîchissement : rafraîchir un entrepôt de données consiste à propager les mise à jour dans la source des donnes afin de faire correspondre la mise à jour des données et les données dérivées qui sont entreposés dans les entrepôts. Deux techniques sont utilisées : l’expédition des données et l’expédition des transactions. Pour l’expédition des données, une table dans l’entrepôt est traitée comme une vue distante d’une table dans la base de données source afin de propager l’information. Pour l’expédition des transactions, les mise à jour sont détectées et répliquées vers le serveur, lequel doit propager l’information et fait la mise à jour des données dérivées.

Data Warehousing and OLAP Technology (3)

Portail de connaissance d’entreprise Interface usager permettant de faire connaître la gestion de l’entreprise ou le système de mémoire organisationnelle (OMS). Composants: Applications opérationnelles d’un système OLAP d’accès aux données dans un entrepôt de données Système de récupération d'information pour chercher des documents dans une base de documents corporatifs. Système d’information géographique (GIS)

Portail de connaissance d’entreprise (2) Infrastructure proposée: Couche du dépôt de mémoire : inclut toutes les données entreposées ensembles pour construire la base de connaissance de l’entreprise; Couche de connaissance administrative : contient les composants logiciels qui sont utilisées pour accéder et interpréter les différentes sources de données; Couche de présentation: responsable du transport de l’information vers l’usager.

Portail de connaissance d’entreprise (3)

Portail de connaissance d’entreprise (4) Cette approche assume que les systèmes individuels utilisent les méta-données pour faire ses recherches plutôt que de faire de recherches individuelles Pour la recherche d’information, des requêtes représentant les mots clés recherchés sont d’une nature incertaine. La recherche retourne une liste de documents où l’usager peut regarder le plus pertinent en premier. Chaque document est représenté comme un vecteur de fréquences de termes. Autre vecteur est crée pour la recherche des mots clés. L’association de ces documents est obtenue par la similarité du vecteur des documents et le vecteur de requêtes.   Selon les auteurs, l’utilisation de cette approche comme système de recherche d’information peut automatiquement fournir à l'utilisateur les documents du système de gestion de documents de l'organisation qui sont relatifs à ce qu'il cherche actuellement dans un rapport de OLAP.

Conclusions OLAP pour faire un accès efficace et l’analyse intelligent des données recueillis lors des transactions Répandue dans l’industrie Plusieurs infrastructures proposées

Questions ?