Vue d’ensemble du Data warehousing et de la technologie OLAP

Présentation au sujet: "Vue d’ensemble du Data warehousing et de la technologie OLAP"— Transcription de la présentation:

1 Vue d’ensemble du Data warehousing et de la technologie OLAP
Li Wanjing Rastoix Sylvia Vue d’ensemble du Data warehousing et de la technologie OLAP D’après l’article écrit en 1996 : An Overview of Data Warehousing and OLAP Technology de Surajit Chaudhuri et Umeshwar Dayal

2 Sommaire 1- Introduction 2- Architecture
3- Outils back end et utilitaires 4- Modèle conceptuel et outils front end 5- Méthodologie de Conception d’une BD 6- Meta-données et gestion de DW 7- Conclusion

3 1- Introduction a- Définition d’un data warehouse
b- Exemples d’utilisateurs c- Modèle multidimensionnel d- Séparation nécessaire OLAP/OLTP e- Serveurs ROLAP et MOLAP f- Architecture d’un data warehouse

4 1.a- Définition d’un data warehouse
Un Data warehouse est un entrepôt de données Caractéristiques principales de ces données : intégrées  non volatiles  datées ou historisées La base est orientée sujet But : permettre aux entreprises de prendre des décisions meilleures et de façon plus rapides.

5 Rappel de vocabulaire OLAP (On-Line Analytical Processing)
OLTP (On-Line Transaction Processing) Différence entre les deux

6 Rappel de vocabulaire (suite 1)
Data Mining Le pincipe général du Data Mining est de creuser une mine (=Data Warehouse) pour rechercher un filon (=information). Les principaux objectifs du Data Mining

7 Rappel de vocabulaire (suite 2)
L’architecture OLAP consiste en trois services principaux : Bases de données Serveur OLAP Module client

8 1.b- Exemples d’utilisateurs
Croissance explosive ces dernières années. Beaucoup d’entreprises sont intéressées. les entreprises de fabrication les services financiers les transports les télécommunications les services de santé

9 1.c- Modèle multidimensionnel
Le modèle multidimensionnel facilite les analyses Exemple de dimensions intéressantes en vente : le jour de la vente, le lieu de la vente, le vendeur, le produit vendu Souvent, ces dimensions sont hiérarchisées : la date de vente peut être organisée en une hiérarchie (année, mois, jour).

10 1.c- Modèle multidimensionnel (suite 1)
Représentation d’un modèle multidimensionnel Lieu Date Produit

11 1.c- Modèle multidimensionnel (suite 2)
La norme OLAP incluent des opérations sur les données multidimensionnelles  : le drill-down. le roll-up. le slice_and_dice. le rotate ou pivoting.

12 1.d- Séparation nécessaire OLAP/OLTP
Les BD opérationnelles sont faites pour supporter les opérations d'OLTP. Dans un DW, on a besoin de données : parfois absentes dans les BD opérationnelles.  venant de beaucoup de sources hétérogènes. Conclusion : Besoin d’une organisation spéciale Les DW sont implémentés séparément des BD opérationnelles.

13 1.e- Serveurs ROLAP et MOLAP
Les data warehouses peuvent être implémentés sur des SGBD relationnels appelé serveurs relationnels OLAP (ROLAP). MOLAP Les serveurs multidimensionnels OLAP (MOLAP) sont des serveurs qui stockent direstement des données multi-dimensionnelles dans des structures spéciales de données.

14 1.f- Architecture d’un datawarehouse
Pour la construction et la maintenance d’un data warehouse : sélectionner un serveur OLAP définir un schéma définir quelques requêtes complexes définir une architecture. Plusieurs architectures possibles

15 1.f- Architecture d’un datawarehouse (suite)
Data mart (magasin de données) : Un data mart est une vue partielle et orientée métier sur les données du Data warehouse Data Mart du service marketing Data Marts Data Mart du service production

16 Rappel de vocabulaire Front end, avant-plan : interface avec l'utilisateur Back end, arrière-plan : deux définitions possibles Méta-données : Données sur les données. Ensemble des informations qui permettent de qualifier une donnée, par sa provenance, sa qualité, sa date de création ...

17 2- Architecture Architecture d’un data warehouse

18 3- Outils back end et utilitaires
Les DW emploient une variété d’outils pour les données des entrepôts. a- Nettoyage des données b- Chargement c- Rafraîchissement

19 3.a- Nettoyage des données (data cleaning)
Problème : grands volumes de données  augmentations de la probabilité d’anomalies dans les données. Exemple d’anomalies

20 3.b- Chargement (load) Après leur extraction, leur nettoyage et leur transformation, chargement des données dans le data warehouse Grand volumes de données  mise à jour dans une petite période temps (souvent la nuit). Intérêt du parallélisme

21 3.c- Rafraîchissement (Refresh)
Rafraîchissement : propagation des changements sur les données sources pour la mise à jour. Deux questions : quand rafraîchir, et comment rafraîchir ? Définir une politique de rafraîchissement

22 4- Modèle conceptuel et outils front end
a- Modèle multidimensionnel b- Outils front end

23 4.a- Modèle multidimensionnel
modèle conceptuel = modèle multidimensionnelle Dimensions : Produit, Ville, Date Hiérarchies de dimension : Date Produit Ville Secteur industriel Catégorie Pays Région Année Mois Jour

24 4.b- Les outils front end Les analystes utilisent beaucoup les tableurs. Problème : Comment supporter les opérations d’un tableur sur d’énormes bases de données ? Le tableur est l’application front end la plus contraignante d'OLAP Nous allons voir une description brève des opérations principales qui sont supportées par les applications multidimensionnelles

25 4.b- Les outils front end (suite 1)
Pivoting ou rotating pivotement ou rotation, ré-oriente la vue de des données multidimensionnelles.

26 4.b- Les outils front end (suite 2)
Drill-down  " plonger" dans une information afin de connaître le détail des données qui ont initialement servi à la constituer. Roll-up : c’est l’opération contraire du drill-down.

27 4.b- Les outils front end (suite 3)
Slice_and_dice : sélection et projection. Conclusion : Variété d'outils de data mining utilisés comme des outils front_end sur les data warehouses.

28 5- Méthodologie de Conception d’une Base de données
a- Nécessité de nouveaux diagrammes b- Schéma en étoile c- Schéma en flocons de neige

29 5.a- Nécessité de nouveaux diagrammes
MOLAP  pas besoin de concevoir des schémas ROLAP  concevoir des schémas de BD relationnelles qui tiennent compte des dimensions Les diagrammes objets classiques sont inadéquates car ils ne prennent pas les dimensions en compte.

30 5.b- Schéma en étoile La plupart des DW emploient un schéma en étoile
Problème : pas de hiérarchies d'attributs.

31 5.c- Schéma en flocons de neige
Schémas en flocons de neige = amélioration des schémas en étoile car normalisés Les schémas en étoile bien que non normalisé reste pratiques pour passer les dimensions en revue.

32 6- Meta-données et gestion de data warehouse
a- Les méta-données administratives b- Les méta-données d’affaires c- Les méta-données opérationnelles

33 6.a- Les méta-données administratives
Elles incluent toutes les informations nécessaires pour l'établissement et l’utilisation d'un DW

34 6.b- Les méta-données d’affaires (business metadata)
Elles incluent : des termes et des définitions d'affaires, La propriété (l’appartenance) des données, des politiques de remplissage du DW.

35 6.c- Les méta-données opérationnelles
Elles incluent les informations qui sont rassemblées pendant l'opération de stockage : le suivi des données qui ont migrées et qui ont été transformées l’état des données dans l'entrepôt des informations de contrôle

36 7- Conclusion Beaucoup de produits commerciaux et de services
Mais plusieurs problèmes subsistent : le nettoyage des données l'optimisation des requêtes l’évaluation des coûts l’utilisation du parallélisme, le partitionnement problèmes de contrôle et de gestion des ressources dans les DW