le croisement des réseaux et Du Data WareHouse au WebHouse : le croisement des réseaux et des bases de données Samira Silhadi-Hacid Malika Tarafi
Sommaire Aide à la décison en ligne Des Bases de Données au Data Warehouse Du Data Warehouse au Data Webhouse Aide à la décison en ligne
Evolution des systèmes d’aide à la décision 1960 Fichiers Programmes (Cobol) Rapports
1965 Beaucoup de fichiers Complexité Maintenance Développement Synchronisation des données Matériel
SSAD SGBD 1970 Base de données – ’’Source unique pour tous les traitements’’ OLTP 1975
1980 SAD OLTP PCs, Technologie 4GL
1985 OLTP Extracteur Pourquoi l’extraction ? - Performance - Contrôle
’’Attitude laissez-faire’’ 1990
Problèmes : - Crédibilité des données - Productivité - Difficulté à transformer les données en information
Productivité Ex: Produire un rapport consolidé => Localiser les données => explorer de nombreux fichiers Localiser les données : 9-12 mois Obtenir les données : 15-24 mois
Changement dans l’approche Solution! Changement dans l’approche
Clients Chargeurs Sources DM DM Méta Données Entrepôt de Données SIG OLAP SAD Clients DM DM Administrateur Méta Données Entrepôt de Données Chargeurs Données externes Fichier BD Sources
Entrepôts de données Un entrepôt est défini comme un ensemble de données intégrées, variables dans le temps qui sont utilisées dans le processus d’aide à la décision. C’est une grosse base de données qui organise les données opérationnelles pour faciliter l’analyse. Marché estimé à plus de $20 Milliards avec une progression de 10 à 20% par année. 95% des 1000 grandes entreprises américaines équipées d’un ED.
Il y a dix ans : Le DW est une sorte de ressource pour la gestion. Il est interrogé de façon non urgente. Aujourd’hui : Volume de données généré par le Web important ex.: Pages Microsoft analysées => plus de 1 Milliard d’événements Temps de réponse : le Web rend critique ’’ les temps de réponse aux requêtes’’ Ces considérations vont changer la façon de concevoir et d’implanter les entrepôts de données. Tout entrepôt de données doit être visible à partir des interfaces de navigation du Web Il est demandé à l’entrepôt de données d’enregistrer les requêtes (manipulations) des clients et de les rendre disponibles pour l’analyse
Quelques applications Le Web est un laboratoire expérimental pour les entrepôts de données Quelques applications Le E-commerce : Collection de données propres (récupérées électroniquement) Yahoo! 1 milliard de pages visitées par jour
’’Business Intelligence’’ Proposé par IBM, Microsoft, Oracle, … ’’Consolider la quantité gigantesque de données atomiques que les entreprises génèrent en information que les gens peuvent accéder, comprendre et utiliser’’ Data Mining ’’Business Intelligence’’: présenter l’information dans des formats plus utiles, en utilisant des outils de visualisation avancés et des techniques d’IA Marché : $3.5M (2002) $8.8M (2004)
ED Achats précédents ED Achats actuels Exemple d’application : offres ciblées – offres personnalisées en temps réel. Vente de livres par amazon ED Traditionnel ED Comportements Achats précédents Recommandations EDTR ED Comportements Achats actuels Recommandations
Data Mining Webhouse Fichiers Logs Rapports Autre BD Data Mining Webhouse Transfor- mateur Générateur de rapports Fichiers Logs Analyseur Rapports
Possibilités pour le traitement de gros volumes de données Temps de traitement Fichiers Logs sur réseau Temps de traitement Fichiers Logs sur Même machine Taille Fichiers Logs 100 Mo 8 min 4 min 1 Go 44 min 23 min 2.5 Go 1h12min 48 min 5 Go 2h8min 1h32min Pentium III 700 MHz 1 Go RAM 100 Mbit Ethernet
Système ’’Peer-to-Peer’’ (Application Wall Street) DW PC Serveur Application PC Données Marché PC PC PC
Conclusion Internet : - Faciliter la gestion de la chaîne d’approvisionnement (Just-in-Time) Faire passer l’OLAP du domaine de l’analyste au domaine du consommateur => aide à la décision sur Internet - Recherche de l’emploi - Achats, …
Prochaine grande étape pour les entrepôts de données « Support des fonctions de planification collaborative » Unifier marketing, finance et opérations prévisions
Bibliographie http://www.cs.toronto.edu/~mendel/dwbib.html http://www.dwinfocenter.org/ http://www.datawarehousingonline.com/ http://www.cio.com/research/data/ http://www.intelligententerprise.com/