La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Intégration de données Cédric Gueydan - Décembre 2004 -

Présentations similaires


Présentation au sujet: "Intégration de données Cédric Gueydan - Décembre 2004 -"— Transcription de la présentation:

1 Intégration de données Cédric Gueydan - Décembre

2 p. 2 Intégration de données Plan 21/12/04 - Hétérogénéité - Différentes approches - Médiateurs

3 Introduction Besoin : interroger différentes sources de données simultanément et combiner les résultats obtenus afin de fournir une information non disponible directement Problème : hétérogénéité des sources Objectif : donner à l'utilisateur l'illusion qu'il interroge une seule et unique source p. 3 Intégration de données 21/12/04

4 Conflits sémantiques Conflits intensionnels Conflits de données Conflits schématiques Conflits de types de données Conflits de labels Conflits daggregations Conflits de généralisations Conflits de nommage Conflits de graduation/déchelle Conflits confondants Conflits de domaines Conflits de contraintes dintégrité Hétérogénéité – conflits (Goh 1997) p. 4 Intégration de données 21/12/04

5 Conflits sémantiques Conflits intensionnels Conflits de données Conflits schématiques Conflits de types de données Conflits de labels Conflits daggregations Conflits de généralisations Conflits de nommage Conflits de graduation/déchelle Conflits confondants Conflits de domaines Conflits de contraintes dintégrité Hétérogénéité – conflits (Goh 1997) p. 5 Intégration de données 21/12/04

6 Hétérogénéité sémantique p. 6 Intégration de données Causes dhétérogénéité sémantique: - conflits de confusion: Items dinformations semblant de signification identiques mais différents en réalité - conflits de graduation/échelle: utilisation de différents référentiels pour mesurer une valeur - conflits de nommage: exemple : homonymes/synonymes 21/12/04

7 Différentes approches - matérialisée (entrepôt de données ou data warehouse) p. 7 Intégration de données - virtuelle (médiateur) 21/12/04

8 Différentes approches Approche matérialisée - 1 Idée : l'utilisateur interroge une base de données réelle (lentrepôt) contenant une copie des données pertinentes des différentes sources considérées p. 8 Intégration de données 21/12/04

9 Différentes approches Source 1 Entrepôt Utilisateur Intégrateur Adaptateur Source n Adaptateur Requête p. 9 Intégration de données Approche matérialisée /12/04

10 Différentes approches Source 1 Entrepôt Utilisateur Intégrateur Adaptateur Source n Adaptateur Requête p. 10 Intégration de données Approche matérialisée /12/04

11 Différentes approches Principales questions : - Peuplement - Mise à jour - Définition du schéma de lentrepôt p. 11 Intégration de données Approche matérialisée /12/04

12 Différentes approches Idée : l'utilisateur interroge un médiateur chargé de traduire la requête pour interroger les différentes sources et de combiner les résultats obtenus p. 12 Intégration de données Approche virtuelle /12/04

13 Différentes approches Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Source n Adaptateur Requêtes p. 13 Intégration de données Approche virtuelle /12/04

14 Différentes approches Requête formulée dans les termes du schéma global (du médiateur) Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Adaptateur Requêtes Source n p. 14 Intégration de données Approche virtuelle /12/04

15 Différentes approches Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Adaptateur Requêtes Source n p. 15 Intégration de données Approche virtuelle - 2 Schéma global Schéma source n Schéma source 1 Module de gestion des requêtes... Reformulation, optimisation, exécution des requêtes 21/12/04

16 Différentes approches Décomposition en sous- requêtes basées sur les vues abstraites des sources Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Adaptateur Requêtes Source n p. 16 Intégration de données Approche virtuelle /12/04

17 Différentes approches Traduction des sous- requêtes et interrogation des sources Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Adaptateur Requêtes Source n p. 17 Intégration de données 21/12/04 Approche virtuelle - 2

18 Source 1 Utilisateur Médiateur Adaptateur Requêtes Requêtes Source n Adaptateur Requêtes Différentes approches Réponse = chemin inverse p. 18 Intégration de données Approche virtuelle /12/04

19 Différentes approches Les données sont stockées uniquement au niveau des sources Le médiateur contient des vues abstraites sur ces sources Les adaptateurs traduisent les requêtes exprimées par les vues dans le langage spécifique de chaque source p. 19 Intégration de données Approche virtuelle /12/04

20 Différentes approches p. 20 Intégration de données Principales questions : - définition du schéma global - définition des schémas sources - mapping schéma global / schémas des sources Approche virtuelle /12/04

21 Différentes approches Comparaison - 1 Matérialisée Virtuelle performances historique volume actualisation temps réel ajout/suppression de sources + - complexité + - p. 21 Intégration de données 21/12/04

22 Différentes approches Comparaison - 2 Approche virtuelle préférable si : - les sources sont mises à jour fréquemment - les sources sont très nombreuses - il est impossible de prédire les requêtes de l'utilisateur p. 22 Intégration de données 21/12/04

23 Médiateur Correspondance entre schéma global et schémas sources : - GAV : Global As View schéma global défini en termes des sources - LAV : Local As View sources définies en termes du schéma global Langage pour modéliser : - le schéma global - les vues sur les sources - les requêtes utilisateur Choix de conception : p. 23 Intégration de données 21/12/04

24 Médiateur Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 p. 24 Intégration de données Exemple de requête: Titres et critiques de film en 1998 : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 [Lenzerini] [Halevy] 21/12/04

25 Règles de mapping GAV: p. 25 Intégration de données Médiateur - Mapping – GAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 … 21/12/04

26 CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 p. 26 Intégration de données Médiateur - Mapping – GAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping GAV: … 21/12/04

27 Règles de mapping LAV: p. 27 Intégration de données CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 Médiateur - Mapping – LAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since /12/04 …

28 CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: p. 28 Intégration de données Médiateur - Mapping – LAV - 21/12/04 …

29 Médiateur p. 29 Intégration de données Comparaison [Knoblock] [Lenzerini] GAV LAV Non modulaire: l'addition de nouvelles sources nécessite la modification du schéma global Bonne modularité: l'addition de nouvelles sources est simple Simplicité de la reformulation de requête (dépliement) Difficulté de la reformulation de requête (inférence) 21/12/04

30 Médiateur Architecture : - combinaison entrepôt / médiateur (Xylème) Conception schéma : - BAV : Both As View - GLAV : Global Local As View - BGLAV : BYU Global Local As View (Brigham Young University) p. 30 Intégration de données Autres approches : 21/12/04

31 p. 31 Intégration de données Picsel Tsimmis Sims Xyleme Momis Information Manifold Observer Hermes Infomaster … Nombreux systèmes existants: Tous présentent une approche différente 21/12/04 Conclusion Pas de solution « miracle »

32 p. 32 Intégration de données 21/12/04

33 Médiateur p. 33 Intégration de données - Traitement des requêtes – GAV - Reformulation par simple dépliement VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 Rappel des règles de mapping : Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Requête: SELECT Title, Critique FROM r1 JOIN r2 WHERE Year=1998 Niveau schémas sources … 21/12/04

34 p. 34 Intégration de données Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Requête: SELECT Title, Critique FROM r1 JOIN r2 WHERE Year=1998 Reformulation par simple dépliement Niveau schéma global Niveau schémas sources Médiateur - Traitement des requêtes – GAV - VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 Rappel des règles de mapping : … 21/12/04

35 p. 35 Intégration de données Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Reformulation nécessitant inférence Rappel des règles de mapping : VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 Niveau schémas sources SELECT Title, Critique FROM r2 JOIN r1 WHERE year = 1998 Requête: Médiateur - Traitement des requêtes – LAV - … 21/12/04

36 VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 p. 36 Intégration de données Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Reformulation nécessitant inférence Niveau schéma global Niveau schémas sources SELECT Title, Critique FROM r2 JOIN r1 WHERE year = 1998 Requête: Médiateur - Traitement des requêtes – LAV - Rappel des règles de mapping : … 21/12/04

37 Règles de mapping GAV: p. 37 Intégration de données CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 CREATE VIEW european (Director) AS SELECT Director FROM r1 CREATE VIEW review (Title; Critique) AS SELECT Title, Critique FROM r2 Médiateur - Mapping – GAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since /12/04

38 Règles de mapping GAV: p. 38 Intégration de données CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 CREATE VIEW european (Director) AS SELECT Director FROM r1 CREATE VIEW review (Title; Critique) AS SELECT Title, Critique FROM r2 Médiateur - Mapping – GAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since /12/04

39 Règles de mapping LAV: p. 39 Intégration de données CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 CREATE VIEW r2 (Director) AS SELECT Title, Critique FROM movie JOIN review WHERE YEAR >= 1990 Médiateur - Mapping – LAV - Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since /12/04

40 Global schema: movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: p. 40 Intégration de données CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 CREATE VIEW r2 (Director) AS SELECT Title, Critique FROM movie JOIN review WHERE YEAR >= 1990 Médiateur - Mapping – LAV - 21/12/04


Télécharger ppt "Intégration de données Cédric Gueydan - Décembre 2004 -"

Présentations similaires


Annonces Google