La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Intégration de données

Présentations similaires


Présentation au sujet: "Intégration de données"— Transcription de la présentation:

1 Intégration de données
Cédric Gueydan - Décembre

2 - Différentes approches
Plan - Hétérogénéité - Différentes approches - Médiateurs 21/12/04 Intégration de données p. 2

3 Problème : hétérogénéité des sources
Introduction Besoin : interroger différentes sources de données simultanément et combiner les résultats obtenus afin de fournir une information non disponible directement Problème : hétérogénéité des sources Objectif : donner à l'utilisateur l'illusion qu'il interroge une seule et unique source 21/12/04 Intégration de données p. 3

4 Hétérogénéité – conflits (Goh 1997)
Conflits de types de données Conflits de labels Conflits schématiques Conflits d’aggregations Conflits de généralisations Conflits de nommage Conflits de données Conflits sémantiques Conflits de graduation/d’échelle Conflits confondants Conflits de domaines Conflits intensionnels Conflits de contraintes d’intégrité 21/12/04 Intégration de données p. 4

5 Hétérogénéité – conflits (Goh 1997)
Conflits de types de données Conflits de labels Conflits schématiques Conflits d’aggregations Conflits de généralisations Conflits de nommage Conflits de données Conflits sémantiques Conflits de graduation/d’échelle Conflits confondants Conflits de domaines Conflits intensionnels Conflits de contraintes d’intégrité 21/12/04 Intégration de données p. 5

6 Hétérogénéité sémantique
Causes d’hétérogénéité sémantique: conflits de confusion: Items d’informations semblant de signification identiques mais différents en réalité conflits de graduation/échelle: utilisation de différents référentiels pour mesurer une valeur conflits de nommage: exemple : homonymes/synonymes 21/12/04 Intégration de données p. 6

7 Différentes approches
- matérialisée (entrepôt de données ou data warehouse) - virtuelle (médiateur) 21/12/04 Intégration de données p. 7

8 Différentes approches
Approche matérialisée - 1 Idée : l'utilisateur interroge une base de données réelle (l’entrepôt) contenant une copie des données pertinentes des différentes sources considérées 21/12/04 Intégration de données p. 8

9 Différentes approches
Approche matérialisée - 2 Utilisateur Entrepôt Requête Intégrateur Adaptateur Adaptateur Source 1 Source n 21/12/04 Intégration de données p. 9

10 Différentes approches
Approche matérialisée - 2 Utilisateur Entrepôt Requête Intégrateur Adaptateur Adaptateur Source 1 Source n 21/12/04 Intégration de données p. 10

11 Différentes approches
Approche matérialisée - 3 Principales questions : - Peuplement - Mise à jour - Définition du schéma de l’entrepôt 21/12/04 Intégration de données p. 11

12 Différentes approches
Approche virtuelle - 1 Idée : l'utilisateur interroge un médiateur chargé de traduire la requête pour interroger les différentes sources et de combiner les résultats obtenus 21/12/04 Intégration de données p. 12

13 Différentes approches
Approche virtuelle - 2 Utilisateur Requêtes Médiateur Requêtes Adaptateur Adaptateur Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 13

14 Différentes approches
Approche virtuelle - 2 Utilisateur Requête formulée dans les termes du schéma global (du médiateur) Requêtes Médiateur Requêtes Adaptateur Adaptateur Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 14

15 Différentes approches
Approche virtuelle - 2 Reformulation, optimisation, exécution des requêtes Utilisateur Requêtes Schéma global Médiateur Module de gestion des requêtes Schéma source 1 Requêtes . . . Schéma source n Adaptateur Adaptateur Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 15

16 Différentes approches
Approche virtuelle - 2 Utilisateur Requêtes Médiateur Décomposition en sous-requêtes basées sur les vues abstraites des sources Requêtes Adaptateur Adaptateur Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 16

17 Différentes approches
Approche virtuelle - 2 Utilisateur Requêtes Médiateur Requêtes Adaptateur Adaptateur Traduction des sous-requêtes et interrogation des sources Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 17

18 Différentes approches
Approche virtuelle - 2 Utilisateur Requêtes Médiateur Réponse = chemin inverse Requêtes Adaptateur Adaptateur Requêtes Requêtes Source 1 Source n 21/12/04 Intégration de données p. 18

19 Différentes approches
Approche virtuelle - 3 Les données sont stockées uniquement au niveau des sources Le médiateur contient des vues abstraites sur ces sources Les adaptateurs traduisent les requêtes exprimées par les vues dans le langage spécifique de chaque source 21/12/04 Intégration de données p. 19

20 Différentes approches
Approche virtuelle - 4 Principales questions : - définition du schéma global - définition des schémas sources - mapping schéma global / schémas des sources 21/12/04 Intégration de données p. 20

21 - + - + - + + - - + - + Différentes approches Comparaison - 1
Matérialisée Virtuelle - performances + - historique + volume - + + actualisation temps réel - ajout/suppression de sources - + complexité - + 21/12/04 Intégration de données p. 21

22 Différentes approches
Comparaison - 2 Approche virtuelle préférable si : - les sources sont mises à jour fréquemment - les sources sont très nombreuses - il est impossible de prédire les requêtes de l'utilisateur 21/12/04 Intégration de données p. 22

23 Langage pour modéliser : - le schéma global - les vues sur les sources
Médiateur Choix de conception : Langage pour modéliser : - le schéma global - les vues sur les sources - les requêtes utilisateur Correspondance entre schéma global et schémas sources : - GAV : Global As View schéma global défini en termes des sources - LAV : Local As View sources définies en termes du schéma global 21/12/04 Intégration de données p. 23

24 Médiateur [Lenzerini] [Halevy] Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Exemple de requête: Titres et critiques de film en 1998 : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 21/12/04 Intégration de données p. 24

25 Médiateur - Mapping – GAV - … Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping GAV: CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 21/12/04 Intégration de données p. 25

26 Médiateur - Mapping – GAV - … Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping GAV: CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 21/12/04 Intégration de données p. 26

27 Médiateur - Mapping – LAV - … Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 21/12/04 Intégration de données p. 27

28 Médiateur - Mapping – LAV - … Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 21/12/04 Intégration de données p. 28

29 Comparaison [Knoblock] [Lenzerini]
Médiateur Comparaison [Knoblock] [Lenzerini] GAV LAV Non modulaire: l'addition de nouvelles sources nécessite la modification du schéma global Bonne modularité: l'addition de nouvelles sources est simple Simplicité de la reformulation de requête (dépliement) Difficulté de la reformulation de requête (inférence) 21/12/04 Intégration de données p. 29

30 - combinaison entrepôt / médiateur (Xylème) Conception schéma :
Autres approches : Architecture : - combinaison entrepôt / médiateur (Xylème) Conception schéma : - BAV : Both As View - GLAV : Global Local As View - BGLAV : BYU Global Local As View (Brigham Young University) 21/12/04 Intégration de données p. 30

31 → Nombreux systèmes existants:
Conclusion → Nombreux systèmes existants: Picsel Tsimmis Sims Xyleme Momis Information Manifold Observer Hermes Infomaster → Tous présentent une approche différente → Pas de solution « miracle » 21/12/04 Intégration de données p. 31

32 21/12/04 Intégration de données p. 32

33 - Traitement des requêtes – GAV -
Médiateur - Traitement des requêtes – GAV - Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Rappel des règles de mapping : Reformulation par simple dépliement VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 Requête: SELECT Title, Critique FROM r1 JOIN r2 WHERE Year=1998 Niveau schémas sources 21/12/04 Intégration de données p. 33

34 - Traitement des requêtes – GAV -
Médiateur - Traitement des requêtes – GAV - Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Rappel des règles de mapping : Reformulation par simple dépliement VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 Requête: SELECT Title, Critique FROM r1 JOIN r2 WHERE Year=1998 Niveau schémas sources 21/12/04 Intégration de données p. 34

35 - Traitement des requêtes – LAV -
Médiateur - Traitement des requêtes – LAV - Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Rappel des règles de mapping : VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 Reformulation nécessitant inférence SELECT Title, Critique FROM r2 JOIN r1 WHERE year = 1998 Requête: Niveau schémas sources 21/12/04 Intégration de données p. 35

36 - Traitement des requêtes – LAV -
Médiateur - Traitement des requêtes – LAV - Exemple de requête utilisateur : SELECT Title, Critique FROM movie JOIN review WHERE Year=1998 Niveau schéma global Rappel des règles de mapping : VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 Reformulation nécessitant inférence Requête: Niveau schémas sources SELECT Title, Critique FROM r2 JOIN r1 WHERE year = 1998 21/12/04 Intégration de données p. 36

37 Médiateur - Mapping – GAV - Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping GAV: CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 CREATE VIEW european (Director) AS SELECT Director FROM r1 CREATE VIEW review (Title; Critique) AS SELECT Title, Critique FROM r2 21/12/04 Intégration de données p. 37

38 Médiateur - Mapping – GAV - Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping GAV: CREATE VIEW movie (Title; Year; Director) AS SELECT Title, Year, Director FROM r1 CREATE VIEW european (Director) AS SELECT Director FROM r1 CREATE VIEW review (Title; Critique) AS SELECT Title, Critique FROM r2 21/12/04 Intégration de données p. 38

39 Médiateur - Mapping – LAV - Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 CREATE VIEW r2 (Director) AS SELECT Title, Critique FROM movie JOIN review WHERE YEAR >= 1990 21/12/04 Intégration de données p. 39

40 Médiateur - Mapping – LAV - Global schema: Source 1:
movie(Title;Year; Director) european(Director) review(Title; Critique) Source 1: r1 (Title;Year; Director ) since 1960, european directors Source 2: r2 (Title;Critique) since 1990 Règles de mapping LAV: CREATE VIEW r1 (Title; Year; Director) AS SELECT Title, Year, Director FROM movie JOIN european WHERE Year >= 1960 CREATE VIEW r2 (Director) AS SELECT Title, Critique FROM movie JOIN review WHERE YEAR >= 1990 21/12/04 Intégration de données p. 40


Télécharger ppt "Intégration de données"

Présentations similaires


Annonces Google