Technologies d’intelligence d’affaires

Présentation au sujet: "Technologies d’intelligence d’affaires"— Transcription de la présentation:

1 Technologies d’intelligence d’affaires
Leçon 5 Extraction, Transformation et Chargement

2 Références Livre de Devlin, chapitre 9

3 Techniques de capture Capture immédiate Assistée par l’application
Les applications font des màj dans l’ED Déclencheurs (« triggers ») Le DBA définit des déclencheurs, dans le SGDB, qui font des màj dans l’ED Journal Au niveau du SE, tout enregistrement envoyé au journal produit une màj dans l’ED

4 Techniques de capture Capture différée Étampe temporelle
Étampe gérée dans les systèmes opérationnels (application ou SGBD) Transfert à l’ED selon valeur de l’étampe Comparaison de fichiers / tables On conserve la version précédente des fichiers (niveau SE) ou des tables (niveau SGBD) À intervalle régulier on note les différences et on écrase la version précédente

5 Chargement des données
Chargement complet Les anciennes données sont détruites et remplacées par les nouvelles Si la table n’existe pas elle est créée Sinon, ses données sont détruites (DELETE) et les nouvelles données insérées (INSERT)

6 Chargement des données
Ajout Les nouvelles données sont ajoutées Comment traiter les clés identiques? Les tolérer (alors elles ne sont pas de vrais clés dans l’ED) Écraser Approche « photo » (snapshot) On ajoute un champ (type DATE) qui indique la date du chargement)

7 Chargement des données
Fusion destructive Selon la clé, ajoute ou écrase

8 Chargement des données
Fusion constructive Selon la clé, ajoute ou (marque ancien comme désuet et ajoute nouveau) Approche « étampe temporelle » (timestamp) Intervalle de validité (valide_deb, valide_fin) Action effectuée (Ajout, Modification, Suppression)

9 Transformation des données
Sélection Créer un sous-ensemble des enregistrements Séparation / concaténation Créer un sous-ensemble des colonnes, en maintenant la clé valide Créer un sur-ensemble des colonnes, à l’aide d’une jointure avec une table ayant la même clé Prix vient de Marketing, Poids vient de Production

10 Transformation des données
Normalisation / dénormalisation

11 Transformation des données
Conversion Algorithmique Table de transformation

12 Variables indicatrices
On peut créer des variables pour indiquer des faits qui ne sont pas apparents dans les données

13 Chargement des données INTERURB
Deuxième partie Chargement des données INTERURB

14 Tables APPELS TELEPHONES SERVICE
Les données de chaque appel interurbain sont enregistrées TELEPHONES Chaque numéro de téléphone a un compte budgétaire SERVICE Chaque compte budgétaire appartient à un service

15 SERVICE Maître Comparaison de fichiers, une fois par mois
Synchronisée avec période de facturation Fusion constructive Transformation: non

16 TELEPHONES Maître Enregistrer étampe moment de l’événement (date effective) Transfert différé selon période de facturation Chargement: fusion constructive avec time-stamp Transformation: 4 chiffres à 10 chiffres

17 APPELS Transaction Différé, étampe=date facturation Ajout
Transformation: Modifier PAYS=Sosua, Santo Domingo pour Rép Dom. Créer clé

18 Tutoriel À l’adresse suivante: