Technologies d’intelligence d’affaires Leçon 5 Extraction, Transformation et Chargement

Références Livre de Devlin, chapitre 9

Techniques de capture Capture immédiate Assistée par l’application Les applications font des màj dans l’ED Déclencheurs (« triggers ») Le DBA définit des déclencheurs, dans le SGDB, qui font des màj dans l’ED Journal Au niveau du SE, tout enregistrement envoyé au journal produit une màj dans l’ED

Techniques de capture Capture différée Étampe temporelle Étampe gérée dans les systèmes opérationnels (application ou SGBD) Transfert à l’ED selon valeur de l’étampe Comparaison de fichiers / tables On conserve la version précédente des fichiers (niveau SE) ou des tables (niveau SGBD) À intervalle régulier on note les différences et on écrase la version précédente

Chargement des données Chargement complet Les anciennes données sont détruites et remplacées par les nouvelles Si la table n’existe pas elle est créée Sinon, ses données sont détruites (DELETE) et les nouvelles données insérées (INSERT)

Chargement des données Ajout Les nouvelles données sont ajoutées Comment traiter les clés identiques? Les tolérer (alors elles ne sont pas de vrais clés dans l’ED) Écraser Approche « photo » (snapshot) On ajoute un champ (type DATE) qui indique la date du chargement)

Chargement des données Fusion destructive Selon la clé, ajoute ou écrase

Chargement des données Fusion constructive Selon la clé, ajoute ou (marque ancien comme désuet et ajoute nouveau) Approche « étampe temporelle » (timestamp) Intervalle de validité (valide_deb, valide_fin) Action effectuée (Ajout, Modification, Suppression)

Transformation des données Sélection Créer un sous-ensemble des enregistrements Séparation / concaténation Créer un sous-ensemble des colonnes, en maintenant la clé valide Créer un sur-ensemble des colonnes, à l’aide d’une jointure avec une table ayant la même clé Prix vient de Marketing, Poids vient de Production

Transformation des données Normalisation / dénormalisation

Transformation des données Conversion Algorithmique Table de transformation

Variables indicatrices On peut créer des variables pour indiquer des faits qui ne sont pas apparents dans les données

Chargement des données INTERURB Deuxième partie Chargement des données INTERURB

Tables APPELS TELEPHONES SERVICE Les données de chaque appel interurbain sont enregistrées TELEPHONES Chaque numéro de téléphone a un compte budgétaire SERVICE Chaque compte budgétaire appartient à un service

SERVICE Maître Comparaison de fichiers, une fois par mois Synchronisée avec période de facturation Fusion constructive Transformation: non

TELEPHONES Maître Enregistrer étampe moment de l’événement (date effective) Transfert différé selon période de facturation Chargement: fusion constructive avec time-stamp Transformation: 4 chiffres à 10 chiffres

APPELS Transaction Différé, étampe=date facturation Ajout Transformation: Modifier PAYS=Sosua, Santo Domingo pour Rép Dom. Créer clé

Tutoriel À l’adresse suivante: http://www.hec.ca/mireault/tia/tutoriels/tutoriel3