ETL - Pentaho Data Integration

Présentation au sujet: "ETL - Pentaho Data Integration"— Transcription de la présentation:

1 ETL - Pentaho Data Integration
Brice LEGRAND – A13

2 Introduction Pentaho Data Integration, alias Kettle
Version Communautaire (CE) : gratuite Version entreprise (EE) : payante Peu de différences entre ces deux versions : Quelques fonctionnalités avancées Support Aspects de sécurité Travail collaboratif Documentation Etc…

3 Introduction S’intègre parfaitement dans la suite Pentaho : Exemple :
Report Designer pour le reporting Business Analytics pour l’intelligence artificielle Exemple : Flux de données récupérés en temps réel par l’ETL et qui donnent lieu à du reporting en temps sur ces données. Fonctionne sur une machine java Pas d’installation (dézippage du dossier) Solution portable et indépendante du système d’exploitation

4 Pentaho Data Integration CE
4 modules : Spoon : Interface graphique pour construire l’ETL Carte : Permet d’utiliser kettle sur un serveur distant Pan : Exécution des transformations en ligne de commande Kitchen : Exécution des jobs en ligne de commande

5 Pentaho Data Integration CE
Deux possibilités de gestion des jobs et transformations : Par fichiers plats au format XML, en local En base de donnée pour permettre l’accès à plusieurs contributeurs

6 Spoon Petit rappel : Transformation : Job :
Effectue les traitements sur les données Job : Vérifie la présence d’un fichier Assure la synchronisation des transformations Interroge un serveur Envoi un mail etc…

7 Spoon – Quelques étapes
Tri de ligne Dédoublonnage Jointure Altération structure de flux Extraction depuis fichier Calcul

8 Aspects avancés Mode débogage :
permet de visualiser les données en cours de traitement donne des informations sur les exceptions java rencontrées si erreur Clic droit sur l’étape, Prévisualiser

9 Aspects avancés Traitements avancés des données en JavaScript

10 Dans quel cas utiliser cet ETL
Contexte du datawarehouse Traitement et regroupement de données en général Entreprise PME ou particuliers : coûts faibles ou nuls et maitrisés.

11 Pour aller plus loin :