ENGIMA

Présentation DE EGNIMA

Présentation de Enigma Historique Technologie ETL : Extract-Transform-Load Principe de fonctionnement Logiciel libre Architecture Routeur Tâches Modules (actions) Enchaînement des modules Lexique Référentiel Définition du référentiel

Présentation de Enigma Enigma > Historique 2002 : Premier concept mis en œuvre pour le Guichet Unique de Boulogne sur mer ~ 8 ans 2007 : Repris par Portail Pro , Egnima version 2.0 Extension des possibilités de transformations Remise à jour du code source … 2010 : amélioration constante version 3.3

Présentation de Enigma Enigma > Technologie Microsoft Windows Dot.Net ( à partir Windows XP / Windows Server 2008) Langage VB.net (reprise du code source) Installation simplifiée (programme encapsulé) Léger ( < 50 Mo) Desktop & Serveur Configuration graphique

Présentation de Enigma Enigma > ETL :   Extract-Transform-Load ETL : Extract-Transform-Load Wikipedia : « Extract-Transform-Load » est connu sous le terme ETL, ou Extracto-Chargeur, (ou parfois : datapumping). Il s'agit d'une technologie informatique intergicielle (comprendre middleware) permettant d'effectuer des synchronisations massives d'information d'une base de donnéesvers une autre. Selon le contexte, on traduira par « alimentation », « extraction », « transformation », « constitution » ou « conversion », souvent combinés.

Présentation de Enigma Enigma > Principe de fonctionnement ETL Enigma, concepts : Obtenir les données informatiques Transformer les données Transmettre les données transformés Intégrer les données transformés Automatiser Planifier Traducteur programmable de données informatiques

Présentation de Enigma Enigma > Libération du code Code en cours de libération sous GPLv2 Le logiciel est disponible (Libre & Gratuit) Le code source est disponible et modifiable/extensible Mise en place d’une communauté

Présentation de Enigma Historique Technologie ETL : Extract-Transform-Load Principe de fonctionnement Logiciel libre Architecture Routeur Tâches Modules (actions) Enchaînement des modules Lexique Référentiel Définition du référentiel

Présentation de Enigma Architecture > Routeur Enigma 2 états : Arrêt : aucune activité, configuration possible Marche : exécution du routeur Routeur : moteur d’exécution Ordonnanceur Exécute les tâches à intervalle régulier Récupération et affichage des erreurs Mono-tâche

Présentation de Enigma Architecture > Tâches Automatisation d’un ensemble de transformations de données informatiques Groupe : Premier niveau (ex : référentiel BOMBARIDER) Groupement de tâches sur une même thématique ~répertoire/classeur Tâche : Second niveau (ex : Injection échéanciers standards) Réalise un enchaînement d’actions (module) dans un ordre précis Boucle d’exécution sur un intervalle de temps paramétré Module : troisième niveau (ex : Connexion au serveur du portail) Réalise une action provenant d’une bibliothèque Paramétrage

Présentation de Enigma Architecture > Les modules (= plugins) Bibliothèque : Transmettre / Intégrer Exécution de commande arbitraire (DOS) Connexion Bases de données (Mysql, Oracle, SqlServer) Extraction Bases de données (au format XML) Lecture/Ecriture fichiers (Local, FTP, HTTP(s)) Mails (Envoi/Réception) Transformation CSV vers XML EDI vers XML, XML vers EDI Transformation XML Typologie : Modules d’entrée, modules de sortie, modules de transformation XML : Format d’échange entre les modules Outil graphique de mapping incorporé dans Enigma

Présentation de Enigma Architecture > Enchaînement des modules Principe de cascade Un module transmet les fichiers transformés au suivant tâche : intégration mail Modules d’entrée Ex: réception d’un mail, lecture de la pièce jointe CSV Module de transformation Ex : transformation du fichier CSV en XML (bdd) Modules de sortie Ex : insertion dans une base de données à partir du XML BDD Module Mail Module CSV vers XML Module Insertion Base de données

Présentation de Enigma Architecture > Exploitation basée sur le module Gestion des erreurs Un module ne passe au suivant que s’il y au moins un fichier à transmettre Les actions des modules sont tracées et stockées (LOG) Intégrité des données lors des traitements est géré par dot.net Les types d’erreur possibles sont répertoriés En cas d’erreur il y a possibilité de continuer et/ou de transmettre par mail l’erreur (Module ReportLog)

Présentation de Enigma Architecture > Lexique Module Traitement informatique (plugin, sous programme…) Tâche Ensemble de modules Groupe (plusieurs possible) Ensemble de tâches pour un usage particulier ex : référentiel BT Bibliothèque de modules Ensemble disponible de modules sur étagère

Présentation de Enigma Historique Technologie ETL : Extract-Transform-Load Principe de fonctionnement Logiciel libre Architecture Routeur Tâches Les modules (actions) Enchaînement des modules Lexique Référentiel Définition du référentiel

Présentation de Enigma Référentiel Bombardier > Définition Groupe de tâches prédéfinis livré dans la version Enigma BOMBARDIER Tâches préparés et préconfigurés Paramétrage manuel sur les accès Adaptable avec la bibliothèque de modules livrée avec l’application

Présentation de Enigma Référentiel Bombardier > Messages Standards 7 messages mis à disposition par BT Ex : ECHESTD/H en csv Configuration manuel Suprailnet Connexion HTTP Sauvegarde réseau Excel Préconfiguré: Url : suprailnet Type de fichier : ECHESTD/H Manuel: Login Password Intervalle de vérification Transformation XML ERP Commande DOS (Intégration XML Ou Intégration Base de données

Présentation de Enigma Référentiel Bombardier > BL Source ERP ERP Lecture fichier Conversion vers XML Transformation XML vers XML/BL #1 Vérification par intervalle d’un fichier Exportation BL Exportation Suprailnet Rejet / Acceptation Source Suprailnet Lecture fichier sur Suprailnet Transformation XML vers XML/BL Suprailnet Vérification #1 Génération BL Vérification par intervalle d’un fichier importation (module ?) #2 Dépôt du fichier dans un répertoire d’importation