Les systèmes d’informations : De la DI (Data Integration) à la BI (Business Intelligence) 11 avril 2017

Le système d’information Description : Un système d'information (noté SI) représente l'ensemble des éléments participant à la gestion, au stockage, au traitement, au transport et à la diffusion de l‘information au sein d'une organisation. (réf. Wikipédia) Le système d’information d’une entreprise correspond à l’ensemble de ses différents systèmes contenant une partie de ses données (ERP, systèmes propriétaires, base de connaissance…)

Le système d’information Ma vie d’étudiant Films Cours Sport Fêtes Etudiant Jeux Video Musique

Le système d’information But des systèmes d’information : Optimisation des coûts Modernisation du SI  préoccupation permanente des entreprises. Leviers potentiels au service des directions et des différents métiers de l'entreprise. « Une entreprise ne gère bien que ce qu’elle peut mesurer »

Le système d’information Système Décisionnel de Ma vie d’étudiant:

Le système d’information Système Décisionnel de Ma vie d’étudiant:

Du système d’information au système décisionnel L'information est omniprésente dans toutes les organisations. Gestion d'entreprise (finance, stocks,…) Transport (disponibilités et réservations, rotation des matériels …) Laboratoires (résultats d'expériences, données tirées d'échantillons, publications …) Administration (état civil, casier judiciaire, fiscalité …) L’enseignement (élèves, notes, emplois du temps, affectation de salles…) Personnel (carnet d'adresses, comptes, cave, bd-cd-mp3-thèque …). Données organisées afin de les interpréter sans ambiguïté Structurer ces données par une modélisation spécifique, mais aussi à une très bonne compréhension du domaine concerné Une fois le modèle défini, l'exploitation des données requiert la maîtrise d'outils qui permettront d'interroger de manière rapide et efficace ce capital informationnel.

Le système d’information Il existe principalement 2 types de SI : Systèmes opérationnels : ODS (Operational Data Store) Objectif = Disposer d’une image des opérations traitées dans le système d’information transactionnel de l’entreprise Impact = Opérationnels, contrôleurs de gestion Systèmes décisionnels : Datawarehouse Objectif = Expliquer, Comprendre et Anticiper par une analyse descendante sur les données la situation de l’entreprise. Moyens = Mesure de la performance, tableaux de bord de pilotage Impact = Décideurs, haut management, contrôleurs de gestion

Décisionnels : Datawarehouse Comparatif ODS / Datawarehouse Décisionnels : Datawarehouse Entrepôt de données unique basé sur un SGBDr Déconnecté du système de production (pas d ’impact sur les performances de celui-ci) Modèle de données spécifique et adapté aux besoins d’analyses Opérationnels : ODS Séparé ou non du système de production Modèle de données issu du système transactionnel Peut être basé sur un SGBD hiérarchique (cas de nombreux ERP)

Comparatif des données disponibles dans un ODS / Datawarehouse Comparatif ODS / Datawarehouse Comparatif des données disponibles dans un ODS / Datawarehouse Décisionnels : Datawarehouse Vision synthétique & agrégée de l’information, voir les données globalement, puis descendre dans le détails Sélection des données sensibles à intégrer Conservation d’un historique pour pouvoir tracer une évolution des donnés sur une période plus ou moins longue Indicateurs définis en commun pour tous les secteurs de l'entreprise Opérationnels : ODS Vision beaucoup plus détaillée Sélection des données intégrées moins stricte Visualisation d’une image à un instant t Peu d’historique Indicateurs définis de façon plus autonome (règle de gestion non partagée entre les différents services)

Comparatif des données disponibles dans un ODS / Datawarehouse Comparatif ODS / Datawarehouse Comparatif des données disponibles dans un ODS / Datawarehouse Degré de partage des résultats dans l’entreprise Historique Degré de partage des résultats dans l’entreprise Historique DWH ODS Niveau de détail Niveau de détail

Comparatif ODS / Datawarehouse Résumé Utilisation Personnalisée et sélective Aggrégée et Partagée Résultats obtenus Listing Rapport analytique Partage des résultats Non : Analyse Personnelle Oui : Analyse partageable Découpage fonctionnels Non : Dépend de la "discipline" des utilisateurs Orienté "projet" Données disponibles Toutes les données de l'environnement de production (ERP par exemple) Données potentiellement agrégées provenant de sources multiples Liberté d'action Totale Restreinte Sources de données Unique Multiple Préparation des données Quasi-instantanée ; directement descendue de la poduction Traitement en batch majoritairement durant la nuit Temps de réponse Dépend de la requête écrite par l'utilisateur Dépend du rapport et de la préparation des données en amont

Comparatif ODS / Datawarehouse quelques exemples du marché Décisionnels : Datawarehouse Business Objects Microstrategy Cognos SAS Opérationnels : ODS Outils natifs des systèmes de production Crystal (suite intégrée dans Business Objects)

Modélisation des Systèmes Décisionnels Datawarehouse Le système décisionnel Modélisation des Systèmes Décisionnels  Datawarehouse Objectifs Mettre à disposition des utilisateurs des indicateurs relatifs à l’activité de l’entreprise Autoriser une exploration personnalisée à travers les données Non adapté pour du « listing » de masse Données plus ou moins agrégées Règles essentielles pour la réussite d’un DWH Déconnecté du système de production (impacts performances) Un entrepôt de données unique pour l’ensemble de l’entreprise (SGBDr) Pas d’informations superflues, seules les données essentielles doivent être intégrées Les données obsolètes doivent être purgées

Le système décisionnel Croisement des données : Ventes européennes Couts de distribution comparés au CA Analyse du stock Ventes Article Temps Article Temps Couts Client Ventes Article Temps Magasin Stock Compagnie Région

Analyse multi-dimensionnelle, OLAP, ROLAP, MOLAP, ... Le système décisionnel Analyse multi-dimensionnelle, OLAP, ROLAP, MOLAP, ... Différents types d’analyse Dépendent de la technique de modélisation + outils utilisés Concept d’analyse multi-dimensionnelle Croisement des attributs de toutes les axes d’analyse du modèle (ou dimensions) Résolution dynamique des requêtes quel que soit l’axe analyse choisi Plusieurs moteurs d’analyse : OLAP = On Line Analytical Processing ROLAP = (Relational OLAP) OLAP sur un SGBDr MOLAP = (Multidimensionnal OLAP) Cube

Base de données “Datawarehouse” Le système décisionnel Base de données “Datawarehouse” Sélection et organisation des données Ensemble des données nécessaires et suffisantes pour l’ensemble des projets => organisées dans un seul MCD pour l’ensemble des données de l’entreprise Historique Conservation des données relative au business et aux besoins de chaque activité de l’entreprise Evolution Intégration possible de nouvelles données pour chaque nouveau projet traité

Le système décisionnel Quelques définitions Attribut Propriété suivant laquelle on désire caractériser l’information, correspond à un concept modélisé Hiérarchie Ensemble d’attributs proposés sur un rapport Table de référence (ou lookup) Table du modèle contenant des attributs (cf. code - libelle...) Colonne de fait Colonne contenant l’information numérique que l’on désire exploiter (sur laquelle va se baser l’indicateur) Table de fait Table contenant une ou plusieurs colonnes de fait

Quelques définitions (suite) Le système décisionnel Quelques définitions (suite) Dimension: Axe d’étude, d’analyse; regroupement des attributs de même domaine Modèle multi-dimensionnel / flocon: Contour fonctionnel d’un projet regroupant les dimensions et les tables de faits Exemple : Table de fait Article Temps Magasin Stock Compagnie Région Dimensions

Modèles décisionnels Modèle étoile : (Star schema) Le système décisionnel Modèles décisionnels Modèle étoile : (Star schema) Une Table de fait centrale entourées des tables de dimensions Modèle Flocon : (Snowflake schema) Une Table de fait centrale entourées des tables de dimensions éclatées

Modélisation multidimensionnelle Le système décisionnel Modélisation multidimensionnelle Objectif : Réaliser un modèle de données qui puisse être exploité par un outil OLAP afin de mettre à disposition des utilisateurs des rapports analytiques Méthode (générale): Positionner la (les) table(s) de fait au centre du modèle Identifier sur chaque table de fait les colonnes de fait qui donneront lieu à des indicateurs Identifier les axes d’analyse permettant de caractériser les données de fait Détailler les axes d’analyse Exemple : Modélisation en étoile - Mise en situation

Cycle d’alimentation d’un DW Data intégration Cycle d’alimentation d’un DW Questions préalables: Quelles sont les sources et cible de données ? Quelle est la fréquence de rafraîchissement désirée ? Alimentation -1- Extraction des données source -2- Formatage et transcodification des données -3- Alimentation des systèmes cible Amélioration des performances -1- Dénormalisation -2- Agrégation -3- Index -4- Partitionnement des données Validation des données

Fréquence de rafraîchissement Questions préalables Questions préalables Sources de données Identification lors de l’analyse des systèmes sources Où trouver les bonnes informations Comment récupérer ces données ? Moyen de communication, de transfert des données ? Fréquence de rafraîchissement Quand les données doivent être chargées ? Disponibilité des différentes sources A quelle fréquence ? Quotidienne, hebdomadaire, mensuelle ? Laps de temps pour charger les données, marge ?

Alimentation : - 1 - Extraction des données sources Alimentation du système d’information Alimentation : - 1 - Extraction des données sources La qualité des données du système cible dépend de la qualité des données en amont Plusieurs solutions techniques: Extraction « traditionnelle » sur fichiers plats Outil d ’extraction/intégration : ETL (Extract Transform and Load) ex : Datastage, Informatica, ODI… EAI (Enterprise Application Integration) ex : Webmethods… ESB (communication web basée sur le XML,JMS…) Les sources d’information peuvent être très diverses : Système de production (commandes, factures, stock, clients, …) Lignes de fabrication (Rebuts, cadences de production, ...) Feuilles de calcul type Excel (Objectifs de vente, ...) Statistiques de consultation d’un site Web, étude de concurrence...

Cycle d’alimentation d’un DW Data intégration Cycle d’alimentation d’un DW Questions préalables: Quelles sont les sources et cible de données ? Quelle est la fréquence de rafraîchissement désirée ? Alimentation -1- Extraction des données source -2- Formatage et transcodification des données -3- Alimentation des systèmes cible Amélioration des performances -1- Dénormalisation -2- Agrégation -3- Index -4- Partitionnement des données Validation des données

Alimentation : - 1 - Transfert du système source Alimentation du système d’information Alimentation : - 1 - Transfert du système source Processus « traditionnel » Envoi des données par FTP si l ’extraction a été faite dans un fichier texte Montage NSF ETL Connexion directe à la base source puis rapatriement des données par connexion de type ODBC/JDBC, connexion propre au SGBD (connexion Oracle par exemple) Traitements généralement de nuits (en // des sauvegardes)

Alimentation : - 3 - Chargement Alimentation du système d’information Alimentation : - 2- Formatage et transcodification des données Alimentation : - 3 - Chargement Chargement des fichiers à plat Via une commande de type import ou loader (import dans le SGBD). Déterminer les tables ciblées Les contraintes d’intégrité sur un DWH sont INUTILES et SUPERFLUES Mieux vaut pouvoir caractériser l’information tardivement plutôt que de la perdre Gains au niveau des performances, avantages pour la maintenance (parallélisme, processus de reprises)

Alimentation : - 3 - Chargement Alimentation du système d’information Alimentation : - 3 - Chargement SQL LOADER

Alimentation : - 3 - Chargement Alimentation du système d’information Alimentation : - 3 - Chargement # ---------------------------------------------------------------------------- # <File>: Inventory_imp.sh # <Project>: DW Skedina # <Author>: PR (Philippe ROYER) # <Created>: 19991221 # <Comments>: Inventory table import script # <Modifs>: SL20000419 - Modifications Snapshot_date and Company for Commissionaire # <Modifs>: PR20010228 - NUM_LOT & LOCATION columns size reduction # <Modifs>: ORACLE MIGRATION - Updated by Pbriais date sqlldr userid=$1/$2 control=$SCRIPTS/imports/ctl/inventory.ctl log=$SCRIPTS/imports/log/inventory.log errors=999999 SILENT=ALL direct=y sqlplus <<EOF $1/$2 execute ins_upd('INVENTORY','INVENTORY_TMP'); exit EOF Script Shell exécuté tout les soirs par exemple -- Control file for Oracle SQL Loader LOAD DATAINFILE '$DATA/Inventory.txt'INTO TABLE INVENTORY_TMP APPEND (SHORT_ITEM POSITION(1:8), BUS_UNIT_ID POSITION(9:20), SNAPSHOT_DATE POSITION(632:641) DATE "YYYY-MM-DD", LOCATION POSITION(21:30), NUM_LOT POSITION(41:41), COMPANY POSITION(608:612), ON_HAND_QTY POSITION(268:284), IN_TRANSIT_QTY POSITION(591:607), ITEM POSITION(76:89)) Procedure PLSQL

Alimentation : - 3 - Chargement Utilisation d’un ETL

Cycle d’alimentation d’un DW Data intégration Cycle d’alimentation d’un DW Questions préalables: Quelles sont les sources et cible de données ? Quelle est la fréquence de rafraîchissement désirée ? Alimentation -1- Extraction des données source -2- Formatage et transcodification des données -3- Alimentation des systèmes cible Amélioration des performances -1- Dénormalisation -2- Agrégation -3- Index -4- Partitionnement des données Validation des données

- 1 - Amélioration des Performances Amélioration des performances - DW - 1 - Amélioration des Performances Basées sur la connaissance de l’utilisation finale du projet Dépend des populations utilisatrices Prendre en considération les performances d’exécution de rapports mais aussi la fenêtre de temps disponible pour le chargement

Amélioration des Performances Avant propos : notion de Granulosité Amélioration des performances - DW Amélioration des Performances Avant propos : notion de Granulosité Dans le modèle de données: Plus on se rapproche de la table de fait sur chaque axe : Le niveau de détail augmente La finesse augmente Nombre de lignes affichées par le rapport augmente La granulosité diminue (le grain devient plus fin) Factures Jour Mois Année Granulosité élevée Granulosité faible

Amélioration des performances – DW Alimentation : - 2 - Agrégation Exemple de SQL : create table OL_M_WINCAT( MONTH_ID INTEGER, WIN_CATEGORY CHAR(1), REVENUE FLOAT, CAS FLOAT); insert into OL_M_WINCAT select a1.MONTH_ID, a3.WIN_CATEGORY, (SUM (a1.REVENUE )), (SUM (a1.CAS )) from ORDER_LINES_TCUR a1, ITEM a3 where a3.ITEM = a1.ITEM group by a1.MONTH_ID, a3.WIN_CATEGORY; commit;

Alimentation : - 2 - Agrégation Amélioration des performances - DW Alimentation : - 2 - Agrégation DROP INDEX INSERT des lignes a charger en mode BULK CREATE INDEX

Alimentation : - 3 - Index Amélioration des performances - Index Alimentation : - 3 - Index Alimentation : - 3 - Index Objectif : Amélioration des performances de recherche sur une table. A créer sur une ou plusieurs colonnes Différents types d’index préconisés suivant les cas de figure. Mis à jour lors du chargement des données

Alimentation : - 3 - Index Amélioration des performances - Index Alimentation : - 3 - Index Alimentation : - 3 - Index BTREE index BITMAP index

Alimentation : - 4 - Partitionnement Amélioration des performances - Partitionnement Alimentation : - 4 - Partitionnement Objectif : Découper une table de volumétrie élevée en N tables plus petites Comment: Une table maître comprenant: Une clef de partitionnement Une référence à N tables filles N tables filles contenant les données Solutions techniques de deux type : Au niveau du SGBD Fonctionnalité de l’outil OLAP

Cycle d’alimentation d’un DW Data intégration Cycle d’alimentation d’un DW Questions préalables: Quelles sont les sources et cible de données ? Quelle est la fréquence de rafraîchissement désirée ? Alimentation -1- Extraction des données source -2- Formatage et transcodification des données -3- Alimentation des systèmes cible Amélioration des performances -1- Dénormalisation -2- Agrégation -3- Index -4- Partitionnement des données Validation des données

Validation des données Confirmer que mon DW me renvois bien les bonnes informations (pas de glissement non maitrisés) Utiliser une triangulation afin de vérifier les chiffres Toujours rechercher les données à comparer au plus près du fait générateur Répéter régulièrement l’opération (tous les mois) Systèmes intermédiaire Systèmes intermédiaire Réplication ETL Systèmes intermédiaire DW Source Validation

Amélioration des performances - Partitionnement Historique Un DW n’est pas une restitution de la vision du système de production Permet de retracer toutes les évolutions des systèmes sources (pas de MAJ) - Quelle était ma vision il y a une semaine ? (Audit - Réglementaire) Semaine S Source DW ETL ID Valeur 1 Evoli ID Valeur 1 Evoli Semaine S+1 Source DW ETL ID Valeur Semaine 1 Evoli S Pyroli S+1 ID Valeur 1 Pyroli