Rencontre des utilisateurs SAS de la région de Montréal 27 septembre 2005 Bureau de planification et détudes institutionnelles Implantation dun entrepôt.

Présentation au sujet: "Rencontre des utilisateurs SAS de la région de Montréal 27 septembre 2005 Bureau de planification et détudes institutionnelles Implantation dun entrepôt."— Transcription de la présentation:

1 Rencontre des utilisateurs SAS de la région de Montréal 27 septembre 2005 Bureau de planification et détudes institutionnelles Implantation dun entrepôt de données à lUniversité Laval Commentaires sur lexpérience vécue à ce jour Richard Massé

2 www.ulaval.ca Mandat du BPEI (extrait) Effectue les études nécessaires à la gestion de linformation institutionnelle. Toute activité ad hoc détude, de recherche, danalyse-conseil, de coordination, de soutien, de supervision, dévaluation ou de gestion spécifiquement confiée par le vice- recteur exécutif

3 www.ulaval.ca VRE VRR VRAF VRDRI Carrefour de linformation de gestion VRRH

4 www.ulaval.ca Répartition de la charge de travail Recherche de linformation dans les systèmes opérationnels 50% Production des rapports 40% Analyse des données 10% En février 2004 :

5 www.ulaval.ca Répartition de la charge de travail Recherche de linformation dans les systèmes opérationnels 10% Production des rapports 10% Analyse des données 80% En février 200? (espéré):

6 www.ulaval.ca Comment en arriver à ce résultat ? Mettre en place un entrepôt de données ! Mais… Cest quoi au juste un entrepôt de données ???

7 www.ulaval.ca Définition dun entrepôt de données A data warehouse is a subject oriented, integrated, non-volatile, and time variant collection of data in support of managements decisions. (W.H. Inmon, Building the Data Warehouse) Un entrepôt de données est un mécanisme permettant de remplacer le processus actuel de gestion des données par un mécanisme de gestion de la connaissance organisationnelle. (Léquipe du BPEI)

8 BPEI Infrastructure pour exploiter linformation Entrepôt Cubes OLAP Online analytical processing Tableaux de bord Rapports Analyses Forages de données Bases de données opérationnelles Données externes Extractions Vues

9 www.ulaval.ca Les acquis… Nos bases de données comportent ( pour le moment ) peu de redondance au niveau des tables nécessaires à la production des rapports destinés à la direction de linstitution. Notre structure Oracle est relativement bien normalisée et documentée. Modèle « large » mais peu « profond ».

10 www.ulaval.ca Ce quil manque… Un système de documentation des indicateurs. Une structure nous permettant de conserver une image historique des données. Un mécanisme de chargement de lentrepôt. Un mécanisme de diffusion des rapports. Un environnement danalyse des résultats. Etc.

11 www.ulaval.ca Plan de match – Contexte organisationnel Que nous ne pouvons pas implanter toutes les composantes informatiques en même temps. Quil faut utiliser au maximum les ressources déjà en place. (Service informatique, Service des communications, etc.) Le BPEI est composé de 4 personnes. Le directeur, 2 agents de recherche et de planification ainsi quun informaticien (moi). Cela implique :

12 www.ulaval.ca Plan de match – Notre entente… Je moccupe de la structuration et du chargement des données. Jacques et Luc utilisent ces données et produisent eux-mêmes les analyses nécessaires. Dans ce contexte de ressources limitées, nous avons dû nous entendre relativement à la répartition des tâches :

13 Vue densemble

14 Chargement de lentrepôt

15 Documentation

16 Obtention des données

17 Modélisation de lentrepôt

18 Chargement

19 Diffusion des données

20 www.ulaval.ca Gestion de Indicateurs Institutionnels (GII) Un dictionnaire permettant de documenter des indicateurs. Une structure générique permettant de conserver des résultats. Constatation : Avant de créer un entrepôt, vaux mieux savoir de quoi celui-ci va traiter ! Constatation : Les gestionnaires ne travaillent pas avec des tables et des colonnes mais bien avec des indicateurs. Par conséquence GII est :

21 www.ulaval.ca Exemple de rapport - Fiche descriptive pour le comité du budget

22 www.ulaval.ca Définition dindicateurs

23 www.ulaval.ca Définition dindicateurs

24 www.ulaval.ca Définition dindicateurs

25 www.ulaval.ca Gestion de lhistorique Constatation : Le concept de temps nest pas toujours présent dans un système opérationnel. Il est cependant nécessaire dans un système décisionnel.

26 www.ulaval.ca Gestion de lhistorique Constatation : Un cube permet de conserver lhistorique des données relativement à un sujet précis. Mais que faire si lon a une question imprévue ? Difficile de créer des cubes si lon ne connaît pas les questions. Il nous faut un mécanisme plus générique.

27 www.ulaval.ca Gestion de lhistorique Il faut mettre en place un mécanisme nous permettant denregistrer létat des systèmes opérationnels à un moment x. (Proc photo). Avec ce mécanisme nous avons le meilleur des 2 mondes. Nous avons une vision plus large quavec des cubes sans pour autant renoncer à ceux-ci. Bien entendu, il sagit de photos et non dun film!

28 www.ulaval.ca Structure de lentrepôt Lutilisation dune structure semblable aux tables opérationnelles est possible car nos systèmes opérationnels sont relativement bien intégrés. Comme nous parlons des « mêmes » structures il est plus facile de comparer avec les acteurs des systèmes opérationnels nos requêtes et nos résultats sans pour autant délaisser le côté temporel des données. On ne parle pas ici dune structure de diffusion mais bien dune structure « darchivage » de linformation contenue dans les systèmes opérationnels.

29 www.ulaval.ca Structure de lentrepôt La structure de lentrepôt est la suivante :

30 www.ulaval.ca Comparaison et chargement

31 www.ulaval.ca Structure de lentrepôt Le chargement de lentrepôt est fait de la façon suivante :

32 www.ulaval.ca Production des rapports statutaires Les rapports statutaires sont créés à laide de SAS DM, SAS/Assist et Enterprise Guide. Les procédures sont encapsulées dans des macros afin de faciliter la lecture et la réutilisation. Lutilisation de macro va faciliter lintégration dans ETL Studio.

33 www.ulaval.ca Production des rapports statutaires (Exemple) %extraire_condition_emploi(donnees.Imgh_condition_emploi, staging.condition_emploi); %extraire_fractionnement_emploi(staging.condition_emploi, donnees.Imgh_fractionnement_emploi, staging.fractionnement_emploi);... %i77nb_profs_reguliers_etc(staging.condition_emploi, donnees.Imgh_individu, staging.nb_professeurs_reguliers);... %consolidation_indicateurs; %produire_tableau_g10;

34 Outils utilisés

35 www.ulaval.ca Expériences acquises à ce jour Les trois principaux facteurs à tenir en compte pour mettre en place un entrepôt de données sont : 1 - Les définitions 2 - Les définitions 3 - Les définitions !!!

36 www.ulaval.ca Expériences acquises à ce jour Le nombre dinformaticien s disponible s La fréquence de chargement de lentrepôt Les modes de diffusions des résultats La capacité danalyse des outils sélectionnés La courbe dapprentissage des produits utilisés Les 5 facteurs suivants ont un impact très important sur larchitecture choisie :

37 www.ulaval.ca Expériences acquises à ce jour Permet de produire des programmes plus faciles à lire et à décortiquer. Permet de bien isoler les définitions dans des blocs de code réutilisables intégrables dans ETL Studio. Permet de faire facilement le lien entre la définition GII des indicateurs et le programme correspondant. Permet de minimiser les « lacunes » de programmation SAS de lauteur ! Lutilisation de traitement encapsulés dans des macros offre les avantages suivants :

38 www.ulaval.ca Expériences acquises à ce jour Avec la version actuelle de SAS incluant le serveur de métadata et les procédures stockées on peut utiliser la puissance danalyse de SAS et ce même à lextérieur de lenvironnement SAS. Avec lODS il est possible de produire de très beaux rapports et de permettre la diffusion de ceux-ci de multiples façons. Notez ici que le présentateur navait pas fait de SAS depuis environ 10 ans !

39 www.ulaval.ca Expériences acquises à ce jour Les articles présentés dans le cadre des SUGI sont généralement très bien faits et très instructifs. Ces articles sont disponibles via le web. Notez ici que le présentateur navait pas fait de SAS depuis environ 10 ans !

40 www.ulaval.ca Conclusion - Où sommes-nous rendus ? (phase 1) Mettre en place lentrepôt. Automatiser la production des rapports statutaires. Acquérir et mettre en place les outils danalyse et de production de rapports ad hoc nécessaires au gens du BPEI. Diffuser les résultats de façon « statique » via notre site W3.

41 www.ulaval.ca Où sommes-nous rendus ? (phase 2 – à venir) Diffuser les résultats de façon « dynamique » via ??? (XML – XSLT) Construire des cubes ? Produire des analyses plus poussées à laide doutil de forage de données ? Il y aura à considérer la mise en place des outils mais également limplantation dune culture liée à lutilisation de ces outils.

42 www.ulaval.ca Que nous réserve lavenir ??? Nous pensons que larchitecture actuelle sera adéquate dici la venue des progiciels de gestion des études et de gestion des ressources humaines. Cependant les questions dintégration des données devront être revues en fonction des technologies disponibles (intégration par les données, EAI, SOA, etc.). Il est clair quun lien étroit avec les gens du département des systèmes est obligatoire si lon veut réussir.

43 www.ulaval.ca Questions Richard Massé, M.Sc. Analyste de linformatique Vice-rectorat exécutif Bureau de planification et détudes institutionnelles (BPEI) Téléphone : (418) 656-2131 poste 4258 Courriel : Richard.Masse@vrex.ulaval.ca MERCI !