La rétroconception de bases de données

Présentation au sujet: "La rétroconception de bases de données"— Transcription de la présentation:

1 La rétroconception de bases de données
Jacky AKOKA & Isabelle WATTIAU J. AKOKA &I.WATTIAU

2 SOMMAIRE 1. Introduction : pourquoi la rétroconception ?
2. Définition : qu'est ce que la rétroconception ? 3. Les problèmes de la rétroconception 4. Les techniques de rétroconception 4.1. Rétroconception de système de fichiers 4.2. Rétroconception de bases hiérarchiques 4.3. Rétroconception de bases réseaux 4.4. Rétroconception de bases relationnelles Méthode de Fonkam & Gray Comparaison de méthodes relationnelles Méthode MeRCI 4.5. Rétroconception de bases multidimensionnelles 5. Conclusion J. AKOKA &I.WATTIAU

3 1. Introduction : pourquoi la rétroconception ?
Les entreprises sont confrontées à des problèmes de migration : faire évoluer les bases de données existantes vers d'autres environnements faire évoluer les fonctionnalités de ces applications intégrer dans les systèmes les changements organisationnels (fusions d'entreprises, réingénierie des processus de l'entreprise, etc.) Il faut comprendre les systèmes, leur contenu, leur structure pour les faire migrer J. AKOKA &I.WATTIAU

4 1. Introduction : pourquoi la rétroconception ?
Les enjeux économiques sont importants : une part de plus en plus importante des budgets informatiques est consacrée à la maintenance : de 50 à 80 % selon les enquêtes la moitié des équipes informatiques est affectée à la maintenance des applications cette part importante s'explique par le manque de connaissance des systèmes amenés à évoluer : les développeurs ne sont plus là la documentation est inexistante ou obsolète il faut mieux comprendre les systèmes, leur contenu, leur structure pour en faciliter la maintenance J. AKOKA &I.WATTIAU

5 1. Introduction : pourquoi la rétroconception ?
S'ajoutent des phénomènes politiques et conjoncturels : l'an 2000 : une catastrophe annoncée causes : coût de stockage des données mauvaise anticipation de la durée de vie des applications conséquences : erreurs sur les calculs d'âge, comparaison de dates, tris, etc. le passage à l'EURO : la transition par étapes du Franc à l'EURO implique une évolution par étapes des systèmes J. AKOKA &I.WATTIAU

6 1. Introduction : pourquoi la rétroconception ?
Finalement, la rétroconception doit fournir le moyen de visualiser le contenu des bases de données des programmes pour en faciliter l'évolution rendue nécessaire par le contexte économique le contexte politique les nouveaux besoins incontournables des entreprises J. AKOKA &I.WATTIAU

7 2. Définition : qu'est ce que la rétroconception ?
A partir des programmes et des bases de données existantes, La rétroconception produit des composants conceptuels correspondants : entités associations attributs processus etc. Ces composants peuvent servir à : reconcevoir les bases de données existantes créer de nouvelles applications J. AKOKA &I.WATTIAU

8 2. Définition : qu'est-ce -que la rétroconception ?
J. AKOKA &I.WATTIAU

9 2. Définition : qu'est-ce -que la rétroconception ?
Quelques autres termes associés : - "forward engineering" : processus classique de conception terme utilisé pour l'opposer à "reverse engineering" - redocumentation : sous-domaine du "reverse engineering" création d'une représentation des données, organigrammes, etc., à l'intention du public humain - "design recovery" : processus dans lequel une connaissance du domaine et des informations externes sont utilisées pour remonter à un niveau d'abstraction plus élevé que celui obtenu par la seule étude du système - "restructuring" : transformation d'un type de représentation à un autre au même niveau d'abstraction par exemple passage d'un code non structuré à un code structuré, ou normalisation d'un schéma de données J. AKOKA &I.WATTIAU

10 2. Définition : qu'est ce que la rétroconception ?
La rétroconception de bases de données : fournit un schéma conceptuel de la base à partir de différentes sources : les spécifications DDL les spécifications DML et les programmes les données la documentation les concepteurs les utilisateurs J. AKOKA &I.WATTIAU

11 2. Définition : qu'est ce que la rétroconception ?
DDL Structure des données DML Rétroconception de base de données données Liens entre les données documentation Contraintes d'intégrité concepteurs utilisateurs J. AKOKA &I.WATTIAU

12 3. Les problèmes de la rétroconception
Les sources sont multiples DDL, DML, données, utilisateurs, concepteurs, documentation Les sources ne sont pas toutes disponibles documentation, concepteurs La fiabilité des sources est très variable documentation obsolète, utilisateurs peu informés, spécifications obsolètes La taille des systèmes engendre un travail très fastidieux il faut automatiser ce qui peut l'être La conception d'une base de données passe par des étapes de dégradation sémantique il faut retrouver cette sémantique J. AKOKA &I.WATTIAU

13 4. Les techniques de rétroconception
La rétroconception est étudiée depuis le début des années 1980 : transformation de schémas Deux modes de classification : par modèle physique : systèmes de fichiers systèmes hiérarchiques systèmes réseaux systèmes relationnels par type d'approche : manuelle algorithmique experte J. AKOKA &I.WATTIAU

14 4.1. La rétroconception de systèmes de fichiers
Illustration à l'aide d'une méthode proposée par Davis & Arora en 1985 Les phases : Système de fichier classique Modèle physique logique J. AKOKA &I.WATTIAU

15 4.1. La rétroconception de systèmes de fichiers
classique Modèle physique logique Le passage du système de fichier classique au modèle physique : explorer les descriptions des enregistrements pour trouver les enregistrements et leurs rubriques à partir de ces enregistrements, localiser les unités de données physiques , futures entités ou associations du modèle logique affecter à chaque unité un nom et une clé primaire et déterminer les accès en fonction de la clé primaire trouver les références à l'intérieur des unités, déterminer les accès utilisées par ces références fusionner tous les unités reliées par des références 1-1 qui ne contiennent pas d'autres références construire le graphe des unités représentant la structure physique des données et des références J. AKOKA &I.WATTIAU

16 4.1. La rétroconception de systèmes de fichiers
classique Modèle physique logique Le passage du modèle physique au modèle logique : trouver les entités à clés simples (un seul attribut) trouver les entités à clés composés (plusieurs attributs) traduire les intersections entre unités en associations traduire tous les chemins d'accès physiques les traduire en associations affecter les attributs aux entités et aux associations J. AKOKA &I.WATTIAU

17 Un exemple : le système d’inscription d’une université
toutes les informations sur les professeurs et les étudiants sont stockées dans un même fichier : PEOPLE les étudiants peuvent s’inscrire à plusieurs cours un cours peut être enseigné par plusieurs professeurs l’information sur les résultats des étudiants inclut un code : major-code qui référence un autre fichier : MAJOR-TABLE. J. AKOKA &I.WATTIAU

18 Description des fichiers
* Fichier comportant un seul type d’enregistrement indexé sur PEOPLE_ID * 01 PEOPLE. 02 PEOPLE-ID PIC X(9). 02 PEOPLE-NAME PIC X(20). 02 PEOPLE-INSTR-DATA. 03 PEOPLE-INSTR-TITLE PIC XX. 03 PEOPLE-INSTR-DEPT PIC XXXX. 02 PEOPLE-STUDENT-DATA. 03 PEOPLE-STUDENT-CLASS PIC XX. 03 PEOPLE-STUDENT-GRADUATION. 04 PEOPLE-STUD-GRAD-MAJOR-CODE PIC XXXX. 04 PEOPLE-STUD-GRAD-DATE PIC X(8). 03 PEOPLE-STUDENT-CRSES OCCURS 15 TIMES. 04 PEOPLE-STUD-CRSES-ID PIC X(6). 04 PEOPLE-STUD-CRSES-CREDIT PIC 9(3). 04 PEOPLE-STUD-CRSES-CREDIT-CHAR REDEFINES PEOPLE-STUD-CRSES-CREDIT PIC X(3). 04 PEOPLE-STUD-CRSES-GRADE PIC X. * Fichier comportant un seul type d’enregistrement indexé sur MAJOR-CODE * 01 MAJOR-TABLE. 02 MAJOR-CODE PIC XXXX. 02 MAJOR-TITLE PIC X(30). J. AKOKA &I.WATTIAU

19 Description des fichiers (suite)
* Fichier à type d’enregistrement mutiple, séquentiel ordonné sur CRSE-ID CRSE-RECORD-TYPE * 01 CRSE-RECORD. 02 CRSE-RECORD-TYPE PIC X. 02 CRSE-ID PIC X(6). 02 CRSE-TITLE PIC X(20). 02 CRSE-STUDENTS OCCURS 200 TIMES PIC X(9). 02 CRSE-TEACHERS OCCURS 10 TIMES PIC X(9). 01 CRSE-RECORD-TIMES REDEFINES CRSE-RECORD. 02 CRSE-TIMES-RECORD-TYPE PIC X. 02 CRSE-TIMES-ID PIC X(6). 02 CRSE-MEETINGS PIC X(20). 02 CRSE-MEET-SPECIFIC REDEFINES CRSE-MEETINGS. 03 CRSE-MEETINGS-TIMES PIC X(12). 03 CRSE-MEETINGS-PLACE PIC X(8). J. AKOKA &I.WATTIAU

20 Références entre les fichiers
J. AKOKA &I.WATTIAU

21 Contraintes associées
à l’insertion d’un enregistrement PEOPLE, s’il contient un MAJOR-CODE, le système vérifie que ce MAJOR-CODE existe dans le fichier MAJOR-TABLE à l’insertion d’un enregistrement PEOPLE, s’il contient un CRSE-ID, le système vérifie que ce CRSE-ID existe dans le fichier CRSE-RECORD à la suppression d’un MAJOR-CODE dans MAJOR-TABLE, le système vérifie qu’il n’existe pas d’enregistrement dans PEOPLE avec ce MAJOR-CODE J. AKOKA &I.WATTIAU

22 Détermination des PDU (unités de données physiques)
1ère étape : Le passage du système de fichier classique au modèle physique Détermination des PDU (unités de données physiques) PEOPLE(PEOPLE-ID,PEOPLE-NAME,PEOPLE-INSTR-TITLE,PEOPLE-INSTR-DEPT,PEOPLE-STUDENT-CLASS) PEOPLE||PEOPLE-STUDENT-GRADUATION(PEOPLE-ID,PEOPLE-STUD-GRAD-MAJOR,PEOPLE-STUD-GRAD-DATE) PEOPLE||PEOPLE-STUDENT-CRSES(PEOPLE-ID,PEOPLE-STUD-CRSE-ID,PEOPLE-STUD-CRSES-CREDIT,PEOPLE-STUD-CRSES-GRADE) CRSE-RECORD(CRSE-ID,CRSE-RECORD-TYPE,CRSE-TITLE) CRSE-RECORD||CRSE-STUDENTS(CRSE-ID,CRSE-STUDENTS) CRSE-RECORD||CRSE-TEACHERS(CRSE-ID,CRSE-TEACHERS) CRSE-RECORD||CRSE-RECORD-TIMES(CRSE-TIMES-ID,**SYSTEM-SEQ**,CRSE-TIMES-RECORD-TYPE) CRSE-RECORD||CRSE-RECORD-TIMES||CRSE-MEETINGS(CRSE-TIMES-ID,**SYSTEM-SEQ**,CRSE-MEETINGS) CRSE-RECORD||CRSE-RECORD-TIMES||CRSE-MEET-SPECIFIC(CRSE-TIMES-ID,**SYSTEM-SEQ**,CRSE-MEETINGS-TIMES,CRSE-MEETING-PLACE) MAJOR-TABLE(MAJOR-CODE, MAJOR-TITLE) J. AKOKA &I.WATTIAU

23 Détermination des chemins d’accès physiques
1ère étape : Le passage du système de fichier classique au modèle physique Détermination des chemins d’accès physiques PEOPLE(PEOPLE-ID),PEOPLE-STUDENT-GRADUATION(PEOPLE-ID),1-1 PEOPLE(PEOPLE-ID),PEOPLE-STUDENT-CRSES(PEOPLE-ID),1-n PEOPLE||PEOPLE-STUDENT-GRADUATION(PEOPLE-STUD-GRAD-MAJOR-CODE), MAJOR-TABLE(MAJOR-CODE),n-1 PEOPLE||PEOPLE-STUD-CRSES(PEOPLE-STUD-CRSES-ID), CRSE-RECORD(CRSE-ID), n-1 CRSE-RECORD (CRSE-ID),CRSE-STUDENTS(CRSE-ID),1-n CRSE-RECORD (CRSE-ID),CRSE-TEACHERS(CRSE-ID),1-n CRSE-RECORD (CRSE-ID),CRSE-RECORD-TIMES(CRSE-ID),1-n CRSE-RECORD||CRSE-STUDENTS(CRSE-STUDENTS),PEOPLE(PEOPLE-ID),n-1 CRSE-RECORD||CRSE-TEACHERS(CRSE-TEACHERS),PEOPLE(PEOPLE-ID),n-1 CRSE-RECORD-TIMES(CRSE-ID),CRSE-MEETINGS(CRSE-ID),1-1 CRSE-RECORD-TIMES(CRSE-ID),CRSE-MEET-SPECIFIC(CRSE-ID),1-1 CRSE-MEETING(CRSE-ID),CRSE-MEET-SPECIFIC(CRSE-ID),1-1 J. AKOKA &I.WATTIAU

24 Construction du graphe des PDU
1ère étape : Le passage du système de fichier classique au modèle physique Construction du graphe des PDU 1 n 1 PEOPLE n PEOPLE- STUDENT- CRSES CRSE- RECORD n 1 1 n 1 CRSE- STUDENTS 1 1 1 n n CRSE- TEACHERS CRSE- RECORD- TIMES n 1 PEOPLE- STUDENT GRADUATION n 1 1 1 1 CRSE- MEET- SPECIFIC CRSE-MEETINGS 1 MAJOR-TABLE J. AKOKA &I.WATTIAU 1

25 2ème étape : Le passage du modèle physique au modèle logique
Détermination des entités PEOPLE(PEOPLE-ID,PEOPLE-NAME,PEOPLE-INSTR-TITLE,PEOPLE-INSTR-DEPT, PEOPLE-STUDENT-CLASS,PEOPLE-STUD-GRAD-MAJOR-CODE) CRSE-RECORD (CRSE-ID,CRSE-RECORD-TYPE,CRSE-TITLE) CRSE-RECORD||CRSE-RECORD-TIMES(CRSE-TIMES-ID,*SYSTEM-SEQ*,CRSE-TIMES-RECORD-TYPE) CRSE-RECORD||CRSE-RECORD-TIMES||CRSE-MEETINGS(CRSE-TIMES-ID,*SYSTEM-SEQ*,CRSE-MEETINGS) CRSE-RECORD| |CRSE-RECORD-TIMES||CRSE-MEET-SPECIFIC(CRSE-TIMES-ID,*SYSTEM-SEQ*,CRSE-MEET-TIMES,CRSE-MEET-PLACES) MAJOR-TABLE(MAJOR-CODE, MAJOR-TITLE) Détermination des relations avec attributs PEOPLE||PEOPLE-STUDENT-GRADUATION(PEOPLE-STUD-GRAD-DATE) PEOPLE||PEOPLE-STUDENT-CRSES(PEOPLE-STUD-CRSES-CREDIT, PEOPLE-STUD-CRSES-GRADE) J. AKOKA &I.WATTIAU

26 2ème étape : Le passage du modèle physique au modèle logique
Construction du schéma Entité-Relation PEOPLE|| CRSE-RECORD- TEACHERS m PEOPLE n m 1 n CRSE-RECORD PEOPLE|| CRSE-RECORD- STUDENTS 1 PEOPLE- STUDENT- GRADUATION n 1 1 CRSE- MEETINGS CRSE- RECORD- TIMES n MAJOR- TABLE 1 1 1 CRSE- MEET- SPECIFIC 1 J. AKOKA &I.WATTIAU

27 4.2. La rétroconception de schémas hiérarchiques
Conversion d’un schéma hiérarchique en un schéma entité-relation Illustration à l’aide de l’approche de Winans & Davis : rétro-conception d’une base IMS en entrée : IMS DBD J. AKOKA &I.WATTIAU

28 Etape 1 - Le DBD collecter les informations sur tous les DBD physiques : nom du DBD type accès (HSAM, HISAM,HDAM,HIDAM) J. AKOKA &I.WATTIAU

29 Etape 2 - Les segments chaque nom de segment est extrait pour devenir
une entité ou une association. les segments virtuels (définis par l’opérande SOURCE) sont traduits en une entité, mais marqués comme virtuels si un segment n’a pas de parent (PARENT=0 ou pas de clause PARENT), il devient une entité racine : le champ SEQUENCE devient son identifiant si un segment a un parent (PPE physical parent entity), l’entité correspondante est marquée PCE (physical child entity), une association est créée entre parent et enfant, l’identifiant de l’enfant est composé même traitement pour les enfants logiques J. AKOKA &I.WATTIAU

30 Etape 4 - Les cardinalités
Etape 3 - Les champs tous les champs déclarés dans les DBD sont traduits en attributs des entités appropriés les champs décrits dans les clauses SEQUENCE sont utilisés comme identifiants Etape 4 - Les cardinalités toute relation entre un PPE et un PCE est 1-n du parent vers l’enfant sauf si il y a un pointeur avant NOTWIN, dans ce cas elle est 1-1 toute relation entre un LPE et un LCE est 1-n du parent vers l’enfant une entité virtuelle est reliée par une association 1-1 à son entité physique paire J. AKOKA &I.WATTIAU

31 Etape 5 - Finalisation du processus
toutes les entités sont examinées pour déterminer si elles peuvent être combinées, pour former des entités plutôt que des éléments J. AKOKA &I.WATTIAU

32 Exemple DBD NAME=PAYROLL,ACCESS=HIDAM DATASET...
NAMEMAST DBD NAME=PAYROLL,ACCESS=HIDAM DATASET... SEGM NAME=NAMEMAST,PTR=TWINBWD,RULES=(VVV),BYTES=15,FREQ=1000 LCHILD NAME=(INDEX,INDEXDB),PTR=INDX FIELD NAME=(EMPLOYEE,SEQ,U),BYTES=60,START=1,TYPE=C FIELD NAME=MANNBR,BYTES=15,START=61,TYPE=C FIELD NAME=ADDR,BYTES=75,START=75,TYPE=C SEGM NAME=ADDRESS,BYTES=200,FREQ=2,PARENT=NAMEMAST FIELD NAME=(HOMEADDR,SEQ,U),BYTES=100,START=101,TYPE=C FIELD NAME=COMAILOC,BYTES=100,START=101,TYPE=C SEGM NAME=PAYROLL,BYTES=100,FREQ=1,PARENT=NAMEMAST FIELD NAME=(BASICPAY,SEQ,U),BYTES=15,START=1,TYPE=P FIELD NAME=HOURS,BYTES=15,START=51,TYPE=P DBDGEN FINISH END ADDRESS PAYROLL J. AKOKA &I.WATTIAU

33 Exemple (suite) DBD NAME=SKILLINV,ACCESS=HDAM... DATASET...
SKILMAST SKILNAME DBD NAME=SKILLINV,ACCESS=HDAM... DATASET... SEGM NAME=SKILMAST,BYTES=31,FREQ=1000,PTR=TWIN FIELD NAME=(TYPE,SEQ,U),BYTES=21,START=1,TYPE=C FIELD NAME=STDCODE,BYTES=10,START=22,TYPE=C SEGM NAME=SKILNAME,BYTES=80,FREQ=500,PARENT=((SKILMAST,DBLE),(NAMEMAST,P,PAYROLDB)),PTR=(LPARNT,TWIN,TWINBWD),RULES=(VVV) FIELD NAME=(EMPLOYEE,SEQ,U),BYTES=60,START=1,TYPE=C FIELD NAME=(STDLEVL),BYTES=20,START=61,TYPE=C SEGM NAME=EXPR,BYTES=20,FREQ=10,PTR=T,PARENT=((SKILNAME,SNGL)) FIELD NAME=PREVJOB,BYTES=10,START=1,TYPE=C FIELD NAME=CLASSIF,BYTES=10,START=11,TYPE=C SEGM NAME=EDUC,BYTES=75,FREQ=5,PTR=T,PARENT=((SKILNAME,SNGL)) FIELD NAME=GRADLEVL,BYTES=10,START=1,TYPE=C FIELD NAME=SCHOOL,BYTES=65,START=11,TYPE=C DBDGEN... EDUCATION EXPERIENCE J. AKOKA &I.WATTIAU

34 Etape 4 - Les cardinalités
Etape 1 - Le DBD Les deux DBD PAYROLDB et SKILLINV sont traités. Etape 2 - Les segments L’analyse des segments génère les entités suivantes : NAMEMAST avec l’identifiant EMPLOYEE (entité racine) SKILLMAST avec l’identifiant TYPE (entité racine) ADDRESS avec l’identifiant EMPLOYEE,HOMEADR (entité PCE) PAYROLL avec l’identifiant EMPLOYEE,BASICPAY (entité PCE) SKILNAME avec l’identifiant EMPLOYEE,TYPE (entité LCE et PCE) EXPR et EDUCATION pour lesquels l’identifiant est inconnu Etape 3 - Les champs Les champs sont transformés en attributs Etape 4 - Les cardinalités J. AKOKA &I.WATTIAU

35 Le schéma ER résultant SKILLINV Type 1 NAMEMAST Employee Mannbr Addr n
SKILNAME Employee Type Stdlevl n 1 1 1 1 n n n n EDUC Employee Type Gradlevl School EXPR Employee Type Prevjob Classif PAYROLL Employee Basicpay Hours ADDRESS Employee Homeaddr Comailoc J. AKOKA &I.WATTIAU