1 Formation technique HARPEGE - Session de Janvier 2006 Harpège Formation technique Janvier 2006

2 Formation technique HARPEGE - Session de Janvier 2006 PARTIE III : Présentation fonctionnelle et Editions

3 Formation technique HARPEGE - Session de Janvier 2006 Sommaire (suite) Partie III : Présentation fonctionnelle et éditions Fonctionnalités Éditions Partie IV : Reprise des données Présentation générale Migration des données vers Mig_Test Concepts Chargement de Mig_Test à partir des données nationales (DPATE) Chargement de Mig_Test à partir des données locales (fichiers plats) Migration de Mig_Test vers Harp_Adm Concepts Chargement d’Harp_Adm à partir du schéma Mig_Test Partie V : Documentation

4 Formation technique HARPEGE - Session de Janvier 2006 A: Fonctionnalités

5 Formation technique HARPEGE - Session de Janvier 2006 Fonctionnalités d’Harpège Harpège = Harmonisation de la Gestion des Personnels Application destinée à couvrir la gestion des ressources humaines dans les établissements de l’enseignement supérieur et à doter les responsables d’outils de pilotage, dans le respect du cadre règlementaire. Réunit dans une même base l’ensemble des personnels qui interviennent dans un établissement (fonctionnaires et assimilés, contractuels, individus hébergés non gérés par l’établissement). Permet de décrire l’organisation de l’établissement, d’enregistrer les délégations d’emploi et de fournir à l’établissement une vision fiable des moyens dont il dispose, d’administrer les postes et de gérer tous les agents.

6 Formation technique HARPEGE - Session de Janvier 2006 Fonctionnalités d’Harpège – Schéma fonctionnel

7 Formation technique HARPEGE - Session de Janvier 2006 Fonctionnalités d’Harpège Individu : toute personne qui intervient dans l’établissement à quelque titre que ce soit Agent : individus gérés par l’établissement (fonctionnaires + contractuels). Un agent a un contrat et/ou une carrière dans l’établissement. Carrière : couvre l’historique des situations statutaires des fonctionnaires ou assimilés Position : une carrière repose toujours sur une position (par exemple : en activité). Elle ne s’applique donc qu’aux fonctionnaires et assimilés. Contrat : informations liées aux contrats des non-titulaires (contractuels), qui déterminent leurs conditions de présence et de rémunération.

8 Formation technique HARPEGE - Session de Janvier 2006 Fonctionnalités d’Harpège Emplois / Postes : L’emploi doit être considéré comme une sorte de «monnaie» ou de « crédit », ouvert sur le budget de l’Etat qui permet de recruter et de rémunérer. L’Etat accorde des emplois à l ’établissement. Le poste est un support permettant l’affectation d’une personne dans un établissement pour assurer un service. Le poste peut être financé sur le budget de l’État ou sur le budget propre de l’établissement. Occupation / Affectation : l’agent occupe un ou n poste(s) et est affecté à une ou n structures de l’établissement. Congés et Modalités de services : regroupe la plupart des congés (hors congés payés et autorisations d’absence) : congés sécurité sociale, spécifiques… et les modalités de service (ex : mi-temps thérapeutique, prolongation d’activité…). Structures : description de l’organisation de l’établissement, permettant l’observation de la répartition des postes et de l’affectation des personnes dans les structures définies.

9 Formation technique HARPEGE - Session de Janvier 2006 Fonctionnalités d’Harpège HARPEGE simplifie le traitement des dossiers dans le cadre des mutations de personnel :  Un outil de transfert du dossier d’un agent d’un établissement à un autre (état civil, adresses, situation familiale, références bancaires, carrière, positions, contrats…) est intégré à l’application.  Ce transfert nécessite la mise en place d’une cryptographie afin de protéger la confidentialité des informations. Cette cryptographie relève de la responsabilité de chaque établissement émetteur.  La note Ha_cryptage.doc donne quelques préconisations sur le cryptage de données lors de l'échange de fichiers entre établissements

10 Formation technique HARPEGE - Session de Janvier 2006 B : Les éditions

11 Formation technique HARPEGE - Session de Janvier 2006 Les éditions dans Harpège Principe de fonctionnement   Papier ou fichier.PRN   Fichiers plats Exploitation des fichiers.PRN Exploitation des fichiers plats.LIS Les opérateurs Saisie des paramètres Fenêtre d’évaluation Liste des éditions Harpège

12 Formation technique HARPEGE - Session de Janvier 2006 Les éditions courantes : papier et/ou PRN Choix dans un menu de l’item Editions Editer : Evaluation de la sélection Nom de l’édition Annuler Impression du document Fermer Aperçu (Affichage à l’écran) Impression papier Annuler Impression du document Impression dans un fichier PRN Impression papier Retour à l’écran de l’évaluation de la sélection +

13 Formation technique HARPEGE - Session de Janvier 2006 Les éditions sur fichiers plats Saisie de la liste de paramètres + date d’observation Editer : Evaluation de la sélection Nom de l’édition Fermer Aperçu (Affichage à l’écran) Annuler Impression du document Impression dans un fichier.lis (option pré-cochée) Choix dans un menu de l’item Editions Annuler

14 Formation technique HARPEGE - Session de Janvier 2006 Exploitation d’un fichier prn Les fichiers.prn générés ne sont pas exploitables dans Word ou Excel, ces fichiers sont comparables à des fichiers postscript. Cette fonctionnalité est utile dans le cas où vous ne pouvez pas imprimer directement à partir du PC avec lequel l'édition à été lancée (l'imprimante n'est pas en réseau par exemple). Pour imprimer les fichiers.prn : 1/ capturer le port imprimante que vous voulez utiliser : - Choisir "Propriétés" - Dans l'onglet "Détails", cliquez sur le bouton "Capturer le port imprimante" et sélectionner le port et le chemin de votre imprimante. 2/ exécuter la commande suivante sous DOS : copy ou print

15 Formation technique HARPEGE - Session de Janvier 2006 Exploitation d ’un fichier plat.LIS Les fichiers plats.LIS générés sont exploitables avec les outils bureautiques (Word, Excel …). Cette fonctionnalité a été développée pour donner plus de souplesse sur certaines éditions. Chaque établissement peut mettre en forme ces éditions selon les spécificités propres au site. Les fichiers.LIS sont enregistrés dans le répertoire mentionné par l ’utilisateur lors de la demande d ’édition.

16 Formation technique HARPEGE - Session de Janvier 2006 Les opérateurs  Si le paramètre est une date, la liste des opérateurs est limitée à >= et <=

17 Formation technique HARPEGE - Session de Janvier 2006 Définition d’un paramètre de sélection : l l un paramètre de sélection est composé obligatoirement d’un opérateur et d’une valeur Exemple : Liste des opérateurs : l l =,, =, not=, absent, =fils, comme. l l Suivant le type de paramètre (date, structure, numéro de dossier,...), la liste des opérateurs est réduite. Plusieurs lignes de paramètres de sélection sont autorisées. Saisie de la liste des paramètres <= 01/01/1990 OpérateurValeur

18 Formation technique HARPEGE - Session de Janvier 2006 La ligne de paramètres Définition d’une ligne de paramètres : un enregistrement est sélectionné s'il satisfait à toutes les conditions et aux paramètres saisis. Ex : condition 1 et condition 2 et... Plusieurs lignes de paramètres de sélection sont autorisées. Dans ce cas, chaque enregistrement doit répondre soit aux conditions d'une ligne soit aux conditions d'une autre ligne. Ex : condition(s) ligne 1 ou condition(s) ligne 2 ou...

19 Formation technique HARPEGE - Session de Janvier 2006 Grille de sélection

20 Formation technique HARPEGE - Session de Janvier 2006 Fenêtre d ’évaluation

21 Formation technique HARPEGE - Session de Janvier 2006 Liste des éditions  Domaine Individu  - Dossier individu  - Etiquettes administratives (fichier plat)  - Etiquettes personnelles (fichier plat)  - Liste alphabétique des personnels établissement - Liste alphabétique par structure - Liste par structure et statut - Individu susceptible de bénéficier d’une prime - Individu exerçant une fonction dans une instance - Individu exerçant une fonction d’expertise - Fiche d’activités  Domaine Agents  - Dossier Agent et dossier complet Agent (hors santé-sécu)  - Liste des numéros INSEE provisoires  - Listes des fonctionnaires (ou assimilés) par âge  - Liste par position : édition des fonctionnaires par position statutaire  - Liste par population : édition des fonctionnaires par type de population (Itarf,Atos, Enseignants…) - Historique Carrières et contrats pour un agent  - Etiquettes administratives (fichier plat)  - Etiquettes personnelles (fichier plat)  - Situation santé-sécu  - Occupation des postes par les agents  - Agents susceptibles de bénéficier d’une décharge de service  - Agents susceptibles de bénéficier d’un avancement spécifique

22 Formation technique HARPEGE - Session de Janvier 2006 Liste des éditions (suite)  Domaine Carrière  - Bonification indiciaire : édition des bénéficiaires de bonification indiciaire - Etiquettes adresses administratives et personnelles - Edition du traitement de changement de chevron - Arrêtés pour les corps déconcentrés (catégorie C de la filière ITRF)  Domaine Contrat  - Fin de contrat de travail : édition des agents en fin de contrat  - Type de contrat de travail : édition des contrats par type de contrat  - Arrêté de fin de contrat (fichier plat)  - Etiquettes administratives (fichier plat)  - Etiquettes personnelles (fichier plat) - Contrats enseignants relevant de l’établissement - Fichiers plats pour les autres contrats  Domaine Position  - Fichier relance position (fichier plat)  - Relance position  Domaine Modalités de service  Temps partiel : - Liste des agents ATOS  - Liste des agents ITARF  - Liste des agents bibliothèques universitaire  - Relances temps partiel (fichier plat)

23 Formation technique HARPEGE - Session de Janvier 2006 Liste des éditions (suite)  Domaine congés  - arrêtés de COM déconcentrés  - arrêtés de CMNT déconcentrés  Emplois et postes  - Etat d’occupation des postes BE  - Nombre d’emplois et postes par enveloppe  - Potentiel des postes sur budget Etat  - Potentiel budget propre  - Occupation des postes  - Occupation-Affectation des postes  - Historique localisation  - Historique Occupation-Affectation  - Référentiel des fiches de poste  Pilotage  - Consultation sur modalités-congés (choix impression ou fichier plat )  - Liste des notes 2nd degré  - Liste des notes ATOS  - Liste des notes ITARF  - Fiche notes ITARF  Nomenclatures  - Editions des nomenclatures nationales

24 Formation technique HARPEGE - Session de Janvier 2006 Liste des éditions (suite et fin)  Listes électorales  - Edition des nomenclatures (bureaux de vote, collèges, composantes électives, instances, secteurs, sections électives, types d’exclusions)  - Edition des listes :  - Listes de référence, d’affichage, d’émargement  - Fichier des électeurs (fichier plat)  - Liste des agents exclus (édition et fichier plat)  - Liste des électeurs sans bureau de vote  - Liste des électeurs à multiple affectation  Promouvabilités ITARF  - Paramétrage des structures (édition de l ’arborescence des structures)  - Liste des agents proposés (liste d’aptitude et tableau d’avancement)  - Liste des agents promouvables par structure, par corps de promotion  - Liste de tous les agents par corps de promotion  - Dossier agent (liste d’aptitude et tableau d’avancement)  Structures  - Arborescence structures

25 Formation technique HARPEGE - Session de Janvier 2006 Le paramétrage d’Harpège est constitué de 7 éléments qui doivent être traités dans l’ordre suivant : è è Paramétrage de l ’établissement è è Création des utilisateurs è è Saisie des profils d ’habilitations è è Initialisation des nomenclatures locales è è Création des implantations / adresse et locaux è è Saisie des structures è è Paramétrage des congés et saisie des visas Rappel des 7 éléments du paramétrage (vus lors de la formation paramétrage) Administration Harpège

26 Formation technique HARPEGE - Session de Janvier 2006 Droit d ’écriture (report.log dans répertoire général), Gestion des droits de groupes d’utilisateurs ayant un pouvoir Problèmes liés à l’installation en réseaux

27 Formation technique HARPEGE - Session de Janvier 2006 PARTIE IV : Reprise des données

28 Formation technique HARPEGE - Session de Janvier 2006 A: Présentation générale

29 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale de la reprise de données 1-Objectif 2- Organisation 3- Pré-requis 4- Diagnostic de l’existant 5- Stratégie de reprise 6- Planification 7- Données concernées par la migration 8- Outils de migration

30 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Objectifs Disposer d’une base fiable et complète  Base complète : elle permet de retracer toute la carrière des agents depuis le début de leur activité.  Base fiable : exactitude des données, conformité par rapport à la réglementation, cohérence avec les règles de gestion Harpège Pourquoi faire ?  Assurer la gestion individuelle et collective des agents.  Fournir à l’établissement les données individuelles et agrégées nécessaires à sa gestion et à son pilotage.  Avoir 1 seul outil de gestion

31 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Organisation Équipe migration :  1 informaticien  1 fonctionnel  contact permanent  processus itératif Planning réalisé et communiqué

32 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Pré-requis  Réfléchir sur l’organisation dans Harpège (structures - implantations géographiques)  Pour commencer une reprise des données, aussi bien manuelle qu’automatique, les données minimum à saisir dans la base HARPEGE sont : Les structures, au moins le niveau 1 Les utilisateurs Les habilitations Les nomenclatures locales Les implantations géographiques/locaux, au moins niveau 1

33 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Diagnostic de l’existant Les sources de données   à partir des applications locales   à partir des applications nationales (AGORA, POPPEE, …) Les étapes du diagnostic   déterminer les catégories de personnels à migrer   vérifier les concepts et nomenclatures locales avec Harpège   étudier les modèles de données Les outils du diagnostic   modèles de données locaux et Harpège   nomenclatures locales et Harpège   liste des champs obligatoires   migration d’échantillons

34 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Stratégie de reprise Définition des objectifs de reprise à partir :   du diagnostic fait précédemment   de choix de gestion et de pilotage de l’établissement   de la volonté de mettre en œuvre le domaine gestion collective... Stratégie et plan d’action   définir les données à migrer avec quel détail (historique, en cours)   établir un planning avec ses priorités Préparation de la reprise   compléter les données dans la base locale   établir les correspondances des nomenclatures entre la base locale et Harpège

35 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - La reprise de données Facteurs de succès  Diagnostiquer précisément l’état de la base  Définir clairement les objectifs : que veut-on reprendre, à quel rythme, etc... Mises en garde  Sous-estimer la charge de travail - manque de moyens  Ne pas se donner de limite dans le temps ou se donner des échéances irréalistes Contraintes  Impossibilité de faire évoluer HARPEGE (patch, version supérieure) avant la fin de la migration  Pas d’exploitation possible du produit tant que les données ne sont pas insérées

36 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - La reprise de données (suite) Recommandations  Attention à la codification (% - _,)  Attention aux minuscules / majuscules  Attention aux doublons (annuaire téléphonique : tables individu_telephone, telephone)

37 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Planification Installation version initiale  installation version initiale serveur  installation outils de migration  installation partie cliente  installation base de formation Migration  utilisation des outils de migration liés à la version initiale Passage site en exploitation  mise à niveau de la version : passage de tous les patchs correctifs et nomenclatures.

38 Formation technique HARPEGE - Session de Janvier 2006 Agent Poste Occupation / Affectation Individu Position Carrière CongésModalités Emploi STRUCTURESSTRUCTURESSTRUCTURESSTRUCTURES IMPLANTATIONS LOCAUX Contrat CongésModalités Contractuels Fonctionnaires et assimilés Présentation générale - Données concernées par la migration

39 Formation technique HARPEGE - Session de Janvier 2006 Tables de paramétrage  Le batch ne traite pas les tables de paramétrage  Il est indispensable de renseigner une partie du paramétrage avant d’entamer la reprise de données (établissements) Listes électorales / promouvabilités ITARF  Les modules Listes électorales et Promouvabilités ITARF ne sont pas traitées par la migration Présentation générale - Données concernées par la migration

40 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Données concernées par la migration IND_EAT (1,1)PST_IDBP (1,3) EMP_MOY (1,2) IND_STR (2,1)PER_AGT (2,2)PST_IDBE (2,3) CAR_ELEM (3,1)PER_PAS (3,2)PER_CTR (3,3) CAR_BIND (4,2)PER_POS (4,1) PER_DEPA (5,2)PIL_NOTE (5,3) CGA_CMNT (4,3) CGA_CGM (4,4 CGA_NTIT (4,5) CGA_ACTR (4,6) CGA_AL3 (4,7) CGA_AL4 (4,8) CGA_AL5 (4,9) CGA_AL6 (4,10) PER_TPS (5,4) OCAF_PER (5,1) CGA_MAD(6,1 CGA_LIMA (6,2) CGA_SURN (6,3) CGA_MTFC (6,4) CGA_COM (6,5) CGA_ACSE (6,6) CGA_CRCT (6,7) CGA_STAG (6,8) CGA_BONI (6,9) CGA_CPA (6,10) CGA_DELE (6,11) CGA_ADOP (6,12) CGA_FORM (6,13) CGA-MIDE (6,14) CGA_MATE (6,15) CGA_CLM (6,16) CGA_CLD (6,17) CGA_MTTH (6,18) CGA_FACT (6,19) AFF_SSOC (6,20) Migration DPATE

41 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Outils de migration Principes de base :  Appliquer sur les données migrées l’ensemble des règles de gestion d’Harpège  Aucune altération du référentiel Harpège ne peut être envisagée, ni acceptée (tables, programmes, nomenclatures)

42 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Outils de migration Toute la migration repose sur l’utilisateur Mig_test  schéma identique à harp_adm  activation des contraintes Remplir Mig_test  procédures personnelles  utilisateur DPATE (Agora, Popee Itarf, Popee Bibliothèque)  automatisé : sqlloader + procédure Mig_test vers Harp_adm  automatisé : livraison de procédures pl/sql

43 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Outils de migration Schéma MIG_TEST Schéma HARP_ADM Mig_btch.sql (procédures pl/sql) Schéma DPATE AGORA, POPPEE Chgt_tab.sh (sqlloader) Dpt_btch.sh (procédure) Données perso (GRH, GPU, …) Transfert personnel

44 Formation technique HARPEGE - Session de Janvier 2006 Présentation générale - Outils de migration Installation de MIG_TEST  Création tablespace migration  Création user mig_test  Création schéma mig_test Installation DPATE  Pré-requis : existance de mig_test  Création tablespace migration  Création user dpate  Création schéma dpate Suppression des tablespaces et des users en fin de migration  Indispensable pour passer les patchs en exploitation

45 Formation technique HARPEGE - Session de Janvier 2006 B : Migration des données vers MIG_TEST

46 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST   1-Concepts   2- Chargement de MIG_TEST à partir des données nationales (DPATE)   3- Chargement de MIG_TEST à partir des données locales

47 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST - Concepts Schéma MIG_TEST Schéma HARP_ADM Mig_btch.sql (procédures pl/sql) Schéma DPATE AGORA, POPPEE Chgt_tab.sh (sqlloader) Dpt_btch.sh (procédure) Données perso (GRH, GPU, …) Transfert personnel

48 Formation technique HARPEGE - Session de Janvier 2006 Le site a créé une instance Oracle avec l’utilisateur MIG_TEST, propriétaire des tables temporaires Le site dispose d’une source de données fiable Le site a décidé d’une stratégie de reprise : niveau des données à migrer Le site a effectué des enquêtes pour compléter les informations manquantes Migration des données vers MIG_TEST – Concepts pré-requis

49 Formation technique HARPEGE - Session de Janvier 2006 Outil de migration user : MIG_TEST tables des données à migrer, tables temporaires, images des tables d’Harpège user : HARP_ADM tables Harpège Source de données existante travail de migration vers MIG_TEST Migration des données vers MIG_TEST – Concepts Les deux phases de la migration 1ère phase : migration vers MIG_TEST 2ème phase : migration de MIG_TEST vers HARP_ADM

50 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST – Concepts Première phase : migration vers MIG_TEST Chargement de MIG_TEST :   fichiers plats   à partir d’application(s) locale(s)   à partir des données nationales (agora, poppee ==> scripts dpate)

51 Formation technique HARPEGE - Session de Janvier 2006 Travail d’équipe indispensable entre le gestionnaire et l’informaticien è è Identification des informations à renseigner è è Création de tables de correspondance è è Respect des règles de gestion Remplir les tables temporaires de MIG_TEST avec les informations obligatoires d’Harpège Faciliter au maximum l’étape de migration vers Harpège Migration des données vers MIG_TEST – Concepts Préparation de la migration vers MIG_TEST

52 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST – Concepts Analyse des données locales Etude du modèle de données local   quels sont les concepts (objets) modélisés ?   quelles sont les nomenclatures utilisées ?   quels sont les clefs, les champs obligatoires ?   quelles sont les règles de gestion   exprimées dans le modèle : unicité, foreign key,...   vérifiées par l ’application Comparer chacun de ces points avec le modèle de données d’Harpège

53 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST – Concepts Analyse des données locales Problèmes rencontrés Informations obligatoires différentes, champs manquants. Ex. type d ’accès à un corps ou à un grade Même concept, mais nomenclatures différentes. Ex. les diplômes Le même nom ne signifie pas la même chose dans les deux modèles. Ex. les positions statutaires Utilisation floue ou laxiste des concepts. Ex. positions statutaires,modalités de service, congés, … Pas de distinction entre emploi et postes Séparation pas toujours nette entre les attributs des agents et les attributs des emplois

54 Formation technique HARPEGE - Session de Janvier 2006 Outil de migration DPATE è è AGORA : Aide à la Gestion Optimisée des Ressources Atos è è POPPEE ITARF è è POPPEE Bibliothèque Migration des données vers MIG_TEST – Chargement à partir des données nationales : migration DPATE

55 Formation technique HARPEGE - Session de Janvier 2006 Récupérer les fichiers plats auprès du rectorat ou de la DPATE Création d’un nouvel utilisateur DPATE, propriétaire des tables images d’Agora et de Poppee contenant les données à migrer. Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Pré-requis

56 Formation technique HARPEGE - Session de Janvier 2006 Permettre aux gestionnaires de récupérer les informations relatives à la population des agents ATOS, ITARF et Bibliothèque en poste dans l’établissement au moment de la migration. Les IATOS contractuels ne sont pas prévus dans cette migration. Intérêt d’une telle reprise à estimer : rapporter le temps passé consacré à cette reprise à la richesse des informations contenues dans le fichier. Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Principes de base et objectifs

57 Formation technique HARPEGE - Session de Janvier 2006 Scripts complémentaires pour les données POPPEE è è Situation de famille Célibataire par défaut è è Transcodification des grades DPATE è è … Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Migration DPATE : données POPPEE

58 Formation technique HARPEGE - Session de Janvier 2006 Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Migration DPATE : scripts POPPEE

59 Formation technique HARPEGE - Session de Janvier 2006 Chargement des données DPATE (SQL Loader ) Procédures PL/SQL : è è Lancement de toutes les procédures par un script è è Les agents IATOS sont comparés aux agents déjà dans la base sur l’homonymie è è Traitement des rejets Un outil de statistique permet d’éditer le taux de réussite dans le remplissage des informations dans MIG_TEST Suppression de l’utilisateur DPATE Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Traitements

60 Formation technique HARPEGE - Session de Janvier 2006 Un contrôle d ’homonymie est mis en place pour les agents ATOS déjà présents dans la base Harpège afin de permettre un rapprochement avec les informations venant d’Agora ou de Poppee. Chargement des fichiers plats Agora et Poppee è è Principe de fonctionnement de SQL*Loader è è Le script chgt_tab charge les données fournies par le rectorat et le ministère dans les tables de l ’utilisateur DPATE è è../MIGRATION/dpate/script/chgt_tab « mot_de_passe_Dpate » « nom_instance» Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Chargement des données

61 Formation technique HARPEGE - Session de Janvier 2006 Procédures è è Pour respecter la hiérarchie des composants de la migration, lancer les procédures de migration DPATE avec le script../MIGRATION/dpate/script/dpt_btch.sql è è Les rejets sont stockés dans la table REJET avec pour chacun le nom de la table, le rowid, la cause du rejet, le composant Traitement des rejets   Ouvrir une session SQL   Visualiser les enregistrements rejetés avec la requête suivante Select * from Nom_table where rowid = ‘ ……… ’; Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE DPATE -> Mig_test

62 Formation technique HARPEGE - Session de Janvier 2006 Un outil de statistique permet d’éditer le taux de réussite dans le remplissage des informations dans MIG_TEST   Après chaque utilisation du batch de migration lancer :../MIGRATION/dpate/stat/dpt_btch_stat « mot_passe_DPATE » « nom_instance » Suppression de l’utilisateur DPATE Migration des données vers MIG_TEST –Chargement à partir des données nationales : migration DPATE Outil d’édition de statistiques

63 Formation technique HARPEGE - Session de Janvier 2006 Principe de fonctionnement - sqlloader SQL*LOADER Enregistrements incorrects Enregistrements non sélectionnés Correction r EnregistrementsSQL*LOADER Fichier DATA (jess.xxx) Lecture (xxx.ctl) When clause Bad file (xxx.bad) Discard file (xxx.dsc) Compte rendu (xxx.log) Base de données dpate

64 Formation technique HARPEGE - Session de Janvier 2006 Principe de fonctionnement - sqlloader  Le fichier de contrôle (.ctl)  LOAD DATA  INFILE 'chrg_dpt/jess.aff'  BADFILE 'chrg_dpt/aff.bad'  DISCARDFILE 'chrg_dpt/aff.dsc'  REPLACE INTO TABLE aff  FIELDS TERMINATED BY '|'  TRAILING NULLCOLS  (AFFNUM INTEGER EXTERNAL,  NUMIND INTEGER EXTERNAL,  UAARNE CHAR,  AFMICO CHAR,  DATDEB DATE "DD/MM/YYYY",  DATFIN DATE "DD/MM/YYYY",  AFFANC CHAR NULLIF AFFANC=BLANKS,  AFFDAN DATE "DD/MM/YYYY" NULLIF AFFDAN=BLANKS,  AFFDIN DATE "DD/MM/YYYY" NULLIF AFFDIN=BLANKS,  AFFINS CHAR NULLIF AFFINS=BLANKS)

65 Formation technique HARPEGE - Session de Janvier 2006 Principe de fonctionnement - sqlloader  Le fichier DISCARD (.dsc)  Uniquement alimenté par la clause when si elle existe  Écrit dans le même format que le fichier DATA  Le fichier BADFILE (.bad)  Enregistrement incorrect au sens base de données  Écrit dans le même format que le fichier DATA  Le fichier LOGFILE (.log)  Nombre d ’enregistrements insérés  Nombre d ’enregistrements ignorés  Nombre d ’enregistrement en erreur  Explications des erreurs et rejets

66 Formation technique HARPEGE - Session de Janvier 2006 Présentation du TP partie 1

67 Formation technique HARPEGE - Session de Janvier 2006 Des fichiers plats vers MIG_TEST : Utilisation de SQL*Loader Principe de fonctionnement Mise en œuvre :   Récupération des fichiers plats   Préparation des fichiers de contrôle   Lancement de SQL*Loader   Traitement des rejets

68 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - Principe de fonctionnement Fichier plat Fichier de contrôle (.ctl) SQL*Loader Données chargées Enregistrements erronés (optionnel) Fichier.log Enregistrements rejetés (optionnel)

69 Formation technique HARPEGE - Session de Janvier 2006 Les fichiers de contrôle définissent la structure des données contenues dans les fichiers plats 2 possibilités pour faire la description des fichiers plats :   par position => la longueur des champs est fixe   à l’aide d ’un séparateur => la longueur des champs peut- être variable Voir exemple en annexe et documentation SQL Loader - Oracle Server Utilities - SQL Loader - Préparation des fichiers de contrôle

70 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - Lecture des fichiers plats La commande de lancement de SQL Loader permet d ’indiquer le nom et chemin :   du fichier de contrôle   du fichier log   du nombre maximum d ’erreurs   … cf doc ORACLE8 - Server Utilities sqlldr user/mot_de_passe control=« nom et chemin du fichier de contrôle » log=«nom et chemin de sauvegarde du fichier log » errors=« nombre maximum d ’erreurs »

71 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - Lecture des données Seuls les enregistrements dont l ’intégralité des données est correcte sont importés dans les tables de MIG_TEST SQL Loader rejette les enregistrements   qui génèrent une erreur ORA-   pour lesquels les données sont incorrectes - formatage - Les enregistrements sont rejetés en totalité dans le fichier.bad - les données le constituant ne sont insérées dans aucune table - La cause du rejet est enregistrée dans le fichier.log

72 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - Traitement des rejets Mettre à jour les enregistrements erronés dans les fichiers plats Relancer SQL Loader, les fichiers.log précédents seront écrasés

73 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - Enoncé Migration du fichier plat   form_adres_perso.ha Préparation du fichier de contrôle associé   form_adres_perso.ctl Lancement de SQL*Loader Traitement des erreurs

74 Formation technique HARPEGE - Session de Janvier 2006 SQL Loader - les outils Le Modèle Logique des Données Harpège è è Domaine individu La description des tables du domaine individu d ’Harpège è è Structure des tables è è Tables de nomenclature d ’Harpège Documentation Oracle8 Server Utilities (dont SQL*Loader )

75 Formation technique HARPEGE - Session de Janvier 2006 Chargement de MIG_TEST avec des fichiers plats

76 Formation technique HARPEGE - Session de Janvier 2006 user : MIG_TEST tables des données à migrer, tables temporaires, images des tables d’Harpège Source de données existante Chargement de MIG_TEST avec des fichiers plats Ensemble de fichiers plats 1/ Extraire2/ Chargement 3/ Analyse des erreurs 4/ Mises à jour 5/ Détermination de l ’erreur 6/ Mises à jour

77 Formation technique HARPEGE - Session de Janvier 2006 Définition des fichiers plats Un fichier plat doit correspondre à :   une table de MIG_TEST ou à un sous-ensemble de champs d’une table comprenant des champs obligatoires   un ensemble de champs, éventuellement vides, de longueur fixe ou délimités par un séparateur Les fichiers plats sont générés en utilisant la fonction exportation de l’application locale

78 Formation technique HARPEGE - Session de Janvier 2006 Le formatage des fichiers plats est à la charge des établissements avec l’outil de leur choix Les fichiers plats doivent tenir compte :   des champs obligatoires - cf MPD Harpège -   du type des données - cf. MPD Harpège -   des nomenclatures Harpège - tables de correspondance - Préparation des fichiers plats

79 Formation technique HARPEGE - Session de Janvier 2006 Préparation des fichiers plats (séparateurs) Formatage des fichiers plats avec les outils bureautiques Création du lien ODBC entre Access et MIG_TEST Activation des contraintes d’intégrités Import des données dans MIG_TEST Traitement des anomalies Des fichiers plats vers MIG_TEST : Utilisation de liens ODBC

80 Formation technique HARPEGE - Session de Janvier 2006 user : MIG_TEST tables des données à migrer, tables temporaires, images des tables d’Harpège Source de données existante Chargement direct de MIG_TEST à partir des données locales Tables de transcodage Mapping entre modèles de données Initialisation des champs obligatoires Transcodages SQL

81 Formation technique HARPEGE - Session de Janvier 2006 Schéma général : les 2 phases de la migration 1ère phase : des fichiers plats vers MIG_TEST è è Utilisation de liaison ODBC è è Utilisation de SQL Loader 2ème phase : de MIG_TEST vers HARP_ADM è è Utilisation du batch è è Analyse des statistiques et des rejets Présentation du T.P.

82 Formation technique HARPEGE - Session de Janvier 2006 Présentation du TP2

83 Formation technique HARPEGE - Session de Janvier ere phase : Des fichiers plats vers MIG_TEST - Schéma général Fichiers plats Liaisons ODBC batch user : MIG_TEST tables des données à migrer, tables temporaires, images des tables d’Harpège user : HARP_ADM tables Harpège Activation des contraintes d’intégrités SQL*Loader

84 Formation technique HARPEGE - Session de Janvier 2006 Liaison ODBC : énoncé Migration des fichiers plats è è form_individu.txt è è form_diplome.txt Formatage des fichiers plats (outils bureautiques) è è Vérification de la structure è è Formatage des données è è Gestion des correspondances simples Création du lien ODBC entre Access et MIG_TEST Activation des contraintes d’intégrité (enable.res) Import des données dans MIG_TEST è è Gestion des tables de correspondances è è Gestion de la table des erreurs

85 Formation technique HARPEGE - Session de Janvier 2006 Liaison ODBC : les outils Le Modèle Logique des Données Harpège è è Domaine individu - cf Annexes - La description des tables du domaine individu de MIG_TEST et d’HARP_ADM è è Structure des tables è è Tables de nomenclature d ’Harpège

86 Formation technique HARPEGE - Session de Janvier 2006 C : Migration de MIG_TEST vers HARP_ADM

87 Formation technique HARPEGE - Session de Janvier 2006 Outil de migration user : MIG_TEST tables des données à migrer, tables temporaires, images des tables d’Harpège user : HARP_ADM tables Harpège Source de données existante travail de migration vers MIG_TEST Les deux phases de la migration 1ère phase : migration vers MIG_TEST 2ème phase : migration de MIG_TEST vers HARP_ADM

88 Formation technique HARPEGE - Session de Janvier eme phase : de MIG_TEST vers HARP_ADM Pré-requis Principe de fonctionnement Activation et désactivation des contraintes Migration des composants Traitement des rejets - statistiques Vérification de la structure d ’affectation principale Mise à jour des séquences Suppression de Mig_test

89 Formation technique HARPEGE - Session de Janvier 2006 Le site a créé une instance Oracle avec 2 utilisateurs : è è MIG_TEST propriétaire des tables à migrer è è HARP_ADM propriétaire des tables d’Harpège Le site a inséré dans MIG_TEST les données à migrer avec une méthode qui lui est propre Le paramétrage doit être saisi dans les tables d’HARP_ADM (10 tables concernées : PARAM_ETABLISSEMENT, ORGANISME_RECHERCHE, ORG_MISSION,ANNEE_UNIVERSITAIRE, IMPLANTATION_GEO, TELEPHONE, STRUCTURE, ADRESSE_ADMINISTRAT, LOCALISATION_STRUCTURE, LOCAL) De MIG_TEST vers HARP_ADM - Pré-requis

90 Formation technique HARPEGE - Session de Janvier 2006 De MIG_TEST vers HARP_ADM - Principe de fonctionnement batch user : MIG_TEST user : HARP_ADM lecture suppression insertion table des rejets rejet règle de gestion nomenclature contraintes d’intégrités Traitement d’un enregistrement   Lecture   Contrôle de cohérence si erreur alors traitement rejet sinon insertion dans d’HARP_ADM et suppression de MIG_TEST

91 Formation technique HARPEGE - Session de Janvier °) Activation des contraintes sur MIG_TEST : les données à migrer vérifient bien toutes les contraintes d’intégrité (clé primaire, clé étrangère, clé unique, domaine de valeur) : enable.res 2°) Désactivation des contraintes sur MIG_TEST afin de pouvoir migrer les données : disable.res è è La migration des données ne sera cohérente que si les 2 étapes d’activation et de désactivation des contraintes dans MIG_TEST se sont déroulées sans problème De MIG_TEST vers HARP_ADM - Activation - désactivation des contraintes

92 Formation technique HARPEGE - Session de Janvier 2006 De MIG_TEST vers HARP_ADM - Migration des composants La migration peut-être lancée de 2 façons sous l ’utilisateur MIG_TEST :   migration des composants un à un -vivement recommandé -. Pour cela exécuter sous SQL : execute « nom_du_composant » Respecter la hiérarchie des composants   migration de l ’ensemble des composants exécution du batch :../MIGRATION/mig_harpege/script/mig_btch.sql

93 Formation technique HARPEGE - Session de Janvier 2006 Le batch de migration : les traitements Ensemble de procédures PL/SQL exécutées dans un ordre précis Ces procédures lisent et contrôlent les données des tables de MIG_TEST puis les déversent dans HARP_ADM Un enregistrement n’est déversé que s’il est entièrement correct, sinon un enregistrement de rejet est généré, avec code et motif du rejet Ce déversement est suivi d’une suppression dans MIG_TEST de l’enregistrement déversé L’objectif est d’obtenir des tables de MIG_TEST vides et leurs correspondantes HARP_ADM remplies

94 Formation technique HARPEGE - Session de Janvier 2006 Le batch de migration : les composants et leur ordonnancement Un composant regroupe toutes les informations liées à un domaine précis d’Harpège Ex. : ind_eat correspond à la saisie d'un individu Tables impactées : INDIVIDU, ADRESSE_PERSONNELLE, INDIVIDU_TELEPHONE, INDIVIDU_E_MAIL, INDIVIDU_DIPLOMES

95 Formation technique HARPEGE - Session de Janvier 2006 Mise en œuvre du batch de migration   C omposant par composant   E n une seule fois sur l’ensemble des composants (script non interactif qui se lance sans paramètre) 2 règles à respecter è è Toutes les tables associées à un composant doivent être remplies è è La hiérarchie des composants doit être respectée Le batch de migration : les composants et leur ordonnancement

96 Formation technique HARPEGE - Session de Janvier 2006 Agent Poste Occupation / Affectation Individu Position Carrière CongésModalités Emploi STRUCTURESSTRUCTURESSTRUCTURESSTRUCTURES IMPLANTATIONS LOCAUX Contrat CongésModalités Contractuels Fonctionnaires et assimilés Batch de migration : ordonnancement

97 Formation technique HARPEGE - Session de Janvier 2006 IND_EAT (1,1)PST_IDBP (1,3) EMP_MOY (1,2) IND_STR (2,1)PER_AGT (2,2)PST_IDBE (2,3) CAR_ELEM (3,1)PER_PAS (3,2)PER_CTR (3,3) CAR_BIND (4,2)PER_POS (4,1) PER_DEPA (5,2)PIL_NOTE (5,3) CGA_CMNT (4,3) CGA_CGM (4,4 CGA_NTIT (4,5) CGA_ACTR (4,6) CGA_AL3 (4,7) CGA_AL4 (4,8) CGA_AL5 (4,9) CGA_AL6 (4,10) PER_TPS (5,4) OCAF_PER (5,1) CGA_MAD(6,1 CGA_LIMA (6,2) CGA_SURN (6,3) CGA_MTFC (6,4) CGA_COM (6,5) CGA_ACSE (6,6) CGA_CRCT (6,7) CGA_STAG (6,8) CGA_BONI (6,9) CGA_CPA (6,10) CGA_DELE (6,11) CGA_ADOP (6,12) CGA_FORM (6,13) CGA-MIDE (6,14) CGA_MATE (6,15) CGA_CLM (6,16) CGA_CLD (6,17) CGA_MTTH (6,18) CGA_FACT (6,19) AFF_SSOC (6,20) Batch de migration : ordonnancement

98 Formation technique HARPEGE - Session de Janvier 2006 Tous les rejets se trouvent dans la table REJET de MIG_TEST Un rejet est caractérisé par : è è le nom de la table concernée par le rejet è è le rowid de l’enregistrement rejeté è è la cause du rejet è è Le nom du composant concerné par le rejet Il s’agit de comprendre les rejets pour les corriger et relancer l’opération jusqu’à l’obtention de résultat jugés satisfaisants Une compétence fonctionnelle est indispensable pour analyser et comprendre les rejets De MIG_TEST vers HARP_ADM - Traitement des rejets

99 Formation technique HARPEGE - Session de Janvier 2006 Avant exécution de l’outil de migration, en cas de violation des contraintes d’intégrité des bases de MIG_TEST : clef primaire, clef étrangère, clef unique, domaine de valeur, … Lors de l ’exécution de l’outil, essentiellement pour non respect des règles de gestion. Ex. succession des segments de carrière, règles de changement de corps, grade ou échelon, … Champs obligatoires non renseignés Peuvent aussi révéler des erreurs ou des incohérences dans la base locale De MIG_TEST vers HARP_ADM - Traitement des rejets

100 Formation technique HARPEGE - Session de Janvier 2006 Le batch de migration : outil d’édition des statistiques Taux de réussite de HARP_ADM par table Taux de rejet de MIG_TEST par table Liste des rejets triés par composant Liste des rejets triés par nombre décroissant  ../MIGRATION/mig_harpege/stat/mig_btch_stat « mot_passe_MIG_TEST » « nom_instance »

101 Formation technique HARPEGE - Session de Janvier 2006 Sous SQLPLUS, utilisateur MIG_TEST lancer le script :../MIGRATION/mig_harpege/script/aff_prin.sql Le script établit la liste des dossiers sur lesquels l’utilisateur devra déterminer la structure d’affectation principale. Cette saisie sera effectuée directement via l’application Harpège De MIG_TEST vers HARP_ADM - Vérification de la structure d ’affectation principale

102 Formation technique HARPEGE - Session de Janvier 2006 Mise à jour des séquences Une fois toutes les données migrées, il faut mettre à jour les séquences ORACLE en fonction des données insérés dans les tables HARP_ADM Maj_seq.ini

103 Formation technique HARPEGE - Session de Janvier 2006 Suppression de MIG_TEST Pour commencer la phase d’exploitation, une fois toutes les données migrées, il faut supprimer l’utilisateur MIG_TEST et le tablespace associé Indispensable pour les futures mises à jour Harpège

104 Formation technique HARPEGE - Session de Janvier 2006 Présentation du TP3

105 Formation technique HARPEGE - Session de Janvier 2006 De MIG_TEST vers HARP_ADM - Enoncé Activer et désactiver les contraintes d ’intégrité Lancement du batch du composant de migration sous SQLPLUS (mig_test) :   execute mig_ind_eat Statistiques et traitement des rejets   select * from rejet   mig_btch_stat.sh mig_test nom_instance Mise à jour des séquences ORACLE sous SQLPLUS (harp_adm) :  Vérification structure d’affectation : 

106 Formation technique HARPEGE - Session de Janvier 2006 PARTIE V : Documentation

107 Formation technique HARPEGE - Session de Janvier 2006 La documentation  Documentation livrée jusqu’à aujourd’hui :  Classeur conduite de projet  Dossier de paramétrage  Guide de reprise de données (méthodologie)  CCI  Liste des champs obligatoires

108 Formation technique HARPEGE - Session de Janvier 2006 La documentation  Documentation contenue dans le classeur :  Transparents formation  installation  reprise de données  Manuel d’installation de l’application  Manuels d’installation outils de reprise

109 Formation technique HARPEGE - Session de Janvier 2006 Partie serveur :Application en version Nomenclature en version Partie cliente :Application partie cliente en version Documentation technique :1. Manuel d'installation 2. Manuel d ’exploitation 3. Cahier des charges d ’implantation 4. Champs obligatoires avec copies d'écrans 5. Listes des nomenclatures (.xls) 6. Manuel base de formation Documentation fonctionnelle :1. Manuel Utilisateur 2. Manuels de formation Contenu du CD-ROM

110 Formation technique HARPEGE - Session de Janvier 2006 Modèle de données :1. MLD 2. MPD Paramétrage :1. Dossier de paramétrage Reprise de données :1. Migration Harpège 2. Migration Dpate Contenu du CD-ROM

111 Formation technique HARPEGE - Session de Janvier 2006 Livraisons à venir   Base de formation gestion collective

112 Formation technique HARPEGE - Session de Janvier 2006 Présentation de l’Espace des Produits   è è consultation des fiches assistances è è documentation en ligne è è ftp.amue.fr (login harpread) Assistance pour un problème : è è d’installation : è è de migration : Conclusion

113 Formation technique HARPEGE - Session de Janvier 2006 Merci de votre attention