La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1/37 Mai 09 IGN DT/DSL Utilisation de PostgreSQL/PostGIS pour gérer la base de données topographique française.

Présentations similaires


Présentation au sujet: "1/37 Mai 09 IGN DT/DSL Utilisation de PostgreSQL/PostGIS pour gérer la base de données topographique française."— Transcription de la présentation:

1 1/37 Mai 09 IGN DT/DSL Utilisation de PostgreSQL/PostGIS pour gérer la base de données topographique française

2 2/37 Mai 09 IGN DT/DSL Plan de la présentation Contexte : pourquoi PostgreSQL/PostGIS? Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications de PostgreSQL/PostGIS à lIGN France

3 3/37 Mai 09 IGN DT/DSL Contexte : Pourquoi PostgreSQL/PostGIS ? Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

4 4/37 Mai 09 IGN DT/DSL Contexte : bases de données avant 2002 BDTopo: Vocation : référentiel géographique 3D de haute précision Thèmes: réseau routier, réseau ferré, réseau hydrographique, bâtiments, végétation, surfaces administratives … Sources: restitution sur photographies aériennes Constitution de 1990 à 2006 – 2007 Échelle : > 1/ Précision : 2 m Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

5 5/37 Mai 09 IGN DT/DSL Géoroute Vocation : calcul ditinéraires, navigation embarquée, géocodage. Thèmes: réseau routier, restrictions de circulation, équipement (hôpital, police …) … Couvre les zones urbaines ; des données moyenne échelle assure le lien entre ces zones. Sources hétérogènes : BDTopo Cadastre BDCarto Constitution entre 1995 et Echelle : > 1/ Précision : 10 m Contexte : bases de données avant 2002 Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

6 6/37 Mai 09 IGN DT/DSL Contexte : bases de données avant 2002 BDCarto Vocation : référentiel moyenne échelle Thèmes: réseau routier, réseau hydrographique, occupation du sol, limite administrative … Sources : vectorisation de carte (échelle 1/50 000) Constitution entre 1986 et 1993 Echelle : 1/ Précision : 30 m Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

7 7/37 Mai 09 IGN DT/DSL Contexte : éléments techniques BD TOPOGEOROUTEBD CARTO Serveur Oracle + Arc/Info SIG GéoConcept GéoConcept, Arc/Info Bases de données 1 par département (100 blocs) 50 blocs1 pour toute la France Mise à jour Irrégulière – sur photographies aériennes IrrégulièreRégulière (pour les principaux thèmes) Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

8 8/37 Mai 09 IGN DT/DSL Nouvelle étape : la mise à jour en continue Nouvel objectif : mise à jour en continue pour la BDTopo, Géoroute et BDCarto. Principe : –Collecter linformation de mise à jour une seule fois. Principales sources : Partenaires (gestionnaires de réseaux, administrations locales, pompiers,...) Collecte –La propager dans les bases. Mise à jour décentralisée : –7 unités de production (5 en dehors de Paris) –120 collecteurs Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

9 9/37 Mai 09 IGN DT/DSL 2002 : un nouveau projet Objectifs : –Unification: Rendre la mise à jour plus facile Conserver les avantages des 2 produits –Implémentation dun nouveau système pour sauvegarder, gérer et mettre à jour les bases de données vecteur de lIGN : Bases dun seul bloc sur la France métropolitaine Mise à jour décentralisée Possibilité de travailler sur le terrain (déconnecté) GéorouteBDTopoBDUni Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

10 10/37 Mai 09 IGN DT/DSL 2002 : un nouveau projet Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

11 11/37 Mai 09 IGN DT/DSL Première approche Un marché touffu : –Technologies variées (Oracle, ESRI, IBM, Oracle, GéoConcept…) –Coûts variés Définition des besoins : –Etape difficile par manque dexpérience du projet et des équipes de production. Nous navions pas assez dexpérience pour rédiger lappel doffre Un existant IGN : –Grande utilisation du SIG Géoconcept (production, mise à jour, développement) –PostgreSQL utilisé par une autre équipe IGN Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

12 12/37 Mai 09 IGN DT/DSL 2004 : Prototypage Objectifs : –Augmenter les compétences techniques de léquipe –Mieux définir le besoin –Recherche dune IHM et dun protocole opératoire Point de départ : –Client = SIG Géoconcept –Serveur = PostgreSQL/PostGIS (gratuit, facile à apprendre et compétence à lIGN) –Client – Serveur communication = A développer Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

13 13/37 Mai 09 IGN DT/DSL 2004 : Prototypage BDUni France entière PostgreSQL / PostGIS Synchronisation Géoconcept Développement dun outil permettant de synchroniser les données entre les n clients et le serveur Tests de PostgreSQL (transaction) Les utilisateurs sont impliqués dans le suivi / guidage des développements Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

14 14/37 Mai 09 IGN DT/DSL : industrialisation et production Le prototype donne de bons résultats (coût, besoins, IHM…) Industrialisation du prototype : –Traitement des cas difficiles –Paramétrages fins –Test du système (bases de données massives) –Vérification daptitude Production : –Printemps 2006 : montée en base de lagglomération parisienne –03/2008 : toute la France métropolitaine sur le système Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

15 15/37 Mai 09 IGN DT/DSL Fonctionnalités client – serveur Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

16 16/37 Mai 09 IGN DT/DSL BDUni France entière PostgreSQL / PostGIS GCVS SIG du collecteur (Géoconcept) GCVS: principes GCVS = Geographic Concurrent Versioning System Développement avec visual C++ (utilisation du pilote ODBC) 3 principales fonctions accessibles depuis Géoconcept : –Montée en base des données –Extraction des données –Synchronisation des clients Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

17 17/37 Mai 09 IGN DT/DSL GCVS : montée en base Prend les données sous Géoconcept et les charge sur le serveur PostgreSQL >begin >insert into road segments … > Insert into buildings … >insert into administrative_boundary … …. >commit Utilisé une fois par zone géographique Transactionnel Montée en base BDUni PostgreSQL / PostGIS Géoconcept Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

18 18/37 Mai 09 IGN DT/DSL GCVS : extraction Extrait une zone sur le serveur PostgreSQL et transfère ces données sous Géoconcept pour la mise à jour. Plusieurs collecteurs peuvent extraire la même zone en même temps Extraction BDUni France entière PostgreSQL / PostGIS Géoconcept Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

19 19/37 Mai 09 IGN DT/DSL GCVS : synchronisation des données Envoie les mises à jour des postes clients sur le serveur et les mises à jour du serveur sur les autres clients. Si 2 collecteurs mettent à jour le même objet, un conflit est généré et lun des 2 collecteurs doit le résoudre … Travail déconnecté Synchronisation à la demande BDUni France entière PostgreSQL / PostGIS Synchronisation Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

20 20/37 Mai 09 IGN DT/DSL Déroulement dune mise à jour 1 T1 : le collecteur A met à jour une route sous Géoconcept T2 : le collecteur A crée une zone de réconciliations avec des métadonnées de mise à jour Création dune bretelle Autoroute T3 : (à la demande) synchronisation Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

21 21/37 Mai 09 IGN DT/DSL GCVS : implémentation GCVS doit être capable de retrouver rapidement les objets détruits, créés et modifiés sur les clients et sur le serveur. Pour cela : Sur le serveur, chaque objet a : Un identifiant Un numéro de réconciliation Sur le client : Chaque objet a un identifiant Un fichier MS Access contient : La correspondance entre lidentifiant client et lidentifiant serveur. Une clé md5 de chaque objet client (mise à jour après chaque réconciliation) Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

22 22/37 Mai 09 IGN DT/DSL GCVS : implémentation GCVS : Détecte une modification sur le poste client par comparaison des clés md5 : –Calculée sur lobjet –Stockée dans le fichier Access Recherche si lobjet na pas déjà été modifié sur le serveur Nationale Autoroute Exemple dune modification sur le client Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

23 23/37 Mai 09 IGN DT/DSL GCVS : de nombreuses possibilités Paramétrage avec des fichiers XML : –Correspondance entre les classes dobjets du SIG et les tables du serveur. –Une classe dobjet peut être en lecture/écriture. Des profils variés en production : –Lecture seule (cartographes, contrôle qualité…) –Mise à jour des unités administratives par une seule personne sur tout le territoire … Recherche des objets non synchronisés Traitement des liens Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

24 24/37 Mai 09 IGN DT/DSL Structure des données sur le serveur Table des tronçons de route IdentifiantNuméro de réconciliation Nom de la rue ….Date de créationDate de modification Date de destruction TR110Rue Picasso 03/01/200905/01/2009 TR211Rue Matisse 03/01/200906/01/2009 IdentifiantNuméro de réconciliation Nom de la rue ….Date de créationDate de modification Date de destruction TR11Rue Mozart03/01/2009 Table historique des tronçons de route Cette structure permet la réplication et le calcul des évolutions entre 2 dates (différentiel) Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

25 25/37 Mai 09 IGN DT/DSL Réplication maison Permet davoir une copie de la base de production en quelques minutes : réplication maitre / esclave. Base à t0 Base à t1 Dump/Restore Copie à t0 Copie à t1 Les évolutions entre t0 et t1 sont transférées dans la copie à t0 Replication Mise à jour Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

26 26/37 Mai 09 IGN DT/DSL Résultats - Conclusions Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

27 27/37 Mai 09 IGN DT/DSL La base unifiée aujourdhui Serveur de production : 1 base de données pour la France métropolitaine : 118 Go 124 tables et 124 tables historiques 160 millions dobjets : 19 millions dobjets végétations (17 Go) 16 millions de tronçons de route (13 Go) 23 millions de bâtiments (12 Go) … 32 millions dobjets dans les tables historiques Des indexes de plus de 1 Go (identifiant, indexes géométriques) 6 bases de données pour les territoires doutre-mer (Martinique, Réunion, Guyane …) Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

28 28/37 Mai 09 IGN DT/DSL La base unifiée aujourdhui Serveur de production : Server DELL, PowerEdge 6850, 4 processeurs Disque : 5 x 300 Go rpm SCSI, dont 4 en RAID 1 RAM : 12 Gb Serveur de secours : 1 base de données restaurée chaque semaine (sauvegarde) 1 base de données en lecture seule : contrôle qualité, démos,… réplication toutes les 30 minutes Réseau : 1Mbit/s entre Paris et les CIRs Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

29 29/37 Mai 09 IGN DT/DSL Maintenance de la solution DBA PostgreSQL/PostGIS : 1/3 temps (ingénieur système unix) Sauvegarde, réplication, quelques interventions (déblocage) Maintenance évolutive (spécifications …) Maintenance GCVS : 1 temps plein (ex développeur au projet) Rattrape de production Maintenance évolutive (amélioration logicielle …) Soutien de léquipe projet (1/4 temps) Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

30 30/37 Mai 09 IGN DT/DSL PostgreSQL/PostGIS : retour dexpérience Facile à prendre en main –Gratuit et open-source –Nombreuses possibilités daccès et de développement (ODBC, libpq …) Prototypage rapide Performance : –Gestion de bases de données massives –Capacité à répondre rapidement aux requêtes –Transaction Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

31 31/37 Mai 09 IGN DT/DSL Comparaison avec une solution commerciale Solution commerciale Solution IGN avec PostgreSQL Couts (Licences clients + serveur + formation + adaptation ou développement) Moyen à élevé (> 750 k)faible (300 k) Maitrise techniqueNiveau utilisateurNiveau utilisateur + développeur DélaisRisque lié à lappel doffre (compliqué en France) : 1 an Temps des développements et des tests : 1,5 an RéseauPeut nécessité ladaptation du réseau Pas de changements SIGInconnuConservation de Géoconcept Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

32 32/37 Mai 09 IGN DT/DSL Autres applications autour PostgreSQL/PostGIS à lIGN France Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

33 33/37 Mai 09 IGN DT/DSL Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications Flux de données : vue générale Production Archivage (entrepôt) Diffusion BDUni Géoconcept BDParcellaire BDAlti Orthophotographies BDGéodésique Bases carto Fichiers : Données Vecteur : Format FEIV Métadonnées : Fichiers XML ISO19115 Produits dérivés Diffusion classique massive (batch) Service internet : Visualisation public : Géoportail Interrogation métadonnées (intranet)

34 34/37 Mai 09 IGN DT/DSL ExploZOE Windows PostGreSQL/PostGIS LINUX BASALT Base de données altimétriques (2006) Logiciel maison Visual c++ avec ODBC Intégration Modification Consultation 80 Go : Vecteur : courbes, points côtés Raster : MNT Métadonnées Edition < 5 clients Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

35 35/37 Mai 09 IGN DT/DSL Base de données PostgreSQL Apache PHP Navigateur XHTML Navigateur XHTML Navigateur XHTML 10 Clients Base de données géodésique 70 Go Vecteur (Bornes …) Raster (Photos) Plusieurs schémas Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

36 36/37 Mai 09 IGN DT/DSL Stockage et consultation des métadonnées Stockage sur PostgreSQL : 50 Go 20 millions dobjets dans la table de registre (ebRIM) Fichiers XML (norme ISO19115) Consultation sur lintranet de lIGN (CSW) Utilisation du logiciel RedSpider Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

37 37/37 Mai 09 IGN DT/DSL Géoportail (2007) PostgreSQL est seulement utilisé pour stocker les données vecteur (300 Go) et pour pré-calculer les tuiles de données à afficher Bientôt service WMS and WFS (Geoserver) Accès en ligne pour le grand public à la donnée géographique Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

38 38/37 Mai 09 IGN DT/DSL Diffusion : extraction BDTopo France entière PostgreSQL Extraction BDTopo Zones variées PostgreSQL Livraison dans différentes emprises et formats Contexte Fonctionnalités Client / Serveur Résultats / Conclusions Autres applications

39 39/37 Mai 09 IGN DT/DSL Conclusion PostgreSQL/PostGIS est devenu le principal SGBD à lIGN France. Il est utilisé pour : Stocker des bases de données massives et variées Consulter et mettre à jour les données avec des logiciels maisons Solution attractive et robuste Merci pour votre attention


Télécharger ppt "1/37 Mai 09 IGN DT/DSL Utilisation de PostgreSQL/PostGIS pour gérer la base de données topographique française."

Présentations similaires


Annonces Google