Cliquez pour modifier le style du titre Cliquez pour modifier le style des sous-titres du masque 1 Système de concentration d'observations de surface issues de réseaux de capteurs hétérogènes Frédéric Guillaud Météo-France 19 novembre 2014

2 Sommaire  L’observation à Météo-France, missions et enjeux  Les réseaux d’observation en surface  Le projet PACOME, objectifs et historique  Architecture applicative  Nouvelles exigences et perspectives  Conclusion

3 L’observation à Météo-France Le décret de création de Météo-France du18/06/1993 prévoit explicitement les activités d ’observation qui nous sont confiées :  Météo-France a pour mission de surveiller l’atmosphère, l’océan superficiel, le manteau neigeux.  Met en œuvre un système d’observation.  Est chargé notamment : –d’assurer la gestion et la maintenance du réseau d’observation météorologique, –de coordonner et d’harmoniser avec la sienne l’observation météorologique effectuée par d’autres organismes publics…  L’Observation est l’un des 3 métiers de base de Météo-France : –Observer, Prévoir, Conserver la mémoire du climat.

4 Adapter l’observation aux enjeux stratégiques de Météo-France Pour répondre aux enjeux stratégiques (sécurité des personnes et des biens, institutionnels, Ciel Unique Européen, changement climatique, …)  Innover dans l’optimisation, la conception et le développement des systèmes d’observation.  Développer en partenariat les capacités « partagées » et les échanges de données.  Maintenir, améliorer et gérer au mieux les réseaux d’observation.  Budget total annuel Observation (2013) : 9700 K€ –Observation en surface : 2700 K€

5 Les types d’Observation L’observation couvre un large éventail de métiers et d’activités, en liaison avec :  Le domaine d’intérêt : –Surface (terre, mer, manteau neigeux,…), Altitude –Topologie : Points, profils verticaux, emprises …  Les paramètres mesurés : –Paramètres de base, paramètres dérivés  Les procédures de mesure –In situ Stations de surface, bouées fixes ou dérivantes, navires sélectionnés, … Radiosondage, avions Automatisée ou humaine –Télédétection Radar, Lidar, Satellite Webcam –Fusion de données  Par la suite, il sera question de « L’observation de surface ponctuelle, in situ, et automatisée » Observation de surface

6 Les clients externes Institutionnels OMM Aéronautique Commerciaux Les clients internes Prévision Numérique Prévision Climatologie Production Les clients de l’observation Données et produits d’observation

7 Sommaire  L’observation à Météo-France, missions et enjeux  Les réseaux d’observation en surface  Le projet PACOME, objectifs et historique  Architecture applicative  Nouvelles exigences et perspectives  Conclusion

8 Missions des réseaux SOL Un réseau d’observation est un ensemble de sites ayant une même mission.  Un site d’observation (station) est un lieu géographique où se situe un système d’observation (et/ou un humain réalisant des observations).  Une mission d’observation décrit une finalité par exemple la mission de « veille hydrologique » est affectée à tout site où est effectuée une mesure de précipitation en temps réel. A ce jour plusieurs milliers de sites contribuent à l’observation à Météo- France.

9 Statut des réseaux SOL  Réseaux « propriétaires » Météo-France pour assurer ses missions institutionnelles.  Réseaux « partenaires » co-financés, mais sous maîtrise d’œuvre Météo-France pour répondre à des missions institutionnelles partagées.  « Réseaux d’Intérêt Commun » (RIC) pour les échanges de données avec des organismes producteurs de données.

10 Aperçu des réseaux SOL automatisés  Réseaux « Météo-France» – Réseau SOL de référence RADOME – Réseau montagne NIVOSE – Réseau des navires sélectionnés – Réseau des bouées fixes  Réseaux « partenaires » (OARA) – DGPR SALAMANDRE – DGPR Feux de Forêt – Sémaphores  Réseaux « d'échange de données » (RIC) – EDF, INRA, DGPR – RIC Régionaux

11 Les réseaux SOL automatisés Copyright © 2011 Open Geospatial Consortium 558 stations RADOME 500 RIC SPC (DGPR) 6 Bouées fixes 88 RIC EDF 250 OARA ( Salamandre, feux de forêt, sémaphores…)

12 Aspects de la diversité des réseaux collectés  Type d’échanges –Internes Météo-France –Externes (réseaux partenaires)  Support Télécoms –RTC, GSM, Ligne spécialisée  Protocoles applicatifs –FTP, HTTP, …  Formats de données –Propriétaires le plus souvent (BUFS, CSV …)  Type de station in-situ –XARIA, PULSIA, OPALE, MERCURY, …  Équipement métrologique (capteurs et type) Etat du sol Temps présent Visibilité Stations In-Situ

13 Sommaire  L’observation à Météo-France, missions et enjeux  Les réseaux d’observation en surface  Le projet PACOME, objectifs et historique  Architecture applicative  Nouvelles exigences et perspectives  Conclusion

14 Bref historique  PACOME : Plate-Forme d'Acquisition et de Collecte d’Observations Météorologiques Etendue.  Projet lancé en  Un volet collecte / traitement.  Un volet renouvellement des stations hors capteurs (ce dernier non traité dans cette présentation).  Périmètre initial limité aux réseaux Météo-France (RADOME).  Conception générale autour des standards SWE de l’OGC –Modèle de données O&M –Interfaces SOS (Accès aux données) et SPS ( Gestion des stations).  ~75% des stations RADOME déployées sur le nouveau système fin 2014.

15 Le « socle » fonctionnel PACOME (volet concentrateur)  Collecter les observations issues des réseaux sols Météo-France.  Collecter les observations issues de réseaux partenaires.  Assurer des traitements amont sur les données –Cumuls, paramètres agrégés, etc …  Administrer et gérer capteurs, stations, réseaux.  Superviser capteurs, stations, réseaux.  Fournir des interfaces standardisées d’accès aux observations et leurs métadonnées : –Pour les utilisateurs externes et internes –Pour masquer l’hétérogénéité des réseaux, stations, capteurs et protocoles aux utilisateurs identifiés, externes et internes.  Mettre à disposition les données en BUFR (SOLOMM et MF)  Centraliser la collecte et les traitements (remplacer la concentration régionale).

16 Architecture fonctionnelle Réseaux Mesure Plates-formes Collecte Plate-forme Traitement Mise à disposition PFC Partenaire A OARAPartenaire APartenaire B PFC RADOME PFC PACOME PFC Partenaire B RADOMEPACOME PFT (Traitements Métier) - Acquisition PFCs - Contrôles - Alertes sur seuil - Encodage (BUFR, IWXXM) - Services SOS Service Diffusion TRANSMET SOS

17 Mappage des concepts O&M Feature-of-Interest Les sites ou « stations » (ex : 07149, Orly Aéroport) (feature-of-interest) Localisations sur les sites (ex : QFU 26) (“sampling points” associés à la “feature of interest”) Offering Agrégation de paramètres mesurés par un capteur : (ie : Vent, Température, Humidité, Visibilité, Précipitations …) Procedure Tout le réseau pour un offering (ie : Wind Network, Temperature Network, …) Pour chaque station, configuration métrologique Observed Properties Paramètres > 150 !

18 Exemple de site multi-points : Orly Main 2608 MED 2406 MED Feature-Of-Interest Sampling-Points

19 Administration des réseaux  Création et modification des profils de stations –Communication (protocole, …) –Identification et localisation –Configuration métrologique (capteurs, adresses, paramètres de calibration, …) –Planification de l'acquisition et transfert des données –Paramétrisation des seuils d'alerte  Services SWE : SOS & SPS –SOS RegisterSensor / UpdateSensor / DeleteSensor –SPS Submit / GetStatus –Problème : UpdateSensor / DeleteSensor non supportés en SOS 1.0 (disponible en SOS 2.0) Implémentés sur 52 N par Alexandre Robin (Sensia Software)  SWE Data model : SensorML

20 Sommaire  L’observation à Météo-France, missions et enjeux  Les réseaux d’observation en surface  Le projet PACOME, objectifs et historique  Architecture applicative  Nouvelles exigences et perspectives  Conclusion

21 Challenges...  Fréquence d'acquisition jusqu'à 1 minute.  > 150 paramètres.  > 1000 stations temps-réel.  Notion de “vague d'acquisition” : “Paquet” de100 stations devant être traitées en 30 secondes (pool de 100 modems).  Durée de rétention des données sur le serveur : 1 mois.  Capteurs dupliqués (pour secours).  Supervision temps-réel des station & capteurs.  Problématique : Granularité de l'“Observation” –Les “composite observed properties” (WMO OPM model) ne sont pas supportées.

22 Réponses aux problèmes de performances  Importants problèmes de performances sur le serveur 52 north 3.x dans notre contexte.  Schéma de la base de données : –Suppression des index inutilisés –Création de nouveaux index (Pour optimiser le traitement des séries temporelles) –Double partitionnement TimeStamp / Offering –Identifiants numériques pour les lignes  Insertions massives via SQL (et non plus InsertObservation).  Optimation des lectures : Cache REDIS.

23 Architecture Applicative actuelle PFT Traitements métier Près traitement Encodage Cache REDIS Serveur SWE Données brutes Serveur SWE Données production Administration Réseaux Supervision Système SPSSOS Clients SOS Plate-Forme de Traitement (PFT) Plates- Formes de Collecte (PFC) O&M XML SensorML BUFR MF BUFR OMM Diffusion TRANSMET

24 Sommaire  L’observation à Météo-France, missions et enjeux  Les réseaux d’observation en surface  Le projet PACOME, objectifs et historique  Architecture applicative  Nouvelles exigences et perspectives  Conclusion

25 Nouvelles exigences fonctionnelles  RADOME vers PACOME (nouvelles stations, nouveaux protocoles, et nouvelle PFC)  Intégration de nouveaux réseaux (partenaires, navires, bouées)  Nouveaux traitements métiers exigeants : – Contrôle des données au fil de l'eau, – Calcul d'alertes sur seuil, encodages complexes (IWXXM),...  Utilisation plus large des interfaces SOS en interne  Ouverture externe des interfaces SOS – Identification et gestion des autorisations – Règles d'implémentation INSPIRE (extension multi-langues, séries temporelles WaterML2)  Performances : – Les accès en SOS ne doivent pas dégrader les performances du serveur  Abonnement / notification, pour : – Alertes, données minutes dans la minute (Aéronautique)

26 Perspectives...  Vers SWE  Intégration de 52 North 4.1, doit apporter : – Conformité INSPIRE (Multilingual extension, service metadata, …) – Time series WaterML2 – Optimisations ?  Benchmark prévu début 2015  Nouvelle plate-forme matérielle dédiée aux accès externes – INSPIRE, autres  Utilisation du nouveau dictionnaire de concepts OMM

27 Architecture Applicative Cible PFT Traitements métier Près traitement Encodage Cache REDIS Serveur SWE Données brutes Serveur SWE Données production Administration Réseaux Supervision Système SPSSOS Clients SOS Plate-Forme de Traitement (PFT) Plates- Formes de Collecte (PFC) O&M XML SensorML BUFR MF BUFR OMM IWXXM Diffusion TRANSMET WaterML

28 Accès externes Reverse proxy Frontal DMZ Inverseur de flux HTTP ESB PFT Maître PFT Répliquée lecture seule Service Identification Service Autorisation SOS Streaming Replication DMZ Zone Opérationnelle

29 Dictionnaire de concepts OMM  Vocabulaire contrôlé pour les paramètres (observed properties)  Egalement les procédures, unités...  Importance pour assurer l'interopérabilité effective des standards SWE  Gouvernance et hébergement OMM :  Dérivé des tables de code “historiques” BUFR et GRIB.  Implémentation SKOS (Simple Knowledge Organisation System).  Permet de décrire des hiérarchies de concepts.  Voie économique assez simple de transition vers les technologies sémantiques.  La première version répond aux format d'échange IWXXM pour aéronautique (METAR, TAF, SIGMET).  Le dictionnaire sera étendu pour couvrir l'ensemble des concepts.

30 Dictionnaire de concepts OMM

31 Dictionnaire de Concepts OMM

32 Conclusion  A son début (2010), projet assez (trop?) novateur de mise en œuvre des standards SWE au niveau d'un concentrateur opérationnel ;  Des optimisations ont rapidement dû être mises en place pour permettre au serveur de tenir la charge ;  Le projet est plus serein après le basculement de 75% du réseau RADOME sur le nouveau système ;  Mais il va nous falloir intégrer de nouveaux réseaux, et répondre à de nouvelles exigences, pouvant à nouveau affecter les performances ;  Benchmark 52 North SOS 4.x pour lever ces risques et éventuellement migrer sur une autre implémentation ;  On espère maintenant tirer les bénéfices de ces efforts de standardisation et d’interopérabilité pour nos échanges de données internes et externes.

33 Merci de votre attention. Questions ?