Gestion des données issues des réseaux de mesures de la qualité : densification et besoin de flexibilité SIG, Géo-traitements.

Présentation au sujet: "Gestion des données issues des réseaux de mesures de la qualité : densification et besoin de flexibilité SIG, Géo-traitements."— Transcription de la présentation:

1 victor.essayan@anteagroup.com

2 Gestion des données issues des réseaux de mesures de la qualité : densification et besoin de flexibilité SIG, Géo-traitements : augmentation de la résolution, complexification des traitements Exploitation des données du Web, « métriques sociales » et monitoring ?

3 Densification des réseaux de mesures Temporelle (données horaires) Géographique (de plus en plus de points de suivi) Thématique (au début, de la PC + indices HB, puis listes, puis piézo, hydromorpho, etc. )

4 Croissance exponentielle des données… … et des moyens (puissance, mémoire) Echelles logarithmiques Puissance des ordinateurs Nb. d’enregistrements PZ dans ADES

5 Croissance exponentielle des données… … et des moyens (puissance, mémoire) Source : https://www.w3.org/XML/1999/XML-in-10-points.fr.htmlhttps://www.w3.org/XML/1999/XML-in-10-points.fr.html

6 Etat des lieux : Lyxea SGBDR / SANDRE : MCD + Protocoles d’échanges Installation en interne et chez une quinzaine de clients Volume de données croissant mais acceptable… – attention à la validation ? Principaux points de vigilance en développement logiciel Reprise de données historiques, Evolutions structurelles, veille SANDRE et réglementation, Personnalisation clients…  Besoin d’une architecture flexible !

7 Apports du Big Data ? Bases NoSQL : NoSQL est issu du Big Data pour les gros volumes de données. NoSQL introduit une flexibilité absente des SGBDR. Cela implique la gestion du changement : Chez nous (formations, migration de logiciels, données historiques… ) Chez nos clients (sont-ils enclins à changer ?)  La transition a un coût !

8 Exploitation et diffusion : réflexion sur la structure des données Revenir à des concepts simples – Périmètre spatial, – Emprise temporelle, – Mesure / indice API json / csv ; structure « plate »

9 Evaluation de l’état des eaux Valorisation centrale des données issues des réseaux de mesure Mode : statistiques, agrégations thématiques, spatiales (arbre des éléments de qualité)  Système scalable (robuste à la densification des données) Exemple : un percentile 90 issu de 100 analyses ou de 10 000 analyses.

10 Conclusion sur les données réseaux de mesure Le volume ne pose pas pour l’instant de problèmes de gestion… Pour l’instant Scalabilité des méthodes de valorisation Apport du BigData : Bases NoSQL et flexibilité Mais gestion du changement.

11 Exemple : cartographier les taxons dans le corpus des feuilles IRSTEA avec de l’IA Etape 1 : géolocaliser et dater automatiquement les documents (rechercher des noms et codes de stations, des dates, des coordonnées… ) Etape 2 : repérer les noms latins Etape 3 : tenter de localiser les dénombrements  Perte de précision  Mais plus besoin de faire un connecteur par format

12 MNT au pas de 5m : voitures ? Données piézo horaire… de 1990 ?

13 Données géographiques plus précises Résolution des grilles de plus en plus précises Données vectorielles de plus en plus denses Traitements de plus en plus complexes Auparavant réalisés à la main. Exemple : planification des infrastructures d’un champ pétrolifère. « Un système complexe est un ensemble constitué d'un grand nombre d’entités en interaction qui empêchent l'observateur de prévoir sa rétroaction, son comportement ou évolution par le calcul. » - Wikipédia

14 Réponse aux larges volumes de données géographiques : le parallélisme Répartition des données sur plusieurs disques, Utilisation en parallèle de plusieurs processeurs, nœuds de calculs, Paradigme de programmation différent, code plus complexe … nos géomaticiens ne sont plus autonomes, le temps passé est plus important.

15 Solution : le parallélisme implicite Thèse en cours : Framework de parallélisme implicite pour les géo-traitements Programmation « classique » et traduction automatique en code parallèle, Utilisation d’un système de fichiers distribué, Equilibrage automatique de la mémoire vive, des tâches (ex : cas des NODATA)…

16 De nouvelles métriques : les métriques sociales ? monitoring

17