Plateforme de tests flux et services du SIE (O-WS)

Présentation au sujet: "Plateforme de tests flux et services du SIE (O-WS)"— Transcription de la présentation:

1 Plateforme de tests flux et services du SIE (O-WS)
Objectifs et contexte Note au GCIB – 25/07/2016 (…) il est proposé de constituer un tableau de bord de l’état et de la qualité de service des flux d’échange entre applications et banques de données. Ce tableau, basé sur des indicateurs évalués en permanence et de façon automatisée, sera actualisé chaque trimestre pour être présenté au GCiB. Il pourra être complété par des indicateurs évalués manuellement à une fréquence trimestrielle. Une version étendue du tableau de bord sera disponible en ligne et contiendra en plus de la dernière évaluation l’historique des évaluations par indicateur. La plate-forme de test des flux et services du SIE est l’outil de calcul automatique d’indicateurs descriptifs du fonctionnement des flux et services du SIE. Présenté au GPA le 21/06/2016, au GPS le 3/02/2017 et au GCiB le 11/05/2017 CP technique, conception : Alexandre Liccardi CP métier à compter de février 2017 : Antonio Andrade Directeur de projet : François Hissel GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

2 Plateforme de tests flux et services du SIE (O-WS)
Principe et périmètre Résultat Configuration Scénario Simulation Requête 1 1 0..n Erreur 0..n 0..n 1 0..n Indicateur GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

3 le périmètre en termes de réseaux et de nombre de sites
Exemple plus précis de scénario : tests stations cours d’eau et physico-chimie. La différence entre scénarios complet et simplifié vient de la configuration des paramètres d’exécution : le périmètre en termes de réseaux et de nombre de sites le nombre d’années considérées. GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

4 Scénarios implémentés (état d’avancement)
Plateforme de tests flux et services du SIE (O-WS) Scénarios implémentés (état d’avancement) Jeu de données, publiant Description du scénario Technologies concernées Base des stations, physico-chimies des cours d’eau, Agences de l’Eau et Offices de l’Eau Lancement fin décembre 2016 (fonctionnel) Scénario complet. 10 sites parmi tous les tous réseaux, toute année Arrêté le 25/04/2017 – trop coûteux, taux de time-out élevé Scénario simplifié. 1 site parmi 1 réseau (RCS), sur une année Lancé le 25/04/2017 – moins coûteux, erreurs plus explicites SOAP (WebServices Agences de l’Eau), REST (parseur SANDRE) Physico-chimie et quantité des eaux souterraines, BRGM Fin de développement Avril 2017 Prévu mais ne sera pas déployé – trop coûteux, taux de time-out élevé et difficultés techniques SOAP GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

5 Scénarios implémentés (état d’avancement)
Plateforme de tests flux et services du SIE (O-WS) Scénarios implémentés (état d’avancement) Jeu de données, publiant Description du scénario Technologies concernées Référentiels de stations de mesure sur les eaux de surface (STQ),des appellations de taxons (APT), des interlocuteurs (INT), SANDRE Lancement fin décembre 2016 (fonctionnel) Téléchargement simple via URL du service, récupération par URI et/ou composition dynamique de la requête REST. REST (XML) Hub’eau : données piscicoles, AFB - BRGM Récupération de la liste des sites et de la liste des taxons, composition de l’ordre REST et récupération d’un jeu de données sur une station, pour une espèce Prévision été 2017 : autres thématiques Hub’eau REST (JSON) SEEE : calcul en ligne de l’I2M2, AFB Envoi d’un fichier de données au service SEEE, récupération du fichier de résultats Prévision été 2017 : autres indicateurs Hub’eau et diversification des intrants REST (CSV) GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

6 Réalisations et calendrier
Plateforme de tests flux et services du SIE (O-WS) Réalisations et calendrier Action Responsable Echéance Présentation de la démarche au GCiB Onema 13 juillet 2016 Développement de la plate-forme V1 Onema / Sandre 15 décembre 2016 Début d’exécution des tests AFB 1er janvier 2017 Diffusion d’un tableau de bord prototype par producteur Février - mars 2017 Retour des producteurs sur le format de restitution Tous producteurs 28 février – avril2017 1er tableau de bord diffusé en GCiB Mai 2017 Poursuite des développement Remontée de nouveaux besoins A partir de mai 2017 GCIB GCIB Les développements ont été réalisés en utilisant la bibliothèque OpenSource WILD du département DAPP/SDGI. Les codes sources sont déposés sur une forge logicielle gitLab sur lesquels des accès peuvent être ouvert (prestataire Géomatys). Le projet n’aurait pas pu être possible sans la participation et les retours d’expérience des partenaires du SIE (en particulier l’OIEau) : capter les flux des Agences de l’Eau a demandé une connaissance précise de leur fonctionnement. GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

7 Plateforme de tests flux et services du SIE (O-WS)
Premiers résultats Certaines adaptations sont systématiquement appliquées et permettent de récupérer la liste des sites, sans quoi il ne serait pas possible de mener le scénario plus loin (paramètres SOAP non obligatoires demandés, erreurs de schéma, endpoint non fonctionnels…) La prise en compte des erreurs spécifiques est nécessaire à toute interprétation des résultats. La nouvelle version de O-WS, en cours de recette, permettra une lecture technique plus précise et plus réactive. Plus d’analyses et de recul sont nécessaires aujourd’hui pour des conclusions plus concrètes. GCIB - 11/05/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

8 Plateforme de tests flux et services du SIE (O-WS)
Premiers résultats GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

9 Résultats complémentaires
Plateforme de tests flux et services du SIE (O-WS) Résultats complémentaires Représentation chronologique, à la semaine, des premiers résultats obtenus sur les scénarios concernant les services REST. Ces résultats sont indicatifs (toutes les erreurs rencontrées ne sont pas interprétées), mais ils illustrent les possibilités futures d’un tableau de bord. GPA - 27/06/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD

10 Modalités de diffusion des résultats
Plateforme de tests flux et services du SIE (O-WS) Modalités de diffusion des résultats Prévu : documents et communications Tableau de bord trimestriel présenté au GCiB Compléments : évolution des indicateurs et liste (voir top) des anomalies les plus fréquentes A l’étude : version en ligne sur site dédié Accessible sans restriction Accès aux séries et à l’historique des simulations Notifications en cas de dysfonctionnement Indicateurs pressentis Nombre d’exécution ; Nombre d’exécution réussie ; Nombre d’exécution interrompue ; Taux d’exécution réussie ; Taux d’exécution interrompue ; Poids moyen des réponses (Mo) ; Durée moyenne d'obtention des réponses (s) ; Vitesse moyenne d'obtention des réponses (Mo/s) ; Nombre de réponses au format QUESU ; Part des réponses pour chaque version du format QUESU. GCIB - 11/05/2017 – A. LICCARDI, A. ANDRADE – AFB/DAPP/DSOD