Refonte GINGER (« GINGER4 ») Présentation LS FO MOB

Présentation au sujet: "Refonte GINGER (« GINGER4 ») Présentation LS FO MOB"— Transcription de la présentation:

1 Refonte GINGER (« GINGER4 ») Présentation LS FO MOB
Julien Désérable - TMA Atos Origin 04/06/2009

2 Sommaire Architecture Accès BD WebSphere MQ - CFT Sizing Pools
Communication GDM - MMG Composant Frontal ACK/MO Architecture logicielle – Cinématique Users applicatifs, logs Ordonnancement Double run

3 Architecture Générale Ginger 3
BD Système d’information SFR OrianFO Sabo AEM Gamma … Postit GDM Générateur Dynamique de Message Multimedia Messaging Gateway MMG V3 MM7 SMTP UCP/IP HTTP Propriétaire Interface Batch Interface Temps Réel Admin. Superv. http Connect Plates-Formes de Services SFR/SRR Gateway xMS+ SMS-C Serveur Mail VMS IVR SU0323 SU0020 SU0087 SU0114, SU0115, Cardamome

4 Architecture Générale Ginger 4
MT = Mobile Terminating (envoi de msg) MO = Mobile Originating (réception msg) ACK = Acknowledgment Système d’information SFR SU0323 OrianFO Sabo AEM Gamma … Postit SU1363 GDM Interface Batch Interface Temps Réel SU1354 BD Superv. Admin. GDM Send MT HTTP HTTP Receive ACK/MO Ginger4 SU1353 Admin. MMG Account API Messaging API MMG V4 BD MM7 UCP/IP SMTP HTTP Propriétaire Plates-Formes de Services SFR/SRR SU0114, SU0115, Cardamome Gateway xMS+ Gateway SMS-C Serveur Mail IVR VMS Interfaces NAS pour que la supervision GDM accède aux fichiers MMG

5 Architecture Matérielle
Prod Pack GDM su1363 iu0092 MMG su1353 iu0093 BD su1354 iu0094 Instance BD GDM PMDDM4P1 KMDDM4P1 Instance BD MMG PMDDM5P1 KMDDM5P1 Manager mutualisé su1148 su0329 SVI su0114, su0115, cardamome su1010

6 Serveurs et Flux Phases d’Intégration & Validation Hors postit

7 Architecture WAS GINGER3 = 3 AS et 1 client WAS
Phases d’Intégration & Validation GINGER3 = 3 AS et 1 client WAS GINGER4 = 11 AS et 2 clients WAS Serveur WAS dédié avec fix pack

8 Bases de données Accès Via DataSource V5 et DataSource V4 côté GDM
DataSource V4 pour les clients WAS, i.e. Moteur et Frontal ACK/MO DataSource V5 pour les applis web : IHM Ginger, Servlet ACK, Servlet MO, WebService Accès Via couche d’accès Progicielle côté MMG Les caractéristiques de connexion à la base de données MMG sont dans le fichier sqlpool.properties dans le répertoire /product/swapcom/mmg/mmg/scc/conf du serveur MMG La base de données MMG n’est accédée que par la MMG, sauf pendant le double run, car les outils de comparaisons Ginger 3 / Ginger 4 consultent sur les bases MMG3 et MMG4 Accès à la base GDM par le nom service pour des scripts d’exploitation Bambi Reporting Usine Courrier Capacity Planning Agrégation des statistiques Phases d’Intégration & Validation

9 WebSphere MQ MQ n’est installé que sur GDM
File mutualisée messages MT temps-réel uniquement consommée par le moteur Rattachée à l’AS gingfAS fournisseur de ressource du moteur Files d’ACKG Le moteur produit les ACKG temps-réel dans les files correspondant aux Services SI (configuration IHM GDM) Files d’ACKN/ACKU La servlet ACK produit les ACKN et les ACKU temps-réel dans les files correspondant aux Services SI (configuration IHM GDM) Rattachée à l’AS gingaAS dédiée à la servlet ACK Files MO La servlet MO produit les MO temps-réel dans les files correspondant aux Services SI (configuration IHM GDM) Rattachée à l’AS gingoAS dédiée à la servlet MO

10 WebSphere MQ - CFT CFT n’est installé que sur GDM
File d’Administration Les opérations d’administration (arrêt, relance, rechargement, annulation) font l’objet d’un message posté par l’IHM GDM à destination du moteur ou/et du frontal ACK/MO Le moteur et le frontal scrute la file d’admin pour voir si un message d’administration les concerne La file d’administration est donc dans la portée des AS gingfAS, ginghAS, fournisseur des ressource du frontal, et giinggAS Elle est interne à Ginger CFT n’est installé que sur GDM Réception des fichiers batch MT envoyés par les SSA Remontée des ACK et des MO, Supervision Applicative Wazup, Reporting Bambi, SAS, Usine Courrier

11 Sizing des pools de ressources BD et MQ
ginger4 min max Commentaires ginggAS JDBC 1 30 IHM Ginger (GDM), ne subit pas la volumétrie du trafic de message JMS 10 IHM Ginger (GDM) besoin = file d'admin gingaAS 80 Servlet ACK, besoin fonction de la volumétrie 90 Servlet ACK gingoAS 50 Servlet MO 60 gingfAS 100 Fournisseur moteur, besoins importants accède à la base à chaque message 180 Fournisseur moteur, gros besoin + connexions maintenus par les pollers dont le nombre est configurable ginghAS Fournisseur frontal, accède à la base au démarrage ou pour recharger sa conf à la demande, ses besoins ne dépendent pas de la volumétrie de message 5 Fournisseur frontal, besoin = file d'admin, comme l'IHM GDM gingwAS 20 Redimensionné, peu d'accès concurrents

12 Communication avec la MMG4
La MMG4 met à disposition 2 API : La Messaging API pour envoyer des messages MT recevoir des ACKN/ACKU de des MO Le Moteur valide, formate les messages MT et la méthode send Le frontal ACK/MO Reçoit les MO avec la méthode receive Communication HTTP avec un SDK Java La MMG refuse les messages si ses caractéristiques ne correspondent pas à un routage défini via l’IHM MMG : SSA autorisé, service SI autorisé, Média autorisé, Adresse d’origine valide, Adresse de destination, Plage horaire L’Account API Développement spécifique SFR pour consulter la configuration des applications MMG Utilsée par l’IHM pour créer et configurer des SI, Services SI, Vérifier la cohérence de la configuration Ginger

13 Nouveau composant Frontal ACK/MO
En MMG3 la MMG forwardait les ACKN, ACKU et MO via des connecteurs http (reverse) vers les servlets ACK et MO En MMG4, l’architecture change et la réception des ACK/MO doit être à l’initiative du client Le composant Frontal ACK/MO est introduit pour consommer les ACK/MO et les rediriger respectivement vers les servlets ACK/MO Les servlets continuent à traiter les acquittements en générant des ACK batch ensuite envoyés par CFT ou en postant les ACK temps-réel dans la file MQ correspondant au SSA (service SI)

14 Architecture logicielle et cinématique
Systèmes d’Information SFR Postit ORIAN FO SABO MAP GCPP Annuaire Externe Mobilité Epiphany GAMMA … Le moteur scrute l’arrivée de fichier CFT ou de messages MQ Valide et formate le message et génère un ACKG (OK ou KO) Il invoque la Messaging API pour soumettre le message MT à la MMG La MMG vérifie si les caractéristiques du message correspondent à un routage prévu Les connecteurs MMG (UCPIP pour le SMS, SMTP pour le mail, …) traitent le message en fonction de l’adresse d’origine, de destination (SFR, SRR), de la plage horaire et de la priorité pour l’acheminer vers le bonne plateforme de service Un ACKN puis un ACKU (une fois le message lu par l’utilisateur) revient à la MMG via le connecteur, la MMG le tient à disposition du GDM Le frontal ACK/MO consomme l’ACK et le forwarde à la servlet ACK La servlet ACK en fonction de la configuration du SSA (Service SI) émetteur génère un ACK au format CFT ou MQ 1 Transfert Fichier via CFT Messages asynchrones XML via MQ Series 8 WebServices Send SI 13 Démon batch Démon T. Réel GDM Wazup Base GDM Statistiques CANCEL GDM 2 GEN/ACKGG ACK 6 MO 7 Archive des fichiers 9 Report Bambi Admin GDM 10 Frontal ACK/MO 5 AUI Account API 11 send MT 3 receive ACK/MO Messaging API Admin MMG 12 MMG Base MMG Connecteurs 4 Plate forme de service SFR/SRR SVI Serveur Boite Vocale SMS-C MMS-C Message Vocal SMS MMS Poste Client

15 User applicatifs, logs GDM MMG BD
User applicatif GDM : gingadm (dans le groupe de was) Logs dans l’arborescence /varsoft/ginger/logs Logs applicatifs dans les sous-répertoire composant (gen, ihm, frontalackmo, web, ack, mo …) Logs des clients WAS moteur et frontal dans le sous-répertoire admin Logs WAS dans les sous-répertoires AS gingfAS, ginggAS, ginghAS, gingwAS, gingaAS, gingoAS MMG User applicatif MMG : swapadm (dans le groupe de was) Logs dans l’arborescence /varsoft/swapcom/logs Logs applicatifs dans les sous-répertoire composant (mmg, ucpip, mail, ivr, mm7) Logs WAS dans les sous-répertoires AS gingmAS, gingsAS, gingeAS, gingiAS, ginguAS BD User applicatif BD : gingadm (dans le groupe de oracle)

16 Ordonnancement Les grands principes d’ordonnancement Ginger 3 ont été reconduits Le démarrage des nouveaux AS est venu s’insérer dans les boites d’arrêt/relance existantes Numéros de séquence conservés Numéros de traitements refondus Vu la multiplicité des AS, les traitements parallélisables ont été parallélisés (colonne «A éxécuter après trts n° x ») La MMG doit absolument être démarrée avant GDM. Les composants GDM Moteur, bloc ACK/MO et IHM GDM dépendent de la MMG Le bloc ACK/MO doit être vu comme un composant technique unique Composé de la servlet ACK (gingaAS), de la servlet MO (gingoAS) et du frontal ACK/MO (AS ginghAS et client WAS launchFrontalAckMo.ksh Note : Des preparsers SRR ont été supprimés (inutilisés)

17 Ordonnancement La MMG (au sens large) est composé de 5 AS, 1 pour la MMG + 1 par connecteur La MMG peut tourner seule Mais les connecteurs ne peuvent pas tourner sans la MMG En cas de problème côté MMG Si le problème concerne un connecteur, le connecteur peut être arrêté/relancé séparément Si le cœur MMG (AS gingmAS) tombe, les composants GDM sont perturbés et un arrêt/relance global peut s’avérer nécessaire En cas de problème côté GDM Le moteur, le bloc frontal ACK/MO ou l’IHM GDM peuvent être relancés unitairement Nouvelles séquences La série 9xxx est composée de nouvelles séquences correspondant à des A/R unitaires Un Nouveau Plan de Production Ginger 4

18 Double Run - architecture

19 Double run - Principe Les flux MT batch (CFT) et temps-réel (MQ) sont dupliqués de ginger 3 vers ginger 4 De su0020 vers su1363 (GDM) Par activation depuis Ginger 3 (débrayable à chaud) Ginger 4 est bouchonné Aucun envoi vers les plateformes de service. Des bouchons simulent les plateformes de service Aucune remontée CFT vers les SSA Le comportement de Ginger 4 est comparé à Ginger 3 Phase de 1 mois ½ environ Pendant le double run les 2 plans de production Ginger 3 et Ginger 4 tournent en parallèle Une FEX50 Word unique avec 2 Feuilles excel à l’intérieur La Feuille Excel Ginger 3 existante La nouvelle feuille d’ordo Ginger 4 Une Fex 41 unique avec 2 applications supervisées : Ginger 3 et Ginger 4

20 Double run - Spécificités
Boites gelées pendant le double run : sendSI.ksh (Envoi CFT de Ginger vers les SSA clients) Dépôt d’images industrialisé « Boite modifiée » pendant le double run : L’envoi des CFT par le script genIndicateursWazup.ksh est désactivé. le script genIndicateursWazup.ksh avec la partie chargée de l’envoi CFT commentée Alarmes gelées pendant le double run : Les fichiers batch ne sont pas pris en compte par le moteur GDM sous le répertoire <repertoire> - script ${GINGER_BIN}/sendSI.ksh n'est plus ordonnancé - les flux CFT entre GINGER et les services SI SFR sont rompus

21 Double run – outils ordonnancés
Script Option Description Serveur Emplacement User Heure d'appel Fréquence lance_simu_SMSC.ksh start / stop Arrêt / relance du bouchon SMS MMG /product/swapcom/ginger/ginger/bin/Bouchons/Simulateur_Perl_SMS swapadm A la demande launchMultipleJams.sh N/A Démarrage du bouchon MMS /product/swapcom/ginger/ginger/bin/Bouchons/IVRStopper stopMultipleJams.sh Arrêt du bouchon MMS /product/swapcom/ginger/ginger/bin/Bouchons/MMSStopper Démarrage du bouchon SMTP /product/swapcom/ginger/ginger/bin/Bouchons/SMTPStopper Arrêt du bouchon SMTP launchVideQueue.ksh Vidage des files MQ d'ACK GDM /product/ginger/ginger/bin/doublerun wasadm extract_id_GDM4.ksh Script d'extraction des msg id en journée BD gingadm 11:00:00 + à la demande Quotidienne extract_id_MMG3_MMG4.ksh Script d'extraction des msg en nuit 02:00 purge_cft_doublerun.ksh Script de purge des fichiers 01:30:00

22 Architecture PF de services Ginger
SMTP (mail-0153) UCP-IP HTTP/MM7 HTTP/VXML Légende couleur Bleu: Ginger Gris: DOSI Rouge : DDNS Vert : SRR Réseau télécom SRR SMSC SRR ( ) Liaison Quovadis Frontaux web FW CALICE Firewall CALICE VIP MMS Serveur SMTP Enodios (mail-0092) Gateway SMS OMG Mitry ( ) Gateway xMS+ Réseau CASE Altéon su0114 su0115 cardamome MMS MO 8 4 6 Passerelle internet RAPID Liens MICS SMSC … MMSC Nokia Ericsson Internet Réseau télécom SFR Centres de Transit SFR Bezon, Mitry, Champlan Système VMS … Noms de domaines Ginger: gingerack.sfr.fr service.sfr.fr service.srr.fr service.mtm.re service.sfr.re IVVR

23 Architecture SMSC – Ginger 3
Réseau télécom SRR Ginger Connecteur UCP-IP SMSC SRR ( ) Liens Quovadis Réseau télécom SFR SMSC GTW OMG MITRY … SMS MT SMS MO et accusés de réception

24 Architecture MMS – Ginger 3
MMS-MO Les url configurées sur les GC pour les MMS MO sont de la forme: intra-gingerm est déclaré dans le DNS CASE intra-gingerm : FIREWALL HR FIREWALL CALICE Frontaux web VIP Frontaux MMS à MMS MO MMSC Nokia Gateway xMS VIP MMS Connecteur MM7 MMS MT http/MM7 Ginger Réseau mobile MMSC Ericsson Réseau CASE

25 Architecture SMTP – Ginger 3
Enodios su1053cli Altéon mail-0092 Ginger mail-0153 PasserelleRAPID Connecteur SMTP Enodios su1054cli Internet Test Côté Ginger, 2 instances de connecteur SMTP se partagent en loadBalancing la charge de mails sortants. Pour les mails entrants, une instance gère les -MO (service.sfr.fr, service.sfr.re, service.sfr.mtm) et l’autre les accusés DSN (Gingerackrecette.sfr.fr). Bureautique SFR s MT s MO et ACK DSN

26 Synthèse des différences Ginger 3 – Ginger 4
1 IHM de paramétrage (hors connecteurs) 2 IHM de paramétrage (hors connecteurs) : - 1 IHM GDM (« l’existante » Ginger 3) communiquant avec la MMG en temps réel (Account API) - 1 IHM MMG 1 serveur (GDM + MMG) 1 serveur de base de données (GDM + MMG) Socle Solaris 8 1 serveur GDM 1 serveur MMG Socle Solaris 10 Mapping d’objets : 1 Template = 1 Compte MMG V3 1 SI = 1 Compte Admin MMG V3 1 Service SI = pas de correspondance MMG V3 1 Template = pas de correspondance MMG V4 1 SI = 1 Compte Utilisateur MMG V4 1 Service SI = 1 Application MMG V4 Mode de récupération des messages MO et ACK : La MMG V3 envoyait ces messages Le GDM va chercher ces messages (via une API) Stockage des références des messages dans GDM : Une partie des messages (certains SSI) stockée en base GDM Stockage des références des messages dans GDM : Tous les MT, ACKG, ACKN sont stockés. ACKU stockés pour certains SSI par configuration