David Bouvet ftsmaster@cc.in2p3.fr LCG France T2 T3 – LPNHE mercredi 29 août 2018mercredi 29 août 2018 Service FTS @ CC-IN2P3 David Bouvet ftsmaster@cc.in2p3.fr LCG France T2 T3 – LPNHE

Vue du service FTS FTS (File Transfer Service) est un ordonnanceur de transferts de fichiers entre sites. Il permet de définir des canaux de transferts réservés point à point. Ces canaux sont partagés ou non par plusieurs VO selon un VO share défini pour chaque canal. ⇨ Un canal peut être comparé à un CE pour des jobs de transferts : queue ↔ canal # job slot / queue ↔ # fichiers concurrents / canal LCG France T2 T3 – LPNHE – 20/03/08

Architecture FTS est constitué de 3 composants : une partie web service pour permettre aux utilisateurs de soumettre les transferts et de connaître leur statut. C'est la seule partie en contact avec les utilisateurs. les agents des canaux : chaque canal a son propre daemon qui lance et gère les transferts pour lui. les agents des VO : chaque VO possède son daemon qui est responsable de la partie spécifiquement VO des transferts. Toutes les informations concernant la définition des canaux et les transferts sont enregistrées dans une base de données Oracle. FTS ne transfert pas les fichiers, il gère juste les transferts et communique avec les SE concernés. LCG France T2 T3 – LPNHE – 20/03/08

FTS architecture Experiments interact via web-service VO agents do VO-specific operations (1 per VO) Channel agents to channel specific operation (e.g. the transfers) Monitoring and statistics can be collected via the DB LCG France T2 T3 – LPNHE – 20/03/08

Définition d’un canal Un canal peut être : un lien réseau point à point un canal « catch-all » (ex.: STAR-BELGIUMULB) i.e. de partout vers un site, ou d’un site vers partout Chaque canal est défini entre 2 sites « au sens GOC DB » normalement, il ne devrait y avoir qu’un seul canal pour tous les sites du GRIF GRIF étant un site distribué, cela posait des problèmes de performance ⇨ contournement du problème par publication d’un champ SubSite par les sites GRIF (ex.: GRIF-IPNO) et création d’un canal par SubSite Les canaux sont unidirectionnel ex.: 2 canaux IN2P3-LAPP et LAPP-IN2P3 Tous les jobs de transferts sur le même canal font parti de la même queue de transfert partage du canal entre les VO priorité interne à la VO pour les jobs de la VO Chaque canal a son propre jeux de paramètres nombre de fichiers concurrents, nombre de streams, VO share, etc… LCG France T2 T3 – LPNHE – 20/03/08

Définition d’un canal sh-2.05b$ glite-transfer-channel-list -s https://cclcgftsprod.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement IRFU-IN2P3 Channel: IRFU-IN2P3 Between: GRIF-IRFU and IN2P3-CC State: Active Contact: ftsmaster@cc.in2p3.fr Bandwidth: 0 Nominal throughput: 0 Number of files: 10, streams: 5 Number of VO shares: 4 VO 'ops' share is: 5 VO 'dteam' share is: 5 VO 'atlas' share is: 100 VO 'cms' share is: 100 # fichiers concurrents et de streams sont définis pour chaque canal quand le nombre de fichiers concurrents est atteint, les autres transferts restent en queue VO share : lorsque plusieurs VO utilisent le canal, elle se partage le # de fichiers concurrents suivant le VO share. Si une seule VO utilise le canal, elle peut transférer le # max de fichiers concurrents. Vous pouvez lister les canaux pour connaître ses paramètres de configuration. LCG France T2 T3 – LPNHE – 20/03/08

Transfert Un utilisateur peut soumettre un transfert à un serveur FTS via la commande glite-transfer-submit i.e. avec une paire de SURL source/destination ex.: “srm://ccsrm.in2p3.fr/pnfs/in2p3.fr/…” vers “srm://lapp-se01.in2p3.fr/dpm/in2p3.fr/…” Le serveur FTS détermine les sites à partir des SURL ex.: “IN2P3-CC” vers “IN2P3-LAPP” FTS cherche alors si un canal est défini sur ce serveur FTS qui pourrait faire le transfert entre ces 2 sites s’il n’en trouve pas, le transfert plante immédiatement sinon, il assigne le job de transfert à la queue du canal et le job est traité suivant les paramètres de ce canal les canaux spécifiques sont utilisés en premier s’ils sont définis (ex.: IN2P3-LPNHE avant STAR-LPNHE) LCG France T2 T3 – LPNHE – 20/03/08

Transfert ~> glite-transfer-status -s https://cclcgftsprod.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer --verbose e8c09481-ca33-11dc-81e9-8b9fef36ede4 Request ID: e8c09481-ca33-11dc-81e9-8b9fef36ede4 Status: Active Channel: BNL-IN2P3 Client DN: /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=mlassnig/CN=663551/CN=Mario Lassnig Reason: <None> Submit time: 2008-01-24 04:22:01.140 Files: 55 Priority: 3 VOName: atlas Done: 10 Active: 5 Pending: 0 Ready: 20 Canceled: 0 Failed: 20 Finishing: 0 Finished: 0 Submitted: 0 Hold: 0 Waiting: 0 Un job de transfert (caractérisé par son JobID) peut contenir 1 ou +sieurs fichiers à transférer Pour plusieurs fichiers, le # de fichiers concurrents restant est transféré, les autres fichiers sont en queue. Vous ne pouvez gérer et lister que vos propres job de transfert LCG France T2 T3 – LPNHE – 20/03/08

FTS au CC 1 serveur pour toutes les VO FTS version 2.0 (passage à FTS2 en septembre 2007 sauf CMS en janvier 2008) Base Oracle Un alias : cclcgftsprod.in2p3.fr 2 machines physiques : tomcat + agents de canaux agents de VO URL de contact : pour les transferts : https://cclcgftsprod.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer pour les canaux : https://cclcgftsprod.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement Support FTS au CC : ftsmaster@cc.in2p3.fr (David Bouvet, Jonathan Schaeffer, Lionel Schwarz) LCG France T2 T3 – LPNHE – 20/03/08

2 types de canaux supportés par FTS : Configuration 2 types de canaux supportés par FTS : “URLCOPY” – normal FTS 3rd party copy (SRM negociation with 3rd party gridFTP) “SRMCOPY” – SRM copy (delegate copy to SRM) Tous les canaux en URLCOPY changement de configuration (fin de migration le 14/03/08) pour notamment permettre l’utilisation des space token vers les SE DPM Utilisation de SRMv2 si un space token est demandé lors de la soumission du transfert (ce n’est pas le comportement par défaut) LCG France T2 T3 – LPNHE – 20/03/08

Consolidation du service Evolutions Support de gridFTP2 Consolidation du service machines de secours, load-balancing pour le web service, répartition de charge…) Passage à SL4 (dès que les packages sont sortis) LCG France T2 T3 – LPNHE – 20/03/08

FTS Monitor FTSMonitor a été développé par Lionel Schwarz Pages web PHP présentant des requêtes à la BD Oracle configuration des canaux FTS et des VO statistiques des job historique des canaux et statistique vue globale ou par VO détails des job http://cctools.in2p3.fr/fts/monitoring/prod/ftsmonitor.php LCG France T2 T3 – LPNHE – 20/03/08

LCG France T2 T3 – LPNHE – 20/03/08

FTS Monitor LCG France T2 T3 – LPNHE – 20/03/08

LCG France T2 T3 – LPNHE – 20/03/08