DCOD GENESIS JOURNÉE CONTROL & COMMAND CSNSM - N. DOSME / X. GRAVE / E. LEGAY
PLAN DAQ & CC : Deux fonctionnalités distinctes Genèse de DCOD Evolutions CSNSM - N. DOSME / X. GRAVE / E. LEGAY
DAQ & CC : DEUX FONCTIONNALITÉS DISTINCTES NARVAL / ENX CSNSM - N. DOSME / X. GRAVE / E. LEGAY
CONTRAINTES Rapidité de déploiement : 15 jours pour "monter" une expérience Evolution en fonction du cycle de vie du détecteur (Concept / testbench / démonstrateur / …) Développements par blocs fonctionnels "simples" Résilience et / ou stabilité Connaissance du réseau Gestion de flot unitaire ~1 Gbs (il y a 10 ans), ~10 Gbs (maintenant) Gestion de flot global ~10 Gbs (il y a 10 ans), >100 Gbs (maintenant) CSNSM - N. DOSME / X. GRAVE / E. LEGAY
ACQUISITION DE DONNES OU CONTRÔLE D’ÉLECTRONIQUE Acquisition de données Système distribué Bloc de traitement de données online modulaire Flux de données important "Dédiée" aux sites expérimentaux Stabilité intrinsèque "Coupling" de flot de données Contrôle d’électronique Développement centré sur un matériel Lié au cycle de vie du matériel Adaptation à l’état courant de la carte Adaptabilité à l’environnement de l’expérience Interfaçage à de multiples bus CSNSM - N. DOSME / X. GRAVE / E. LEGAY
ACQUISITION DE DONNÉES NARVAL : conçu pour remplacer OASIS en 2000 Développé en Ada Initialement orienté pour le TANDEM Orsay Une infrastructure hautement distribuée Gestion d’un état commun à l’ensemble des processus Gestion du flot de données selon un arbre orienté Structuration des process de calcul pour intégrer "simplement" des algos utilisateurs online CSNSM - N. DOSME / X. GRAVE / E. LEGAY
TABLE DE SCAN CSNSM - N. DOSME / X. GRAVE / E. LEGAY Serveur 1Serveur 2 Ge LaBr3 Zero Suppr. Coincidence Serveur 3 Histo Stockage Elect. Ge Elect. LaBr3 Serveur 0 Contrôle de NARVAL
DATA RATES IN FULL AGATA Electronique Informatique PCIx links
NARVAL IN THE WORLD IPN Orsay : TANDEM, Andromède CSNSM : Table de scanning, SEMIRAMIS, Cocotte AGATA GANIL : Cœur d’acquisitions, VAMOS, … LAL : CORTO CSNSM - N. DOSME / X. GRAVE / E. LEGAY
CONTRÔLE COMMANDE ENX : Conçu au CSNSM à partir de 2005 Développé en Ada Une problématique d’interface Un cœur stable et flexible Vers le monde extérieur (SOAP + HTML embarqué) Vers le monde intérieur Via de nombreux bus : RS232, GPIB, CAN, USB, …. Via des librairies dynamiques proprietaires (CAEN, NI, …) Un besoin de réactivité Suivi du cycle de vie d’une carte Adressage d’un nouveau matériel avec des contraintes non fixes CSNSM - N. DOSME / X. GRAVE / E. LEGAY
SCHEMA Linux server ENX core server ENX device I/O port Linux driver ENX device Web server HTTP request Parser Control processor Command processor M2 OSAE /2016
ENX IN UPSAY ;) CSNSM : Table de scanning, SEMIRAMIS, Polarex, Cocotte IPN Orsay : Andromède AGATA LAL : CORTO CSNSM - N. DOSME / X. GRAVE / E. LEGAY
GENÈSE DE DCOD SYSTÈME DISTRIBUÉ CSNSM - N. DOSME / X. GRAVE / E. LEGAY
POURQUOI UNE ÉVOLUTION ? Points communs Mêmes développeurs Gestion de la communication interprocessus Echange de message Politiques de distribution / réception SPOF : Dictionnaire des process Etat figé une fois le système configuré Faiblesses Online : gestion des buffers Problème de back pressure Problème d’implémentation d’algos physiciens CC : apparition de "nuages" de cartes Réseau au plus proche des cartes Besoin de solidifier une vue globale CSNSM - N. DOSME / X. GRAVE / E. LEGAY
DCOD – 4 MODULES PMH : Posix Memory Handler Gestion des ressources "buffers" (quantité et taille) Association à des politiques d’utilisation CTL : Common Transport Layer Gestion des ressources "connexions" entre ressources "buffers" distants Découverte des ressources "buffers" NARVAL Synchronisation des process Gestion d’une machine d’état unique Utilisation des ressources "buffers" ENX Nouvelle interface vers l’extérieur s’appuyant sur les ressources "buffers" CSNSM - N. DOSME / X. GRAVE / E. LEGAY
NARVAL WITH DCOD CSNSM - N. DOSME / X. GRAVE / E. LEGAY Host BHost Prod.Host CHost A Sub System Coordinator NARVAL SUBSYSTEM Interm. API H Cons. API Cons. CTL PMH Interm. API PMH Extern. App
Serveur Linux CORTO 1/2 CSNSM - N. DOSME / X. GRAVE / E. LEGAY Module WaveCatcher 1 ENX 1 PMH Buffer 1 NARVAL
Serveur Linux CORTO 2/2 CSNSM - N. DOSME / X. GRAVE / E. LEGAY Module WaveCatcher 1 ENX 1 PMH Buffer 1 Module WaveCatcher 1I ENX II Buffer II Module WaveCatcher III ENX III Buffer III Buffer EB NARVAL Histo
Serveur Linux CORTO 2/2 CSNSM - N. DOSME / X. GRAVE / E. LEGAY Module WaveCatcher 1 ENX 1 PMH Buffer 1 Module WaveCatcher 1I ENX II Buffer II Module WaveCatcher III ENX III Buffer III Event Builder Buffer EB NARVAL Histo
AGATA – NEW GENERATION CSNSM - N. DOSME / X. GRAVE / E. LEGAY Global trigger soft Buffering 3,2 Gb/s / crystal 9,6 Gb/s / cluster 1 cluster / host buffer Smarter distribution PSA farm Load balancing CPU/RAM Network 14A CTL 13B CTL 08C CTL Network Front End server CTL Header Coll. 14A DMF 14A Header Coll. 13B DMF 13B Trigger server CTL Global trigger Load balancer eBuilder server CTL Event Builder Event Merger Bridge Front End server CTL Header Coll. 08C DMF 08C PSA farm Back end server CTL Tracking Storage Bridge Header Coll. 13B DMF 13B
EVOLUTIONS IN PROGRESS … CSNSM - N. DOSME / X. GRAVE / E. LEGAY
EN DISCUSSION Interfaçage vers les "standards" TANGO / EPICS / ICE / … Uniformisation des formats de données Validation de trigger soft à très haut débits (> 100 Gbs cumulés) CSNSM - N. DOSME / X. GRAVE / E. LEGAY