Proposition d’une nouvelle acquisition pour CTF3-CLIC partie BI. Jean Jacquemier, Yannis Karyotakis, Jean-Marc Nappa,, Jean Tassan, Sébastien Vilalte.

15/10/2009Sébastien VILALTE2 Introduction: le LAPP dans CTF3 Module analogique: processing Intensité & deviations BPI or BPM. Carte DFE : - sampling 3 channels, 12 bits / 500MSps. - Feed-back pour modules analogiques: gains, calibrations et atténuateurs. - Acquisition Daisy chain : 1 câble réseau par crate (~4 cartes par crate). Acquisition PC : soft FESA-OASIS et applications « specialist requirements » de feed-back. → Cout divisé par un facteur 3. 4 Δ1 Σ Δ2 DFE Analog module Acquisition PC >100m : SPECS+Gateway Accelerator area <10m ADC network But: réduction des couts des longs câbles analogiques / ADCs VME - idée que la future électronique devra être proche du faisceau → acquisition Rad-hard proche faisceau.

15/10/2009Sébastien VILALTE3 De Novembre 2006 à l’été 2009: production et installation de 47 modules analogiques et 46 cartes DFE distribuées dans 12 crates dans TL1, CR, TL2 and CLEX. Acquisition de BPM, BPI et BPS. Man power: ~2,5hommes.an FTE depuis Septembre 2005 Financement IN2P3 : ~100k€. Résultats: → Cout divisé par un facteur 3. OK mais problèmes récurrents de bruit et de transmission des données. Problèmes de fiabilité et de cohabitation des différents systèmes de timing et de transmission. Surement plusieurs causes parallèles: protocole synchrone, conflits sur bus PCI gateways, radiations (bien que Rad-hard)… Actuellement pertes de plus en plus fréquentes des acquisitions. Introduction: le LAPP dans CTF3

15/10/2009Sébastien VILALTE4 Motivations pour un nouveau développement: Nous rencontrons des problèmes avec les mémoires analogiques et les transmissions réseau dans CTF3. C’est aussi l’évolution logique dédiée à un accélérateur comme CLIC: Rares accès de la surface, grand nombre de canaux, rad-hard, low-cost, faible consommation, acquisition standard « all-around » pour l’accélérateur.… Nous avons maintenant de l’expérience et notre labo est engagé dans les accélérateurs, soutien IN2P3. Depuis le printemps 2009: première discussion avec CTF3, définition des possibles futures solutions: → élimination des derniers liens cuivres: utilisation de liens optiques. actuellement restent 5 liens cuivres/châssis: clk, timing, calibration, alims, réseau. → amélioration de la fiabilité du système. Première évaluation technique basée sur : → Un châssis incluant ~ 6 acquisitions, 1 calibration, 1 power supplies, 1 switch réseau. Sélection de 2 ADCs, design d’une carte d’évaluation. Introduction: une nouvelle acquisition pour CTF3/CLIC

15/10/2009Sébastien VILALTE5 Evaluations: → L’été dernier, les tests sur carte ADCs évaluation et les discussions sur les spécifications ont conclu à une solution 100Msps/12 ENOB. Design d’une carte générateur local de courant de calibration et premier prototype l’été dernier. → Les tests ont validé la solution: courant ajustable jusqu’à 10A/50Ω. Les tests sur les liens optiques ont montré la possibilité d’utiliser la porteuse afin de transmettre la clock machine si nécessaire (cf. réseau-timing). Les contacts entre CTF3 & CLIC ont conduit à un meeting avec CLIC pour une collaboration possible (19/05/09). Depuis, différents meetings et workshops ont eu lieu et ont fixé un peu plus les esprits: WS White Rabbit, WS Beam instrumentation, 2009 CLIC WS… Introduction: une nouvelle acquisition pour CTF3/CLIC

15/10/2009Sébastien VILALTE6 Des spécifications qui s’affinent: → les besoins de CLIC et CTF3 convergent: acquisition de 2 à 4 objets par module CLIC ou crate CTF3 (cf. Lars BI WS). Ces objets sont encore difficiles à définir dans leur spécifications électroniques, aussi, notre approche est de proposer une solution « dans l’état de l’art » qui sera un premier pas vers un système d’acquisition plus large. CTF3 est aussi la zone de tests privilégiée pour de futurs développements: la future acquisition doit coller aux spécifications progressives d’un pick-up de CTF3 vers un module CLIC. Les évolutions futures de l’acquisition parallèle ment à l’accélérateur permettront de développer la fiabilité et la faisabilité d’un système à grande échelle. Système le plus simple = le plus fiable. Introduction: une nouvelle acquisition pour CTF3/CLIC

15/10/2009Sébastien VILALTE7 Nos dernières études ont arrêté la proposition d’une architecture plus simple: → Châssis local comprenant: Carte d’acquisition unique avec 4X4 canaux pour le module: → sampling direct des électrodes: élimination du module analogique. → 1 carte d’acquisition unique, 1 seul FPGA, 1 seul lien SFP. → Grande réduction des coûts: composants, PCBs, hardware… → plus de nécessité de développer une carte locale de collection des données pour les X cartes ADC (switch): 1 niveau réseau de moins, pas de câblage lourd face avant ou fond de panier. Carte générateur de calibration locale: → 4X2 sorties 10A, pilotées par le FPGA de la carte ADC. Alimentation autonome 220V. Réseau: Carte réception PCIe dans PC-Gateway. Switch concentration de données dans l’accélérateur. → fibre optique, lien réseau WR... Introduction: une nouvelle acquisition pour CTF3/CLIC

15/10/2009Sébastien VILALTE8 Les discussions ont convergé vers: sampling ~12 bits ENOB, 100Msps. Sampling direct des électrodes : p.5 Traditionnellement, utilisation d’un module analogique pour garder un max. de CMRR et de dynamique. Distinction de 2 composantes de dégradation du CMRR : Mode commun de Gains: Dû à une différence de gain entre channels. Assimilé à un offset et peut être calibré. Doit néanmoins être minimisé. Mode commun de Phases/délais: Dû aux différences de délais entre les signaux avant sampling. Assimilé à un déphasage dépendant de la fréquence. Impossible à compenser/calibrer pour un signal large bande. Les spécifications fixent actuellement une différence entre entrées de 3ps max. = 1mm de câble! Le module analogique réalise la compensation du droop des pick-ups: les filtres pourront être avantageusement implémentés dans le FPGA (réajustés si nécessaire). proposition: sampling / dynamiques – carte ADC.

15/10/2009Sébastien VILALTE9 Gamme dynamique: p.6 Avec un ADC 12 bits ENOB, l’utilisation d’un préampli analogique performant permet de réaliser un gain maximum de X10 avant dégradation du SNR. Cela signifie une dynamique max. de 16 bits répartie sur deux gammes. Les signaux des Pick-ups actuels sur 50Ω d’entrée sont élevés (et probablement plus dans le futur) et l’utilisation d’un atténuateur d’entrée est obligatoire afin de faire coïncider les dynamiques. Cela peut être un avantage: des gammes multiples réalisées par des atténuateurs dégradent moins le SNR et sont bien plus faciles à réaliser. ADC Quad LTC2175 : Récents ADCs quad qui partagent dans le même boitier le clock management et la même référence de codage → 0,15ps skew entre les canaux, même dérive entre canaux. Tests de début novembre ont montré 12,2 ENOB comme spécifié et une excellente synchronisation des canaux (difficile à mesurer). Une injection simple recalibrée de signaux ont montré que le CMRR moyen dû aux différences de gains peut être mesurée facilement à ~74dB (déphase non garanti, faible nombre de points…) → échantillonnage avant processing possible. proposition: sampling / dynamiques – carte ADC.

15/10/2009Sébastien VILALTE10 Etages d’entrée: comme nous devons implémenter un atténuateur et parce que un préampli permet un gain 10 sans dégradation du SNR, nous pouvons simplifier le nombre de gammes à 2 en gardant constant le gain du préampli. → avec un atténuateur commutable 1- 1/20 et préampli G=8 on couvre 2X la gamme en courant de l’actuel CTF3 (~65A) en low gain et 10X moins (~3,5A) en high gain (pour une pleine échelle ADC) tout en maximisant le SNR. Ces valeurs sont bien sur modulables. Bruit d’entrée préampli X G < Bruit entrée ADC Bruit équivalent à l’atténuateur constant (50Ω). proposition: sampling / dynamiques – carte ADC. ADCGAttenuateurFPGA

15/10/2009Sébastien VILALTE11 Cross bar switch: p.8 Intéressant pour compenser le CMRR du aux gains, pour diagnostiquer les pannes. Dans une utilisation simple (sans feedback sur gains switches), le système permet de compenser les défauts après l’aiguillage. Les switches ne doivent pas introduire de mode commun. Des tests sur des switches ont montré un shift du gain et de l’impédance sur une bande en fréquence large >3%. Aucun ne permet de passer les niveaux d’entrée, d’où l’utilisation obligatoire d’un atténuateur en tête: pas de réduction de son mode commun possible. Cette architecture augmente la complexité du système et ne permettra pas l’implémentation de 4X4 canaux sur une carte unique en raison de l’encombrement. Un autre problème est l’existence d’un brevet. Nous pensons qu’une chaine la plus simple possible sera plus appropriée pour la mise au point d’un tel prototype. proposition: sampling / dynamiques – carte ADC.

15/10/2009Sébastien VILALTE12 FPGA - data: p.9 Dans ce système l’acquisition est continue et un trigger externe ou interne sur niveau gèle la mémoire pipe-line du FPGA (cf. réseau et timing). Cette mémoire représente une fenêtre en temps dont la durée sera programmable dans les limites du FPGA (mémoire) et du réseau (débits). Le code FPGA permettra différents types d’acquisitions des données: raw data, droop compensation, intensité, déviations, averages… Des techniques de code redondantes participeront à la tolérance aux radiations ainsi que le choix de la technologie (~40nm). proposition: sampling / dynamiques – carte ADC.

17-18/10/2009Sébastien VILALTE13 Proposition: p.10 Carte ADC 4X4 canaux basée sur ADCs quad. → 16 entrées analogiques SMA. → 2 gammes dynamiques (1/20), réalisées par atténuateurs d’entrée passifs. → étage analogique simple d’adaptation de la dynamique G=8 (LTC6406). → 4 ADCs quad LTC2175:14bits, ENOB=12,2. → rate ~100Msps (clock machine 96MHz si synchrone). → FPGA Altera Stratix GX II. → 1 lien optique SFP monomode. → 1 lien USB pour tests et debug. → 1 lien face arrière pour carte de calibration (trigger, consignes pulses). Prototype prévu pour tests et debug: été Interfaçage réalisable avec cartes d’évaluation PCIe et réseaux disponibles au LAPP. proposition: sampling / dynamiques – carte ADC.

17-18/10/2009Sébastien VILALTE14 Générateur local: p.17 Générateur pulses de courant pour Pick-ups inductifs. Power shutdown pour limiter la consommation, limiter les risques CEM et augmenter la tolérance aux radiations (convertisseurs DC-DC). Courant et longueur pulse réglable jusqu’à 10A ~qq%, piloté par la carte ADC. Alimentation entrée 12V, HT produite par convertisseur DC-DC. Trigger externe. → 4X2 sorties SMA pour 4 BPMs, aiguillage 1 vers 8 (FPGA). → Courant asservi par µcontroller. → Plan de blindage pour CEM. Prototype prévu pour tests et debug: été proposition: carte calibration.

17-18/10/2009Sébastien VILALTE15 Sous la forme d’un boitier: p Contient une carte ADC et une carte calibration. Cartes développées au standard mécanique europ VME pour compatibilité avec autres châssis. Alimentation intégrée: convertisseur 220VAC-12VDC 36W + prise secteur filtrée. Refroidissement par extraction en face arrière. Distribution du 12V par nappes. Réseau local audio sur courant porteur actuellement à l’étude. Actuellement définition de la mécanique finale et choix d’un fournisseur. Radiations: choix de composants très réduit. → composants connus pour leur tolérance aux radiations. → digital avec design spécifique: triple voting, technos… → CTF3 sera une bonne zone de tests. → Dans le futur, qualifications basée sur des spécifications finales. → Les infrastructures peuvent participer à la réduction de la dose. Composants digitaux possibles en versions finales « hard copy » ≡ asics pour réduire sensiblement les couts. proposition: crate.

17-18/10/2009Sébastien VILALTE16 Sujet commun BI-CO: ici décrites les spécifications du système p.11 Nécessité dans CTF3 pour l’instant de réaliser une acquisition synchrone avec la machine. → Nécessité de récupérer l’horloge machine au niveau de l’ADC. Si acquisition pas synchrone: jitter d’un coup d’horloge des données à l’écran si toutefois le trigger se fait correctement (obligatoirement local si système asynchrone). Actuellement, le timing est distribué par lien cuivre aux châssis: clk 96MHz et trigger. Parallèlement, les problèmes de réseau nous orientent vers l’utilisation de la fibre optique: CEM, distances, débits…Dans l’avenir, acquisition pas forcément synchrone. Les tests réalisés ont montré que nous pouvons transmettre l’horloge en imposant la fréquence porteuse sur la fibre. Le test a montré également que nous pouvons l’imposer en chainage également dans le but de développer de futurs switches de concentration de données. Qui peut le plus, peut le moins: cette solution pourrait basculer facilement (code FPGA) vers une solution réseau de données uniquement avec l’utilisation d’un oscillateur local pour les ADCs. proposition: Architecture système, timing-réseau.

17-18/10/2009Sébastien VILALTE17 Trigger: Le trigger le plus simple est le déclenchement sur front avec seuil. Il peut être facilement implémenté dans le FPGA et modifié en ligne. Les tests sur les transmissions optiques ont montré que le trigger pouvait également être transmis de façon synchrone. Il pourra donc être forcé par le trigger machine. Proposition: détail réseau dans partie CO. Carte réception PCIe (PCIe présents dans gateways CTF3) → réseau local lien avec White Rabbit. → entrées clock & timing pour acquisition synchrone si nécessaire. Prototype prévu pour tests et debug: fin Second développement: switch de collection des données: → 10 liens descendants, 1 lien montant. Prototype prévu pour tests et debug: fin proposition: Architecture système, timing-réseau.

17-18/10/2009Sébastien VILALTE18 Milestones Fin 2009: choix techniques, définition de la collaboration. Mi 2010: crate avec carte ADC, carte calibration, alimentations. Tests et debug avec carte évaluation PCIe. Fin 2010: carte réseau PCIe. Tests et debug de la chaine, tests dans CTF3. Pourrait remplacer l’acquisition de CTF : switch réseau. Ressources LAPP : pour les développements à suivre, 3 hommes.an FTE, financement IN2P3 ~30k€/an. La demande d’un remplacement de l’électronique actuelle de CTF3 n’ira qu’en augmentant: grosses difficultés à maintenir le système dans une situation stable. → si système adéquat pour CTF3, nécessité de le produire rapidement. proposition: programme.