Habilitacna prednaska 3/26/2017 Ecole d'électronique numérique Distribution d'horloge, etc

Habilitacna prednaska 3/26/2017 Laboratoire Leprince-Ringuet http://earth.google.com/ Ecole Polytechnique LLR : latitude 48°42'44.18"N longitude 2°12'28.18"E

Habilitacna prednaska 3/26/2017 Ecole d'électronique numérique Distribution d'horloge, etc Mise en œuvre des désérialiseurs à faible latence. Un cas concret pour CMS : La carte TCC68

Habilitacna prednaska 3/26/2017 Carte TCC68 TCC : Trigger Concentrator Card Électronique hors détecteur (OD) du calorimètre électromagnétique (ECAL) de l’expérience CMS (CERN) Electroniciens : M. Bercher, Y. Geerebaert, C. Jauffret, A. Karar, A. Mathieu, L. Zlatevski + M. Bouchel (LAL) Physiciens : P. Busson, P. Paganini Informaticiens : M. Cerruti, J. Gilly

Habilitacna prednaska 3/26/2017 Carte TCC68 Une TCC, pour quoi faire ? Les différentes phases du projet Où en sommes nous aujourd’hui ? Et après ?

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 CMS est l’un des 4 détecteurs présents sur l’accélérateur du CERN, le LHC.

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 Le détecteur CMS est composé de plusieurs sous-détecteurs dont : ECAL, le calorimètre électromagnétique CMS est un détecteur de particules composé de plusieurs sous-détecteurs dont le calorimètre électromagnétique.

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 Le tonneau d’ECAL est composé de : 36 supermodules composés de : 68 Supercristaux composés de : 25 cristaux Soit 61200 cristaux ou 1700 supercristaux Supercrystal Data Trigger primitives APD/VPT Preamp ADC Front-end board Parler des alvéoles faites au LLR Et des photodiodes à avalanche caractérisées au LLR Parler du précédent design avec les 61200 fibres de 80 m

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 1 supermodule en test au Batiment 867 du CERN

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 2 supermodules installés dans le détecteur CMS

Habilitacna prednaska 3/26/2017 Environnement de la carte TCC68 OD Tour de déclanchement 25 cristaux (TT) TTC TCS Déclanchement de premier niveau (L1A) L1 @100 kHz CCS (CERN) Regional CaloTRIGGER SLB (LIP) TCC (LLR) Global TRIGGER Classification des tours de déclanchement (TTF) Primitives de déclanchement @800 Mbits/s SRP (CEA DAPNIA) Trigger Concentrator Card Synchronisation & Link Board Clock & Control System Selective Readout Processor Data Concentrator Card Timing, Trigger & Control Trigger Control System Indicateurs de lecture sélective (SRF) Données des cristaux @100KHz (Xtal Datas) DCC (LIP) DAQ Auteur : R. Alemany LIP

Réception série : solutions comparées Habilitacna prednaska 3/26/2017 Réception série : solutions comparées Composant Récepteur Avantages: Faible latence ~ 3 périodes Inconvénients: Nombre de composants Consommation électrique Coût 16 bits – 40 MHz Récepteur intégré au FPGA Avantages: Nombre de composants Consommation électrique Coût Inconvénients: latence élevée ~ 25 (9) périodes TR n’est pas present car il est en plein design d’une carte avec des deserialiseurs externes Auteur : T. Romanteau LLR

Réception série : solutions comparées Habilitacna prednaska 3/26/2017 Réception série : solutions comparées Composant Récepteur Avantages: Faible latence < 3 périodes Inconvénients: Nombre de composants Consommation électrique Coût Vue partielle de Carte TCC68 Récepteur intégré au FPGA Avantages: Nombre de composants Consommation électrique Coût Inconvénients: latence élevée ~ 25 (9) périodes Vue partielle de la carte DCC Auteur : T. Romanteau LLR

Les différentes phases du projet TCC68 Habilitacna prednaska 3/26/2017 Les différentes phases du projet TCC68 Validation du choix du composant de déserialisation à faible latence : Agilent HDMP-1034A Avec son émetteur HDMP-1032A

Les différentes phases du projet TCC68 Habilitacna prednaska 3/26/2017 Les différentes phases du projet TCC68 Validation du choix du composant de déserialisation à faible latence : Agilent HDMP-1034A Avec l’émetteur ASIC du CERN « GOL »

Composition de la carte TCC68 Habilitacna prednaska 3/26/2017 Composition de la carte TCC68 68 x 800 Mb/s = 54,4 Gb/s 68 x 9bits / 25ns = 24,48 Gb/s 720 Mb/s @ L1A 1,6 Gb/s @ L1A P1 Aglient HDMP 1034A // Datas OD Connector XILINX FPGA Virtex2 pro Transciver E/O Carte VME 9U (2 slots) 68 entrées optique @ 800 Mb/s =un supermodule (68 TT) 9 cartes filles SLB 6 récepteurs optiques 12 voies 72 désérialiseurs faible latence 6 FPGA (957 broches) 1 FPGA avec sérialiseur intégré 1 circuit TTCrx (interface CCS) Circuits de distribution d’horloge 1 FPGA (VME64x «plug & play») Principaux problèmes : Densité d’interconnexions, consommation électrique (~130W), distribution d’horloge « propre ». ALTERA FPGA for VME P0 Clock Fanout 1:90 P2 FromCCS Les plus grandes difficultés viennent du respect du planning !!!! TTCrx Chip To DCC To SRP

Composition de la carte TCC24 Habilitacna prednaska 3/26/2017 Composition de la carte TCC24 P1 Carte VME 6U (2 slots) 24 entrées optique @ 800 Mb/s 3 cartes filles SLB 2 récepteurs optiques 12 voies 24 désérialiseurs faible latence 2 FPGA (957 broches) Circuits de distribution d’horloge 1 FPGA (interface VME64x) Aglient HDMP 1034A 1034A HDMP Aglient Aglient HDMP 1034A Aglient HDMP 1034A // Datas ALTERA FPGA for VME Aglient 1034A HDMP Analyseur logique Aglient 1034A HDMP 1034A HDMP Aglient // Datas Aglient HDMP 1034A P0 Clock Fanout 1:90 P2

TCC24 (Trigger Concentrator Card 24 channels) Habilitacna prednaska 3/26/2017 TCC24 (Trigger Concentrator Card 24 channels) Interface VME 24 voies série  // 2xVirtex2 xc2v3000 SLB 1 QPLL 24 voies série  // Sorties vers Analyseur logique La TCC24 en chiffres : Plus de 900 composants Plus de 4500 connexions Plus de 4200 vias dont ~300 µ-vias

Vue en coupe du circuit imprimé (PCB) de la TCC Habilitacna prednaska 3/26/2017 Vue en coupe du circuit imprimé (PCB) de la TCC Lignes différentielles pour signaux rapides (800 Mb/s) via adapté en impédance (50 ohms) PCB 10 couches Classe 6 (120µm) µ-vias laser Vias adaptés 50 366 x 400 mm Épaisseur : 2mm Isolant HTG 180° Via adaptés, éviter les stubs. Travail à faire sur les matériaux, les techno actuelles, les termes technique lié au domaine, etc. Composant BGA 957 pins µ-via percé au laser (120 µm)

PCB à empilement séquentiel Habilitacna prednaska 3/26/2017 PCB à empilement séquentiel Core percé et métalisé (1 double face) Prepreg + µ-vias Core prepreg + µ-vias Prepreg + µ-vias Core prepreg + µ-vias Prepreg + µ-vias Core prepreg + µ-vias Atlantec / ACB

Habilitacna prednaska 3/26/2017 Banc de test TCC24 Oscilloscopes numériques rapides TCC Tester Analyseur logique Alimentations GOL Test Board TCC 24 Fibres optiques

Tests de Latence de la TCC24 Habilitacna prednaska 3/26/2017 Tests de Latence de la TCC24 GOL NGK Tx TCC Tester NGK Rx Agilent FPGA TCC 24 Signal serie  x”8FB5” et x“8FB5” 16b 4b 0.15 c.u. 0.95 c.u. Master transition (CIMT): b”1100” 2.33 c.u.

Tests de Latence de la TCC24 Habilitacna prednaska 3/26/2017 Tests de Latence de la TCC24 ≈ 4 m de fibre optique GOL NGK Tx TCC Tester NGK Rx Agilent FPGA TCC 24 0.15 c.u. 0.95 c.u. 2.33 c.u. Temps passé dans la TCC 24 + fibre = 3.13 clock unit Estimation : 2 c.u dans le FPGA + alignement Latence ≤ 6 clock unit (Cahier des charges : 7 clock unit Max, Ouf…) (1 clock unit = 25 ns)

Tests de la TCC24: BER et diagramme de l’oeil Habilitacna prednaska 3/26/2017 Tests de la TCC24: BER et diagramme de l’oeil NGK Agilent Diagramme de l’oeil très ouvert

Tests de la TCC24: BER et diagramme de l’oeil Habilitacna prednaska 3/26/2017 Tests de la TCC24: BER et diagramme de l’oeil jitter très faible ≈ 20 ps cf. Agilent AN1448-1 625 ps Ici : 625 / 20 = 31 20 ps 20 ps

Habilitacna prednaska 3/26/2017 Carte TCC68 PCB 10 couches Classe 6 (120µm) µ-vias laser Vias adaptés 50 366 x 400 mm Épaisseur : 2mm Isolant HTG 180°, low CTE Coût du prototype : ~20 K€uros La TCC68 en chiffres : Plus de 2700 composants Plus de 13900 connexions Plus de 14000 vias

Habilitacna prednaska 3/26/2017 Carte TCC68 PCB 10 couches Classe 6 (120µm) µ-vias laser Vias adaptés 50 366 x 400 mm Épaisseur : 2mm Isolant HTG 180°, low CTE Coût du prototype : ~20 K€uros

Habilitacna prednaska 3/26/2017 Distribution d’horloge sur la TCC AGILENT HDMP-1034A AGILENT HDMP-1034A AGILENT HDMP-1034A 1 entrée d’horloge venant de la carte voisine (CCS) 68 + 6 + 1 + 9 circuits à alimenter avec cette horloge Niveaux logiques différents (LVTTL, LVDS, dLVPECL) Lignes longues (par rapport à la fréquence effective) MC100EPT26 PECL to TTL 1:2 AGILENT HDMP-1034A differential AGILENT HDMP-1034A AGILENT HDMP-1034A unipolar x12 x68 NB100LVEP224 Clock fanout 1:24 Rx_CLK from CCS MC100EPT26 PECL to TTL 1:2 x12 AGILENT HDMP-1034A AGILENT HDMP-1034A 40 AGILENT HDMP-1034A QPLL External clocks x7 VIRTEX2 Uni to diff 80 Tx Clock x6 + 1 V2pro MC100LVEP111 Clock fanout 1:10 TTCrx CLK VIRTEX2 XC2VP4 Clk for Rio SLB 1 Expliquer les 3 chips Les signaux, Bunch Crossing Zero BC0 Mesures de skew des SLB inferieur à 300 ps Adaptation des niveau logiques dLVPECL, LVDS Simulation IBIS pour les MC100EPT26DT vers les agilents x9 (Cf. AN1568/D onsemi.com) SLB 9 TTCrx MC100LVEP111 Clock fanout 1:10 x9 External clock TTCsig from CCS Rx_BC0 from CCS

Habilitacna prednaska 3/26/2017 Distribution d’horloge sur la TCC

Habilitacna prednaska 3/26/2017 Distribution d’horloge sur la TCC AGILENT HDMP-1034A AGILENT HDMP-1034A AGILENT HDMP-1034A 1 entrée d’horloge venant de la carte voisine (CCS) 68 + 6 + 1 + 9 circuits à alimenter avec cette horloge Niveaux logiques différents (LVTTL, LVDS, dLVPECL) Lignes longues (par rapport à la fréquence effective) MC100EPT26 PECL to TTL 1:2 AGILENT HDMP-1034A differential AGILENT HDMP-1034A AGILENT HDMP-1034A unipolar x12 x68 NB100LVEP224 Clock fanout 1:24 Terminaison : R = 1 Kohms Rx_CLK from CCS MC100EPT26 PECL to TTL 1:2 x12 AGILENT HDMP-1034A AGILENT HDMP-1034A 40 AGILENT HDMP-1034A QPLL External clocks x7 VIRTEX2 Uni to diff 80 Tx Clock x6 + 1 V2pro MC100LVEP111 Clock fanout 1:10 TTCrx CLK VIRTEX2 XC2VP4 Clk for Rio SLB 1 Expliquer les 3 chips Les signaux, Bunch Crossing Zero BC0 Mesures de skew des SLB inferieur à 300 ps Adaptation des niveau logiques dLVPECL, LVDS Simulation IBIS pour les MC100EPT26DT vers les agilents x9 (Cf. AN1568/D onsemi.com) SLB 9 Terminaison : R = 100 ohms TTCrx MC100LVEP111 Clock fanout 1:10 x9 External clock TTCsig from CCS Rx_BC0 from CCS

Carte TCC68, où en sommes nous aujourd’hui ? Habilitacna prednaska 3/26/2017 Carte TCC68, où en sommes nous aujourd’hui ? Tests effectués au LLR Ecriture firmware (VHDL) Ecriture Software (C++, root, Xdaq, Hal,…) Intégration au CERN avec les cartes voisines. Lancement de la production de 40 cartes (Les 3 premières sont testées avec succès) Coût : ~ 10000 € / carte Parler des problèmes de Rx error avec les SLBs, adaptation ligne, terminaison 1k à la place de 100 ohms.

Habilitacna prednaska 3/26/2017 Et après ? Mai / Juin 2006 : 1 carte TCC pour la validation d’un supermodule en faisceau test H4 au CERN De août à octobre 2006 : Test de la production (40 cartes) Intégration au CERN jusqu’à fin 2006 Correction du code VHDL et ajout de fonctionnalités

Conception d’une carte numérique rapide à l’in2p3 Habilitacna prednaska 3/26/2017 Conception d’une carte numérique rapide à l’in2p3 Etre mobile Recruter Travailler en équipe Relations internationales physique des particules Savoir s’entourer de spécialistes dans chaque domaine Rédacteur orateur Gestion de projet Achat, négoce Utilisation Logiciels CAO Simulation Interprétation schéma routage VERILOG VHDL etc. Logiciel de pilotage C, assembleur, etc.… Compétences requises testabilité Banc test JTAG intégration mécanique puissance thermique optique Electronique Conversion d’énergie Veille technologique Connaissance des fabricants de composants Numérique analogique SAVOIR S’ENTOURER Ingénieurs d’application, Physiciens parlant un langage compréhensible, école in2p3, Réseaux des électroniciens

Habilitacna prednaska 3/26/2017 Liens & Réferences « High-Speed Digital Design: A Handbook of Black Magic » by Howard Johnson, Ph.D. and Martin Graham, Ph. D « Integrity Issues and Printed Circuit Board Design » by Douglas Brooks « QPLL home page » : http://proj-qpll.web.cern.ch/proj-qpll/ « Articles on PCB design by D. Brooks» http://www.ultracad.com/article_outline.htm « CMS home page » : http://cms.cern.ch/ Documents Atlantec / ACB : http://www.atlantec.fr/vf/htm/capa/capa.htm Réseau des électroniciens : http://web-ast.dsi.cnrs.fr/rdeprd/pck_res_pge_accueil.ini_page Personnes à contacter au LLR : utilisation RocketIO : Clément Jauffret, Thierry Romanteau. Conception de cartes rapides : Irakli Mandjavidzé (CEA), moi-même. voir ici : http://polywww.in2p3.fr/services/llr_annuaire/search.php?lang=fr&groupID=14