Développements autour d’ ATCA, ROD pour le HL-LHC au LAPP A.Bazan, F. Bellachia, S. Cap, N. Dumont Dayot, L. Fournier, N. Letendre, G. Perrot I.Wingerter 11/10/2011

L’électronique LAr aujourd’hui et demain. L’ATCA Les développements et tests en cours: – Carte d’évaluation ROD pour les tests de communication et de traitement – Contrôleur IPM (Intelligent Platform Management ) et chargeur de configuration pour cartes ATCA – Carte de test ATCA Les développements à venir – Nouveau contrôleur IPM – Carte de démonstration ROD Plan 11/10/112R&D ATLAS LAr

1600 Modules FEB (128 cellules/FEB) 200 Modules ROD Lien optique 1,6 Gbit/s par FEB saturé à 5 échantillons/cellule et trigger 100KHz 64 DVD transférés par seconde L’électronique actuelle DETECTEUR 16*12 Bits ADCs 5 MHz ELECTRONIQUE FRONT END AMPLI PIPELINE ANALOGIQUE (SCA) ROB CALIBRATION Mise en forme FEB ELECTRONIQUE BACK END ROS ROD (DSP) Courant théorique Mise en forme 800 Liens optiques ∑ TBB->L1A Trigger 1600 Liens optiques 128 cellules/FEB 100 KHz Max E =  a i (S i - PED) E  =  b i (S i - PED)  2 =  (S i - PED - E g i ) 2 Chassis FE Electronique Back End 11/10/113R&D ATLAS LAr

Dans l’idéal: 1600 Modules sFEB 112 Modules sTBB et leur lecture (sROD?) 100 Modules sROD (16 FEBs/ROD) Lien 100 Gbit/s par FEB 4000 DVD transférés par seconde L’électronique future DETECTEUR MUX/ Serializer ELECTRONIQUE FRONT END AMPLI ROB CALIBRATION Mise en forme sFEB ELECTRONIQUE BACK END ROS sROD ? Liens optiques L0/L1A Trigger 1600 Liens optiques 128 cellules/FEB >100 KHz E =  a i (S i - PED) E  =  b i (S i - PED)  2 =  (S i - PED - E g i ) * 12 Bits ADCs 40 MHz ? ∑ sTBB->L1A Trigger (old) ->sROD-> ? 11/10/114R&D ATLAS LAr Echelle de temps: 1-2 Modules sTBB: Modules sTBB: 2018 Upgrade complet: 2022

Advanced Telecom Computing Architecture Système redondant avec remplacement à chaud des composants (cartes, ventilateurs, sources d’alimentation) pour les telecoms. Gestion du chassis par un shelf manager (2 pour la redondance). Transmission série plutôt que parallèle sur le fond de panier. – Pas de protocole défini. – Le fond de panier permet la transmission de signaux jusqu’à 10 Gbits/s sur chaque paire. Les connecteurs sont limités à 5 Gbits/s L’architecture sur le fond de panier peut varier, c’est seulement un grand nombre de paires différentielles. Fabric Interface 1 port entre toutes les cartes (full mesh) 1 port entre une carte et chaque fabric (2) (dual star) 1 port 4 canaux 1 canal 2 paires différentielles (RxTx) 11/10/115R&D ATLAS LAr

Système ATCA 17/10/11ATLAS LAr Aussois6

Que doit on évaluer ? – Les nouvelles technologies de FPGA (pour nous STRATIXVI): FPGA avec 48 transceivers (8.5Gbps) 1024 tranches de DSP – Grande bande passante d’entrée: Utilisation de fibres optiques 12x10Gbps: 2 par FPGA – Communications rapides entre FPGAs – Communications rapides entre cartes ATCA Update channels Fabric channels – Traitement à haute vitesse. – Evaluation des algorithmes et des architectures ROD d’évaluation 11/10/117R&D ATLAS LAr

ROD d’évaluation (synoptique) 11/10/118R&D ATLAS LAr

CAO achevée. Carte 16 couches Epaisseur de lignes 75 µm Trous enterrés En attente des résultats des tests des autres cartes pour fabrication Cout=€€€€€ ROD d’évaluation (réalisation) 11/10/119R&D ATLAS LAr

Test du contrôleur ATCA – Connections E/S (tests boundary scan JTAG) – Gestion de l’IPM par le Shelf manager – Communication Ethernet à travers l’ATCA Base Interface Test de fonctions de base de l’évaluateur ROD – Configuration de la carte à travers le contrôleur ROD (mise à jour Firmware, chargements de coefficients…) – Test des alimentations au standard ATCA – Validation de la conception autour du FPGA (DDR, Flash, configuration par Flash) Carte de test ATCA (synoptique) ATCA Test board ATCA Led Insertion Switch Power Supplies Zone 1 Zone 2 Ethernet Sensors FPGA Cyclone III CPLD Flash DDR POL Supplies 11/10/1110R&D ATLAS LAr

Une bonne partie des tests de la carte ont déjà été effectués. Ils devraient être terminés avant la fin de l’année Carte de test ATCA (réalisation) 11/10/11R&D ATLAS LAr11 CPLD Flash DDR3 ArriaIIGx ATCA Controller Mezzanine Emerson ATC250 DC-DC converter J2 Update Channel J2 Fabric, Base interface J1 Power, IPMBus

Contrôleur IPM (Intelligent Platform Management ) pour carte ATCA Gestion de la carte ROD (ATCA et fonction ROD) Supervision de la carte (tensions, températures…) Configuration (configuration générale, coefficients…) Mise à jour du firmware des FPGAs Réalisation: Format FMC (Fpga Mezzanine Card) avec beaucoup d’Entrées/Sorties Basée sur un µController ARM TI Luminary Communications avec le shelf manager à travers le bus I2C IPMBus pour IPMI FPGA pour la gestion des E/S, et µC programmé en C Accès via lien Ethernet pour la gestion de la carte La Carte est en cours de test. Contrôleur ATCA & ROD 69mm 76.5mm µC FPGA IO 11/10/1112R&D ATLAS LAr

IPM Controller JTAG Controller board configuration and monitoring IP stack library hardware library IPMC module LM3S9B92 (texas Instruments) + FPGA (Xilinx) programmer (Texas Instruments) debugger (gdb) + OpenOCD ARM cross compiler Development tools web interface User environment client interface file server (boot and board control) JTag/USB I2C (IPMI protocol) Ethernet JTAG module Contrôleur ATCA (logiciel) 11/10/1113R&D ATLAS LAr

c’est tout le code qui ne doit pas être modifié, quel que soit le système installé application monolithique sans système d’exploitation implémentation du protocole IPMI sous forme de code open source (coreIPM) une boucle tourne en permanence pour vérifier qu’il y a quelque chose à faire réponse aux requêtes, génération et envoi des événements, contrôle du matériel Contrôleur (code standard) 11/10/1114R&D ATLAS LAr main loop intr. timer (polling capteurs) queue événements queue entrante queue sortante intr. I2C bibli. matériel bibli. IPMI bibli. PICMG

Contrôleur (code standard) : machine d’états 11/10/1115R&D ATLAS LAr

c’est tout le code qui est développé en fonction du matériel : le moins possible ! structures de données normalisées par IPMI et PICMG (PCI Industrial Computer Manufacturing Group) : FRU (Field Replaceable Unit) contiennent toutes les caractéristiques du matériel installé et les liens existant entre les modules et le fond de panier : besoins en puissance électrique, ressources utilisées dans le fond de panier, état de fonctionnement... SDR (Sensor Device Record) contiennent toutes les caractéristiques des capteurs et matériels installés et qui peuvent être gérés par le contrôleur : génération des événements qui provoquent des alarmes ou changements d’état du contrôleur Générateur de FRU développé par Fatih Contrôleur (code spécifique) 11/10/1116R&D ATLAS LAr

Contrôleur (code spécifique) : fabric interface 11/10/1117R&D ATLAS LAr

le ROD de Démonstration/Evaluation – Devra permettre de développer et valider une architecture, un algorithme de traitement des données ainsi que la transmission de données. – Hardware le plus proche possible d’une solution ROD finale. – Densité de FEB sur une carte ROD si possible conforme à la granularité du détecteur (16). la carte de test et le contrôleur – collaboration avec le CPPM : contrôleur plus générique – réunion le 3 nov. avec les autres labos de l’IN2P3 (devenir membres de PICMG, développement de projets communs...) en conclusion 11/10/1118R&D ATLAS LAr

Contrôleur ATCA & ROD et carte de test ATCA. – Tests terminés à la fin de l’année. ROD d’évaluation – Fabrication fin 2011, tests en ROD de démonstration – Application des résultats obtenus sur le ROD d’évaluation mi 2012 pour la définition d’un ROD démonstrateur. – Module disponible pour les tests à l’Automne Planning Tests Task 1 ATCA TEST BOARD Task 2 ROD EVALUATOR Develop. Manufac turing Tests Task 3 ROD DEMONSTRATOR Tests Development Manufacturing Development Manufacturing Test bench software Tests Vers. 1 Dev Vers. 2 Tests Manu factur ing IPM ATCA Controller Board Versions 1 & 2 ATCA Test Board Time in months July /10/1119R&D ATLAS LAr