Développements ATCA au LAPP Journées VLSI - FPGA - PCB de l'IN2P3 11/06/2014 Nicolas LETENDRE 11/06/2014Journées VLSI - FPGA - PCB1

Sommaire Sommaire: – Introduction à l’ATCA – Les développements ATCA au LAPP – AMC et MicroTCA – Hardware Plateforme Management – La mezzanine IPMC 11/06/2014Journées VLSI - FPGA - PCB2

Origine 11/06/2014Journées VLSI - FPGA - PCB3 Bus parallèle Liens séries, switchs Evolution des liens de communication FPGA avec SerDes 2003 PCI, IDE, VMEPCIe, SATA, USB3 etc.. PICMG: PCI Industrial Computer Manufacturers Group: Consortium d’industriels chargé de développer des spécifications ouvertes principalement pour les interconnexions. Créé en 1994, chargée de développer le PCI aux application Industrielles, Militaires, Médicales et Télécom 2002: Standard PICMG 3.x spécification de l’AdvancedTCA Standards

ATCA Advanced Telecommunications Computing Architecture La PICMG 3.0 défini un ensemble de modules qui s’interconnectent afin de déployer des systèmes de calculs / communication hautes performances. – Mécanique – Management du système – Distribution de puissance – Interconnections – Dissipation Thermique Permet à différents fabricants (châssis, cartes, fond de panier etc..) de concevoir du matériel qui peut s’interconnecter. (« en théorie… ») 11/06/2014Journées VLSI - FPGA - PCB4

Objectifs de l’ATCA Réduire le temps de développement et les couts – Système modulaire – Pas besoin de redévelopper tout une architecture Fournir des interfaces rapides et denses – Multi protocoles jusqu’à 40Gbit/s – + Interconnections entre carte Améliorer l’efficacité volumétrique – Système de refroidissement performent Améliorer la distribution de puissance et son contrôle – Gestion de la puissance en fonction des demandes des cartes Offrir un « Haut niveau de Service » (disponibilité %) – Fiabilité Redondance à plusieurs niveau – Disponibilité Branchement sous tension – Facilité de contrôle Contrôleur de châssis Etat du système disponible en permanence 11/06/2014Journées VLSI - FPGA - PCB5 Utilisation en télécom, mais aussi militaire et aérospatiale

ATCA : Les châssis 11/06/2014Journées VLSI - FPGA - PCB6 Jusqu’à 14 emplacement dans un chassis 19 ’’ Jusqu’à 16 emplacement dans un chassis 23’’ Plusieurs format (« pizza box » etc…)

ATCA : Les cartes 11/06/2014Journées VLSI - FPGA - PCB7 Front Board:  Format 8U (322 x 280 x 34mm)  3 zones d’interconnections Zone1 : Puissance et contrôle Zone 2: Transport des données Zone 3: Entrées/Sorties arrières Module arrière en option  RTM Rear Transition Module Face Avant:  Poignées avec activation d’un switch  Leds: 2 obligatoires, 2 optionnelles

ATCA Zone 1 – connecteur d’alimentation Alimentation redondante -48V Bus IPMB pour le contrôle matériel (HPM Hardware Plateform Management) Broches d’adresse pour localisation du slot JTAG éventuel 11/06/2014Journées VLSI - FPGA - PCB8

ATCA: Alimentation →Des modules existent 11/06/2014Journées VLSI - FPGA - PCB9

ATCA Zone 2: Transport des données Connecteurs Tyco/ERNI ZD – 40 paires différentielles – Jusqu’à 5Gbit/s – Max 5 connecteur / carte (200 paires) 4 types d’interfaces: – Base Interface (64 paires) – Fabric Interface (120 paires) – Update Channel Interface (10 paires) – Synchronization Clock Interface (6 paires) 11/06/2014Journées VLSI - FPGA - PCB10

Topologie fond de panier 11/06/2014Journées VLSI - FPGA - PCB11 Dual Star Full Mesh Multi plane

ATCA Zone 2 Base Interface – Uniquement 10/100/1000 Base-T Ethernet – Topologie Dual-Star (Cartes Hub: Slot 1 et 2) Synchronisation Clock Interface – Structure en 3 bus redondants (6 paires différentielles) – chaque carte peut piloter le bus ou recevoir une horloge Update Channel – 10 paires entre 2 cartes – Pas de protocole imposé – Typiquement utilisé pour l’échange de données entre 2 cartes redondantes ou pour une interface privilégiée. 11/06/2014Journées VLSI - FPGA - PCB12

ATCA Zone 2 Fabric interface – Principal interface de communication – 15 canaux (1 canal = 4 ports bidir = 8 liens diff) – Pas de protocole spécifique Les liens différentiels 100 Ohms avec Vdiff max = 1600mV – Différentes topologies: DualStar, FullMesh … – Quand meme quelques standardisation: Ethernet (PICMG 3.1) Infiniband(PICMG 3.2) Starfabric (PICMG 3.3) PCIe (PICMG 3.4) RapidIO (PICMG 3.5) 11/06/2014Journées VLSI - FPGA - PCB13

Carte ABBA 11/06/2014Journées VLSI - FPGA - PCB14

Carte ABBA 11/06/2014Journées VLSI - FPGA - PCB15

AMC Advanced Mezzanine Card Apporte une modularité dans un système ATCA Défini par la norme PICMG AMC.0 Plusieurs formats: 3 hauteurs et 2 largeurs Jusqu’à 8 AMC par carte ATCA Interconnections avec la carte porteuse basée sur des liens série différentiels – sans protocole défini (40 paires différentielles pour la Fabric Interface) 11/06/2014Journées VLSI - FPGA - PCB16

uTCA Utilisations des cartes AMC directement dans un châssis. – Moins couteux pour un « petit » système – Conserve la philosophie de l’ATCA 11/06/2014Journées VLSI - FPGA - PCB17

ATCA Hardware Plateforme Management Surveiller, contrôler, assurer le bon fonctionnement des cartes et du châssis – Lecture des capteurs, mise en route des cartes, compatibilité interconnections, rapports des anomalies Les contrôleurs: – Châssis: Shelf manager Gestions alim, interconnections, ventilateurs, hot swapp… – Carte: IPMCcontroler Gestion niveau carte, lecture capteurs, gestion alim, e-keying, gestion AMC… – AMC: MMControler – Reliés entre eux par l’IPMBus (bus I2C redondant) – Supervision par TCP/IP 11/06/2014Journées VLSI - FPGA - PCB18 Protocole de communication basé sur l’IPMI (Intelligent Platform Management Interface, standard développé par Intel)

Exemple 11/06/2014Journées VLSI - FPGA - PCB19

HPM: Mise en œuvre 11/06/2014Journées VLSI - FPGA - PCB20 ATCA Hardware Plateforme Management – Apporte une surveillance et un contrôle du système – Mise au point qui peut paraitre complexe – Beaucoup de documentation à lire et comprendre. Des solutions existent pour les contrôleurs (IPMC, MMC): – Référence designs Schémas et environnement de développements fournis Cher – Modules pré câblés Encombrement « moins » maitrisable Dépendance au fabricant – Modules Open Source

Mezzanine IPMC 11/06/2014Journées VLSI - FPGA - PCB21 Une solution possible pour l’IPMC Mécanique Small size: DDR3 VLP Mini-DIMM Montage Vertical ou Horizontal Based on ARM Cortex M4 µC Documentation et design de référence Firmware Open Source modulaire

Mezzanine IPMC 11/06/2014Journées VLSI - FPGA - PCB22 Caractéristiques IPMC – IPMBus with on board buffers, Hardware address detection – Hot Swap management with ATCA Leds and front panel switch – Management of up to 8 AMC + RTM – On board Event LOG – FRU & SDR access via I2C – Access to ATCA board sensors via I2C – IPM_IO: Configurable User Signals for Payload management, ekeying …

Mezzanine IPMC 11/06/2014Journées VLSI - FPGA - PCB23 Autres caractéristiques Ethernet JTAG Master Custom interface – Up to 35 user IO USB port IPMC firmware upgrade  auto back to Factory Firmware if core freezes

Carte de test IPMC  Développement de la mezzanine IPMC  Test d’AMC  Documentation et schémas disponibles 11/06/2014Journées VLSI - FPGA - PCB24

Quelques Liens Documentation sur la mezzanine IPMC et la carte de test: Short Form ATCA PICMG gX4-4HYBg&ved=0CBQQFjAA&usg=AFQjCNFA-M6LMAijBfbswJnVNJ79ulzhtw Présentation sur l’ATCA et l’IPMI à l’école numérique de l’in2p /06/2014Journées VLSI - FPGA - PCB25