Intégration du SPECS dans le système de contrôle de LHCb Patrick Robbe, LAL Orsay, 29 Sep 2008 Dominique BRETON, Daniel CHARLET, Claude PAILLER, Eric PLAIGE, Patrick ROBBE, Ioana VIDEAU (LAL Orsay)‏

2 L'experience LHCb Une des 4 expériences du LHC (point 8 à Ferney-Voltaire)‏ Etude de la violation de CP dans le système des mésons B. Composée de différents sous-détecteurs réalisés par des groupes différents: VELO, RICH, OT, IT, TT, CALO (LAL,LPC,LAPP), MUON (CPPM) (~600 membres au total)‏ L'expérience LHCb 20m 15m 10m 5m 5m Magnet M1 M2 M3 M4 M5 RICH2 HCAL ECAL PS/SPD RICH1 T1 T2 T3 TT VELO

3 L'expérience LHCb

4 La caverne de LHCb Barraques, à l'abri des radiations: PC de contrôle de l'expérience, fermes de PC pour le processing,... Détecteurs: électronique soumise (et résistante) aux radiations Mur en béton de protection contre les radiations Cables longue distance (100 m)‏

5 Le site expérimental LHCb Salle de contrôle LHCb (100 m)‏

6 SPECS=Serial Protocol for Experiment Control System But: contrôler l'électronique qui se situe dans la caverne LHCb depuis la salle de contrôle LHCb, avec un système générique qui puisse etre utilisé par tous les sous-détecteurs de LHCb, et qui résiste aux radiations. Le système SPECS Console (salle de controle)‏ Electronique (caverne LHCb)‏ PC de contrôle (Barraque)‏ Ethernet Protocole SPECS Specifique aux utilisateurs (sous- détecteurs)‏ Commun a tout LHCb

7 Le systeme SPECS en détail Console (salle de controle)‏ Electronique (caverne LHCb)‏ PC de contrôle (Barraque)‏ Ethernet Protocole SPECS Hardware: SPECS Master Cable ethernet standard (cat 6)‏ SPECS Slave Hardware: SPECS Master Cable ethernet standard (cat 6)‏ SPECS Slave Software: Client DIM (PVSS)‏ Server DIM (SpecsServer)‏ SPECS Driver and Libraries Software: Client DIM (PVSS)‏ Server DIM (SpecsServer)‏ SPECS Driver and Libraries

8 Carte générique: un seul type de carte pour tout LHCb Carte qui peut s'insérer sur un port PCI d'un PC standard. 75 cartes fabriquées et utilisées dans LHCb Le SPECS Master 4 prises RJ45: connection à 4 esclaves SPECS par cable ethernet standard BUS PCI (33 MHz)‏ Puce interface entre le bus PCI et le système SPECS Puce FPGA qui contient le firmware pour le SPECS (10 MHz)‏

9 Utilise un port PCI standard: 3.3 V, 32 bits, 33 MHz (mais avec un connecteur PCI universel qui permet de brancher dans un port PCI 5V) Programme SPECS inclus dans un FPGA ALTERA (firmware développé au LAL)‏ Interface au Bus PCI: puce PLX9030 (commerciale, PlxTech)‏ Buffers: 1024 kB en émission et réception Utilisation possible de cables ethernet jusqu'à 120 m de longueur. Le firmware du Master peut etre reprogrammé/mis à jour simplement par l'intermédiaire du PC, par le bus PCI, sans équipement spécial. Fonctions du SPECS Master

10 La partie esclave du système SPECS doit être utilisée par des cartes d'électronique complétement différentes. Solution: carte mezzanine de petite dimension qui peut être branchée sur les cartes utilisatrices: un seul modèle pour LHCb 400 cartes Slaves ont été produites et sont utilisées dans LHCb. Le SPECS Slave Prise RJ45: connection au Specs MASTER FPGA contenant le firmware SPECS (40 MHz)‏

11 Carte générique qui fournit de très nombreuses fonctions aux utilisateurs (bus parallèle, bus i2c, bus jtag, sonde de température, mesures de tension,...)‏ Est equipée de composants résistants aux radiations: le FPGA peut etre reprogrammé mais il est nécessaire d'utiliser du matériel spécifique pour faire cela (mémoire FLASH). Comme les mezzanines sont situées dans des endroits parfois inaccessibles, dans la pratique ces cartes ne sont jamais reprogrammées. Les esclaves peuvent être chainés (jusqu'à 32 par ligne SPECS). Fonctions du SPECS Slave

12 Chainage des SPECS Slaves

13 Les communications entre SPECS Master et Slave se font par une liaison série:  Bidirectionnelle: Master -> Slave et Slave -> Master  2 signaux par direction (Données et Horloge)‏  Utilisation de signaux différentiels pour ne pas être sensibles aux bruits parasites: Utilisation des 4 paires de cables RJ45 (catégorie 6)‏ Les communications se font par trames d'octets, qui contiennent:  Un entête qui definit l'addresse de l'esclave  Un ensemble de données  Un code de contrôle pour verifier si la trame est transmise sans erreur. Protocole SPECS

14 Détail du protocole SPECS

15 Le Master envoit une commande qui est décodée par le Slave pour être envoyée à la carte d'électronique hôte (par exemple: éteindre une tension, écrire dans une mémoire,...)‏ Si la commande envoyée par le Master est une commande de lecture (d'une mémoire,...), le Slave transmet le résultat de la lecture qui est décodée par le Master. En général, toutes les transactions sont initiées par le Master. Sauf dans le cas des interruptions qui permettent au Slave de signaler des incidents. Le taux de transfert maximal est de 1 MB/s Détail du protocole SPECS

16 Software SPECS, architecture générale PC SPECS Master Board SPECS Slave Plx9030 Interface SPECS Master 1 SPECS Master 2 SPECS Master 3 SPECS Master 4 PCI Bus Local Bus SPECS Bus

17 Software SPECS, structure SPECS Master Board PCI Bus Applications utilisateur Plx9030 driver: Commercial Provided by Plx Technology PlxApi library: Commercial Provided by Plx Technology Software access to Plx9030 driver and Plx9030 chip functionalities Librarie SpecsLib: Provided by LAL Orsay SPECS Specific accesses Librairie SpecsUser: Interface utilisateur Provided by LAL Orsay

18 Trois libraries (en C, Linux et Windows):  PlxApi, librairie commerciale fournie avec l'interface PCI: appels aux fonctions de base du driver (écriture/lecture par le bus PCI vers le bus local)‏  SpecsLib: librairie intermédiaire, prépare des trames de données de 32 bits (PCI) qui seront comprises par le SPECS master, et gère les signaux de transfert (ie détecte quand les données sont reçues ou quand le Master est disponible pour de nouvelles commandes)‏  SpecsUser: librairie de haut niveau qui construit des successions de commandes utiles pour l'utilisateur (par exemple, par un seul appel de fonction, gère l'ensemble des commandes nécessaires pour lire une mémoire, etc.), et qui protège le système contre les accès simultanés de processus ou threads differents (Mutex ou sémaphores). Software SPECS

19 La plupart des problèmes rencontrés lors du développement provenaient de l'interface PC/SPECS Master (et des cables lors de l'installation dans LHCb !). La raison principale est que l'on souhaitait des performances de la part de la librairie proches de celles obtenues avec un driver (faible occupation du CPU, gestion temps-réel des timeout, etc...), mais sans développer un driver (maintenance simultanée sous Linux et Windows trop compliquée). Développement en parallèle software/hardware. Exemple:  Un accès SPECS ou PCI dure ~1  s, mais un timeout dans une application dure au moins 10 ms.  Uniquement attendre l'absence de retour d'erreur lors de l'envoi d'une commande prend au moins 10 ms, alors que l'information est disponible au bout de quelques  s.  Solution: détecter l'absence d'erreurs dans le SPECS Master qui émet une interruption PCI dans ce cas qui sera interceptée par les librairies. Problemes rencontrés

20 Le contrôle de LHCb est réalisé par PVSS. La communication depuis PVSS vers le système SPECS est realisée par un système client/serveur DIM:  PVSS (application graphique) est un client DIM  Les PC de contrôle qui contiennent les cartes SPECS Master hébergent un serveur DIM  Le client envoie une commande DIM (par le réseau ethernet) qui est reçue par le serveur DIM. Cela déclanche une action prédéfinie dans le serveur, comme l'envoie d'une commande SPECS (des arguments accompagnent la commande DIM)‏ Intégration dans PVSS

21 Intégration dans PVSS

22 Systeme fiable de contrôle de l'expérience LHCb dans une zone soumise aux radiations, adopté et utilisé par toute la collaboration. Soumis à une utilisation intensive depuis 2 ans, sans problème majeur. Utilisation rendue transparente par les couches de haut niveau disponible dans PVSS. Problème de maintenance: les PC avec bus PCI deviennent tres rare. Nouveau développement pour remplacer les cartes SPECS Master par une interface USB (sans changer la partie SPECS Slave). Conclusion