Les nouveaux bus de données H. Le Provost (SEDI) Journée Electronique du DAPNIA, 10 Novembre 2006

Limites du Bus à Architecture parallèle Processeur Maître 1 Processeur Maître 2 Esclave 1 Esclave 2 Adresse / Données / contrôle bus parallèle Fond de Pannier (ISA, PCI, PCI-X,VME32, VME64, VME2ESST…) Connexions Face avant/arrière Entrées/Sorties spécifiques Entrées/Sorties standards (Ethernet, USB, UART…) Inconvénients : 1.Bus monopolisé par une connexion entre deux cartes 2.Pour un nombre de broches identique, bande passante réduite comparée à des liaisons séries point à point 3.Connexions par face avant/arrière compliquées pour palier aux points 1 et 2 4.Faible tolérance aux pannes Avantages : 1.Simplicité du fond de panier 2.Extension du système par ajout simple de cartes 3.Architecture éprouvée sur les 25 dernières années

Évolution des Bus d’acquisition de données Débit Max. Année * ISA (4,8 MO/s) * ISA (16,7 MO/s) * VME32 (40 MO/s) * VME64 (80 MO/s) * VME2ESST (320 MO/s) * PCI 1.0 (132 MO/s) * PCI 2.1 (528 MO/s) * PCI-X 1.0 (1 GO/s) * PCI-X 2.0 (4,3 GO/s) 2003 * PCI-E 1.1 (2 x 8 GO/s) * AGP 8x (2,1 GO/s) PCI, Peripheral Component Interconnect (PC) ISA, Industry Standard Architecture (PC) AGP, Accelerated Graphic Port (PC) VME, Versa Module Eurocard

Les nouveaux Bus à Architecture multi liens séries exemple : PCI Express Exemple de lien x4 PCI Express Noeud 1 Liens série, point à point, transmission différentielle basse tension (LVDS) Liens 2.5 GHz full duplex (2.5 Gb/s) 5Gb/s Revision 2.0, octobre 2006 Nombre de liens extensible x1, x2, x4, x8, x12, x16, x32 Architecture multicouches, découpage par paquet Compatibilité logicielle avec le PCI mais avec une vitesse plus grande Contrôle de flux Application : carte 3D graphique en remplacement des cartes AGP (PC) Tous les protocoles cités utilisent un encodage 8-bit/10-bit, une efficacité de 80%.(2.5Gb/s=>250MO/s) PCI Express Noeud 2 1 Lien Bande passante 20 Gb/s => 2GO/s

L’ Architecture CompactPCI Express Universal Power Module PCIe x16 PCIe x8 3U Fonctions spécifiques SystèmePériphérique 1Périphérique 2CommutateurHybride ADF eHM UPM ADF x8 x16 x8 x16 x8 x4 PCI 32-bit x4 Advanced Differential Fabric (ADF)

Advanced Telecom Computing Architecture (AdvancedTCA) 3 Zones : Zone 1 : puissance, gestion système Zone 2 : transport des données Zone 3 : Entrées/sorties vers le module de transition Cartes plus grandes et plus espacées : 140 sq. in. pour AdvancedTCA et un espace de 1.2 " 57 sq. in. Pour 6U compactPCI et VME et un espace de 0.8 " Puissance plus élevée : W par carte pour AdvancedTCA 35-50W par carte pour compactPCI Carte Principale 8U x 280mm Zone 1 Zone 2 Zone 3 Module de transition 8U x 70mm Face avant Face arrière

AdvancedTCA :Transport des données Connecteurs ERNI ZD qualifiés pour des vitesses de 5 Gb/s 1 connecteurs ZD 10 rangées de 4 paires différentielles AdvancedTCA : 5 connecteurs ZD : 64 paires / "Base Interface" 120 paires / "Fabric Interface" 6 paires / "Clock Synchronisation" 10 paires / "update channel Interface" Base Interface : 1canal "Base" =>1 rangée de 4 paires 16 canaux "Base" par carte Ex.: 1 canal "Base":10/100/1000 Base-T Fabric Interface 1 canal "Fabric" =>2 rangées de 4 paires 15 canaux (4 ports de 2 paires) "Fabric" par carte soit 60 ports de 2 paires

Architecture « Interconnexion complète » Supporté par la "Fabric" uniquement Toutes les cartes (nœuds) sont interconnectées entre elles par un canal. Châssis de maximum 16 cartes, 15 canaux utilisés Nombre de connexions pour N Cartes : N * (N-1)/2 N= 16 => 120 connexions de canaux (960 signaux différentiels) Backplane compliqué à réaliser Tolérance aux pannes Bande passante théorique maximale pour 16 cartes : 120 Connexions * 4 ports * 2 * débit Gb/s = PCI Express (débit 2.5) => 2,4 Tb/s InfiniBand (débit 5) => 4,8 Tb/s Nœud 1 Nœud 2 Nœud 3 Nœud 4 Nœud 5 Nœud 6

Architecture « double étoile » Supporté par la "Base" 2 Routeurs par châssis interconnectés entre eux par un canal Chaque routeur est connecté à toutes les cartes (nœud) par un canal. 1 routeur est connecté au contrôleur de châssis par un canal Nombre de connexions pour N nœuds : N*2 N= 14 => 28 connexions de canaux (112 signaux différentiels) Backplane plus facile à réaliser que l’architecture « interconnexion complète » Tolérance aux pannes Bande passante maximale instantanée pour 16 cartes, canal Ethernet : 28 Connexions * 2 * 1 Gb/s = 56 Gb/s Routeur 1 Nœud 1 Nœud 3 Nœud 2 Routeur 2 Nœud 4 Shelf Management Controller

AdvancedTCA : évolution Norme AdvancedTCA PICMG 3.0 (Rev2.0 Mars 2005) indépendante du type de “Fabric“ : –PICMG 3.1 : Ethernet (Janvier 2003) –PICMG 3.2 : InfiniBand (Janvier 2003) –PICMG 3.3 : StarFabric (Mai 2003) –PICMG 3.4 : PCIExpress (Mai 2003) –PICMG 3.5 : RapidIO (Septembre 2005) AdvancedMC AMC.0 (Mars 2005) cartes mezzanines Cartes, fonds de panier, châssis disponibles sur le marché

Conclusion Nouveaux bus : agrégat de liaisons point à point haut-débit VMEbus Switched Serial (VXS) ~ AdvancedTCA mais moins performant Très haute bande passante Fiabilité Fonds de panier dédiés avec des emplacements pour nœuds de commutation, nœuds simples