Redondance avec un réseau auto-configurant Etude d’un réseau embarqué redondant  ANTARES, Km3net, MEUST  Réseau infrastructure et réseau km3  Choix technologiques, ethernet industriel  Anneaux ethernet redondants  Architecture réseau matérielle  Installation du réseau  Administration du réseau  Architecture matérielle des entrées/sorties  Outils d’administration  Conclusion 1

De Antares à Km3net Besoin d’une organisation en réseau Câble électro- optique 36 fibres 50 Kms 6 Kms Boite de jonction ou nœud 42 Kms 1 câble électrique 48 fibres 2 12 lignes100 lignes

But de l’opération Construire une infrastructure sous marine Dans les boites de jonction (nœuds) Alimenter des lignes de détection de neutrinos (lignes KM3) Supporter le réseau propre à KM3 Réseau infrastructure Réseau km3 fibres câble 4 4 Ligne KM énergie monitoring Objet de l’étude 3

2 réseaux distincts KM3NeT Liaisons point à point, pas de switch intermédiaire Unique laser à terre multiplexage de bandes DWDM 80 λ par fibre Horloge sur ethernet (subnanométrique) Auto calibration en temps (REAM) 32 fibres disponibles Infrastructure MEUST Contrôle commande des nœuds (~100 e/s TOR, ~50 entrées analogiques Section critique, le détecteur DOIT être alimenté et controlé Ce réseau est embarqué, durée de vie 15 ans 4 fibres disponibles Actuellement maquette, prototype immergé mi

Choix de technologie pour l’infrastructure La technologie de l’infrastructure d’Antares est propriétaire (2001) Electronique faite au laboratoire Protocoles maison Forte redondance, mise à l’épreuve récemment Fonctionne toujours 11 ans plus tard 5 Pour l’infrastructure MEUST Choix de boitiers industriels standard sur étagère => modularité, robustesse Issus du monde de l’automatisme Au moins même niveau de fiabilité qu’Antares Conditions hostiles : pression 250 bars, salinité, pertes Accès possible mais exceptionnel Conditions hostiles : pression 250 bars, salinité, pertes Accès possible mais exceptionnel

Choix d’Ethernet Bus de terrain ?  Le temps de réponse garanti impose une longueur maximale (qcq Kms)  Pas de contrainte forte pour le temps de réponse Pas adapté à notre application, trop de longueur (50kms) Préfère éviter les PLCs et modbus Grand choix de boitiers e/s compatibles ethernet Adaptés aux milieux hostiles : ferroviaire (locomotives), tunnels, aéroports … Fournis avec des composants logiciels : OPC, libs windows et linux, consoles web 6 Besoin d’une organisation en réseau

Ethernet industriel Un réseau basé sur le protocole ethernet standard  Les équipements (hubs, switches, routeurs, cablage, etc.) sont adaptés à l’utilisation dans l’industrie  Résistance aux vibrations, température, humidité, chocs mécaniques et électriques. Connecteurs, redondance Des versions spécifiques Siemens avec Profinet, Rockwell Automation avec EtherNet/IP, Schneider Electric avec Modbus TCP, B&R Automation avec Ethernet Powerlink ou encore Beckhoff avec EtherCat Ethernet industriel dépasse maintenant en volume l’utilisation des bus de terrain Besoin de switches adaptés 7  Physique- Composants redondants (alimentations, superviseurs, etc.) - Dispositifs redondants (switches, routers)  Liaison de données- Liens redondants - Chemins redondants  Réseau - Routage IP Choix d’architecture de réseau redondant / couches OSI

Choix des switches Switches durcis, IPxx, vibration, température PoE (Power over Ethernet) Possiblement manageables (niveaux 2 et 3) Connecteurs RJ45 ou M12 (4 ou 8 fils) Ports optiques avec des modules SFP, ports Cu, alimentations redondantes Modules SFP jusqu’à 120 Kms en unidirectionnel, 50 Kms en bidi Optimisés en anneau rapidement reconfigurable (20 mS) après cassure d’un lien 8 + Westermo

Caractéristiques matérielles du switch Microsens Switch Gigabit Ethernet 10 ports  7x 10/100Base-TX auto crossing,  3x 1000Base-X slot SFP Connecteurs : 3 x SFP, 8 x RJ-45, 2 entrées alimentation Ports Fibre Optique permettant la construction d'un anneau Administrable via SNMP, Telnet, web, NMP Fonctions VLAN et QoS (octroi de priorités de ports) Possibilité de branchement d'une alimentation redondante Protection contre les sur-tensions Boîtier robuste (MTBF 65 ans) avec système de fixation sur rail 35 mm -20°C à 60°C Evolutif (firmware) 9

Protocoles et services Spanning Tree Protocole (STP) : éviter les boucles IGMP Snooping : sélection dans le trafic multicast => minimisation Cisco Discovery Protocol (CDP) : via SNMP, trouver d'autres périphériques voisins Ring-coupling redundancy : associer deux anneaux à l’aide de deux lignes. Une première ligne appelée « Main Coupling Link », utilisée en fonctionnement normal. Une seconde ligne de « backup », n’envoie aucune donnée en fonctionnement normal, automatiquement activée si le « Main Coupling Link » ne fonctionne plus. Syslog : protocole de journaux d'événements Radius serveur : authentification des utilisateurs autorisés 10

Côté optique Choix des adaptateurs optiques Au format SFP, aussi des SC Hot swap Unidirectionnels et bidi Mono et multimode De qcq mètres à 120 kms en monomode unidirectionnel Même MTBF que le switch 11

Anneau Ethernet redondant 8x 10/100 TX / 3x 1000-FX Industrial Solutions MICROSENS  Solution brevetée : Spanning Tree et Fast ST sont trop lents  Configuration de l‘un des switchs en Master. But : éviter la formation de boucles Ethernet  VLAN IEEE 802.1Q 16 VLANs par switch  Octroi de Priorité Management via SNMP, telnet, web ou NMP 12

Anneau Ethernet redondant Industrial Solutions MICROSENS  Rapide signalisation des erreurs au Master via le „LDM“ (Link Detect Mechanism) (< à 100 Millisecondes)  Fermeture des segments  Remontée de la panne via le management  Tous les switchs disposent du management et du LDM.  Le Master n‘a pas besoin d‘être redondé  Plus de 95% de la bande passante est disponible pour le trafic des données.. 13

Autres architectures Jusqu’à 255 rings 14

Résumé En fonctionnement normal, l’anneau est maintenu ouvert artificiellement par l’un des switchs, le manager de l’anneau. Chaque switch surveille le statut des segments de l’anneau En cas de panne (segment ou switch)  Le switch de l’anneau signale ce statut au manager du ring  Le manager du ring ferme l’anneau  Les données sont alors transmises dans les 2 directions  l’ouverture de l’anneau est alors réalisée en lieu et place de la panne  Temps < 100mS (autres 20mS) Aucun composant central pour le basculement de la redondance. Pas nécessaire de redonder le ring-manager, si celui-ci tombe en panne, la séparation logique devient physique et le risque de multiplication des données est inexistant. Il est possible d’octroyer via le management un numéro à chaque Ring (0-255) et de distinguer ainsi plusieurs anneaux La taille de l’anneau est illimitée 15

Adaptation à MEUST, première approche PC supervisor Master à terre Nœud 1 Nœud 2 Nœud 3 ring Mer Terre 16

Adaptation à MEUST, redondance de réseau PC supervisor Nœud 1Nœud 2Nœud 3 17 Variante bidi Doublement des switches dans les nœuds Plus de tolérance aux pannes

3Kms Adaptation à MEUST, installation progressive PC supervisor Nœud 1 50 Kms Nœud 2 Nœud 3 18

3Kms Adaptation à Km3, management PC supervisor Nœud 1 50 Kms 19 E E E E

3Kms Adaptation à Km3, management PC supervisor Nœud 1 50 Kms Nœud 2 E E E E D D D D 20

3Kms Adaptation à Km3, management PC supervisor Nœud 1 50 Kms Nœud 2Nœud 3 3 Kms E E E E D D D D D D D D D D D D 21

Redondance sur les E/S DO5 DI5 AI5 Processus SW1 SW2 DO6 DO7 DI6 DI7 AI6 AI7 AI8 DO1 16 DO2 DO3 DI1 16 DI2 DI3 AI1 8 AI2 AI3 AI IO et switch(2) Port cu Enabled Disabled 22

Redondance sur les E/S (suite) AI1 AI5 AI5 SW1 SW2 sensor ip1 ip2 ip3 ip Box1 side1 Box1 side2 Box2 side1 Box2 side2 D D E E D D D D 23

Redondance sur les E/S DO5 DI5 AI5 Processus SW1 SW2 DO6 DO7 DI6 DI7 AI6 AI7 AI8 DO1 16 DO2 DO3 DI1 16 DI2 DI3 AI1 8 AI2 AI3 AI Après modification de firmware, possibilité de boucler avec des liens Cu Si trop de redondances => spanning tree

Configuration à la pose E E D D D D D D 25 D D D D Si dernier nœud validation du troisième lien optique

Essais 26 S1 S2 S3 Modules E/S E2 E3 E1 E1 : L’anneau fonctionne tjs Les modules sont toujours accessibles Condition : les modules sont raccordés à un seul switch E2 : Perd la fonction anneau E3 : Perd S3

Outils d’administration du switch 27

Conclusion Architecture anneau : haute disponibilité et simplicité Cicatrisation rapide sans intervention humaine Administration  Essentielle pour gérer priorités, diagnostics  Pas de problème de traffic  Optimisation des routes Nécessité de maintenance préventive 28

Nouveauté 29 Composant optique Transparent si alimenté Sinon ferme le ring