Formation CV bâtiments 513 et 613

1.Présentation générale du bâtiment 2.Installations eau glacée (physique) 3.Installations eau mixte (critique) 4.Installations eau mixte (racks IT) 5.HVAC 513 Modifications en cours 6.Bâtiment Installations Diverses 8.Questions ? Formation CV bâtiments 513 et 613

1.Présentation générale du bâtiment Le data center en quelques chiffres Formation CV bâtiments 513 et Fonctionnement 24/ personnes peuvent utiliser le Wi-Fi simultanément -Un équivalent de dvd de données traitées par jour -3.8 MW électrique disponible pour les serveurs -100 Pétaoctets archivés sur bandes magnétiques

Depuis 2013 le data center à augmenté sa capacité informatique Certains équipements CV ont été améliorés pour réduire leur consommation énergétique Les infrastructures critiques et physiques ont été séparées lors de l’upgrade du data center Un grand nombre d’équipements sont maintenant raccordés sur les réseaux UPS Formation CV bâtiments 513 et 613

On distingue à présent 3 grands ensembles d’installations CV réparties dans le bâtiment : - L’ensemble d’installations eau glacée PHYSIQUE - L’ensemble d’installations eau mixte CRITIQUE - L’ensemble d’installations eau mixte RACK IT Dans chaque ensemble on retrouve plusieurs chillers (EM ou EG), des pompes de distributions et des récepteurs (racks, ventilations …) Formation CV bâtiments 513 et 613

2.Installations eau glacée PHYSIQUE l’ensemble est composé de : -4 chillers à vis TRANE, puissance unitaire 1.4 MW froid, régime d’eau actuel 8-14°C -4 pompes évaporateurs -5 circuits (10 pompes) de distribution EG -Récepteurs : 10 ventilations centre de calcul, 7 ventilations UPS, 6 ventilations room 2 … Formation CV bâtiments 513 et 613

Groupes EG TRANE Coffret traçage électrique Crinolines accès terrasse Plan de situation installations EG Physique niveau terrasse SALEVE JURA Terrasse

Formation CV bâtiments 513 et 613 Plan de situation installations EG Physique niveau 2 SALEVE Ventilations centre de calcul (x10) Plénums de reprise Gaines de pulsion Vases d’expansions réseau EG (x3)

Formation CV bâtiments 513 et 613 Plan de situation installations EG Physique niveau 1 SALEVE 4 pompes évaporateurs ventilations centre de calcul (R-050) + armoires de contrôle (x10)

Formation CV bâtiments 513 et 613 Plan de situation installations EG Physique niveau 1 Ventilations UPS4 normale + secours Armoire de contrôle UPS4 JURA Ventilation air neuf salle de réunion + SDC Armoire de contrôle air neuf salle de réunion Variateurs de vitesse ventilations UPS4

Formation CV bâtiments 513 et 613 Réservoirs tampon EG (2x30m3 ) SALEVE Pompes réseaux distribution EG physique (5 réseaux / 10 pompes) Ventilations UPS3 Ventilations UPS1 et 2 Armoires de contrôle ventil. + distri. EG Armoire de contrôle production TRANE Armoire de contrôle UPS1,2 et 3 Variateurs pompes réseaux EG Tableaux de puissance ventilations + productions + distributions EG Plan de situation installations EG Physique niveau S (1ere partie) Rampe de remplissage réseau EG 51313

Formation CV bâtiments 513 et 613 Plan de situation installations EG Physique niveau S (2eme partie) 6 ventilations HIROSS Armoire de puissance ventilations Hiross Armoire de contrôle Hiross + désenfumage

Descriptif technique production EG physique : -La gestion de la production est assurée par un PLC TRANE -La supervision TRACER SUMMIT pour la production est accessible depuis CVREMOTE avec le serveur VCVTRACERSUMM04 ou 05 (réseau technique) -Login et mot de passe de connexion sur TRACER sont : CERN + CERN -L’eau glacée correspond à la production 1 dans TRACER SUMMIT Formation CV bâtiments 513 et 613

-La régulation de la cascade groupe se fait uniquement par mesure de températures, le débit utilisateurs n’entre pas en compte comme sur PVSS -Sur l’exemple ci-dessous on s’apercoit que le groupe 404 vient de s’arrêter en régulation (Dt production < 1.7K + temps pour éviter de cycler)

-En cas de perte de communication d’un chiller sur le bus, celui-ci se met automatiquement en mode local et gère sa consigne + la mise en marche de sa pompe évaporateur -Il est possible de faire un forçage en local du groupe et de la pompe évaporateur via le panel CH350 + un interrupteur marche forcée situé dans le tableau de la machine Formation CV bâtiments 513 et 613 Forcer le sélecteur sur MANU Saisir le MDP 159 sur le panel CH530 et mettre le point de consigne en LOCAL dans le menu point de consigne

Descriptif technique distribution EG : -On retrouve la vue d’ensemble de la distribution EG sur une supervision WISCON, accessible depuis CVREMOTE (serveur VGTCCV513) -Il est possible de faire les mêmes opérations depuis le panel de l’armoire de contrôle situé au niveau S Formation CV bâtiments 513 et 613 Dans la partie production eau glacée sélectionner l’onglet distribution

- Vue d’ensemble de la distribution, en cliquant sur la fonction loupe on accède au détails de chaque circuit Formation CV bâtiments 513 et 613 Détails d’un circuit

Formation CV bâtiments 513 et 613 -Dans la vue détaillée d’un circuit il est possible de commander la permutation des pompes. En cliquant sur une pompe on accède à toutes ses informations (états, compteurs, défauts …), aux consignes et aux modes de fonctionnement Détail d’une pompe Permutation pompe Consigne et seuil pression

-Les pompes sont actuellement régulées selon une consigne de pression au refoulement (en cours de modifications) -Sur les variateurs de vitesse pompes, tout transite par PROFIBUS (commandes, consignes, défauts …) -2 variateurs d’un même circuit ne sont pas alimentés par le même tableau HAZEMEYER pour éviter un arrêt total -Lors d’une permutation manuelle il y à chevauchement entre l’arrêt et la marche des 2 pompes -Sur le réseau UPS4 est installé un filtre à barreau magnétique monté en parallèle, il assure la filtration pour l’ensemble du réseau EG. Son débit à volontairement été bridé à 15 m3/h Formation CV bâtiments 513 et 613

-Le remplissage du réseau est déclenché par un pressostat mécanique, l’arrêt de remplissage est déterminé par une consigne dans la régulation, la valeur de pression est lue via un capteur analogique. -l’alarme détection fuite est déclenchée si la pression du réseau est inférieure à 1.3 bars pendant plus de 10 mn -Si le PSLL 0601 est déclenché, les pompes de distributions s’arrêtent

Formation CV bâtiments 513 et m3 -Entre la production et la distribution, un second réservoir tampon de 30 m3 à été rajouté pendant l’upgrade 513 pour doubler l’autonomie de réserve en cas de panne totale de la production ou de défaillance du réseau ESD

Descriptif technique récepteurs eau glacée : Ventilations centre de calcul (R-050 ou Room 1) -L’installation se compose de 10 ventilations, le débit unitaire est de m3/h en pulsion et 2x m3/h en extraction. -La puissance de chaque batteries froide est de 500 Kw sauf les ventilations 7, 9 et 10 qui ne font que 250 Kw -Les alvéoles des ventilations sont de types maçonnées -Les ventilateurs, filtres G4, volets (AN, AE, AR), batteries froides, V3V se situent dans les alvéoles supérieures (niveau 2). -Les alvéoles inférieures (niveau 1) contiennent les clapets de pulsion et les filtres fins -La pulsion des toutes les centrales se fait dans un plénum commun et l’air est distribué ensuite via des gaines pour être acheminé sous les planchers du centre de calcul. -Dans le cas d’un mode désenfumage, les centrales 5 et 6 sont dédiées à l’extraction de fumées du centre de calcul Formation CV bâtiments 513 et 613

-On accède à la supervision des centrales depuis CVREMOTE, serveur VGTCCV513, dans la vue principale en cliquant dans l’onglet machine room 1 Formation CV bâtiments 513 et Comme pour les pompes de distribution il est possible d’accéder aux mêmes vue et paramètres depuis le panel de l’armoire de contrôle ventilation au niveau S

-Sur la vue principale on accède à la vue d’ensemble des centrales et des températures ambiantes dans les allées froides des racks Formation CV bâtiments 513 et 613

-En cliquant dans le carré jaune d’une des centrales, on ouvre la vue détaillée (consignes, mode, commandes manu … ) Formation CV bâtiments 513 et 613

Ventilations UPS 1, 2 et 3 -Centrales d’air verticales à soufflage par le bas, ventilateurs sur variateurs - 2 centrales traitent le local S-414 ou est situé le groupe d’UPS n°3 -3 centrales traitent le local S-412 ou sont situés les groupes d’UPS n°1 et 2 -On accède aux vue de supervision depuis CVREMOTE / VGTCCV513 onglets UPS 1 ou UPS 2, le détail de chaque centrale s’obtient en cliquant dans le carré jaune Formation CV bâtiments 513 et 613 UPS 3UPS1 / 2

Ventilations UPS 4 -Ces ventilations ont été rajoutées pendant l’upgrade 513 suite à la création d’un nouveau groupe d’UPS situé dans le local R-401 -La station se compose de 2 centrales d’air, la centrale normale possède une batterie froide, la centrale secours n’en possède pas. Les 2 centrales utilisent le free-cooling mais pas le débit d’eau variable (V3V) -On accède à la supervision de cette station via UNICOS / MEYRIN / CV_513 / onglet UPS physique ou par le panel de l’armoire de contrôle Formation CV bâtiments 513 et 613

Ventilations room 2 (S-034 ou VAULT) -L’installation se compose de 6 armoires indépendantes HIROSS soufflant dans le plancher du local S-034. Elles assurent le traitement d’air pour les bandes de stockage de données (robots) et quelques racks non refroidis par eau -L’accès à la supervision se fait désormais par CVREMOTE / vcvtpventvlt513 -Le panel principal et la régulation HIROSS ont été supprimés, remplacés par des régulateurs WAGO Formation CV bâtiments 513 et 613

Ventilations salle de réunion + salle de contrôle -Cette ventilation tout air neuf assure le traitement d’air hygiénique pour les locaux salle de contrôle et salle de réunion -L’accès à la supervision UNICOS se fait via CV_513 / air neuf / UACV ou par le panel de l’armoire de contrôle Formation CV bâtiments 513 et 613

Tous les tableaux électriques CV sont maintenant renseignés dans INFOR Chaque départ est inventorié dans l’arborescence sous la position du tableau Il reste à renseigner dans INFOR la location exacte (en cours) Formation CV bâtiments 513 et 613

3. Installations eau mixte CRITIQUE l’ensemble est composé de : -3 chillers à vis variable MC QUAY, puissance unitaire 425 kW froid, régime d’eau 13/19°C -3 pompes évaporateurs -3 circuits (6 pompes) de distribution EM -Récepteurs : 4 stations de ventilations critiques, 90 racks … Formation CV bâtiments 513 et 613

Plan de situation installations EM critique niveau 1 Formation CV bâtiments 513 et 613 Ventilations zones critiques normale + secours Armoire de contrôle ventilations zones critiques variateurs de vitesse ventilations zones critiques JURA

Formation CV bâtiments 513 et 613 Ventilations télécom zones R-018/R-015/R-014 Armoire de contrôle ventilations R-018 … Ventilations télécom zones R-006/R-012 Armoire de contrôle ventilations R-006 … Plan de situation installations EM critique niveau R (1ere partie) SALEVE Racks critiques (circuit 3 EM) Zones critiques 1.2.3

Formation CV bâtiments 513 et 613 Chillers EM critique (extérieur) Plénum air neuf UPS critique Plan de situation installations EM critique niveau R (2eme partie) JURA

Formation CV bâtiments 513 et 613 Plan de situation installations EM critique niveau S (1ere partie) SALEVE Ventilations safe room Armoire de contrôle safe room Ventilo-convecteurs local 48V

Formation CV bâtiments 513 et 613 Plan de situation installations EM critique niveau S (2eme partie ventilations) JURA Ventilations UPS critique Ventilo-convecteur batteries UPS critique Ventilo-convecteurs local start-point

Formation CV bâtiments 513 et 613 Plan de situation installations EM critique niveau S (3eme partie hydraulique) 40m3 UIAE UIAE UIAE JURA Pompes circuit 1 Pompes évaporateurs EM Réservoir tampon EM Pompes circuit 2 Pompes circuit 3 Armoires de puissance Variateurs pompes circuits 2 et 3 Rampe de remplissage + expansion Armoire commande ventilations Armoires de contrôle production + distribution EM + ventilations UPS Armoire de puissance UIAE-51303

Formation CV bâtiments 513 et 613 Descriptif technique production EM CRITIQUE : -La cascade des 3 chillers EM critique est gérée par PVSS, l’armoire de contrôle se situe dans le local S-400 (armoire production et distribution EM) -La production EM est supervisée sur UNICOS, accessible depuis CV-CCM / MEYRIN / CV_513 (TN) -Suite à des problèmes hydrauliques, la cascade fonctionne uniquement par les valeurs de températures, la fonction débit à été modifiée pour ne pas perturber le système -Il est possible de forcer chaque groupe en manuel grâce à des sélecteurs situés dans chaque chillers, le forçage des pompes évaporateurs peut être fait soit par UNICOS, soit par le tiroir HAZEMEYER correspondant -En cas de coupure électrique, la production est réalimentée via le réseau secours ESD, en cas de défaillance des diesels, l’autonomie du réseau EM est de +/- 15 mn (testé avec 35°C extérieur)

Formation CV bâtiments 513 et 613 Overview production EM critique

Formation CV bâtiments 513 et 613 Descriptif technique distribution EM CRITIQUE : -La distribution EM critique possède 3 circuits distincts -Chaque circuit alimente 1 ou plusieurs utilisateurs (le détail est visible sur les vues UNICOS circuits 1, 2 et 3) -Les circuits 2 et 3 sont des circuits sans coupures (EOD), le circuit 1 est relevé par le circuit ESD après 1 mn 30 (diesel) Information EOD ou ESD reportée sur la vue de chaque circuit de distribution dans UNICOS

-Les pompes des circuits 2 et 3 sont sur variateurs mais les circuits ne sont pas en débits variables (les variateurs servent de démarreurs) -Les circuits 1 et 2 utilisent comme température de départ la température de consigne de la production (13°C), le circuit 3 est mixé avec une consigne de départ à 21°C pour alimenter les racks critiques du local R-060 Formation CV bâtiments 513 et 613

Descriptif technique récepteurs EM CRITIQUE : Ventilations zones critiques (zones dans le R-050) -L’installation se compose de 2 ventilations (normale / secours) -Les racks de ces zones sont sensibles, chaque ventilation à donc sa propre batterie froide -Les ventilations utilisent le free-cooling via le plénum d’air neuf commun avec les ventilations UPS 4 et ventilation control room) -La régulation de température se fait selon une consigne de T° de soufflage (22°C) -Les ventilateurs des 2 centrales possèdent des variateurs mais ceux- ci fonctionnent uniquement comme rampe de démarrage. -Les ventilations sont sans coupure (réseau EOD)

Formation CV bâtiments 513 et 613 Overview ventilations zones critiques 1.2.3

Ventilations UPS critiques : -L’installation se compose de 2 ventilations (normale / secours), une seule ventilation est équipée de batterie froide. -Les ventilations utilisent le free-cooling (plénum air neuf vers les groupes EM), la reprise n’est pas gainée, l’air est repris depuis le local S-438 et transite dans le local S-439 via 2 clapets dans le mur -La régulation de température se fait selon une consigne de T° ambiante moyenne (consigne été et hiver) -Les ventilateurs des 2 centrales possèdent des variateurs mais ceux-ci fonctionnent uniquement comme rampe de démarrage. -Les ventilations sont sans coupure (réseau EOD) Formation CV bâtiments 513 et 613

Overview ventilations UPS CRITIQUES

Formation CV bâtiments 513 et 613 Ventilations zones télécom R-006 / R-012 / R-014 / R-015 /R-018 : -Les 2 installations comportent chacune 2 ventilations (normale / secours), les zones sont sensibles chaque ventilation possède donc sa batterie froide. -La régulation de température se fait selon une consigne de T° ambiante moyenne (mesure dans la veine froide des racks) -Les ventilateurs des centrales possèdent des variateurs mais ceux-ci fonctionnent uniquement comme rampe de démarrage. -Les ventilations sont sans coupure (réseau EOD)

Formation CV bâtiments 513 et 613 Ventilations safe room : -L’installation se compose de 2 ventilations (normale / secours) -Chaque unité possède sa batterie froide -Les ventilateurs des centrales possèdent des variateurs mais ceux-ci fonctionnent uniquement comme rampe de démarrage. -Les ventilations sont sans coupure (réseau EOD) -La régulation de température se fait selon une consigne d’ambiance moyenne

Racks IT critiques (R-060) : -L’installation se compose de 90 racks équipés de batteries de refroidissement par eau (refroidissement du rejet d’air) -La température ambiante du local est supervisée par 6 sondes mais n’apparaissent pas dans UNICOS (à rajouter) -Les valeurs de sondes sont par contre visibles dans TIM (l’opérateur 513 peut appeler suite à un dépassement de seuil) -Il y à une détection de fuite d’eau sous le plancher de la salle R-060 mais cette détection n’apparait pas encore dans UNICOS (à rajouter) -L’accès au local est très limité, en cas d’intervention demander à l’opérateur 513 pour vous donner les droits Formation CV bâtiments 513 et 613

Overview racks critiques R-060

4. Installations eau mixte racks IT (VAULT) l’ensemble est composé de : -2 chillers à vis TRANE, puissance unitaire kW froid, régime d’eau 14/20°C -2 pompes évaporateurs -1 circuits (2 pompes) de distribution EM -Récepteurs : 80 Racks IT Formation CV bâtiments 513 et 613

Plan de situation installations EM racks IT (VAULT) niveau R Chillers EM racks IT Pompes évaporateurs Armoire de contrôle Réservoir tampon EM Plateforme extérieure coté bt.193 SALEVE

Formation CV bâtiments 513 et 613 Plan de situation installations EM racks IT (VAULT) niveau S Variateurs pompes distribution UIAN Armoire de contrôle distribution Pompes de distribution Racks IT (S-034) Armoire de puissance UIAE Armoire de contrôle production

Descriptif technique production EM Racks IT (VAULT) : -La production EM est gérée par un PLC TRANE, il est possible de superviser l’ensemble depuis CVREMOTE/TRACERSUMMIT04 ou 05 -Entrer les login et mot de passe CERN + CERN puis dans la supervision 513 choisir la production 2 Formation CV bâtiments 513 et 613

-Un seul chiller suffit à la production d’EM -Si la température départ EM dépasse 16°C pendant 15mn on démarre le second chiller -Comme pour l’eau glacée, la cascade fonctionne uniquement sur mesure de température, le débit n’a aucune influence -Si un chiller est en défaut on bascule automatiquement sur celui en stand-bye -Les informations concernant la production sont également visibles dans la supervision WISCON (lecture uniquement) -La distribution EM est gérée par un autre PLC Formation CV bâtiments 513 et 613

Descriptif technique distribution EM racks IT (Vault) : -On retrouve la vue d’ensemble de la distribution EM sur une supervision WISCON, accessible depuis CVREMOTE (serveur VGTCCV513) -Il est possible de faire les mêmes opérations depuis le panel de l’armoire de contrôle situé au niveau S Formation CV bâtiments 513 et 613 Dans la partie production eau mixte sélectionner l’onglet distribution

Formation CV bâtiments 513 et 613 Overview distribution EM racks VAULT

Formation CV bâtiments 513 et 613 -Les pompes de distribution sont sur variateur (UIAN-51320) -La référence de consigne pour la vitesse est actuellement la pression de refoulement (en cours de modification)

Formation CV bâtiments 513 et 613 Descriptif technique récepteurs EM racks IT (Vault) : -Les racks IT sont situés dans le local S-034 (salle Vault) -Les conduites de distributions arrivent par le faux plancher et alimentent 8 rangées de racks, chaque ligne possède sa vanne TA, les racks d’une ligne sont équilibrés individuellement grâce à un montage en boucle de Tickelman

5. HVAC 513 modifications en cours : -Pose de capteurs de dP sur les réseaux EG pour travailler en débit variable -Ventilations centre de calcul : test de fonctionnement avec 5 ventilations sur 10 en marche, essais ok avec 35°C extérieur -Pose d’un compteur sur remplissage EM racks : il semblerais que le réseau fuit (recherche en cours) -Réseau de chauffage : revamping de la station -Nombreuses demandes de IT concernant les économies d’énergies Formation CV bâtiments 513 et 613

6. Bâtiment 613 : Le bâtiment 613 est une extension du 513, il contient des robots de stockage de données physique. Il y à 2 ensembles d’installations dans ce bâtiment, l’ensemble normal et l’ensemble secours. Chaque ensemble est composé de : -Climatisation normale : 1 ventilation, 1 groupe froid EG à condensation par air, 1 armoire de contrôle, 1 ventilateur de désenfumage et son armoire de commande -Climatisation secours : 4 unités de climatisation AIRWELL à condensation par eau, 1 coffret de commande automatique, une armoire de puissance (alimentation EOD depuis 51313) Formation CV bâtiments 513 et 613

Plan de situation installations Bt.613 Coffret de commande climatiseurs secours Climatiseurs de secours Groupe froid normal Ventilation normale Armoire de contrôle ventilation normale Réservoir tampon Armoire puissance climatiseurs secours Ventilateur désenfumage

Descriptif technique climatisation normale : -Groupe froid avec condenseur gainable, puissance froid 100 Kw, 2 circuits, réfrigérant R407C, régulateur interne de type CAREL -Ventilation avec uniquement un ventilateur (pulsion/reprise) -Prise d’air neuf, possibilité de free-cooling (à modifier) -Régulation depuis l’armoire de commande (SIEMENS PRV) Formation CV bâtiments 513 et 613

Descriptif technique extracteur de désenfumage : -Extracteur situé au dessus du groupe froid -Armoire de commande dans le local électrique, alimentation depuis une source ESD

Formation CV bâtiments 513 et 613 Descriptif technique climatisation secours : -4 climatiseurs AIRWELL, puissance unitaire 20 Kw -Contrôle température par thermostat mécanique -Libération par hausse de température >26°C (puis 1 unité tous les 0,5°C) via le coffret de commande secours -Ouverture de l’eau condenseur automatique par EV -Une procédure de fonctionnement du système est disponible dans le fichier 613

Formation CV bâtiments 513 et 613 Coffret de commande climatiseurs secours EV eau condenseur Climatiseurs de secours Marche forcée climatiseurs

Formation CV bâtiments 513 et Installations diverses : Station de chauffage batiment (en cours de revamping)

Formation CV bâtiments 513 et 613 Filtre à sable réseau EM RACKS IT (Vault) (en cours de modifications et mise en service)

Formation CV bâtiments 513 et 613 Compresseur de secours air comprimé regulations ventilations R-050

Formation CV bâtiments 513 et 613 Désenfumage batiment 513 (sauf R-050 et Vault) En cours de commissioning

QUESTIONS ? Formation CV bâtiments 513 et 613