Module 6 Conception de systèmes de refroidissement à haute efficacité énergétique Version 1.0 22 Septembre 2011

Défis et options pour le refroidissement des sites informatiques

Evolution de la charge de refroidissement des systèmes informatiques Trend for the cooling load from different IT systems (expressed in Watts/m2) for the next few years. It can be noted that the specific power installed for cooling will still increase. Thus strategies to adopt more efficient systems/best practices and management for cooling systems are important. Energy efficiency in data centres and server rooms infrastructures has become a major issue for IT and infrastructure management only a few years ago: during the last 10 years the electricity cost has increased, and is expected to continue to rise. In some cases, power costs account for 40-50% of the total data center operation budget Evolution de la charge de chaleur par catégorie d’appareil. Source [ASHR2005]

Une bonne conception des systèmes de refroidissement La sélection d’une conception appropriée pour un système refroidissement dépend de : L’infrastructure existante du site ; La puissance totale de l’installation ; La localisation géographique ; Les contraintes physiques du bâtiment (forme, taille, orientation, accès). The selection of the appropriate design for a particular cooling system is affected by the existing facility infrastructure, the total power level of the installation, the geographical location, and the physical constraints of the building.

Une bonne conception de systèmes de refroidissement Les options typiques des systèmes de refroidissement sont directement issues des systèmes classiques de refroidissement de locaux, même si les équipements sont dans la plupart des cas adaptés pour les datacentres et les équipements informatiques. Les équipements de refroidissement des datacentres sont spécifiques en général : La chaleur produite dans un datacentre est généralement sensible (le refroidissement nécessite une diminution de la température sèche) alors qu’elle est à la fois sensible et latente dans un espace de bureau (nécessite aussi la diminution de l’humidité due à une présence humaine plus importante) The typical options for cooling system design are directly derived from the classical space cooling systems, even though equipment is in the most cases specifically designed for datacenter and IT. The heating load produced in datacenter is typically sensible (needs dry bulb temperature decreasing for cooling) while in an office space is both sensible and latent (needs decreasing of humidity - due to higher human presence).

Catégorisation des datacentres Paramètres : Surface de la salle ; Equipement informatique installé (nombre de racks ou de serveurs) ; Energie totale pour alimenter les équipements informatiques ; Infrastructure de refroidissement présente.

Classement selon la taille Selon le nombre de racks et la puissance installée Type d’espace Nombre de racks installés Puissance nécessaire pour alimenter les équipements informatiques [kW] Local technique 1 – 3 1 – 18 Salle serveur 1 – 5 3 – 30 Datacentre de petite taille 5 – 20 7 – 100 Datacentre de taille moyenne 20 – 100 28 – 500 Datacentre de grande taille > 100 > 200 Source (APC White Paper #59, 2004)

Classement selon la taille Site, infrastructure and caractéristiques du système Type d’espace Surface Caracteristiques des équipments informatiques Site, infrastructure caracteristiques du systeme Local technique < 20 m2 1-2 serveurs Pas de stockage externe Utilise des systèmes CVC de bureau. Les UPS et le CC sont souvent inclus. Les conditions environnementales ne sont pas étroitement contrôlées. L’efficacité des CVC est similaire à celle des systèmes de bureau. Salle serveur < 50 m2 2 - 30 serveurs Utilise des systèmes CVC de bureau avec une capacité de refroidissement supplémentaire (généralement les systèmes “split”). L’efficacité énergétique des équipements de refroidissement et des UPS est moyenne ou faible. Datacentre de petite taille < 100 m2 30 – 100 serveurs Distribution de l’air par faux plancher et CRAC (Computer Room Air Conditioner) (options plus efficaces). Gestion des équipements IT et pas d’optimisation des flux d’air. Température et humidité étroitement contrôlées. Redondance de l’alimentation et du refroidissement : faible efficacité du système. Datacentre de taille moyenne < 500 m2 > 100 serveurs Stockage externe Distribution de l’air par faux plancher ou faux plafond et CRAC (air refroidi, ventilateurs à vitesse constante, faible efficacité). Gestion pour l’optimisation des flux d’air. Température et humidité étroitement contrôlées. Redondance de l’alimentation et du refroidissement : faible efficacité du système. Datacentre de grande taille > 500 m2 > 500 serveurs Utilisation des systèmes de refroidissement les plus efficaces avec un système de gestion d’énergie. Utilise les meilleures pratiques en termes de gestion du refroidissement et de flux d’air. Systèmes à redondance maximale : efficacité réduite du système.

L’équipement de refroidissement approprié Evaluation des besoins en refroidissement : Pour les équipements informatiques, la charge thermique est égale à la puissance électrique absorbée : le dimensionnement adéquat du matériel informatique est la première étape vers l’efficacité énergétique. Pour les UPS, les besoins varient dans une fourchette entre charge minimum et maximum. Pour l’éclairage et la présence humaine, il est possible d’utiliser des valeurs de référence. ​ ​ La quantité et la taille des systèmes requis est aussi strictement liée au niveau de Tier du datacentre. Tier 1 = Non-redundant capacity components (single path for power and cooling distribution), guaranteeing 99.671% availability Tier 2 = Tier 1 + Redundant capacity components, guaranteeing 99.741% availability Tier 3 = Tier 1 + Tier 2 + multiple active power and cooling distribution paths, with a single path active, has redundant components and is concurrently maintainable, guaranteeing 99.982% availability Tier 4 = Tier 1 + Tier 2 + Tier 3 + all components are fully fault-tolerant including uplinks, storage, chillers, HVAC systems, servers etc. Everything is dual-powered, gguaranteeing 99.995% availability. This categorization affects strongly the infrastructure: the reliability is guaranteed by component redundancy and by the connection of cooling system to the UPS (the electrical system comprises UPS’s), the availability is enforced with thermal storage system (the electrical system is completed with dual power and generators), and the serviceability by doubling ducts and pipes in cooling.

Eléments dans un système de refroidissement Source : ASHRAE: Save Energy Now Presentation Series, 2009 Eléments du système : Système de rejet de la chaleur ; Equipement de refroidissement ; Equipement terminal (appareil d’évacuation de la chaleur intérieure) ; Charge thermique (matériel informatique, services, opérateurs).

Eléments dans un système de refroidissement Sélection d’équipement efficaces Le refroidissement fonctionne 24h/24, 7j/7 et est d’habitude utilisé à la moitié de ses capacités ce qui n’est pas efficace énergétiquement ; Sélectionner des équipements efficaces est essentiel pour parvenir à la durabilité : CRAC & CRAH (Computer Room Air Handler) ; Ventilateurs et autres équipements de ventilation ; Pompes ; Refroidisseurs (à air et à eau) ; Tours de refroidissement, dry-coolers et condenseurs ; Humidificateurs.

Équipements terminaux, de refroidissement et de rejet de la chaleur Les équipements terminaux sont traditionnellement installés au plafond ou au sol dans un datacentre. Tout autre disposition, par exemple montée au mur, est similaire à une installation au plafond. The indoor terminal unit is a CRAC (that exchanges heat thanks to fans trough a evaporator), connected via a distribution system (pumps and pipes) to a condensing unit (air cooled, forced by fans). Source: APC White Paper #59

Combinaisons typiques   Système de rejet de la chaleur Equipement de refroidissement mécanique Equipement terminal Combinaison 1 Refroidisseur (à air) CRAH (eau refroidie) Combinaison 2 Tour de refroidissement Combinaison 3 Condenseur CRAC (Split) Combinaison 4 Dry-coolers CRAC (Eau / Glycol) Combinaison 5 Unité à condensation Air Handler (Split) Computer room air handling (CRAH) units: containing a fan and chilled water cooling coil, typically are installed in larger datacenters with a central cooling plant, with reheat components (can be electric, hot water, hot gas) and humidifiers. Computer room air conditioning (CRAC) units containing a fan, DX cooling coil and a refrigerant compressor that may be cooled by: refrigerant routed through an air-cooled condenser (typical), water pumped through a cooling tower, glycol pumped through a drycooler. Fans, for air circulation (delivers cool air to the servers, returns exhaust air from the room) Pumps, for water and refrigerant liquid distribution Chillers (air & water-cooled), to cool water via a mechanical cooling cycle, exchanging heat with air or water Economizers, to exchange heat without or reducing use of compressors Cooling towers, drycoolers & air-cooled condensers, used to reduce the warmer process water temperature Humidifiers, to respect the lower air humidity limits (fresh air is cooled and consequently exceedingly dehumidified) Ventilation equipment (AHU), to ensure proper ventilation for occupants, for the direct/indirect use of outside air cooling power, for the particulate filtering. Source: ASHRAE: Save Energy Now Presentation Series, 2009

Taille de datacentre et choix et arrangements possibles du système de refroidissement Système et installation Type de salle Armoire Salle serveurs Datacentres de petite taille Datacentre de taille moyenne Datacentres de grande taille Système DX (split) à air Installé au plafond Oui, si courte distance au toit Oui, si courte distance au toit et puissance 6-30 kW Oui, si accès au toit et puissance 6-30 kW Non, capacité de refroidissement insuffisante Installé au sol Non, prend de la place au sol Oui, si courte distance au toit et puissance > 30 kW Oui, si accès au toit et puissance >25 kW Oui, solutions pour faible densité - coût faible Système compact à air Oui, si espace pour les conduits Oui, si espace pour conduits dans le faux plafond Oui, si conduits sous plafond Oui, si espace pour faux plafond et puissance < 12 kW Système au glycol (split) Non, puissance de refroidissement plus élevée Oui, si accès au toit Oui, si accès au toit et surface au sol disponible Oui, si accès au toit et surface au sol disponible Oui Système à eau Possible dans les bâtiments hauts Possible dans les bâtiments hauts Non, besoin d’un excédent d’espace Système à eau refroidie

Classification ASHRAE Classe A1 : installation de datacom avec des paramètres environnementaux strictement contrôlés (température, point de rosée et humidité relative) et des opérations critiques. Les types de produits normalement conçus pour ce genre d’environnement incluent les serveurs d’entreprises et les équipements de stockage. Classe A2 : espace de datacom, environnement de bureau ou de laboratoire avec un certain contrôle des paramètres environnementaux (température, point de rosée et humidité relative). Les types de produits normalement conçus pour ce genre d’environnement incluent les serveurs de petite taille, les équipements de stockage, les ordinateurs et les stations de travail personnels. ……Classe A3/A4, Classe B, Classe C Les classes A1 and A2 désignent les environnements principalement conçus pour les équipements informatiques.

Classification ASHRAE: Conditions d’entrée d’air Classe Température sèche recommandée [°C] Humidité recommandée Température sèche admissible [°C] Humidité admissible A1 18 – 27 Point de rosée 5,5°C avec 60% d’humidité relative et point de rosée 15°C 15 - 32 20 to 80% 17°C point de rosée max A2 20 – 25 10 – 35 21°C point de rosée max ASHRAE specifies that all conditions refer to the air entering the IT equipment. A frequent error to be avoided is measuring temperatures or positioning sensors in other measurement positions (e.g. at the room walls). Dew point is the better parameter as in fact it refers to the absolute quantity of moisture in air, that could cause problems of condensation on cold surfaces. The humidity level at a specific air temperature is a critical criterion.

Classification ASHRAE: Conditions d’entrée d’air The allowable area for set-point conditions has been enlarged compared to the previous version of the ASHRAE guidelines (see Table 7). The recommended value ensures reliability for the IT hardware in agreement with the state of technique of the IT equipment. Operating equipment outside the allowable conditions for longer periods of time could affect the availability or performance of some components in datacenter in the long term. In the last revised versions of the ASHRAE standard, published in 2008, the ranges of allowed relative humidity were enlarged.   The maximum rate of temperature change is important especially for direct free cooling systems options and needs to be controlled to ensure safe operation of the system . The recommended ASHRAE level set the maximum rate of temperature change at 5 °C per hour for class 1 and 2 datacenters.

Code de Conduite Européen pour les datacentres : conditions environnementales The ASHRAE temperature ranges were taken as a reference for the EU Code of Conduct for datacenters (Code of Conduct on Data Center). The draft ETSI EN 300 019-1-3 of the European Telecommunications Standards Institute defines the parameters of temperature and humidity for telecommunications equipment also for data center areas: these operating temperature range must be met by manufacturers of computer equipment (Code of Conduct endorsers) by January 2012.

Solutions de refroidissement des datacentres à bonne efficacité énergétique

Options d’amélioration pour les systèmes informatiques de petite taille Salles serveurs existantes Caractérisation des systèmes informatiques de petite taille Options de base d’améliorations pour les salles serveurs existantes - Faibles densités de puissance spécifiques - Utilisation de solutions traditionnelles CVC (pas CRAC) - Distribution inhomogène de la charge (dans l’espace et le temps) - Contrôle et gestion réduits - Faible intérêt pour l’amélioration de l’efficacité énergétique - Contrôler et gérer les conditions environnementales (points de consigne) - Vérifier l’isolation des conduits/tuyaux (air/ eau/ liquide, froids et chauds) - Evaluer le remplacement des composants obsolètes/moins efficaces du système de refroidissement - Contrôler et vérifier la configuration du système en place – distance entre les systèmes de refroidissement et la charge thermique - Evaluation appropriée (ex-post) de la puissance installée pour le refroidissement - Positionnement approprié des capteurs - Analyse de la concentration de la charge (dans le temps et l’espace) overview on some typical characteristics of small IT systems respectively server rooms and of basic options for improvements both in existing and in new facilities

Options d’amélioration pour les systèmes informatiques de petite taille Nouvelles Salles serveurs Caractérisation des systèmes informatiques de petite taille Options de base d’améliorations pour les nouvelles salles serveurs - Faibles densités de puissance spécifiques - Utilisation de solutions traditionnelles CVC (pas CRAC) - Distribution inhomogène de la charge (dans l’espace et le temps) - Contrôle et gestion réduits - Faible intérêt pour l’amélioration de l’efficacité énergétique - Sélection d’un système de refroidissement traditionnel le plus efficace possible - Evaluer l’utilisation d’un refroidissement au niveau rack (concentrer les charges) - Evaluer l’utilisation possible du free cooling (direct ou non) overview on some typical characteristics of small IT systems respectively server rooms and of basic options for improvements both in existing and in new facilities

Climatiseurs – Types, efficacité et coût des systèmes “split” Les systèmes split sont composés : D’une unité à condensation montée à l’extérieur ; D’une unité de climatisation à l’intérieur. Les climatiseurs split mobiles ont : Une unité portable à l’intérieur contenant le compresseur ce qui diminue leur efficacité. Des petites unités portables sont souvent installées dans des salles serveurs plus grandes afin d’empêcher l’apparition de points chauds, ou dans les armoires réseau en supplément du système de ventilation du bâtiment ; Ces petites unités portables ne sont pas efficaces. Généralement, elles possèdent un tuyau d’évacuation de l’air chaud qui réchauffent les zones ! For small IT facilities and server rooms the simplest solution is the traditional split system installation (also named comfort cooling). Split systems are composed of an outside mounted condensing unit and an internal conditioner unit. Mobile split air conditioners have a portable indoor unit containing the compressor, which leads to less efficiency. Small portable units are often installed in larger server room to prevent hot spots, or in network closets to supplement the building AC system. Split systems are easy to maintain with comparably low overall costs. The technology however is not applicable to every situation and the control of the IT equipment inlet temperature, humidity and of hotspots is poor. The efficiency of a split system depends on the efficiency of the outdoor and indoor heat exchanger and the electric motors in the compressor system. The overall efficiency of the split system technology has increased in the last years with the use of heat recovery modules.

Achat d’équipements efficaces énergétiquement Selon la puissance de refroidissement : < 12 kW : étiquette énergie de l‘UE > 12 kW : schéma de certification Eurovent www.eurovent-certification.com Efficiency characteristics for system components and technical data about the design and possible applications are available from installers and manufacturers. For units above below 12 kW rated power the energy label and a set of technical specifications are mandatory in the EU. When buying new appliances under 12 kW of coolant power, the Energy label (mandatory in the EU!) should support the purchase decision. Eurovent certification scheme has been developed by industry as a voluntary agreement for labeling of appliances over 12 kW of power. The voluntary scheme adopted an A-G labeling based on the EER performance

Etiquette énergie de l’UE actuelle et proposée pour les petites unités de climatisation (<12 kW) Puisque l’efficacité est calculée différemment, il est impossible de comparer directement la valeur de l’EER (ancienne disposition) avec le SEER (nouvelle disposition) Règle approx. : SEER ≈ EER + 3,0 To identify energy efficient equipment both the new EU-labeling scheme linked to the ERP-directive (Ecodesign-directive for energy related products). For systems with power < 12 kW EU labeling is mandatory and new revised criteria will be in force during 2011. The new labeling scheme has been completed and approved in Spring 2011 . We should only refer to the last version which will be published soon.

Efficacité d’un système de refroidissement EER (ratio d’efficacité énergétique) – rapport de la capacité totale de refroidissement sur la puissance électrique en entrée de l’appareil, exprimé en Watt/Watt ; SEER (Seasonal energy efficiency ratio – Rendement énergétique saisonnier): défini et utilisé en Europe ; IPLV (Rendement énergétique saisonnier): défini et utilisé en Amérique du Nord ; Les indicateurs IPLV et SEER sont calculés en utilisant la moyenne pondérée des EER des refroidisseurs à des valeurs nominales de charge différentes (25%, 50%, 75% et 100%). The EER rated calculation hypotheses, air temperature 35 °C and water temperature 15 °C, can only serve as a first proxy for the evaluation of the real efficiency. The Seasonal Energy Efficiency Ratio (SEER) calculated as ratio of output cooling (in Btu/hr) to input electrical power (in Watts) at a given operating point (indoor and outdoor temperature and humidity conditions) provides the expected overall performance considering typical local weather conditions.

Systèmes “split” avec variateur Les systèmes split ont été améliorés à plusieurs égards. Il est possible d’adapter les systèmes à eau froide ou de combiner plusieurs températures ambiantes pour des unités de climatisation différentes reliées au même condenseur. L’utilisation de variateurs dans les moteurs et de contrôles intelligents ont fortement augmenté l’efficacité du refroidissement.

Refroidissement au niveau rack dans les petites salles serveurs L’adoption d’options free cooling dans les systèmes informatiques et les salles serveurs de petite taille est soumise à un grand nombre de contraintes ; Ces contraintes sont essentiellement techniques : Les petites armoires ou salles serveurs sont souvent situées dans des parties du bâtiment où l’accès à l’air extérieur est difficile ; Pour les salles serveurs dans les nouveaux bâtiments, l’application du free cooling est possible si celle-ci est envisagée dès la phase de conception du bâtiment et de la salle. L’emplacement de la salle, les options pour l’installation des conduits/tuyaux et les coûts associés sont les principaux facteurs pesant sur le choix du free cooling ; Pour une rénovation de systèmes existants, les obstacles et les coûts sont généralement élevés et une analyse coûts-bénéfices est recommandée.

Défis et options pour les datacentres de taille moyenne à grande Options de base pour les systèmes existants Options de base pour les nouveaux systemes - Contrôle et gestion des conditions environnementales (points de consigne, planning, position et nombre de capteurs) - Remplacement des composants obsolètes/ moins efficaces du système (comparer la classe d’efficacité des systèmes existants avec les produits les plus efficaces du marché) - Vérification de l’isolation des conduits/tuyaux (air/eau/liquide, chaud et froid) - Prévention de la recirculation et des « court- circuits » de flux d'air - Contrôle et vérification de la configuration du système de refroidissement en place (distance entre le refroidissement et les charges thermiques, optimisation des flux d’air, absence d’air dans les parties scellées) - Analyse de la technologie et de l’efficacité des unités de refroidissement - Utilisation d’options de conception des flux d’air (allées froides/chaudes, faux plancher, conduite de renvoi d’air) - Utilisation du refroidissement au niveau rack - Evaluation de l’utilisation du free cooling (direct /indirect) - Utilisation du free water cooling - Installation d’un refroidissement au niveau processeur (liquide, caloducs, cuivre) - Récupération de chaleur - Mise en place d’un système de refroidissement modulaire (lié à la conception et la gestion des équipements informatiques) For medium size to larger data centers higher energy efficiency of IT systems and infrastructure is more profitable, however also some constraints are bigger. For example higher required reliability of systems and higher capital expenses could be a barrier for efficiency measures. The traditional approach for cooling in medium and big data centers has been based on air cooling. A standard data center has been designed to cool an average 7,5–10 KW/m2, which translates to 1–3 KW/rack. Newer, more expensive data centers are designed to cool an average 20 KW/m2, which still limits the power density per rack to 4–5 KW (recall that full rack capacity is higher than 25 KW/rack). The traditional architecture employs CRAC units at the periphery of the data centre room, utilizing chilled water from an outdoor chiller. Besides the IT other heat sources inside and outside the building are to be considered

Choix des systèmes de refroidissement et efficacité Les refroidisseurs à eau sont une meilleure option que les refroidisseurs à air et à détente directe (DX) : l’efficacité thermodynamique est plus élevée Air cooled and liquid cooled chillers differ regarding their EER (Energy Efficiency Ratio) which typically for water systems is about 3,5 and for air systems about 2,5. ‘Rated energy efficiency ratio’ (EERrated) express the declared capacity for cooling [kW] divided by the Rated power input for cooling [kW] of a unit when providing cooling at standard rating conditions. Standard rating conditions are: water temperature between 15 and 18 °C, outside temperature 35 °C. Water cooled chillers are a first choice over air cooled and DX thanks to the higher thermodynamic efficiency. Source: ASHRAE Save energy now presentation, 2009

Structure typique dans un datacentre de taille moyenne à grande From http://h20000.www2.hp.com/bc/docs/support/SupportManual/c02507744/c02507744.pdf From: Cooling strategies for IT equipment - HP

From: ASHRAE Save energy now presentation, 2009 Refroidissement à air: conception des flux d’air, allées froides/chaudes, faux plancher, conduite de renvoi d’air Dans les datacetres de taille moyenne à grande, les équipements informatiques sont disposés en rangées avec l’entrée d’air face à l’allée froide. L’air froid est fourni à l’allée froide, passe par les équipements et est rejeté vers l’allée chaude. Disposition des allées chaudes et froides dans un datacentre in the datacenter racks are organized in alternative aisles the so called hot aisle/cold aisle layout. The IT equipment is mounted in racks, containing the IT equipment (servers, storage, network equipment, power supply units and power distribution units), that are positioned together in long rows. The intake air comes from the cold aisle, than passes through the IT equipment in the rack and is discharged in the hot aisle. The air inlet conditions are specified in Environmental conditions for IT equipment. The air quantity typically required per rack is between 60 to 85 m3/h. From: ASHRAE Save energy now presentation, 2009

From: ASHRAE Save energy now presentation, 2009 Refroidissement à air: conception des flux d’air, allées froides/chaudes, faux plancher, conduite de renvoi d’air Les caractéristiques du flux d’air sont des éléments importants à prendre en compte. Les directions du flux d’air recommandées sont : de l’avant vers l’arrière (F-R), de l’avant vers le haut (F-T) ou de l’avant vers l’arrière et le haut (F-T/R). Directions du flux d’air dans les racks pour une configuration allée chaude/ froide in the datacenter racks are organized in alternative aisles the so called hot aisle/cold aisle layout. The IT equipment is mounted in racks, containing the IT equipment (servers, storage, network equipment, power supply units and power distribution units), that are positioned together in long rows. The intake air comes from the cold aisle, than passes through the IT equipment in the rack and is discharged in the hot aisle. The air inlet conditions are specified in Environmental conditions for IT equipment. The air quantity typically required per rack is between 60 to 85 m3/h. From: ASHRAE Save energy now presentation, 2009

Distribution verticale par le plancher Afin de permettre une distribution de l’air conditionné, les salles ont typiquement un faux plancher. Cette disposition est la plus souvent utilisée dans les datacentres : l’air froid est fourni par un système de conduites souterraines connectées aux CRAC et l’air chaud circule naturellement des racks vers le plafond et retourne vers les CRAC. Cela conduit généralement à un gradient de température sous-optimal dans le rack, qui est plus froid dans la partie inférieure et plus chaud dans la partie supérieure. From: ASHRAE Save energy now presentation, 2009

Distribution aérienne verticale Dans la distribution aérienne verticale, l’air froid est fourni dans les racks via des conduits installés au plafond et il revient naturellement vers le système de refroidissement de manière non canalisée, sans faux plancher et avec une température uniforme à l’intérieur des racks. From: ASHRAE Save energy now presentation, 2009

From: ASHRAE Save energy now presentation, 2009 Unités locales de refroidissement aériennes dans une distribution verticale par le plancher Généralement utilisé pour un refroidissement supplémentaire afin d’empêcher les points chauds dans les racks à haute densité ; Si une bonne distribution d’air ne peut être atteinte dans les racks, ou s’il existent des charges de haute densité ; Les unités locales de refroidissement peuvent être placés au dessus des allées froides ; ou bien des échangeurs thermiques montés sur les racks peuvent soit refroidir l’air chaud rejeté par les racks, soit pré-refroidir l’air fourni. From: ASHRAE Save energy now presentation, 2009

Augmenter l’efficacité dans la configuration allée chaude/allée froide Utiliser la conduite de renvoi d’air et canaliser le retour d’air In the hot-aisle / cold-aisle the main action is to increase efficiency is to enhance airstream separation: - Use return air plenums and duct the returns of cooling units to draw the warmest air from the top of the space - Place air supplies (perforated floor tiles or diffusers) in cold aisles only, near the active IT equipment Alimenter en air (plancher perforé ou diffuseurs) les allées froides uniquement From: ASHRAE Save energy now presentation, 2009

Augmenter l’efficacité dans la configuration allée chaude/allée froide Installer des barrières aux flux d’air pour confiner les allées chaudes et froides To minimize recirculation (typically using physical barriers): - Install airflow barriers such as hot aisle / cold aisle containment to reduce mixing of hot exhaust air with cooler room air - Install blanking panels at all open rack locations and within racks to prevent recirculation of hot air - Control the positioning and the sealing of cable openings and floor tiles. Installer des panneaux d’obturation pour tous les emplacements vides

Optimisation du système de câblage The optimization of cabling systems should be done at the rack level, at room level (ceiling, floor or underfloor) and at the external connection systems. A linear and ordered positioning will also benefit the maintenance and emergency interventions

Augmenter l’efficacité dans la configuration allée chaude/allée froide Emplacement du climatiseur : L’emplacement optimal d’un climatiseur se situe au bout d’une allée chaude et les unités doivent être placées perpendiculairement aux allées chaudes : ceci réduit le chemin pour le retour d’air, ainsi que les court-circuits de l’air froid venant des allées froides. The CRAC location is typically another origin of low efficiency. The optimal CRAC location is at the end of the hot aisle and units are to be placed perpendicularly to the hot aisles, in order to shorten the path for return air, reducing the direct short-circuiting of cold air from cold aisles.

(Source: HP) Contrôle et suivi des systèmes de refroidissement – problèmes de gestion

Problèmes de gestion de l’air La température et la vitesse à l’entrée d’air peuvent affecter l’efficacité du système et devraient être suivies en permanence ; Les points chauds et les sources d’inefficacité dans les datacentres existants sont relativement faciles à détecter en menant une analyse thermographique ou en installant un réseau de capteurs sans fil. . IR image, from: http://www.datacentir.com/

Problèmes de gestion de l’air La conception et l’optimisation des processus de refroidissement peut être guidée par des logiciels de simulation de Mécanique des Fluides Numérique (MFN), pour prévoir les phénomènes physiques thermiques et des fluides dans le datacentre ; Les mesures physiques et les essais sur le terrain nécessitent beaucoup de temps et de travail et sont parfois impossibles. Inlet air temperature and air speed can strongly affect the efficiency of a system and should be monitored continuously. Example MFN, from: http://emersonnetworkpower.com

Réglage de température et d’humidité dans les datacentres de taille moyenne à grande La valeur consigne et la capacité de refroidissement d’un système split (Source: P. Riviere et al., Preparatory study on the environmental performance of residential room conditioning appliances) Widening the temperature and humidity control ranges increases the operational “deadbands” and decreases the potential for systems to “fight” each other, with a reduced usage of humidification and dehumidification. For DX and chilled water systems, a warmer temperature setting typically increases the capacity and the efficiency of the cooling systems. In chilled water systems there are additional savings from the increase in coil temperature differences. For systems with air-side economizers, water-side economizers and evaporative cooling, a warmer temperature setting will increase the hours of functioning in non-compressor cooling mode. Une température plus élevée de l’air fourni entraine généralement une augmentation des heures d’économiseur et un refroidissement mécanique plus efficace, mais avec un facteur de sécurité moins élevé sur les conditions d’entrée des appareils informatiques ; Pour les systèmes DX et à eau refroidie, un réglage de température plus élevé augmente en général la capacité et l’efficacité du refroidissement

Solutions aux hétérogénéités spatiales et temporelles Répartir les charges informatiques et en conséquence les charges thermiques en sous-peuplant les racks. Hétérogénéités temporelles : Utiliser les systèmes de stockage d’eau refroidie ; Pour les datacentres à haute densité énergétique (par exemple plus de 15 kW par rack) : Des nouveaux systèmes peuvent être intégrés dans les racks et exploités de façon indépendante (système de refroidissement au niveau rack) Traditionally it was quite a common approach to spread the IT-loads and consequently heat loads by underpopulating of racks. Cooling is normally provided at corridor level, and later at rack level. For the refurbishment of existing systems and to avoid high heat density integration of direct liquid cooling can be considered. Thermographic analysis can help to improve efficiency in air flow management in traditional systems (air leakages, problems in air diffusion, poor control). A good option to cope with temporal inhomogeneities is thermal storage using chilled water to cover exceptional loads, cooling system failures or inadequacy of cooling power. In traditional systems where the cooling air is diffused from the underfloor the arrangement of the racks is a very important factor for the optimization of the cooling system. Proper positioning of the tiles from which cold air is diffused prevents mixing of hot and cold air. Improper placement of the diffuser may also destroy the advantages of the separation between the hot and cold aisle. Air supply shall be located as close as possible to the air intakes of the equipment, keeping the cold air in cold aisles. In the case of underfloor air distribution the perforated tiles must be arranged in the cold aisles.

Refroidissement au niveau rack Le refroidissement au niveau rack est capable de dissiper environ 20 kW de chaleur, et est scellé afin d’assurer une circulation continue du flux d’air froid. Il est souvent combiné avec un refroidissement par liquide afin de soutenir le refroidissement à haute densité. For data centers with high power density, e.g. more than 15 kW per rack, new cooling systems may be integrated in the racks and operated independently. Such cooling systems have a direct expansion or chilled water refrigeration circuit. They may be integrated into a single rack, or installed for a rack file (including power cables, data cables to connect to each other). The technology is also used in cases where space for installation of a cooling system is missing. Source: highdensityrackcooling.com

Refroidissement par rangée Disposition d’un datacentre avec le refroidissement par rangée. Source: APC by Schneider Electric, 2010; White Paper #139 rev.0

Refroidissement par rangée à charge partielle Row based cooling places the AC within the rows of IT equipment, rather than at the perimeter of the room. The air path is shorter and the mixing of hot and cold air is reduced dramatically. The cooling distruibution is more precise and adjustable to the demand (locally): the efficiency is higher, compared to the room cooling with air handlers. While moderately effective, in-row coolers cannot be used for cooling a specific rack or racks because they are not directly connected to any rack. They cannot determine the exact direction of 100% of their airflow or cooling capacity. Current capacity limitation is around 20-30 kW per in-row cooler (not per rack). In-row coolers are connected to a central chilled water system via flexible hydraulic hoses. From : APC White paper #126, rev. 1.

Refroidissement par liquide L’efficacité d’un refroidissement à eau est 14 fois plus élevé que celui d’un refroidissement à air The most efficient and recent cooling technology installed in data centers is liquid cooling. In this approach the heat removal is achieved on or near the heat source. The direct liquid heat exchange can be arranged at rack level, server level or even processor level. No cooling power is lost in the room. Figure shows the principle of water cooling at rack level which can be applied both in new and in refurbished datacenters. The raised floor option indicated is not mandatory for the installation, but facilitates maintenance and lowers overall installation costs. The chiller can be combined with free cooling solutions From : S. Novotny, Green field data center design – water cooling for maximum efficiency

Disposition d’un système de refroidissement par liquide Figure provides a more detailed overview of a liquid cooling system:the cooling tower (external) connected to a chiller with a condensed water system,. the cooling distribution unit (located in the datacenter) and the rack equipped with a cooling system (direct or via a heat exchanger) and control system (Datacom equipment cooling system). This concept allows higher cooling media temperatures within the IT equipment, increasing opportunities for “free cooling” and supporting advanced solutions like processor based cooling From: ASHRAE Save energy now presentation, 2009

From: ASHRAE Save energy now presentation, 2009 Refroidissement par liquide au niveau rack, avec un échangeur thermique central Liquid cooling can be designed via a fluid cooled heat exchanger contained in a distribution cooling unit in the room (Figure) or with the exchanger installed directly at rack level (installed in the rack) From: ASHRAE Save energy now presentation, 2009

From: ASHRAE Save energy now presentation, 2009 Refroidissement par liquide au niveau rack, avec un échangeur thermique liquide/air The liquid cooling can be also be designed based on a CRAC unit replacing the central heat exchanger (Figure 25), that distributes air in a hot aisle/cold aisle concept, combined with a rack level air to water heat exchanger. Liquid cooling is often used for refurbishment of existing datacenters. Savings regarding space and installation can be high. Existing CRAC can be used in a liquid to air heat exchanger. However implementation costs for liquid cooling can be high. Usually liquid cooling is combined with air cooling. Liquid cooling can cover high heat densities and allows a highly modular approach avoiding any hot spot problems. The redundancy of chillers for direct water systems is less expensive compared with the installation of redundant CRAC systems or other traditional solutions and availability is increased. Optimized setting of cooling conditions depending on monitored load per rack and per server allows a very efficient design. Free liquid cooling can also be based on non-potable water (industrial water, water from rivers, lakes, ..) however requiring a detailed analysis of the supply source (temperatures, flows and water properties during the year). From: ASHRAE Save energy now presentation, 2009

Refroidissement au niveau processeur The latest developments regarding systems for IT cooling is component based cooling using “hot” water. The general concept is already old (going back to the 1960s for IBM processor cooling systems). It is based on the fact that the typical operating temperatures of CPU’s are between 40 and 80 °C. Thus water based cooling at a temperature up to 60°C allows to cool CPUs at the typical operation level . The main disadvantage of the concept is the increased complexity and cost of the system. Each processor or component has to be connected to the cooling system via pipes. This may also involve risks if failures in the piping system occur. Apart from that the advantages of the system in terms of efficiency are considerable. IBM Coldplate Cooling, source: thehotaisle.com IBM Aquasar, Source: ethlife.ethz.ch

Refroidissement au niveau du processeur Les dernières évolutions des systèmes de refroidissement concernent le refroidissement au niveau composant en utilisant de l’eau chaude ; Il est basé sur le fait que les températures de fonctionnement des processeurs sont en général comprises entre 40 and 80 °C ; Ainsi, le refroidissement par de l’eau jusqu’à 60°C permet de refroidir des processeurs à un niveau de fonctionnement typique ; Le principal inconvénient de ce système est la complexité accrue et son coût ; Chaque processeur ou composant doit être connecté au système de refroidissement par des tuyaux ; Cela peut entrainer des risques si une défaillance dans les conduits se produit. Les avantages de ce système en termes d’efficacité sont néanmoins considérables.

Recommandations de bonnes pratiques

From: ASHRAE Save energy now presentation, 2009 #10 Bonnes pratiques # Bonne pratique 1 Les entrées d’air sont primordiales pour les équipements informatiques 2 Mettre en place une stratégie d’allées froides/chaudes – Séparer l’air chaud et l’air froid 3 Utiliser l’environnement extérieur pour refroidir le site de manière plus directe 4 Utiliser des appareils de distribution d’énergie efficaces 5 Envisager un refroidissement local pour les zones haute densité (points chauds) 6 Mesurer, analyser et comparer l’efficacité de l’installation 7 Examiner chaque composant du système de refroidissement pour améliorer son efficacité 8 Améliorer la climatisation 9 Utiliser les données thermiques et électriques fournies par les fabricants pour optimiser la disposition du datacentre 10 Virtualiser et consolider From: ASHRAE Save energy now presentation, 2009

DOE Energy 101 – Datacentres efficaces énergétiquement Vidéo avec un exemple de refroidissement efficace faite par DOE Energy 101 http://www.youtube.com/watch?v=xGSdf2uLtlo

Discussion Questions relatives à ce module

Questions/discussions relatives à ce module Lors de la sélection d’un système de refroidissement, quelles sont les principales contraintes qui en affectent la conception ? Comment pourriez-vous rendre la configuration allées chaudes/allées froides plus efficace énergétiquement ? Quelle est l’efficacité du refroidissement par liquide par rapport au refroidissement à air ? Pourquoi, selon vous, le refroidissement au niveau processeur n’est-il pas une pratique courante actuellement ?

Suggestions de lectures complémentaires Livres blancs Publications en ligne Etc.

Lectures complémentaires ASHRAE TC 9.9 - 2011 Thermal Guidelines for Data Processing Environments – Expanded Data Center Classes and Usage Guidance http://tc99.ashraetcs.org/documents/ASHRAE%20Whitepaper%20-%202011%20Thermal%20Guidelines%20for%20Data%20Processing%20Environments.pdf Energy Efficient Cooling Solutions for Data Centers http://www.cisco.com/web/partners/downloads/765/other/Energy_Efficient_Cooling_Solutions_for_Data_Centers.pdf ASHRAE: Save Energy Now Presentation Series http://hightech.lbl.gov/presentations/save-energy-now-08-09.pdf Qualitative analysis of cooling architectures for data center http://www.thegreengrid.org/en/Global/Content/white-papers/CoolingArchitectures

Lectures complémentaires Fundamentals of data center power and cooling efficiency zones http://www.thegreengrid.org/~/media/WhitePapers/Fundamentals%20of%20Power%20and%20Cooling%20Zones%20White%20Paper.pdf?lang=en Seven strategies to improve data center cooling efficiency http://www.thegreengrid.org/~/media/WhitePapers/White%20Paper%2011%20-%20Seven%20Strategies%20to%20Cooling_092809.pdf?lang=en Cooling strategies for IT equipment http://h20000.www2.hp.com/bc/docs/support/SupportManual/c02507744/c02507744.pdf