Pour combler cette lacune, une équipe de spécialistes de NVIDIA et de Vertiv a mené la première analyse d'impact majeure du refroidissement liquide sur le PUE et la consommation d'énergie dans les centres de données. L'analyse complète a été publiée par l'American Society of Mechanical Engineers (ASME) dans l'article « Power Usage Effectiveness Analysis of a High-Density Air-Liquid Hybrid Cooled Data Center ». Cette publication résume la méthodologie, les résultats et les principales conclusions de cette analyse.
Méthodologie d'analyse de l'efficacité énergétique du refroidissement liquide dans les centres de données
Pour notre analyse, nous avons sélectionné un centre de données de niveau 2, de taille moyenne (1 à 2 MW), situé à Baltimore, dans le Maryland. Ce centre abrite 50 baies haute densité disposées sur deux rangées. Le système de refroidissement de référence était un système à air pur, assuré par deux unités à eau glacée, avec un contrôleur de ventilation périmétrique standard (CRAH) et un système d'isolation des allées chaudes. Les unités de refroidissement sont gérées par un refroidisseur Vertiv™ Liebert® AFC, offrant des capacités de refroidissement naturel, de refroidissement naturel adiabatique, de refroidissement hybride et de refroidissement mécanique adiabatique.
Le refroidissement liquide est activé par le refroidissement direct de la puce via des plaques froides à microcanaux montées sur les principaux composants informatiques générateurs de chaleur et pris en charge par deux unités de distribution de liquide de refroidissement Vertiv™ Liebert® XDU (CDU) avec échangeurs de chaleur liquide-liquide.
L'analyse a utilisé une approche ascendante en décomposant la charge informatique en sous-systèmes, ce qui a permis de calculer précisément l'impact de l'augmentation progressive du pourcentage de charge refroidie par liquide pour chaque sous-système. Quatre études ont ensuite été menées, chacune augmentant le pourcentage de refroidissement liquide, tout en optimisant simultanément la température de l'eau glacée, la température de l'air soufflé et la température d'entrée secondaire grâce à l'utilisation du refroidissement liquide.
Étude 1 : Refroidissement par air à 100 % avec une température d’eau glacée de 7,2 °C (45 °F), une température d’air soufflé de 25 °C (77 °F) et une température d’entrée secondaire de 32 °C (89,6 °F).
Étude 2 : 61,4 % de la charge refroidie par liquide et 38,6 % par air. La température de l’eau glacée est portée à 18 °C (64,4 °F), la température de l’air soufflé est maintenue à 25 °C (77 °F) et la température d’entrée secondaire à 32 °C (89,6 °F).
Étude 3 : 68,6 % de la charge refroidie par liquide et 31,4 % par air. La température de l'eau glacée atteint 25 °C (77 °F), celle de l'air soufflé 35 °C (95 °F) et la température d'entrée secondaire est maintenue à 32 °C (89,6 °F).
Étude 4 : 74,9 % de la charge est refroidie par liquide et 25,1 % par air. La température de l'eau glacée est maintenue à 25 °C (77 °F), celle de l'air soufflé à 35 °C (95 °F) et la température d'entrée secondaire atteint 45 °C (113 °F).
Impact de l'introduction du refroidissement liquide sur la consommation d'énergie et le PUE des centres de données
Dans l'étude 4, la mise en œuvre intégrale du refroidissement liquide (74,9 %) a permis de réduire la consommation d'énergie du cœur du système de 18,1 % et la consommation totale du centre de données de 10,2 % par rapport à un refroidissement par air intégral. Il en résulte une réduction des coûts énergétiques de 10 % par an et, pour les centres de données utilisant des sources d'énergie carbonées, une réduction équivalente des émissions de portée 2.
La consommation électrique totale du centre de données a diminué à chaque augmentation du pourcentage de charge refroidie par refroidissement direct des puces. Lors des études 1 et 2, la consommation électrique a été réduite de 6,4 % ; une réduction supplémentaire de 1,8 % a été obtenue entre les études 2 et 3, et une amélioration supplémentaire de 2,5 % a été observée entre les études 3 et 4.
D’après ces résultats, le PUE calculé pour le centre de données dans chaque étude peut surprendre. Il n’a diminué que de 3,3 %, passant de 1,38 dans l’étude 1 à 1,34 dans l’étude 4, et est resté stable à 1,35 pour les études 2 et 3.
Si vous connaissez le calcul du PUE, vous avez peut-être déjà deviné l'origine de cet écart. Le PUE mesure l'efficacité de l'infrastructure et se calcule en divisant la consommation électrique totale du centre de données par la consommation électrique des serveurs. Or, le refroidissement liquide a non seulement réduit la consommation électrique du centre de données lui-même, mais aussi celle des serveurs (telle que définie par le PUE) en diminuant la sollicitation des ventilateurs.
La consommation électrique des ventilateurs des serveurs a diminué de 41 % entre l'étude 1 et l'étude 2, et de 80 % entre l'étude 1 et l'étude 4. Cela a entraîné une réduction de 7 % de la consommation électrique des équipements informatiques entre l'étude 1 et l'étude 4.
Contrairement au refroidissement par air, le refroidissement liquide affecte à la fois le numérateur (puissance totale du centre de données) et le dénominateur (puissance des équipements informatiques) dans le calcul du PUE, ce qui n'a pas beaucoup de sens lorsqu'on compare l'efficacité des systèmes de refroidissement liquide et par air.
Dans notre article, nous proposons l'Efficacité d'Utilisation Totale (EUT) comme une mesure plus pertinente à cet effet, et j'expliquerai ce choix dans une publication ultérieure. L'EUT du centre de données analysé a progressé de 15,5 % entre l'étude 1 et l'étude 4, ce qui nous porte à croire qu'il s'agit d'une mesure précise des gains d'efficacité obtenus grâce à l'optimisation du refroidissement liquide.
Principaux résultats de l'analyse de l'efficacité énergétique du refroidissement liquide dans les centres de données.
L'analyse a permis d'appréhender l'efficacité du refroidissement liquide dans un centre de données sous différents angles et d'explorer les pistes d'optimisation. J'invite les concepteurs de centres de données à consulter le document complet, qui inclut les données justificatives ayant permis d'obtenir les résultats présentés dans la section précédente. Voici quelques-unes des principales conclusions susceptibles d'intéresser un public plus large.
Dans les centres de données haute densité, le refroidissement liquide améliore considérablement l'efficacité énergétique des systèmes et installations informatiques par rapport au refroidissement par air. Notre étude, entièrement optimisée, a démontré que l'introduction du refroidissement liquide permettait de réduire de 10,2 % la consommation électrique totale du centre de données et d'améliorer de plus de 15 % son efficacité énergétique totale (EET).
Maximiser le déploiement du refroidissement liquide dans les centres de données – en termes de pourcentage de charge informatique refroidie par liquide – offre la meilleure efficacité. Le refroidissement direct sur puce (DTC) ne permet pas de refroidir l'intégralité de la charge par liquide, mais environ 75 % de celle-ci peut être efficacement refroidie grâce à cette technologie.
Le refroidissement liquide permet d'atteindre des températures plus élevées pour l'eau glacée, l'air soufflé et les entrées secondaires, optimisant ainsi l'efficacité de l'infrastructure. Le refroidissement par eau chaude est particulièrement à considérer. Dans notre étude finale, les températures des entrées secondaires ont atteint 45 °C (113 °F), contribuant aux résultats obtenus et offrant de nouvelles possibilités de réutilisation de la chaleur résiduelle.
Le PUE n'est pas une bonne mesure de l'efficacité du refroidissement liquide pour un centre de données, et des indicateurs alternatifs tels que le TUE seront plus utiles pour orienter les décisions de conception relatives à l'introduction du refroidissement liquide dans un centre de données refroidi par air.
Enfin, je tiens à remercier mes collègues de Vertiv et de NVIDIA pour leur travail sur cette analyse novatrice. Les résultats permettent non seulement de quantifier les économies d'énergie réalisables grâce au refroidissement liquide, mais aussi de fournir aux concepteurs des données précieuses pour optimiser les installations de centres de données refroidis par liquide.
Pour plus d'informations sur les tendances qui favorisent l'adoption du refroidissement liquide, consultez l'article de blog intitulé « Refroidissement liquide : solutions pour centres de données pour le calcul haute densité », qui résume les points de vue d'un panel d'experts en refroidissement liquide lors du sommet mondial OCP 2022.
Auteur : Fred Rebarber
En tant que directeur technique mondial chez Vertiv, Fred assure l'interface technique de l'entreprise auprès des grands utilisateurs finaux et des ingénieurs-conseils spécialisés dans les conceptions critiques. Une fonction clé de ce rôle consiste à contribuer au développement des produits en fonction des besoins des clients et des exigences du marché. Auparavant, au sein du groupe OEM, Fred a collaboré avec les fabricants et les utilisateurs finaux pour favoriser l'adoption des produits Vertiv™ Liebert® existants et définir les spécifications des nouveaux produits. Avant cela, Fred était directeur des ventes et du marketing chez Cooligy, une start-up qui conçoit et fabrique des solutions de refroidissement liquide pour puces destinées aux industriels. Fred est titulaire d'une licence en génie mécanique de l'Université de Californie à Berkeley.
