Um diese Lücke zu schließen, führte ein Expertenteam von NVIDIA und Vertiv die erste umfassende Wirkungsanalyse der Flüssigkeitskühlung auf den PUE-Wert und den Stromverbrauch in Rechenzentren durch. Die vollständige Analyse wurde von der American Society of Mechanical Engineers (ASME) im Artikel „Power Usage Effectiveness Analysis of a High-Density Air-Liquid Hybrid Cooled Data Center“ veröffentlicht. Diese Publikation fasst die Methodik, die Ergebnisse und die wichtigsten Erkenntnisse dieser Analyse zusammen.
Methodik zur Analyse der Energieeffizienz von Flüssigkeitskühlung in Rechenzentren
Für unsere Analyse wählten wir ein mittelgroßes (1–2 MW) Tier-2-Rechenzentrum in Baltimore, Maryland. Das Zentrum beherbergt 50 High-Density-Racks in zwei Reihen. Als Referenzsystem diente eine 100%ige Luftkühlung durch zwei Kaltwasseraggregate, einen standardmäßigen Raumluftbefeuchter (CRAH) mit Perimeter-Luftregler und ein Warmgangsystem. Die Kühlaggregate werden von einem Vertiv™ Liebert® AFC-Kältemittel mit Freikühlung, adiabatischer Freikühlung, Hybridkühlung und adiabatischer mechanischer Kühlung unterstützt.
Die Flüssigkeitskühlung wird durch direkte Chipkühlung mittels Mikrokanal-Kühlplatten aktiviert, die an wichtigen wärmeerzeugenden IT-Komponenten montiert sind und von zwei Vertiv™ Liebert® XDU Kühlmittelverteilungseinheiten (CDUs) mit Flüssig-Flüssig-Wärmetauschern unterstützt werden.
Die Analyse erfolgte nach dem Bottom-up-Ansatz, indem die IT-Last in Teilsysteme unterteilt wurde. Dies ermöglichte die präzise Berechnung der Auswirkungen einer schrittweisen Erhöhung des Anteils flüssigkeitsgekühlter Lasten für jedes Teilsystem. Anschließend wurden vier Studien durchgeführt, in denen jeweils der Anteil der Flüssigkeitskühlung erhöht und gleichzeitig die Kaltwassertemperatur, die Zulufttemperatur und die Sekundärlufteintrittstemperatur durch den Einsatz von Flüssigkeitskühlung optimiert wurden.
Studie 1: 100 % luftgekühlt mit einer Kaltwassertemperatur von 7,2 °C, einer Zulufttemperatur von 25 °C und einer Sekundärlufteintrittstemperatur von 32 °C. Studie
2: 61,4 % der Last flüssigkeitsgekühlt und 38,6 % luftgekühlt. Die Kaltwassertemperatur wird auf 18 °C erhöht, die Zulufttemperatur wird bei 25 °C und die Sekundärlufteintrittstemperatur bei 32 °C gehalten. Studie
3: 68,6 % der Last flüssigkeitsgekühlt und 31,4 % luftgekühlt. Die Kaltwassertemperatur steigt auf 25 °C (77 °F), die Zulufttemperatur auf 35 °C (95 °F) und die Sekundäreintrittstemperatur wird bei 32 °C (89,6 °F) gehalten.
Studie 4: 74,9 % der Last sind flüssigkeitsgekühlt und 25,1 % luftgekühlt. Die Kaltwassertemperatur wird bei 25 °C (77 °F) gehalten, die Zulufttemperatur bei 35 °C (95 °F) und die Sekundäreintrittstemperatur steigt auf 45 °C (113 °F).
Auswirkungen der Einführung von Flüssigkeitskühlung auf den Energieverbrauch und den PUE-Wert von Rechenzentren
Die vollständige Implementierung der Flüssigkeitskühlung in Studie 4 (74,9 %) führte im Vergleich zu reiner Luftkühlung zu einer Reduzierung des Kernleistungsverbrauchs um 18,1 % und des Gesamtleistungsverbrauchs des Rechenzentrums um 10,2 %. Dies bewirkt nicht nur eine jährliche Senkung der Energiekosten um 10 %, sondern reduziert bei Rechenzentren, die fossile Energieträger nutzen, auch die Scope-2-Emissionen um denselben Betrag.
Der Gesamtstromverbrauch des Rechenzentrums sank mit jedem Anstieg des Anteils der Last, der durch direkte Chipkühlung gekühlt wurde. In den Studien 1 und 2 wurde der Stromverbrauch um 6,4 % reduziert; zwischen den Studien 2 und 3 wurde eine weitere Reduzierung um 1,8 % erzielt, und zwischen den Studien 3 und 4 wurde eine zusätzliche Verbesserung um 2,5 % beobachtet.
Aufgrund dieser Ergebnisse mag der für das jeweilige Datenzentrum berechnete PUE-Wert in den einzelnen Studien überraschen. Der PUE-Wert sank lediglich um 3,3 %, von 1,38 in Studie 1 auf 1,34 in Studie 4, und blieb in den Studien 2 und 3 mit 1,35 sogar unverändert.
Wer mit der PUE-Berechnung vertraut ist, hat den Grund für diese Diskrepanz vielleicht schon erraten. PUE ist im Wesentlichen ein Maß für die Infrastruktureffizienz und wird berechnet, indem der Gesamtstromverbrauch des Rechenzentrums durch den IT-Stromverbrauch geteilt wird. Flüssigkeitskühlung reduzierte jedoch nicht nur den Stromverbrauch im Rechenzentrum selbst, sondern auch den IT-Stromverbrauch (gemäß PUE-Definition), indem sie die Belastung der Serverlüfter verringerte.
Der Stromverbrauch der Serverlüfter sank zwischen Studie 1 und Studie 2 um 41 % und zwischen Studie 1 und Studie 4 um 80 %. Dies führte zu einer Reduzierung des IT-Stromverbrauchs um 7 % zwischen Studie 1 und Studie 4.
Im Gegensatz zur Luftkühlung beeinflusst die Flüssigkeitskühlung sowohl den Zähler (Gesamtleistungsaufnahme des Rechenzentrums) als auch den Nenner (Leistungsaufnahme der IT-Geräte) bei der PUE-Berechnung, was beim Vergleich der Effizienz von Flüssigkeits- und Luftkühlsystemen wenig Sinn ergibt.
In unserem Artikel schlagen wir die Gesamtnutzungseffektivität (Total Usage Effectiveness, TUE) als geeignetere Kennzahl für diesen Zweck vor. Die Gründe für diese Entscheidung werden in einer Folgepublikation erläutert. Die TUE des von uns analysierten Rechenzentrums verbesserte sich zwischen Studie 1 und Studie 4 um 15,5 %. Dies bestärkt uns in der Annahme, dass sie ein präzises Maß für die durch die optimierte Implementierung der Flüssigkeitskühlung erzielten Effizienzsteigerungen im Rechenzentrum darstellt.
Wichtigste Erkenntnisse aus der Analyse der Energieeffizienz von Flüssigkeitskühlung in Rechenzentren
Die Analyse lieferte verschiedene Perspektiven zur Effizienz der Flüssigkeitskühlung in Rechenzentren und deren Optimierungsmöglichkeiten. Ich empfehle Rechenzentrumsplanern, das vollständige Dokument zu lesen, das auch die den Ergebnissen des vorherigen Abschnitts zugrunde liegenden Daten enthält. Im Folgenden sind einige der wichtigsten Erkenntnisse aufgeführt, die für ein breiteres Publikum von Interesse sein könnten.
In hochdichten Rechenzentren bietet Flüssigkeitskühlung im Vergleich zur Luftkühlung deutliche Verbesserungen der Energieeffizienz von IT-Systemen und -Anlagen. In unserer vollständig optimierten Studie führte die Einführung von Flüssigkeitskühlung zu einer Reduzierung des Gesamtstromverbrauchs des Rechenzentrums um 10,2 % und einer Verbesserung des Gesamtenergieverbrauchs (TUE) um mehr als 15 %.
Die höchste Effizienz wird durch die maximale Nutzung von Flüssigkeitskühlung in Rechenzentren erzielt – gemessen am Anteil der IT-Last, der mit Flüssigkeit gekühlt wird. Die Direktkühlung des Chips (DTC) ermöglicht zwar keine Kühlung der gesamten Last, jedoch können ca. 75 % der Last effektiv mit DTC-Flüssigkeitskühlung gekühlt werden.
Flüssigkeitskühlung ermöglicht höhere Temperaturen für Kühlwasser, Zuluft und Sekundärlufteinlässe und maximiert so die Effizienz der Infrastruktur. Insbesondere die Warmwasserkühlung sollte in Betracht gezogen werden. Die Sekundärlufteinlasstemperaturen erreichten in unserer finalen Studie 45 °C, was zu den erzielten Ergebnissen beitrug und die Möglichkeiten zur Abwärmenutzung erweiterte.
Der PUE-Wert ist kein gutes Maß für die Effizienz der Flüssigkeitskühlung in einem Rechenzentrum. Alternative Kennzahlen wie der TUE-Wert sind hilfreicher, um Konstruktionsentscheidungen im Zusammenhang mit der Einführung der Flüssigkeitskühlung in einem luftgekühlten Rechenzentrum zu treffen.
Abschließend möchte ich meinen Kollegen bei Vertiv und NVIDIA für ihre Arbeit an dieser bahnbrechenden Analyse danken. Die Ergebnisse quantifizieren nicht nur die durch Flüssigkeitskühlung erzielbaren Energieeinsparungen, sondern liefern Entwicklern auch wertvolle Daten zur Optimierung flüssigkeitsgekühlter Rechenzentrumsanlagen.
Weitere Informationen zu den Trends, die die Einführung der Flüssigkeitskühlung vorantreiben, finden Sie im Blogbeitrag „Flüssigkeitskühlung: Rechenzentrumslösungen für hohe Rechendichten“, der die Erkenntnisse eines Expertengremiums für Flüssigkeitskühlung auf dem OCP Global Summit 2022 zusammenfasst.
Autor: Fred Rebarber
Als Global Technical Director bei Vertiv fungiert Fred als technischer Ansprechpartner für große Endkunden und beratende Ingenieure, die auf unternehmenskritische Designs spezialisiert sind. Eine seiner Hauptaufgaben ist die Mitwirkung an der Produktentwicklung auf Basis von Kundenbedürfnissen und Marktanforderungen. Zuvor arbeitete Fred im OEM-Bereich mit Herstellern und Endkunden zusammen, um die Akzeptanz bestehender Vertiv™ Liebert®-Produkte zu fördern und Spezifikationen für neue Produkte zu erstellen. Vor seiner OEM-Position war Fred Vertriebs- und Marketingleiter bei Cooligy, einem Startup-Unternehmen, das Flüssigkeitskühlungslösungen für Chips entwickelt und herstellt. Fred hat einen Bachelor of Science in Maschinenbau von der University of California, Berkeley.
