Es ist daher nicht verwunderlich, dass mit dem anhaltenden Wachstum des Unternehmens auch die Betriebskosten der Rechenzentren von eBay jedes Jahr steigen.

Als Reaktion darauf entwickelte und implementierte eBay einen Vierjahresplan für seine Rechenzentren mit einem ambitionierten Ziel: die Energiekosten zu halbieren und die Rechenleistung zu verdoppeln. Gleichzeitig sollte diese neue Infrastruktur für mehr operative Flexibilität und Zuverlässigkeit sorgen. Um
diese Ziele zu erreichen, konsolidierte eBay seine Ressourcen in einer kleineren Anzahl von Rechenzentren, die jeweils von Grund auf auf maximale Energieeffizienz ausgelegt waren, ohne die Verfügbarkeit zu beeinträchtigen.

„Eine erfolgreiche Rechenzentrumsstrategie geht davon aus, dass der Rechenbedarf jährlich steigt, ermöglicht dieses Wachstum aber ohne proportionalen Anstieg der Betriebskosten“, erklärt Dean Nelson, Leiter der Rechenzentrumsstrategie und des -betriebs bei eBay.
„Wir müssen die lineare Beziehung zwischen Rechenlast und Betriebskosten durchbrechen. Dies erfordert regelmäßige, bahnbrechende Fortschritte bei unserer Energieeffizienz, Rechenkapazität und Serverauslastung.“
Im Mai 2010 eröffnete eBay sein Vorzeige-Rechenzentrum und den Grundstein seiner neuen Rechenzentrumsstrategie, das Projekt Topaz.

Das in South Jordan, Utah, gelegene Rechenzentrum Topaz ist die größte Kapitalinvestition von eBay aller Zeiten und beherbergt mehr als ein Drittel der globalen Serverinfrastruktur. Trotz aller für ein Tier-IV-Rechenzentrum erforderlichen Redundanzen weist Topaz ein Energieeffizienzverhältnis von lediglich 1,4 auf.
Maximale Rack-Effizienz wird durch bewährte Verfahren erreicht.

Durch den Einsatz innovativer, energieeffizienter Mechanismen in seiner Infrastruktur, wie z. B. verbesserte Architektur, wassersparende Vorrichtungen, Regenwassernutzung und dynamische Steuerungen in den elektrischen und Kühlsystemen, versorgen die Anlagen von Topaz das Hochgeschoss mit Energie und Kühlung zu minimalen Kosten.

Zusätzlich zu diesen Maßnahmen vor Ort hat Topaz auch im Bereich der Doppelbodenkonstruktion zahlreiche Best Practices umgesetzt und eng mit dem Kälteanlagenbetreiber zusammengearbeitet, um zum LEED-Gold-Design beizutragen.
Fünf Merkmale des Topaz-Doppelbodens zeichnen sich durch ihren besonderen Wert und ihre Anwendbarkeit für alle modernen Rechenzentren aus:

1. Warmgang-Einhausung:
Um maximale Kühlleistung zu erzielen, setzte eBay auf ein ausgeklügeltes Warmgang-Einhausungssystem mit einem sorgfältig berechneten Prototyp vor Baubeginn.
Am Hauptsitz von eBay in San Jose baute das Rechenzentrumsarchitekturteam maßstabsgetreue Modelle verschiedener Einhausungskonzepte und experimentierte mit unterschiedlichen Strategien (Warmgang- vs. Kaltgang-Einhausung), Materialien (Einhausungstüren vs. Kunststoffverkleidung) und Abmessungen. Dieser Designprozess ermittelte ein optimales Verhältnis von Kosten, Flexibilität und Zuverlässigkeit vor der breiten Implementierung. eBay stellte fest, dass keine andere Warmgang-Einhausung im Falle eines Ausfalls der zentralen Klimaanlage einen größeren Zeitpuffer bot als die Kaltgang-Einhausung. Das Team implementierte Einhausungsgänge aus 45-HE-Schränken und arbeitete mit dem Distributor zusammen, um ein modulares Design bei minimaler Leckage zu gewährleisten.

2. 400-V-Verteilung für jeden Schrank:
Da in bestimmten Schränken mehrere Blade-Server untergebracht sind, benötigte eBay eine Lösung, die Lasten bis zu 17 kW bereitstellen kann. Dies ist zwar mit einem herkömmlichen 208-V-Verteilungssystem möglich, Topaz senkt die Kosten jedoch deutlich, indem die Hochspannungsverteilung auf alle Schränke ausgedehnt wird.
Durch die Bereitstellung von 400 V für jeden Schrank reduziert eBay die nachgelagerten Transformations- und Übertragungsverluste sowie den Kupferverbrauch.

eBay stellt in jedem Rack zwei Raritan Smart Rack Power Distribution Units (auch bekannt als Rack-PDUs) mit 400-V-Drehstrom bereit. Die Rack-PDUs mit interner Sternschaltung (Drehstrom) versorgen jeden Server mit 240-V-Wechselstrom, der für nahezu alle IT-Geräte geeignet ist.
Durch den Wegfall unnötiger Spannungswandlungen senkt die 400-V-Stromversorgung die Energiekosten um 2–3 % im Vergleich zu einer 208-V-Verteilung und um 4–5 % im Vergleich zu einer 120-V-Verteilung.

Als globaler Distributor von Rack-Stromverteilungseinheiten bietet Raritan eine breite Palette an Produktkonfigurationen mit 400-V-Anschluss. Obwohl die 400-V-Stromverteilung in Nordamerika noch relativ neu ist, hat Raritan bereits 400-V-Systeme implementiert, die in Australien und vielen europäischen Ländern dem Standard entsprechen.

3. Detaillierte Server-Leistungsmessung:
Die wohl wichtigste wirtschaftliche Kennzahl für das Rechenzentrumsbetriebsteam sind die Gesamtkosten pro Suche. Da die Server-CPU-Kapazität mit jeder neuen Produktgeneration stark zunimmt, tauscht eBay seine Server alle zwei Jahre aus, da die Leistung pro Watt die Anschaffungskosten der neuen Geräte übersteigt.

Mit jedem neu erworbenen Server kann eBay die Kosten pro Suche jedoch nur senken, indem alle Betriebskosten des Servers berücksichtigt werden, nicht nur die Investitionskosten. Insbesondere die Energiekosten stellen den größten Kostenfaktor bei jedem Betriebsmittel dar.

Um maximale Einsparungen zu erzielen, installierte eBay Rack-PDUs von Raritan, die präzise Energieverbrauchsdaten für jedes Server-Netzteil liefern. Die Dominion PX Rack-PDU-Familie von Raritan entspricht den IEC/ANSI-Abrechnungsstandards und liefert kontinuierlich Kilowattstunden-Daten (kWh) mit einer Fehlerrate von unter 1 % für jedes Gerät im Rechenzentrum. Dominion PX wurde unter Berücksichtigung von IT- und Gebäudestandards entwickelt und kann diese Daten an Gebäudemanagement- und Echtzeit-Asset-Tracking-Systeme weiterleiten. Dadurch wird die von Green Grid definierte PUE-Kategorie 3 (PUE3) erreicht.

„Dominion PX liefert mir die nötige Präzision, um die tatsächlichen Betriebskosten jedes Servers bis auf den Cent genau zu berechnen“, sagt Nelson. „Ich kann die Effizienzprofile und den Strombedarf aller Hersteller verstehen, die in der nächsten Server-Ausschreibung berücksichtigt werden.“.

4. Detaillierte Temperaturinstrumentierung
Durch die Integration zahlreicher hochmoderner Mechanismen in seine Kühlinfrastruktur verbesserte Topaz auch seine Kühlleistung hinsichtlich Kosteneinsparungen und Zuverlässigkeit durch ein Echtzeitverständnis der Betriebsumgebung aller Server.

Obwohl die meisten Rechenzentren Soll- und Rücklauftemperaturen überwachen, bilden diese Daten die tatsächliche Serverumgebung nur annähernd ab. Diese Annäherungen erfordern Sicherheitsmargen und Kühllücken, was per Definition ineffizient ist.
Im Gegensatz dazu kennt eBay die exakte Ein- und Auslasstemperatur jedes Racks im Topaz-Rechenzentrum. Topaz hält sich an die ASHRAE-Empfehlungen für die Überwachung der Serverumgebung und misst neben dem Warmgang auch die Temperaturen im Kaltgang oben, in der Mitte und unten. Dank dieser kontinuierlichen Überwachung kann eBay die Kühlparameter optimieren und so die Effizienz steigern und gleichzeitig bei Serverausfällen sofortige Warnmeldungen ausgeben.
Normalerweise wäre die Implementierung einer so detaillierten Umgebungsüberwachung in jedem Rack extrem kostspielig. Die gesamte Dominion PX-Familie intelligenter Rack-PDUs bietet diese präzise Messtechnik jedoch ohne zusätzliche Infrastrukturkosten – abgesehen von den Plug-and-Play-Temperatursensoren selbst.

Die von den Rack-PDUs von Raritan bereitgestellte bestehende Netzwerkschicht ist bereit, Feuchtigkeits- und Temperaturdaten zu messen und zu überwachen

5. Oberirdische Stromverteilungskanäle:
Die meisten Rechenzentren verfügen über ein komplexes Kabelnetz unter dem Boden, das von den Verteilerkästen zu den einzelnen Serverschränken verläuft. Diese Konstruktion behindert jedoch die Luftzirkulation erheblich und beeinträchtigt die Kühlleistung. Da sich diese Kanäle üblicherweise unter dem Doppelboden befinden, wird dieses Problem oft übersehen und kann sich zu einem gravierenden Problem entwickeln.
Darüber hinaus verbraucht eine Standardkonstruktion mit separaten Unterfluranschlüssen für jeden Leistungsschalter unnötig viel Kupfer und nutzt dieses nicht optimal aus. Gleichzeitig schränkt sie die Flexibilität bei der Installation neuer Serverschränke ein.

Um dieses Problem zu lösen, verwendet Topaz eine oberirdische Stromverteilung, sodass jeder Schrank problemlos an eine 400-A-Stromquelle angeschlossen werden kann. Zwei Stromschienen verlaufen entlang jeder Schrankreihe und liefern redundante Stromversorgung, wodurch Unterfluranschlüsse überflüssig werden. Steckdosen lassen sich innerhalb weniger Minuten an jeder beliebigen Stelle der Schrankreihe hinzufügen, indem eine durch einen Leitungsschutzschalter geschützte Anschlussdose installiert wird, anstatt mehrere Tage auf die Installation zusätzlicher Steckdosen durch einen Elektriker zu warten.

Zusammenfassung:
eBay legt größten Wert auf Zuverlässigkeit, da Ausfallzeiten Kosten von 2.000 US-Dollar pro Sekunde bzw. 120.000 US-Dollar pro Minute verursachen. Aufgrund des enormen Umfangs der eBay-Aktivitäten muss das Unternehmen zudem die Kosten für Ausrüstung und Strom im Griff behalten. Um dies zu erreichen, hat eBay ein Rechenzentrumsmodell entwickelt, das den IT-Betrieb äußerst zuverlässig und 50 % günstiger als die stillgelegten Rechenzentren gestaltet.

Zusätzlich zur Minimierung von Ausfällen und der Senkung der Betriebskosten hat die eBay-Niederlassung in South Jordan (Utah, USA) die Goldauszeichnung für Leadership in Energy and Green Design (LEED) vom US Green Building Council erhalten.

Die für das Rechenzentrum von eBay konzipierte Flexibilität ist jedoch nicht weniger wichtig als das LEED-Effizienz-Gold-Siegel oder die Zuverlässigkeitsstufe IV.

Dieses Rechenzentrum ist flexibel und kann sich an veränderte Anforderungen und Ausstattungsbedürfnisse anpassen, insbesondere im Hinblick auf eBay, da der Bedarf zukünftiges Wachstum erfordert.
Durch die Anwendung der von eBay demonstrierten Best Practices der IT-Branche können selbst kleinere Rechenzentren die Verfügbarkeit verbessern, Kosten senken und effizienter arbeiten, indem sie vorhandene Ausrüstung sowie einfache Prozesse und Techniken nutzen.

Autor:

Artikel bereitgestellt von Raritan

Weitere Informationen oder ein Angebot