Die hier vorgenommenen Änderungen, wie die Einführung von „Romley“ im März 2012 und die jüngsten Aktualisierungen der PCI-Express-Gen3-Architektur, haben einen erheblichen Einfluss auf den Hardware-Upgrade-Zyklus von Rechenzentren. Sie stellen die grundlegenden Elemente dar, die den Upgrade-Zyklus der Verbindungsindustrie von 1 Gbit/s auf 10 Gbit/s auf der Server-Switch-Verbindung und von 10 Gbit/s auf 40 Gbit/s auf den oberen Rack-Verbindungen zum Metropolitan Area Network (MAN) mithilfe von 40-Gbit/s- und 100-Gbit/s-LR4-Transceivern auslösen.
Der LightCounting-Bericht zu 10GBASE-T erläutert Intels „Tick-Tock“-Update-Modell. Durch die Beobachtung dieses Update-Zyklus parallel zum Update-Zyklus von Apples iPhone/iPad lässt sich modellieren, wie die gesamte dazwischenliegende Infrastruktur – von drahtlosem Zugang und Backhaul über Metropolnetze, Fernverbindungen und Kabelfernsehen bis hin zum Internet, dem Rechenzentrum, der Server-MPU und der Speicherinfrastruktur – aktualisiert wird. Intel stellt die Server her, Apple die Clients – die gesamte Netzwerkinfrastruktur. AMD, Google, Samsung und andere orientieren sich an diesen Marktführern. Intels Tick-Tock-Zyklus und Apples Updates können als die „Atomuhren“ des Rechenzentrums betrachtet werden.
PCI Express führt eine Kabelspezifikation für 4x8G über eine 3 Meter lange Kupfer-Glasfaser-Verbindung ein.
Die PCI-SIG (PCI Express Special Interest Group) ist eine unabhängige Branchengruppe, die sich der Verbesserung des in vielen Computern verwendeten Bussystems widmet. Während PCIe bisher hauptsächlich eine „In-Chassis“-Technologie war, dringt sie nun auch außerhalb des Gehäuses vor. Die PCI-SIG kündigte Fortschritte in Bezug auf Hochgeschwindigkeitsverbindungen, Switching und die Server-Community für Rechenzentren an:
• PCIe OCuLink – ein neues internes und externes Chassis-Verbindungsschema, das 1-, 2- und 4-Kanal-8G-Verbindungen bis zu 3 Meter über Kupfer oder 32G-Glasfaser unterstützt. Mit Gen4 und 16G-Signalisierung unterstützt es 4x16G oder 64G.
• PCI Express Gen 4 – bietet 16G-Signalisierung pro Lane und 16 Lanes pro Server, 256 Gbit/s I/O – ca. 2016.
In wenigen Jahren werden Server 100G-Uplinks benötigen. Wie wird die Branche diesen Verbindungsbedarf decken? Eröffnet OCuLink neue Möglichkeiten für Kupfer- und Glasfasertechnik oder ist es lediglich ein weiterer Verbindungsstandard, der Ethernet, SAS, Fibre Channel und InfiniBand herausfordert? Droht es, alles Bisherige zu verdrängen? In Gesprächen mit unseren Kunden haben wir einige dieser hitzigen Debatten beleuchtet!
OCuLink – Ein neues Verbindungsschema – Auswirkungen auf bestehende Verkabelung/Transceiver in Rechenzentren?
Offenbar reichen die vorhandenen Kabel, Steckverbinder und Protokolle in Rechenzentren nicht aus, um die digitalen Einsen und Nullen zu unterstützen. Eine vollständige Spezifikation wird nächstes Jahr veröffentlicht, zusammen mit einem noch nicht näher definierten Steckverbinder, der Teil der Mini-CEM-Spezifikation (elektromechanische Karte) ist. Er ist außerdem mit dem SFF-8639 für SATA und SAS kompatibel. LightCounting vermutet, dass er einem kleinen, flachen 4-Kanal-USB-Steckverbinder ähnelt – und nicht dem üblichen, klobigen iPass- oder QSFP-Stil.
Eine weitere Neuerung ist ein frequenzunabhängiges Taktintegrationsverfahren, das die zentrale Herausforderung der PCIe-Erweiterung über das Gehäuse hinaus – die Taktverteilung auf separate Systeme – bewältigt. PCIe Gen3 verzichtet auf die 8b/10b-Kodierung und ermöglicht höhere Geschwindigkeiten mit 128b/130b, ohne dabei nennenswerte Leistungseinbußen hinnehmen zu müssen, trotz des 20%igen Leistungsverlusts bei 8b/10b. Das bedeutet, dass eine 4x10G-Verbindung mit 8b/10b, wie beispielsweise InfiniBand oder Ethernet, genauso schnell ist wie eine 4x8G-PCI-Express-Verbindung mit schnellerer Fehlerkorrektur.
InfiniBand hat sich durch seinen im Vergleich zu Ethernet sehr kleinen Protokollstapel einen Namen gemacht. Die Latenz von InfiniBand liegt bei unter 900 ns, verglichen mit 3–4 µs bei Ethernet und 1–2 µs mit einem angepassten Protokoll. Daher ist InfiniBand bei Supercomputern beliebt. PCI Express hingegen weist eine Latenz von ca. 600 ns auf. InfiniBand, Ethernet, Fibre Channel, SATA, SAS usw. müssen die Daten von PCI Express außerhalb des Servers in das jeweilige Protokoll konvertieren und anschließend über eine Strecke von nur 1–3 Metern wieder zurück. Dies führt zu erheblichen Mehrkosten, erhöhter Latenz, Komplexität und einem höheren Stromverbrauch im Vergleich zu einer einfachen Verbindung mit einem angepassten Subsystem
OCuLink ist eindeutig eine Antwort auf Intels Thunderbolt-Verbindung, die bereits auf Apple- und Windows-PCs verfügbar ist und von Intel zusammen mit den Router-Protokollchips auf den Motherboards der Geräte an beiden Enden streng kontrolliert wird. OCuLink bietet die Chance, sich als branchenweiter Verbindungsstandard für Server im Innen- und Außenbereich, Speichersysteme in Rechenzentren sowie HDTVs, PCs, Tablets und Smartphones im Endkundenbereich zu etablieren. Während Thunderbolt aktuell für die Übertragung von Videosignalen über PCIe ausgelegt ist, wird der Router-Chip auf dem Motherboard an beiden Enden Ethernet, USB und nahezu jedes Protokoll über PCIe übertragen können. AMD verfolgt mit „Lightning Bolt“ ein eigenes Projekt, das das 5G-USB-Protokoll anstelle von PCI Express nutzt. Diese Verbindungen müssen lediglich verbessert werden und werden ihren Weg in Rechenzentrumsserver und Speichersysteme finden. Die hohen Stückzahlen im Endkundenmarkt ermöglichen sehr niedrige Preise. Andere Verbindungstechnologien für kurze Distanzen, wie direkte Kupferverbindungen, 10GBASE-T und VCSEL-basierte AOCs, werden sich diesem Preiswettbewerb stark stellen müssen.
Thunderbolt ist derzeit ein Video-Interconnect für Endverbraucher, der zwei 10G-Lanes nutzt und die Reihenschaltung von Geräten ermöglicht. OCuLink hingegen wird von Grund auf für Server/Subsysteme und den Endverbrauchermarkt entwickelt (Informationen zur Reihenschaltung oder Stromversorgung liegen noch nicht vor). OCuLink wird voraussichtlich zukünftig auf Server-Motherboards integriert sein und mit Thunderbolt (und Lightning Bolt) konkurrieren. OCuLink könnte sich zu einer sehr schnellen und kostengünstigen Alternative zu USB und Thunderbolt entwickeln, einschließlich direkter Kupferverbindungen, SAS und SFP+-AOCs für Entfernungen unter 10 Metern. Die entsprechenden Kabelprodukte werden voraussichtlich in den nächsten 18 bis 24 Monaten auf den Markt kommen.
Gerüchte um Intels Siliziumphotonik lassen vermuten, dass 2015 eine Dual-28G-Thunderbolt-Produktlinie verfügbar sein wird – rechtzeitig für die nächste Generation von MPUs und PCI Express Gen4. Es ist sehr wahrscheinlich, dass eine 2x28G-Verbindung eher für Rechenzentren als für Endverbraucher konzipiert sein wird. Aktuell nutzt Thunderbolt Koaxialkabel und an jedem Ende einen aktiven Chip, um eine Distanz von 2 Metern zu überbrücken. Sumitomo kündigte eine 100 Meter lange Thunderbolt-Verbindung mit 10G-VCSELs, TIAs, LDs usw. an. Intels Versionen von 2015 könnten hybride III-V-Siliziumlaser auf einem einzigen Siliziumphotonik-Chip integrieren (zumindest legt dies Intels YouTube-Video nahe). Bei Massenproduktion für PCs kann diese Technologie auch für Server in Rechenzentren mit Top-of-Rack-Switches, SAS-Speichersystemen und GPUs eingesetzt werden, die für Rechenprozesse und nicht für Grafik verwendet werden.
Auswirkungen auf Rechenzentrumssysteme:
PCI Express wird zur Verbindung von Subsystemen verwendet. OCuLink könnte die Definition von „Subsystemen“ grundlegend verändern. Anstatt wie bisher 50 cm voneinander entfernt zu sein, könnten Subsysteme nun 3 Meter (über Kupferkabel), 15 Meter (mit aktiven Endpunkten), 100 Meter (über AOCs) oder sogar über den Ozean mit optischer Infrastruktur verbunden sein. (Eine neue transatlantische Unterwasser-Glasfaserverbindung für den Hochgeschwindigkeitshandel verbindet die New Yorker Börse und Europa in 23 ms. Wie wäre es mit einem transatlantischen Link-Server mit einem Top-of-Rack-Switch?) Dank der geringen Latenz (600 ns), der großen Reichweite (über 100 Meter) und der Bandbreite (32 Gbit/s Gen3 oder 64 Gbit/s Gen4) von OCuLink könnte ein Subsystem künftig ein ganzes Rack- oder Reihen-Rechenzentrum umfassen. Server, die direkt mit End-of-Row-Switches über AOCs, SAS und SATA Express verbunden sind und PCI Express als Transportschicht für SSD-Einschübe, SSD/HDDs, PCI-Express-Flash-Karten und GPU-Cluster nutzen, können ebenfalls als „Subsystem“ betrachtet werden. Fast 80 % des gesamten Datenverkehrs im Rechenzentrum laufen derzeit über dieses Subsystem. Dieser Übergang wird nicht über Nacht erfolgen, birgt aber das Potenzial, zahlreiche Komponenten zu verändern und die wirtschaftliche Stärke des Unternehmens zu verlagern. Es werden viele Diskussionen darüber entbrennen, wo genau die Ethernet- und Fibre-Channel-Protokolle implementiert werden sollen – auf dem Server, im Top-of-Rack oder im End-of-Row-Switch.
Kurz gesagt: OCuLink eröffnet Anbietern von optischen Kabeln und Steckverbindern neue Möglichkeiten. Jedes Protokoll und jede MSA wird ihren Platz finden, und die Präferenzen der Endnutzer werden sich voraussichtlich durchsetzen, wobei jede ihre eigene Softwareinfrastruktur beibehält. Eine der wichtigsten Voraussetzungen für die Weiterführung bestehender Infrastrukturen ist die Abwärtskompatibilität mit bestehenden Protokollen und Verbindungen. Schon bald werden Thunderbolt, Lightning Bolt und OCuLink PCIe mit jeweils neuen Anschlüssen im Rechenzentrum zum Einsatz kommen. SATA und SAS bewegen sich auf Layer 1 in Richtung PCI Express. Fibre Channel hat ein signifikantes Wachstum erfahren, während Fibre Channel over Ethernet (FCoE) nur geringe Auswirkungen hatte. InfiniBand erfreut sich in High-End-Rechenzentren großer Beliebtheit. PLX Technology setzt sich stark für optische PCIe-Verbindungen ein (siehe das SSC-Video auf der PLX-Website) und hat mehrere Demos mit Avago Micropod- und McLink-Produkten präsentiert, die optisches USB und Mini-SAS HD demonstrieren.
Ob PCI Express sich zu einer Übertragungsschnittstelle für das eigentliche Protokoll oder zu einem Systembus entwickeln wird, ist noch unklar. Branchengrößen drängen jedoch in diese Richtung. Wirkliche Veränderungen dürften eintreten, wenn PCI Express das, was als Subsystem definiert ist, über das Gehäuse hinaus erweitert, beispielsweise auf eine ganze Reihe von Rechenzentren.
Autor:
Brad Smith, Vizepräsident und Chefanalyst bei Data Center Interconnects
