Rechenzentren funktionieren als verteilte Netzwerke, in denen zahlreiche Web- und Mobilanwendungen auf einem einzigen Server bereitgestellt werden. Wenn Benutzer Anfragen an eine Anwendung senden, werden Datenfragmente von Hunderten oder Tausenden von Diensten auf diesen Servern abgerufen. Bevor die Anwendung eine Antwort senden kann, muss sie warten, bis der langsamste Dienst die Daten verarbeitet hat. Diese Verzögerung wird als Warteschlangenlatenz bezeichnet.

Gängige Methoden zur Reduzierung der Warteschlangenlatenz lassen unzählige CPU-Kerne auf einem Server ungenutzt, um eingehende Anfragen schnell zu bearbeiten. Dies führt jedoch dazu, dass die Kerne die meiste Zeit ungenutzt bleiben, während die Server weiterhin Strom verbrauchen, nur um in Betrieb zu bleiben. Da Rechenzentren Hunderttausende von Servern beherbergen können, lassen sich selbst geringfügige Effizienzsteigerungen einzelner Server zu Einsparungen in Millionenhöhe führen.

Alternativ weisen manche Systeme den Anwendungen je nach Arbeitslast Kerne neu zu. Dies geschieht jedoch in Millisekunden, etwa einem Tausendstel der für heutige beschleunigte Anfragen benötigten Geschwindigkeit. Zu langes Warten kann die Anwendungsleistung ebenfalls beeinträchtigen, da Informationen, die nicht innerhalb einer festgelegten Zeit verarbeitet wurden, nicht an den Benutzer gesendet werden.

In einem auf der USENIX Networked Systems Design Konferenz vorgestellten Beitrag entwickelten Forscher ein schnelleres Kernzuweisungssystem namens Shenango, das die Wartezeiten reduziert und gleichzeitig hohe Effizienz erzielt. Zunächst erkennt ein neuer Algorithmus, welche Anwendungen Schwierigkeiten bei der Datenverarbeitung haben. Anschließend weist eine Softwarekomponente freie Kerne zu, um die Arbeitslast dieser Anwendungen zu bewältigen.

„In Rechenzentren besteht ein Zielkonflikt zwischen Effizienz und Latenz, und die Kerne müssen viel präziser als im Millisekundentakt neu zugewiesen werden“, erklärt Erstautorin Amy Ousterhout, Doktorandin am Computer Science and Artificial Intelligence Laboratory (CSAIL). Shenango ermöglicht es Servern, „Operationen, die in extrem kurzen Zeitabständen ablaufen, effizient zu verwalten“.

Die Energie- und Kosteneinsparungen variieren je nach Rechenzentrum, abhängig von dessen Größe und Auslastung. Das übergeordnete Ziel ist jedoch die Optimierung der CPU-Auslastung, sodass jeder Kern optimal genutzt wird. Aktuell liegt die beste CPU-Auslastung bei etwa 60 Prozent, die Forscher gehen jedoch davon aus, dass ihr System diesen Wert auf 100 Prozent steigern könnte.

„Die Auslastung von Rechenzentren ist derzeit recht gering“, sagt Mitautor Adam Belay, Assistenzprofessor für Elektrotechnik und Informatik sowie Forscher am CSAIL. „Dies ist ein sehr ernstes Problem, das sich nicht an einer einzelnen Stelle im Rechenzentrum lösen lässt. Dieses System ist jedoch ein entscheidender Baustein zur Steigerung der Auslastung.“.

Effiziente Erkennung von Serverengpässen.
In einem realen Rechenzentrum würde Shenango (Algorithmus und Software) auf jedem Server laufen. Alle Server könnten miteinander kommunizieren.

Die erste Neuerung des Systems ist ein neuartiger Algorithmus zur Erkennung von Systemüberlastungen. Alle fünf Mikrosekunden prüft der Algorithmus die von jeder Anwendung zur Verarbeitung anstehenden Datenpakete. Wartet ein Paket noch auf die letzte Prüfung, signalisiert der Algorithmus eine Verzögerung von mindestens fünf Mikrosekunden. Zusätzlich prüft er, ob ein Rechenprozess (Subprozess) auf seine Ausführung wartet. Ist dies der Fall, stuft das System die Anwendung als überlastet ein.

Es klingt recht einfach. Doch die Warteschlangenstruktur ist entscheidend für die Erkennung von Engpässen im Mikrosekundenbereich. Bisher musste die Software den Zeitstempel jedes einzelnen Datenpakets in der Warteschlange überprüfen, was viel zu lange dauern würde.

Forscher implementieren Warteschlangen in effizienten Strukturen, sogenannten Ringpuffern. Diese Strukturen lassen sich als verschiedene Schlitze in einem Ring visualisieren. Das erste empfangene Datenpaket wird in einen ersten Schlitz eingefügt. Eintreffende neue Daten werden in nachfolgende Schlitze des Rings einsortiert. Typischerweise werden diese Strukturen für die FIFO-Datenverarbeitung (First-In, First-Out) verwendet, wobei Daten aus dem ersten Schlitz entfernt und bis zum letzten Schlitz vorgearbeitet wird.

Das System der Forscher speichert Datenpakete jedoch nur kurzzeitig in den Strukturen, bis eine Anwendung sie verarbeiten kann. In der Zwischenzeit können die gespeicherten Pakete zur Überprüfung der Netzwerkauslastung genutzt werden. Der Algorithmus muss lediglich zwei Punkte in der Warteschlange vergleichen (die Position des ersten Pakets und die Position des letzten Pakets vor fünf Mikrosekunden), um festzustellen, ob es zu Verzögerungen bei den Paketen kommt.

„Man kann diese beiden Punkte beobachten und ihren Fortschritt alle fünf Mikrosekunden verfolgen, um zu sehen, wie viele Daten verarbeitet wurden“, sagt Fried. Da die Strukturen einfach sind, „muss man das nur einmal pro Kern durchführen. Bei 24 Kernen sind das 24 Prüfungen in fünf Mikrosekunden, was sehr gut skaliert.“.

Intelligente Zuweisung:
Die zweite Innovation heißt IOKernel, die zentrale Softwareplattform, die Datenpakete an die passenden Anwendungen weiterleitet. IOKernel nutzt außerdem einen Algorithmus zur Erkennung von Überlastung, um überlastete Anwendungen schnell mit Kernels zu versorgen – um Größenordnungen schneller als herkömmliche Ansätze.

Beispielsweise kann IOKernel ein eingehendes Datenpaket für eine bestimmte Anwendung erkennen, die Verarbeitungsgeschwindigkeiten im Mikrosekundenbereich erfordert. Ist die Anwendung aufgrund fehlender Kerne überlastet, weist IOKernel ihr sofort einen freien Kern zu. Erkennt IOKernel zudem eine andere Anwendung, die Kerne mit weniger zeitkritischen Daten nutzt, benötigt es einige dieser Kerne und weist sie der überlasteten Anwendung zu. Auch Anwendungen tragen dazu bei: Verarbeitet eine Anwendung keine Daten, benachrichtigt sie IOKernel, dass ihre Kerne umverteilt werden können. Die verarbeiteten Daten werden anschließend an IOKernel zurückgesendet, damit dieses die Antwort senden kann.

„IOKernel konzentriert sich auf Anwendungen, die Kerne benötigen, aber keine haben“, erklärt Behrens. „Es geht darum herauszufinden, welche Anwendungen überlastet sind und mehr Kerne benötigen, und ihnen so schnell wie möglich Kerne zuzuweisen, damit sie nicht ins Hintertreffen geraten und hohe Latenzzeiten erleiden.“.

Die enge Kommunikation zwischen IOKernel, dem Algorithmus, den Anwendungen und der Serverhardware ist laut Belay „einzigartig in Rechenzentren“ und ermöglicht Shenango ein reibungsloses Funktionieren: „Das System hat einen globalen Überblick darüber, was auf jedem Server passiert. Es sieht die Hardware, die die Pakete bereitstellt, was auf jedem Kern läuft und wie ausgelastet jede Anwendung ist. Und das alles im Mikrosekundenbereich.“.

Im nächsten Schritt optimieren die Forscher Shenango für den Einsatz in realen Rechenzentren. Dazu stellen sie sicher, dass die Software einen sehr hohen Datendurchsatz bewältigen kann und über die entsprechenden Sicherheitsfunktionen verfügt.

###

Verfasst von Rob Matheson, MIT-Pressestelle