Mit dem Start von llm-d im Mai 2025 verfolgten wir das Ziel, die enorme Lücke zwischen KI-Experimenten und groß angelegten, unternehmenskritischen Produktionsinferenzen zu schließen. Durch die Integration von llm-d in die CNCF erweitern wir das Ziel einer herstellerübergreifenden Koalition – darunter CoreWeave, IBM, Google und NVIDIA –, den offenen Standard für verteilte Inferenz zu etablieren.
Schlussfolgerungen treiben die Ära der Handlungsfähigkeit voran
Auf dem Weg in eine zunehmend vernetzte Zukunft steht die KI-gestützte Inferenz, die Unternehmensagenten in verschiedenen Branchen unterstützt, vor einer breiten Anwendung. Entscheidend ist, dass die Kosten und die Komplexität der Inferenz den Geschäftswert der Agenten selbst nicht übersteigen. Inferenz kann jedoch extrem kostspielig sein und große Mengen spezialisierter Beschleuniger verbrauchen, und diese Kosten können bei Skalierung noch weiter steigen. Die fortschrittlichen Funktionen von llm-d setzen genau hier an und erfüllen die Service-Level-Objectives (SLOs) von Unternehmen bei gleichzeitig maximaler Infrastruktureffizienz. Darüber hinaus benötigen Unternehmen die Flexibilität, Inferenz dort einzusetzen, wo es sinnvoll ist – im Rechenzentrum, in der Cloud oder am Edge – und auf der Hardware ihrer Wahl. Diese Flexibilität ist nur möglich, wenn das zugrunde liegende Ökosystem auf Open Source und offenen Standards basiert.
Die Lücke in der Cloud-nativen Umgebung schließen
Obwohl Kubernetes der Industriestandard für Orchestrierung ist, wurde es ursprünglich nicht für die besonderen, zustandsbehafteten Anforderungen der Inferenz großer Sprachmodelle (LLM) entwickelt. In einem traditionellen Microservice ist eine Anfrage eine Anfrage: Jede Replik kann sie gleich gut bearbeiten. In der generativen KI variieren die Kosten einer Anfrage enorm, abhängig von der Länge der Eingabe- und Ausgabetoken, der Größe und Architektur des Modells, der Cache-Lokalität und davon, ob sich das Modell in der Vorladephase (rechenintensiv) oder in der Dekodierungsphase (speicherintensiv) befindet.
Standardmäßiges Service-Routing berücksichtigt diese Dynamiken nicht, was zu ineffizienter Zuweisung und unvorhersehbarer Latenz führt. Hier schließt llm-d die Lücke. Es fungiert als spezialisierte Orchestrierungsschicht für die Datenebene zwischen übergeordneten Steuerungsebenen wie KServe und untergeordneten Engines wie vLLM. Durch die Nutzung nativer Kubernetes-Bausteine wie der Gateway-API und LeaderWorkerSet (LWS) transformiert es komplexe verteilte Inferenz in eine handhabbare und beobachtbare Cloud-native Workload.
Stärkung des Ökosystems durch Beiträge
Indem wir llm-d der CNCF zur Verfügung stellen, schaffen wir klar definierte Wege – bewährte und reproduzierbare Designs, die fragmentierte KI-Komponenten in modulare und interoperable Microservices transformieren. Dieser Beitrag ist mehr als nur ein einzelnes Projekt; er zielt darauf ab, die gesamte Cloud-native Landschaft zu bereichern, sodass Inferenz ein integraler Bestandteil derselben Umgebung wird wie herkömmliche containerbasierte Anwendungen.
Ein zentraler Bestandteil dieser Arbeit ist der Endpunktwähler (Endpoint Picker, EPP). llm-d dient als Schlüsselimplementierung der Inference Extension API (GAIE), und der EPP ermöglicht programmierbares, inferenzbewusstes Routing. Das bedeutet, dass das System Routing-Entscheidungen basierend auf dem aktuellen Zustand der Engine trifft und dabei die Trefferraten des Key-Value-Caches sowie die Funktionen der Hardwarebeschleuniger optimiert. Dies ist eine entscheidende Voraussetzung für die Aufrechterhaltung einer dauerhaften Leistung unter Einhaltung strenger Service-Level-Vorgaben.
llm-d ergänzt und erweitert die bestehenden Lösungen innerhalb der CNCF:
● Kubernetes: Bietet die zentrale Infrastrukturplattform für KI-Workloads.
● Gateway-API: Sorgt für die Abstimmung mit Upstream-Systemen für KI-spezifisches Routing und stellt sicher, dass das Traffic-Management eine offene Kernkomponente bleibt.
● KServe: Fungiert als übergeordnete Steuerungsebene, die mit llm-d integriert ist und erweiterte Funktionen wie disaggregiertes Service- und Präfix-Caching unterstützt.
● LeaderWorkerSet: Nutzt native Kubernetes-Bausteine zur Orchestrierung komplexer Multi-Node-Replikation und hochentwickelter Parallelverarbeitung und transformiert so Systeme wie vLLM in handhabbare Cloud-native Workloads.
● Prometheus & Grafana: Exportieren spezialisierte Metriken wie die Time to First Token (TTFT), um die Transparenz generativer KI auf Unternehmensebene zu gewährleisten.
Gemeinsam die Zukunft der Schlussfolgerung gestalten
Zusammenarbeit steht seit der Gründung von llm-d im Mittelpunkt. Als wir llm-d letztes Jahr auf dem Red Hat Summit ankündigten, erfüllte uns das gemeinsame Engagement der Gründungsmitglieder, Branchenführer und Wissenschaftler mit Stolz – nicht nur für den Start von llm-d, sondern auch für die Schaffung einer zukunftssicheren, kollaborativen Grundlage. In den zehn Monaten seither hat sich llm-d sowohl in privaten Unternehmen mit KI-MaaS-Lösungen (Model-as-a-Service) als auch in groß angelegten KI-Initiativen etabliert. Noch wichtiger ist, dass die offene Ausrichtung des Projekts durch ein wachsendes Ökosystem von Mitwirkenden und Partnern weiter gestärkt wird. Entwickler und Unternehmen vertrauen auf llm-d, und die Bereitstellung des Projekts für die CNCF wird eine offene Zukunft fördern und sichern. Der Weg zu erfolgreicher Open-Source-KI-Innovation ist lang, aber gemeinsam bauen wir die Infrastruktur, um ihn zu erreichen.
Autor: Brian Stevens, Senior Vice President und Chief Technology Officer (CTO) für KI bei Red Hat
