Da die Ausgaben für KI in Unternehmen bis 2029 voraussichtlich 1 Billion US-Dollar übersteigen werden – vor allem getrieben durch agentenbasierte KI-Anwendungen –, richten Organisationen ihre Strategien auf hochdichte agentenbasierte Workflows aus und müssen den damit verbundenen Anforderungen an KI-Inferenz und -Infrastruktur gerecht werden. Um Unternehmen bei der Anpassung zu unterstützen, ermöglicht Red Hat AI Factory mit NVIDIA IT-Betriebsteams die Optimierung der Verwaltung sowohl traditioneller Infrastruktur als auch der sich stetig weiterentwickelnden Anforderungen des KI-Stacks. Red Hat AI Factory mit NVIDIA beschleunigt den Weg zu produktiver KI und bietet die Softwareplattform für KI-Fabriken, die auf einer beschleunigten Recheninfrastruktur läuft und so die höhere Leistung der NVIDIA-Modelle und GPUs ermöglicht, die den Inferenz-Stack antreiben. Die Plattform unterstützt die KI-Fabrik-Infrastruktur führender Systemhersteller wie Cisco, Dell Technologies, Lenovo und Supermicro. Dies ermöglicht IT-Administratoren und Betriebsteams die Skalierung und Wartung von KI-Implementierungen mit der gleichen operativen Präzision und Vorhersagbarkeit wie bei jeder anderen Unternehmens-Workload. Diese gemeinsam entwickelte Softwareplattform integriert die Open-Source-Expertise von Red Hat und NVIDIA in den Bereichen Zusammenarbeit, Entwicklung und Support, um eine zuverlässige Unternehmenslösung bereitzustellen.

Red Hat AI Factory mit NVIDIA bietet eine hochskalierbare Grundlage für KI-Implementierungen in jeder Umgebung – ob lokal, in der Cloud oder am Edge. Es umfasst essenzielle Funktionen für leistungsstarke KI-Inferenz, Modelloptimierung, Anpassung sowie Agentenbereitstellung und -verwaltung mit besonderem Fokus auf Sicherheit.

Dies ermöglicht es Organisationen, die architektonische Kontrolle vom Rechenzentrum bis zur öffentlichen Cloud zu behalten, was Folgendes bedeutet:

● Schnellere Wertschöpfung: Diese Lösung beschleunigt den Übergang zu produktiver KI durch optimierte Arbeitsabläufe und den sofortigen Zugriff auf vorkonfigurierte Modelle, darunter die rechtlich abgesicherte IBM Granite-Familie, NVIDIA Nemotron und offene NVIDIA Cosmos-Modelle, die als NVIDIA NIM-Mikrodienste bereitgestellt werden. Darüber hinaus ermöglicht sie Unternehmen, Modelle mithilfe von NVIDIA NeMo besser an Geschäftsdaten anzupassen und so Zeit und Kosten für die Optimierung zu reduzieren.

● Optimierte Leistung und Kosten: Optimieren Sie die Infrastrukturnutzung und steigern Sie die Inferenzleistung mit einem einheitlichen, leistungsstarken Service-Stack. Red Hat AI Factory mit NVIDIA bietet integrierte Observability-Funktionen und nutzt die Red Hat AI-Inferenzfunktionen von vLLM, NVIDIA TensorRT-LLM und NVIDIA Dynamo, um anspruchsvolle KI-Serviceziele zu erreichen. Dies hilft Unternehmen, die Gesamtbetriebskosten (TCO) für KI zu senken, indem die Verbindung zwischen Modellen und NVIDIA-GPUs optimiert wird.

● Intelligente GPU-Orchestrierung: Ermöglicht den bedarfsgerechten Zugriff auf GPU-Ressourcen durch intelligente Orchestrierung und gepoolte Infrastruktur mit automatischen Prüfpunkten zum Schutz langlaufender Jobs und zur Aufrechterhaltung besser vorhersehbarer Rechenkosten in dynamischen Umgebungen.

● Verbesserte Unternehmenssicherheit: Dank der flexiblen und stabilen Basis von Red Hat Enterprise Linux profitieren Unternehmen von integrierten, fortschrittlichen Sicherheits- und Compliance-Funktionen. Dies trägt dazu bei, Risiken zu reduzieren, Zeit zu sparen und Ausfallzeiten zu minimieren. So entsteht eine robuste Sicherheitsgrundlage für geschäftskritische KI-Workloads, die Isolation und kontinuierliche Überprüfung erfordern. NVIDIA DOCA-Mikrodienste bauen auf dieser Grundlage auf, schaffen eine Zero-Trust-Architektur und gewährleisten KI-Laufzeitsicherheit in der gesamten Infrastruktur.