Während das Versprechen generativer KI die heutige Technologielandschaft maßgeblich prägt, wachsen die großen linguistischen Modelle (LLMs), die diesen Systemen zugrunde liegen, stetig an. Daher erfordert der Aufbau kosteneffizienter und zuverlässiger LLM-Dienste erhebliche Rechenleistung, Energieressourcen und spezialisierte operative Fähigkeiten. Diese Herausforderungen machen die Vorteile einer maßgeschneiderten, sofort einsatzbereiten und sicherheitsbewussteren KI für die meisten Organisationen in der Praxis unerreichbar.

Red Hat will diese Herausforderungen bewältigen, indem es generative KI durch die offene Innovation von vLLM einem breiteren Publikum zugänglich macht. vLLM wurde von der University of California, Berkeley, entwickelt und ist ein gemeinschaftlich getragenes Open-Source-Projekt für offenes Modell-Serving (die Art und Weise, wie generative KI-Modelle Inferenz betreiben und Probleme lösen). Es unterstützt alle wichtigen Modellfamilien, bietet fortschrittliche Forschung zur Beschleunigung der Inferenz und vielfältige Hardware-Backends, darunter AMD-GPUs, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA-GPUs und x86-CPUs. Die führende Rolle von Neural Magic im vLLM-Projekt, kombiniert mit Red Hats umfassendem Portfolio an Hybrid-Cloud-KI-Technologien, ermöglicht es Unternehmen, KI-Strategien zu entwickeln, die ihren individuellen Bedürfnissen gerecht werden – unabhängig davon, wo ihre Daten gespeichert sind.