尽管生成式人工智能的前景在当今技术领域占据主导地位，但支撑这些系统的庞大语言模型（LLM）的规模却在不断增长。因此，构建经济高效且可靠的LLM服务需要大量的计算能力、能源资源和专业的运维技能。实际上，这些挑战使得大多数组织难以享受到定制化、即用型且更注重安全性的人工智能带来的好处。.

红帽旨在通过 vLLM 的开放式创新，让更多组织能够更轻松地使用生成式人工智能，从而应对这些挑战。vLLM 由加州大学伯克利分校开发，是一个社区驱动的开源项目，致力于开放模型服务（生成式人工智能模型如何进行推理和解决问题），支持所有关键模型系列、推理加速方面的先进研究以及各种硬件后端，包括 AMD GPU、AWS Neuron、Google TPU、Intel Gaudi、NVIDIA GPU 和 x86 CPU。Neural Magic 对 vLLM 项目的领导，结合红帽强大的混合云人工智能技术组合，将为组织提供一条开放的路径，使其能够构建满足自身独特需求的人工智能战略，无论数据位于何处。.