预计到 2029 年,企业在人工智能领域的支出将超过 1 万亿美元,这主要得益于智能体人工智能应用的蓬勃发展。因此,各组织正寻求将战略转向高密度智能体工作流程,并应对由此带来的对人工智能推理和基础设施的需求。为了帮助企业跟上时代步伐,Red Hat AI Factory 与 NVIDIA 携手合作,助力 IT 运维团队简化传统基础设施的管理,并满足不断演进的人工智能堆栈需求。Red Hat AI Factory 与 NVIDIA 加速了人工智能的生产部署进程,并提供人工智能工厂的软件平台。该平台运行于加速计算基础设施之上,为驱动推理堆栈的 NVIDIA 模型和 GPU 提供更高性能。该平台支持包括 Cisco、Dell Technologies、Lenovo 和 Supermicro 在内的领先系统制造商的人工智能工厂基础设施。这使得 IT 管理员和运维团队能够以与任何企业工作负载相同的运维严谨性和可预测性来扩展和维护人工智能部署。这一联合设计的软件平台融合了 Red Hat 和 NVIDIA 的开源协作、工程和支持方面的专业知识,从而提供可靠的企业级解决方案。.
Red Hat AI Factory with NVIDIA 为各种环境下的 AI 部署提供高度可扩展的基础架构,无论是在本地、云端还是边缘。它包含高性能 AI 推理、模型调优、定制以及代理部署和管理等关键功能,并着重关注安全性。.
这使得组织能够保持从数据中心到公有云的架构控制,具体体现在以下方面:
● 更快实现价值:该解决方案通过简化的工作流程和对预配置模型的即时访问,加速了人工智能在生产环境中的应用。这些模型包括受法律支持的 IBM Granite 系列、NVIDIA Nemotron 和开源的 NVIDIA Cosmos 模型,并以 NVIDIA NIM 微服务的形式交付。此外,它还支持企业使用 NVIDIA NeMo 将模型与业务数据更好地匹配,从而减少调优时间和成本。.
● 优化性能和成本:借助统一的高性能服务堆栈,优化基础设施利用率并提升推理性能。Red Hat AI Factory with NVIDIA 提供集成的可观测性功能,并利用由 vLLM、NVIDIA TensorRT-LLM 和 NVIDIA Dynamo 提供支持的 Red Hat AI 推理功能,以满足严格的 AI 服务级别目标。这有助于企业通过优化模型与 NVIDIA GPU 之间的连接,降低 AI 的总体拥有成本 (TCO)。.
● 智能 GPU 编排:通过智能编排和池化基础设施实现对 GPU 资源的按需访问,并具有自动检查点,以保护长时间运行的作业,并在动态环境中保持更可预测的计算成本。.
● 增强企业安全性:借助 Red Hat Enterprise Linux 灵活稳定的底层架构,企业可受益于其内置的先进安全性和合规性功能,从而降低风险、节省时间并减少停机时间。这为需要隔离和持续验证的关键任务型 AI 工作负载提供了强大的安全基础。NVIDIA DOCA 微服务正是基于此基础架构构建,从而创建零信任架构,并在整个基础架构中提供 AI 运行时安全保障。.
