人工智能工作负载正在推动高性能计算 (HPC) 中数据处理和冷却方式的重大变革。过去,典型的 IT 机架运行 5-10 千瓦 (kW) 的工作负载,而运行 20 kW 以上负载的机架则被认为是高密度机架——这在特定应用领域之外极为罕见。为了满足人工智能模型的计算需求,IT 系统正在借助 GPU 加速运行。这些人工智能芯片在相同空间内所需的功率和冷却能力大约是传统服务器的五倍。马克·扎克伯格宣布,到 2024 年底,Meta 将斥资数十亿美元部署 35 万块 NVIDIA H100 GPU。目前,每个机架 40 kW 的机架密度已接近人工智能部署所需密度的下限,而每个机架超过 100 kW 的机架密度将在不久的将来变得普遍。.
这将需要大幅提升整个动力系统的容量,从网络到每个机架中的芯片。在数据中心的空白区域以及最终在企业服务器机房中引入液冷技术将成为大多数部署的必要条件,因为传统的冷却方式无法应对GPU执行AI计算时产生的热量。升级为AI硬件供电和冷却所需的基础设施需要巨额投资,应对这些新的设计挑战至关重要。.
向高密度过渡
向加速计算的过渡不会一蹴而就。数据中心和服务器机房的设计者必须找到方法,使其电力和冷却基础设施能够适应未来的增长,并考虑到工作负载的未来增长。为每个机架提供充足的电力需要对网络进行机架升级。实际上,这通常意味着需要使用高电流导管和高密度机架式电源分配单元 (PDU)。为了应对运行 AI 工作负载的硬件产生的大量热量,两种液冷技术正在成为领先的选择:
1. 芯片级液冷:冷板直接放置在发热组件(通常是CPU和GPU等芯片)上以吸收热量。单相或两相泵送流体从冷板吸收热量并将其送出数据中心,与芯片进行热交换,但不交换流体。这种方法可以去除机架设备产生的约70-75%的热量,剩余的25-30%则需要风冷系统去除。2
. 后门式热交换器:被动式或主动式热交换器用热交换盘管取代了IT机架的后门,流体通过盘管吸收机架产生的热量。这些系统通常与其他冷却系统结合使用,以保持机房温度中性,或作为过渡设计,开启向液冷的转型之路。
虽然芯片级液冷比风冷具有更高的冷却密度,但需要注意的是,仍有部分热量无法被冷板完全吸收。除非通过其他方式(例如后门热交换器或机房空气冷却)将其收集并排出,否则这些热量将散发到机房内。有关数据中心液冷解决方案的更多信息,请参阅我们的技术报告。.
用于翻新和新建项目的AI入门套件
电力和冷却正日益成为数据中心IT解决方案设计中不可或缺的组成部分,模糊了IT团队和设施团队之间的界限。这大大增加了设计、实施和运营的复杂性。建立合作伙伴关系并拥有全面的解决方案专业知识,被认为是顺利过渡到更高密度存储的关键要素。.
为了简化向高密度部署的过渡,Vertiv 推出了一系列优化设计,其中包括电源和冷却技术,能够在各种部署配置中支持每个机架高达 100 kW 的工作负载。.
这些设计方案为系统集成商、托管服务提供商、云服务提供商或企业用户提供了多种途径,以实现面向未来的数据中心。每个具体的安装项目在机架数量和密度方面可能存在细微差别,这取决于IT设备的选型。因此,这套设计方案提供了一种直观的方法,可以优化基础设计并根据部署需求进行精确定制。.
在对现有环境进行改造或重新利用以部署人工智能时,我们优化的设计方案能够充分利用现有的冷却基础设施和散热系统,从而最大限度地减少对现有工作负载的干扰。例如,我们可以将芯片级液冷与后门热交换器集成,以实现室内温度中性的冷却方案。在这种情况下,后门热交换器可以防止多余的热量散失到室内。对于希望在不进行任何现场改造的情况下添加液冷设备的风冷系统,我们提供液冷-风冷设计方案。这种策略既可以应用于单个机架,也可以应用于成排机架,或者大规模应用于大型高性能计算部署。对于多机架设计,我们还配备了高密度机架式电源分配单元 (PDU) 和大电流管道,以便为每个机架分配电力。.
这些方案兼容多种不同的散热解决方案,并可与液冷相结合。这为向高密度液冷过渡提供了一条清晰且经济高效的途径,同时不会干扰数据中心的其他工作负载。更多信息,请参阅我们的人工智能数据中心解决方案。.
尽管许多设施并非为高密度系统而设计,但 Vertiv 在帮助客户制定部署计划方面拥有丰富的经验,可以无缝过渡到 AI 和 HPC 的高密度环境。.
作者简介:
Anton Chuchkov 是 Vertiv IT 解决方案团队的产品经理,专注于高密度解决方案,包括支持 AI 应用的基础设施。他负责将最新的行业技术引入数据中心垂直市场。他在芯片、电路板、服务器和系统层面拥有超过十年的应用工程和产品管理经验,致力于在边缘实现对时间要求极高的 AI 推理应用。Anton 拥有石溪大学电气工程学士学位。
人工智能(AI)已成为不可逆转的趋势。英伟达创始人兼首席执行官黄仁勋表示:“每个行业都将成为科技行业。”人工智能的应用场景几乎无穷无尽,从医疗进步到高精度欺诈预防,无所不包。人工智能正在改变我们的生活,正如它正在改变每个行业一样。它也开始从根本上改变数据中心的基础设施。. 


