在这种情况下,企业级固态硬盘的演进已成为维持人工智能基础设施增长的关键要素。.

I/O 成为人工智能系统的新瓶颈:
现代人工智能集群依赖于通过高速网络(InfiniBand 或 400/800 GbE 以太网)互连的密集型 GPU 架构。然而,尽管计算性能呈指数级增长,存储子系统却并非始终跟上步伐。
人工智能工作负载呈现出一些特别苛刻的模式:
对训练数据集的大量随机访问;
高并发的密集读取操作;
需要持续向 GPU 传输数据;
与检查点和训练日志相关的频繁写入;
以及对延迟要求严格的实时推理。
当存储无法以所需速率提供数据时,GPU 的利用率就会降低,从而大幅降低系统效率。

AI 存储的技术要求
:在 AI 环境中,存储必须同时满足以下几个标准:
持续高带宽:向 PCIe Gen5 和 Gen6 的过渡直接解决了突破单设备传输限制的问题。
超低且可预测的延迟:稳定的延迟与峰值性能同等重要,尤其是在分布式推理中。
横向扩展性:能够在 NVMe-oF 架构下集成数千个存储节点。
能效:每 TB 和每 IOPS 的功耗已成为 AI 数据中心的一项战略指标。
机架密度:将容量集中到更少的设备上可以减少空间、布线和功耗。


对最新发布的 AI SSD 产品进行分析:
企业级 SSD 市场正在推出专门针对 AI 工作负载和超大规模数据中心设计的解决方案。

PCIe 6.0 和性能飞跃:
美光科技已开始量产其 9650 系列固态硬盘,该系列被认为是首款基于 PCIe 6.0 的企业级固态硬盘。凭借接近 28 GB/s 的读取速度和数百万 IOPS,这一代产品的目标用户群体是庞大的训练集群。
除了带宽之外,其差异化优势还在于散热优化,提供风冷和液冷两种散热方案,以满足人工智能机架日益增长的热密度需求。
技术影响:
PCIe 6.0 降低了本地存储节点饱和的风险,但也需要兼容的交换机和背板来避免上游瓶颈。

美光 SSD 9650 AI 存储

超大容量固态硬盘:整合与机械硬盘的竞争。QLC
NAND闪存的演进使得企业级固态硬盘的单价超过120TB,未来发展路线图甚至指向200TB以上。这为在“温存储”环境中部分替代机械硬盘打开了大门。
西部数据和铠侠正在持续开发混合存储策略,将超大容量机械硬盘与高密度QLC固态硬盘相结合。
技术分析:
尽管机械硬盘的每TB成本仍然较低,但高容量固态硬盘更低的延迟和更低的单次操作功耗使其成为需要频繁但非关键性访问的人工智能数据集的理想替代方案。

针对直接GPU交互优化的固态硬盘:
铠侠与英伟达合作开发了可实现固态硬盘与GPU之间点对点连接的架构,从而降低CPU负载并提高数据流效率。
这种方法与GPUDirect Storage等技术相契合,后者可最大限度地减少从NVMe存储访问数据时的延迟。
结构优势:
通过消除中间层,有效延迟得以降低,并提高了密集型训练中加速器的利用率。

NAND闪存供应链面临压力:
人工智能的兴起也给NAND闪存的生产带来了压力。企业级固态硬盘的高需求推高了价格,并导致中期生产承诺的增加,这会直接影响新建人工智能数据中心的资本支出。
因此,必须提前规划部署,并设计更高效的混合架构。


面向人工智能存储的新兴架构:
除了硬件之外,人工智能的存储策略正在向多层模型演进:
第 0 层:超高性能本地 NVMe 存储;
第 1 层:共享的 NVMe-oF 集群;
第 2 层:基于高容量 QLC 硬盘或固态硬盘的海量存储;
第 3 层:归档或冷存储。
挑战在于如何智能地协调各层之间的数据移动,动态优化成本和性能。
自动数据分层、分布式缓存和并行文件系统(Lustre、GPFS、BeeGFS)等技术在大规模训练环境中发挥着至关重要的作用。

中期关键技术挑战
:成本/性能平衡:如果存储层次结构未优化,指数级增长的数据集可能会显著增加总体拥有成本 (TCO)。
高密度机架中的散热管理:PCIe Gen5/Gen6 SSD 会增加散热量。
混合工作负载下的延迟一致性。SDN
和可组合环境中的互操作性。
能源可持续性。

结论:
存储已成为人工智能架构中的战略性组成部分。最新一代的固态硬盘(SSD),例如PCIe 6.0、超大容量QLC以及针对GPU直接交互优化的解决方案,都是专为支持日益增长的高要求模型而设计的。
然而,真正的挑战不仅在于技术层面,更在于架构层面:如何设计出平衡的基础设施,在不大幅增加成本或能耗的情况下,最大限度地提升加速器性能。
未来十年,人工智能领域的竞争力不仅取决于计算能力,也取决于存储子系统的设计智能程度。