此处所做的更改,例如2012年3月推出的“Romley”标准以及最近对PCI Express Gen3架构的更新,对数据中心硬件升级周期产生了重大影响。这些“原子”要素触发了互连行业的升级周期,即服务器到交换机链路从1G升级到10G,以及使用40G和100G LR4收发器的上层机架链路到城域网链路从10G升级到40G。.
LightCounting 发布的 10GBASE-T 报告解释了英特尔的“Tick-Tock”更新模式。通过追踪英特尔的更新周期与苹果 iPhone/iPad 的更新周期,我们可以了解从无线接入和回程链路、城域网、长途电话、有线电视到互联网,再到数据中心、服务器微处理器 (MPU) 和存储基础设施等各个环节的更新情况。英特尔负责服务器,苹果负责客户端——涵盖了所有中间的网络环节。AMD、谷歌、三星和其他厂商都紧随这些市场领导者的步伐。您可以将英特尔的 Tick-Tock 更新和苹果的更新视为数据中心的“原子钟”。.
PCI Express 引入了支持 3 米铜缆光纤链路 4x8G 传输的布线规范。PCI
-SIG(PCI Express 特别兴趣小组)是一个独立的行业组织,致力于改进许多计算机中使用的总线系统。虽然 PCIe 主要是一种“机箱内”技术,但现在它正走向机箱外。PCI-SIG 宣布了与数据中心高速互连、交换和服务器相关的多项进展:
• PCIe OCuLink——一种新的机箱内外互连方案,支持 1、2 和 4 通道 8G 传输,传输距离可达 3 米,可通过铜缆或 32G 光纤传输。配合 Gen4 和 16G 信号,它支持 4x16G 或 64G。
• PCI Express Gen 4——每通道提供 16G 信号,每个服务器 16 个通道,I/O 可达 256Gbps——预计在 2016 年左右推出。
几年后,服务器将需要 100G 上行链路。业界将如何满足这种互连需求? OCuLink 代表着铜缆和光纤的新机遇,还是仅仅是另一种互连和连接器标准,旨在挑战以太网、SAS、光纤通道和 InfiniBand?它是否会威胁到之前的一切?在与客户的讨论中,我们探讨了这些激烈的争论!
OCuLink——一种新型互连方案——会对数据中心现有的线缆/收发器产生什么影响?
显然,数据中心现有的线缆、连接器和协议不足以容纳这些数字信号(0 和 1)。完整的规范将于明年发布,同时发布的还有一种尚未定义的连接器,它是 Mini CEM(机电卡)规范的一部分。它也兼容用于 SATA 和 SAS 的 SFF-8639 标准。LightCounting 预测,它们将类似于小型扁平的 4 通道 USB 连接器,而不是常见的笨重的 iPass 或 QSFP 连接器。
另一项新特性是扩频独立时钟集成方案,旨在解决将 PCIe 扩展到机箱之外的关键系统级挑战——跨独立系统的时钟分配。PCIe Gen3 放弃了 8b/10b 编码,转而采用 128b/130b 编码,从而实现了更快的速度,并且几乎没有性能开销,尽管 8b/10b 编码会造成 20% 的性能损失。这意味着,使用 8b/10b 编码的 4x10G 链路(例如 InfiniBand 或以太网)的速度与具有更快纠错能力的 4x8G PCI Express 链路一样快。.
InfiniBand 因其相比以太网而言极小的协议栈而闻名。InfiniBand 的延迟低于 900 纳秒,而以太网的延迟为 3-4 微秒,使用短协议时延迟为 1-2 微秒。因此,InfiniBand 在超级计算机领域广受欢迎。然而,PCI Express 的延迟约为 600 纳秒。InfiniBand、以太网光纤通道、SATA、SAS 等都需要在服务器外部将 PCI Express 信号转换为特定协议,然后再转换回来,而传输距离仅为 1-3 米。这给原本简单的短子系统链路增加了大量的成本、延迟、复杂性和功耗。
OCuLink 显然是对英特尔 Thunderbolt 链路的回应。Thunderbolt 链路已应用于苹果和 Windows PC,并由英特尔严格控制,同时还控制着两端设备主板上的路由器协议芯片。OCuLink 有望成为面向整个行业的互连标准,应用于室内外服务器、数据中心存储系统以及消费级高清电视、PC、平板电脑和智能手机等领域。虽然 Thunderbolt 目前设计用于通过 PCIe 传输视频信号,但两端主板上的路由器芯片将能够通过 PCIe 传输以太网、USB 以及几乎所有其他协议。AMD 也推出了自己的“Lightning Bolt”项目,该项目使用 5G USB 协议而非 PCI Express。这些链路只需进一步增强,即可应用于数据中心服务器和存储子系统。消费市场的大批量需求将使价格大幅降低。其他用于短距离互连的方案,例如直接铜缆连接、10GBASE-T 和基于 VCSEL 的 AOC,将面临非常激烈的价格竞争。.
Thunderbolt 目前是一种面向消费者的视频互连技术,它使用两条 10G 通道,并支持菊花链连接。OCuLink 则是专为服务器/子系统和消费市场从零开始设计的(目前尚无关于菊花链连接或电源通道的信息)。OCuLink 未来很可能被集成到服务器主板上,并可能与 Thunderbolt(以及 Lightning Bolt)展开竞争。OCuLink 有望成为 USB 到 Thunderbolt 等各种技术的超高速、低成本竞争对手,包括直接铜缆连接、SAS 和 10 米以下距离的 SFP+ AOC。线缆产品预计将在未来 18-24 个月内发布。.
围绕英特尔硅光子技术的传闻让我们相信,双28G Thunderbolt产品线将于2015年问世,届时将适配下一代微处理器(MPU)和PCI Express Gen4。这款双28G链路很可能主要面向数据中心而非消费级市场。目前,Thunderbolt采用同轴电缆,两端各配备一个有源芯片,传输距离为2米。住友电子曾宣布推出一款采用10G VCSEL、TIA、LD等器件的100米Thunderbolt链路。英特尔2015年的版本可能会采用集成在单个硅光子芯片上的混合III-V族硅激光器(至少英特尔在YouTube上的视频是这么说的)。当这项技术能够大规模应用于PC时,它还可以应用于数据中心,与机架顶部交换机、SAS存储系统以及用于计算而非图形处理的GPU进行链路连接。.
对数据中心系统的影响:
PCI Express 用于连接子系统。OCuLink 可能会重新定义“子系统”的概念。子系统之间的距离不再局限于 20 英寸,而是可以达到 3 米(使用铜缆)、15 米(使用有源终端)、100 米(使用有源光缆),甚至可以通过光纤基础设施跨越海洋。(一条用于高速交易的新型跨大西洋海底光链路,仅需 23 毫秒即可连接纽约证券交易所和欧洲。那么,配备机架顶部交换机的跨大西洋链路服务器又会如何呢?)当 OCuLink 具备低延迟(600 纳秒)、远距离(超过 100 米)和高带宽(32G Gen3 或 64G Gen4)时,目前定义的子系统可能涵盖整个“机架式或行式”数据中心系统。直接连接到机架末端交换机的服务器,通过AOC、SAS和SATA Express接口连接,并使用PCI Express作为传输层,连接SSD托架、SSD/HDD、PCI Express闪存卡和GPU集群,这些服务器也可以被视为“子系统”。目前,近80%的数据中心流量都位于这个子系统中。这种转变不会一蹴而就,但它有可能改变大量组件,并重塑公司的经济实力。关于以太网和光纤通道协议究竟应该部署在何处——服务器上、机架顶部还是机架末端交换机上——将会引发诸多争论。
简而言之:OCuLink 为光纤和连接器布线供应商带来了新的机遇。每种协议和 MSA 都将有其用武之地,最终用户的偏好可能会占据主导地位,而每种协议和 MSA 都将维护其自身的软件基础架构。对于继续使用现有基础架构而言,最重要的问题之一可能是与现有协议和互连的向后兼容性。不久之后,Thunderbolt、Lightning Bolt 和 OCuLink PCIe 将被添加到数据中心的接口组合中,每种接口都将配备新的连接器。SATA 和 SAS 正在向第一层 PCI Express 过渡。光纤通道经历了显著增长,但受以太网光纤通道 (FCoE) 的影响非常有限。InfiniBand 在高端数据中心中获得了广泛的应用。PLX Technology 一直是光纤 PCIe 链路的积极倡导者(请参阅 PLX 网站上的 SSC 视频),并已使用 Avago Micropod 和 McLink 产品进行了多次演示,展示了光纤 USB 和 Mini-SAS HD。.
尽管PCI Express最终会成为实际协议的传输链路还是系统总线尚无定论,但行业巨头们正努力推动PCI Express朝这个方向发展。如果PCI Express将子系统的定义扩展到机箱之外,例如扩展到一排数据中心,那么真正的变革很可能会发生。.
作者:
Brad Smith,数据中心互连公司副总裁兼首席分析师
