RapidIO 原生网络能够像以太网一样使用,这使其成为新建系统中应用 RapidIO 的有力理由。其生态系统支持 20 Gbps 端口,并且采用以太网封装技术,因此在重新设计 10 GbE 系统以实现下一代吞吐量和性能时,RapidIO 是理想之选。.


基于 RapidIO 的硬件/计算服务器实现示例:
利用 Integrated Device Technology, Inc. (IDT) 的 RapidIO Gen2 交换机,已经开发出高密度、无阻塞的交换卡。这些交换卡可部署在数据中心/高性能计算 (HPC) 环境中。图 1 展示了一种可用于支持机架顶部交换的交换卡实现方案。


IDT Tsi721 桥接器件可将 PCIe Gen2 转换为 RapidIO Gen2,并可用于为服务器节点提供互连。Tsi721 可在 PCIe 和 RapidIO 之间进行转换,提供高达 20 Gbaud 的桥接连接。借助 Tsi721,设计人员可以开发异构系统,充分利用 RapidIO 的点对点网络性能,同时使用仅在 PCIe 模式下工作的微处理器集群。目标市场需要高效传输大量数据而无需处理器干预,这可以通过将高速 DMA 模块与 Tsi721 的消息引擎结合使用来实现。RapidIO Type 9 消息传递的优势,例如支持虚拟化和相比 10 GbE 更高的吞吐量,可以减少布线。本示例系统将作为本文后续讨论的起点。
在本示例系统中,节点间的消息传递由两个不同的概念支持:逻辑 I/O 和消息传递。逻辑 I/O 事务支持直接桥接转换以及块 DMA 引擎。该系统支持 DMA 和 RDMA,因为它们是专为以太网系统设计的。消息传递由消息引擎支持。以太网消息传递支持 TCP 等协议。RapidIO 每个通道仅支持一个 IOV,这比现有的以太网解决方案要少。


协议比较


以太网提供了一种服务于点对点流量处理器网络的方式,无论是芯片间、板间还是机箱间。然而,以太网是从局域网 (LAN) 和广域网 (WAN) 演变而来,源于架构师寻求在嵌入式系统中高效使用它的方法。在此背景下,局域网和广域网通常假设每个节点都有一个处理器来完成协议栈。对于局域网和广域网而言,这是一个合理的假设,但它会给实时嵌入式系统(包括服务器)带来过高的延迟和功耗。.


PCI 和 PCIe 标准提供了一种替代方案;然而,它们实际上是为采用根复合体概念的单芯片、单主机处理器系统设计的。即使使用非透明桥接器,扩展到线卡、背板主板和多台服务器上的多处理器系统也面临挑战。对于少量端点或计算节点,这个问题可以解决,但随着系统规模的扩大,内存映射很快就会变得非常困难。
由于 RapidIO 从一开始就是为多处理器 P2P 网络构建的,因此它本身就具备以下特性:可靠的通信、不到 1 微秒的端到端数据包传输、100 纳秒的直通式交换延迟、协议终止无需处理器开销、支持任何拓扑结构(例如,直连、网状、星型、双星型)、用于传输大量数据的高性能消息传递,以及推送式架构,并允许系统中的每个处理器拥有自己的内存子系统。


RapidIO 已成为主要的集成互连,其专为背板连接而设计的运营商级串行通信,可为房间内或不同房间之间的板内、板间、有线和机箱间连接提供原生支持。.


后续规范的制定旨在提升以太网在嵌入式环境中的性能,使其应用​​范围超越广域网 (WAN) 和局域网 (LAN)。这些针对数据中心环境的增强功能统称为数据中心桥接 (DCB)。数据中心和嵌入式环境的特点是无损传输、改进的流量控制和低延迟。.


QoS 与流量控制的比较:

企业数据中心和云平台带宽增长的驱动因素之一是需要将存储网络(通常光纤通道可达 8 Gbps)与服务器间连接网络(通常为 1 Gbps 以太网)相结合。这些网络在服务质量方面存在不同的限制。此外,存储网络必须保证不丢包。目前,基于 RapidIO 的系统能够提供可靠的交付和可预测的服务质量。


对于需要更严格、更有效的服务质量 (QoS) 的应用,RapidIO 提供了高级的流控制和数据平面功能。RapidIO 协议在物理层和逻辑层定义了多种流控制机制。通过在数据链路层管理物理层流控制,发送方和接收方均可通过流控制有效处理短期拥塞事件。长期拥塞则可在逻辑层使用 XOFF 和 XON 消息进行控制,当检测到特定流发生拥塞时,接收方可以停止数据包的传输。.


虚拟通道 (VC) 支持新的服务质量 (QoS) 特性。这些特性提供可靠或最佳实践的传输策略、改进的数据链路层流量控制以及端到端流量管理。VC 还允许两个端点之间最多 1600 万个独立的虚拟流。
以太网也通过 DCB 技术的进步提升了其流量控制能力,DCB 技术允许链路的一端暂停另一端的传输,从而防止缓冲区溢出和随后的丢包。VLAN 标记简化了数据包路由,VLAN 标记中的数据包优先级也显著改善了以太网的延迟和服务质量。


然而,与 RapidIO 相比,DCB 在流量控制和 QoS 方面存在诸多限制[以太网与 RapidIO 的比较,CompactPCI、AdvancedTCA 和 MicroTCA,2010 年 7 月 15 日]。例如,以太网的流量控制主要通过 802.3x PAUSE 协议实现。即使采用增强的流量控制机制,拥塞通知的开销仍然很高,因为通知需要从源节点传播到网络边缘;而 RapidIO 则通过控制符号传输实现快速的拥塞通知。显然,以太网机制尚未得到广泛应用,一些厂商仅针对特定拓扑结构提供专有支持。RapidIO 的数据链路层流量控制允许发送方通过保持接收方持续满负荷运行来提高调度效率,从而提升整体交换效率。.


性能比较:延迟和吞吐量

以太网交换设备的延迟持续降低,目前业界领先的以太网交换机的延迟已降至约 200 纳秒。然而,RapidIO 交换设备的延迟低于 100 纳秒,并且也在不断降低。随着企业采用更小的硅工艺尺寸和更高的物理层速度,这两种技术的延迟降低趋势都将继续。以太网的端到端数据包终止时间可能超过 10 微秒,而 RapidIO 的端到端数据包终止时间则低于 1 微秒。.


RapidIO 通过数据链路层故障恢复提供可靠的交付保障。数据链路层控制符号可最大限度地减少控制环路延迟。控制符号还可以嵌入数据包中,进一步降低延迟。无损数据交换仍然需要下载引擎或软件栈,而这些往往会引入延迟。.


RapidIO Gen2 交换机每个端口提供 20 Gbps 的传输速率。Tsi721 芯片可将 PCIe 数据转换为 RapidIO 数据,反之亦然,从而为小至 64 字节的数据包提供最高 16 Gbps 的线路速率网关。这高于目前市面上常见的 10 GbE 速度,但显然低于市面上日益增多的 40 GbE 解决方案。.


从原始带宽角度来看,以太网的性能优于 RapidIO。然而,一旦 RapidIO 未来版本的物理规格和路线图公布,这种差距应该会缩小。RapidIO 的性能和协议效率使其能够实现强大的协议封装。消息传递和数据传输则提供了原生的以太网封装功能。.


安全性:

Tsi721 的 RapidIO 接收端安全功能采用硬件实现,可以判断是否接受一系列目标 ID。RapidIO 2.1 规范中定义的每种数据包类型都可以被接受或丢弃。发送端安全功能必须采用软件实现。


交换架构的安全性由系统主机加强。除非架构的路由表配置允许数据包在节点间路由,否则任何节点都无法与其他节点通信。每个交换端口还配备四个过滤器,可以屏蔽并比较每个数据包的前 20 个字节,并将其丢弃。此功能可用于强制执行 DMA 读写事务的地址范围和接收方 ID,并防止除系统主机之外的任何节点查询或配置交换架构。.


RapidIO

设备和系统拥有更强大的性能和更低的价格,并且无疑比以太网更节能。RapidIO 的物理层取代了以太网的传输层协议,从而确保消息可靠、准确地传输。以太网的协议负载较高,这也导致每个传输数据点的能耗更高。


以太网供应商对 10 Gbps 以太网端口收取高额费用,对 40 Gbps 端口则收取更高的费用。10 Gbps 以太网芯片的系统端口费用可能高达每个端口数百美元,而批量采购的 10G 交换设备成本则超过每个端口 10 美元。然而,由于 RapidIO 的系统端口成本较低(例如数据包终止更简单、数据包内存更小、无需排序等),其每个 10G 端口的交换设备成本约为 55 美元,而批量采购的交换设备成本则低于每个 10G 端口 4 美元。.


生态系统:

从生态系统的角度来看,已有30多年历史的传统以太网相比于已有十年或更久历史的RapidIO生态系统具有显著优势。传统以太网拥有众多芯片、平台、工具和软件供应商。其硬件生态系统提供融合网卡、交换机和路由器平台,以及服务器和存储平台。软件生态系统则提供网络管理软件、Microsoft Windows®、Linux®以及其他各种产品。此外,还有协议分析器、数据包分析器、流量生成器、网络测试仪,以及丰富的合规性测试经验。RapidIO集成了强大的操作系统、Linux、OFED、协议分析、系统诊断和多个服务器平台。它在第一代(Gen1)合规性方面拥有良好的记录,第二代(Gen2)合规性也正在进行中。然而,在Windows操作系统、VMware、网络适配解决方案、NPU设备以及存储平台支持选项方面仍存在一些局限性。


结论:

从 10 GbE 向 40 GbE 的升级改造为寻求在企业服务器、数据中心、云计算和高性能计算领域站稳脚跟的互连架构厂商开辟了全新的市场机遇。在众多竞争对手中,RapidIO Gen2 凭借其 20 Gbps 的吞吐量,成为强有力的竞争者。能够利用规模较小、成熟度较低的 RapidIO 生态系统的系统设计人员,可以使用交换机、PCIe 桥接器以及任何现有的嵌入式 CPU 解决方案来实现 20 Gbps 的传输速度。其优势包括:提供容错性强、可靠性高、高度可扩展的运营商级系统解决方案,且总体拥有成本极低。此外,它还显著降低了功耗和延迟,并具备卓越的流量控制和 QoS 性能。

作者:

Trevor Hiatt,IDT 产品总监。.

更多信息或报价