云之间的广域网 (WAN) 连接正从 1 Gbps 线路向 10 Gbps 线路演进,但随着物联网 (IoT) 和人工智能 (AI) 等数字技术的飞速发展,云端数据量激增,对更快、更高速数据传输的需求也随之增长。目前,WAN 连接的有效传输速度主要通过压缩和去重等技术来降低数据量。然而,10 Gbps WAN 线路需要处理的数据量极其庞大,现有的云服务器 WAN 加速技术尚无法充分提升有效传输速率。.
富士通实验室开发了一种广域网加速技术,能够以 10 Gbps 或更高的速度进行实时运行。该技术利用服务器内部 FPGA 上安装的专用计算单元来执行各种处理,例如特征值计算和压缩处理。这样,就可以根据每个计算的预期完成时间,在适当的时机提供数据,从而实现这些计算单元的并行运行。.
在采用 FPGA 芯片并通过 10 Gbps 线路连接的服务器上部署该技术的测试环境中,富士通实验室证实其有效传输速率高达 40 Gbps,达到业界最高水平。该技术实现了云间高速数据传输,包括数据共享和备份,从而促进了下一代云服务的构建,使不同企业和地区的用户能够共享和利用海量数据。.
富士通实验室计划将这项可用于云环境的技术以应用程序的形式加载到配备FPGA的服务器上。该公司正在持续进行实际环境评估,目标是在2018年实现该技术的商业化。.
富士通实验室在 2017 年 12 月 11 日至 13 日在澳大利亚墨尔本举行的国际现场可编程技术大会 (FPT 2017) 上公布了这项技术的细节。.

发展背景:
近年来,随着云计算的蓬勃发展,将原本存储在内部服务器上的数据(例如内部文档、设计数据和电子邮件)迁移到云端,以提高数据和服务器的管理与维护效率已成为一种趋势。此外,物联网和人工智能等数字技术的广泛应用表明,人们对通过分析和利用海量数据(包括工厂和其他现场位置的摄像头图像以及设备日志数据)来变革工作和业务抱有很高的期望。为此,云之间通过广域网传输的数据量呈爆炸式增长,这就催生了对能够实现云之间高速、大规模数据传输的下一代广域网加速技术的需求。

 问题:
广域网加速技术通过压缩或去重传输数据来减少数据量,从而提高有效传输速度。然而,当使用 10 Gbps 网络线路以更高的速度传输数据时,需要处理的数据量非常庞大,压缩和去重处理速度会成为服务器瓶颈。因此,为了提高实时性能,需要能够以更高速度运行的 CPU 或具有更快处理速度的广域网加速技术。

图 2-实现过程-加速-WAN-使用配备 FPGA 的服务器-w针对新开发的技术,
研发了一种广域网加速技术,该技术利用服务器端FPGA作为加速器,可在云端实现10Gbps或更高的实时运行速度。该广域网加速技术的高效运行,是通过使用FPGA处理难以通过CPU进行压缩或去重等方式提升性能的计算密集型任务来实现的。其实现方式是将CPU高效地连接到FPGA加速器。


 该技术的具体细节如下:
1. 利用专用高并行计算单元的FPGA并行化技术:
富士通实验室开发了一种FPGA并行化技术,通过在FPGA上以高并行配置实现用于数据分区、特征值计算和无损压缩处理的专用计算单元,可以显著缩短数据去重和压缩所需的处理时间。这使得计算单元能够高度并行地运行,并根据对每次计算完成时间的预测,在适当的时间交付数据。2
 
图 3-摘要-方法-CPU-FPGA 之间的开销减少-w. 优化CPU和FPGA之间处理流程的技术:
以前,在根据重复数据识别结果确定是否对数据应用无损压缩时,需要在FPGA上执行重复数据识别之前和之后分别读取数据两次。这增加了系统开销,并导致系统性能不足。通过将处理任务集中到FPGA上,并在FPGA上管理重复数据识别预处理和压缩处理,并利用基于重复数据识别结果控制压缩处理结果在CPU中反映方式的处理顺序,该技术降低了CPU和FPGA之间重新加载输入数据和控制交换的开销。这减少了CPU和FPGA之间因数据和控制传输而导致的等待时间,从而实现了CPU和FPGA加速器的高效协同运行。

图 4-使用测试数据评估样本的结果-w通过
10Gbps连接。在模拟常规数据备份(包括文档和视频)的测试中,该技术实现了高达40Gbps的传输速度,创下行业纪录。这项技术显著提升了广域网(WAN)连接的数据传输效率,实现了云端之间的高速数据传输,例如数据共享和备份,并有助于构建下一代云服务,从而在各种业务和地点之间共享和利用海量数据。


未来计划:
富士通实验室将继续在实际环境中评估这项技术,并将其应用于可在云环境中使用的虚拟设备。富士通实验室计划在2018财年内将这项技术作为富士通有限公司的产品推出。

更多信息