数据中心以分布式网络的形式运行,众多Web和移动应用程序部署在单个服务器上。当用户向应用程序发送请求时,应用程序会从这些服务器上成百上千个服务中检索存储的数据片段。在发送响应之前,应用程序必须等待速度最慢的服务处理完数据。这种延迟称为队列延迟。.

目前降低队列延迟的方法会让服务器上的大量 CPU 核心闲置,以便快速处理传入的请求。但这也就意味着这些核心大部分时间都处于空闲状态,而服务器却需要持续耗电才能维持运行。数据中心可能包含数十万台服务器,因此即使每台服务器的效率只有微小的提升,也能节省数百万美元。.

另一种方法是,某些系统会根据工作负载通过应用程序重新分配核心。但这需要几毫秒的时间,大约只有如今加速请求所需速度的千分之一。等待时间过长也会降低应用程序的性能,因为任何在预定时间之前未处理的信息都不会发送给用户。.

在USENIX网络系统设计大会上发表的一篇论文中,研究人员开发了一种名为Shenango的更快的核心分配系统,该系统在降低队列延迟的同时实现了高效率。首先,一种新的算法会检测哪些应用程序在处理数据时遇到困难。然后,一个软件组件会将空闲的核心分配给这些应用程序来处理其工作负载。.

“在数据中心,效率和延迟之间存在权衡,而且你确实需要以比每毫秒更精确的粒度重新分配核心,”论文第一作者、计算机科学与人工智能实验室 (CSAIL) 的博士生 Amy Ousterhout 说。Shenango 使服务器能够“高效地管理在极短时间内发生的操作”。.

节能和成本节约的幅度会因数据中心的规模和工作负载而异。但总体目标是提高数据中心的 CPU 利用率,使每个核心都能得到充分利用。目前最佳的 CPU 利用率约为 60%,但研究人员表示,他们的系统可以将这一数字提高到 100%。.

“目前数据中心的利用率相当低,”论文合著者、电子工程与计算机科学助理教授兼CSAIL研究员亚当·贝莱表示,“这是一个非常严重的问题,无法仅靠数据中心的某个单一环节来解决。但这个系统是提高利用率的关键组成部分。”.

高效的拥塞检测。
在实际的数据中心中,Shenango(算法和软件)将运行在每台服务器上。所有服务器之间都可以相互通信。

该系统的首项创新之处在于一种新的拥塞检测算法。该算法每隔五微秒检查一次每个应用程序排队等待处理的数据包。如果某个数据包仍在等待上次检查,则该算法会指示至少五微秒的延迟。此外,它还会检查是否有任何计算过程(称为子进程)正在等待执行。如果有,系统则认为该应用程序处于“拥塞”状态。.

这看起来很简单。但队列结构对于实现微秒级拥塞检测至关重要。传统的做法是软件必须检查队列中每个数据包的时间戳,这会耗费太长时间。.

研究人员在一种称为“环形缓冲区”的高效结构中实现了队列。这种结构可以形象地理解为围绕一个圆环的不同槽位。接收到的第一个数据包进入初始槽位。随着新数据的到达,它会被放入环上后续的槽位中。通常,这种结构用于先进先出(FIFO)数据处理,即从初始槽位移除数据,并逐步向最后一个槽位推进。.

然而,研究人员的系统仅将数据包短暂地存储在结构中,直到应用程序可以处理它们为止。在此期间,存储的数据包可用于拥塞检查。该算法只需比较队列中的两个点(第一个数据包的位置和五微秒前最后一个数据包的位置)即可确定数据包是否出现延迟。.

“你可以查看这两个点,并每隔五微秒跟踪一次它们的进展,以了解已处理了多少数据,”弗里德说。由于结构很简单,“每个核心只需执行一次。如果你要查看 24 个核心,那么五微秒内只需进行 24 次检查,这种方式的可扩展性非常好。”.

智能分配:
第二项创新称为 IOKernel,它是一个中央软件枢纽,负责将数据包定向到相应的应用程序。IOKernel 还使用拥塞检测算法,能够快速地将内核分配给拥塞的应用程序——速度比传统方法快几个数量级。

例如,IOKernel 可能会收到某个应用程序的数据包,该应用程序需要微秒级的处理速度。如果该应用程序由于核心不足而拥塞,IOKernel 会立即将一个空闲的核心分配给该应用程序。如果它还发现另一个应用程序正在运行处理对时间要求较低的数据的核心,则需要这些核心,并将其重新分配给拥塞的应用程序。应用程序也会提供帮助:如果某个应用程序没有处理数据,它会通知 IOKernel 其核心可以重新分配。处理后的数据随后会发送回 IOKernel 以进行响应。.

“IOKernel 专注于那些需要核心但又没有核心的应用程序,”Behrens 解释说。“它的作用是找出哪些应用程序过载需要更多核心,并尽快为它们分配核心,以免它们性能下降并出现巨大的延迟。”.

据Belay称,IOKernel、算法、应用程序和服务器硬件之间的紧密通信在数据中心中是“独一无二的”,这使得Shenango能够无缝运行:“该系统可以全局了解每台服务器上正在发生的事情。它可以看到提供数据包的硬件、每个核心上运行的程序以及每个应用程序的繁忙程度。而且这一切都是在微秒级的尺度上完成的。”.

下一步,研究人员将对 Shenango 进行改进,使其能够部署到实际的数据中心环境中。为此,他们正在确保该软件能够处理极高的数据吞吐量,并具备相应的安全功能。.

###

作者:罗伯·马瑟森,麻省理工学院新闻办公室