优化1自成立以来,eBay 一直在构建由 12 个数据中心组成的网络,以满足其不断增长的计算需求。.

 


因此,随着业务的不断增长,eBay 数据处理中心的运营成本逐年增加也就不足为奇了。.


为此,eBay制定并实施了一项为期四年的数据中心计划,其目标雄心勃勃:将能源成本降低一半,并将计算性能提高一倍。同时,这种新的基础设施设计还将带来更高的运营灵活性和可靠性。
为了实现这些目标,eBay将把资产整合到数量更少的数据中心中,每个数据中心都从设计之初就以最大限度地提高能源效率为目标,同时确保正常运行时间。


eBay 数据中心战略与运营主管 Dean Nelson 解释说:“成功的数据中心战略假定计算需求每年都会增长,但同时又能保证运营成本不会成比例增长。
我们需要打破计算负载与运营成本之间的线性关系,这就要求我们在能源效率、计算能力和服务器利用率方面实现持续的、颠覆性的飞跃。”
2010 年 5 月,eBay 启用了其旗舰数据中心,这也是其全新数据中心战略的基石——“Topaz 项目”。


位于犹他州南乔丹的Topaz数据中心是eBay迄今为止最大的资本投资项目,将容纳其全球超过三分之一的服务器基础设施。尽管Topaz具备Tier IV数据中心所需的所有冗余措施,但其能效比仅为1.4。
通过最佳实践,实现了机架效率的最大化。


Topaz 的设施通过在其基础设施中采用创新、节能的机制,例如改进的建筑设计、节水装置、雨水收集以及电气和冷却子系统中的动态控制,以最低的成本为高架楼层提供能源和冷却。.


除了这些现场措施外,Topaz还在架空地板空间实施了许多最佳实践,并与冷水机组紧密合作,为LEED金级认证设计做出了贡献。Topaz
架空地板的五大特点尤其引人注目,它们不仅价值卓越,而且适用于所有现代数据中心:


优化21. 热通道封闭:

为了实现最高的冷却效率,eBay 采用了精细的热通道封闭设计,并在施工前进行了仔细的原型计算。
在其圣何塞总部,eBay 的数据中心架构团队构建了各种封闭设计的全尺寸模型,并试验了不同的策略(热通道封闭与冷通道封闭)、材料(封闭门与塑料外壳)和尺寸。这一设计过程在广泛实施之前,确定了成本、灵活性和可靠性之间的最佳平衡点。eBay 发现,在机柜空调 (CRAC) 发生故障时,没有任何其他热通道封闭方案比冷通道封闭方案提供更长的缓冲时间。该团队部署了由 45U 机柜组成的封闭通道,并与分销商合作,以确保模块化设计并最大限度地减少泄漏。


2. 每个机柜400V配电:

由于某些机柜中放置了多台刀片服务器,eBay希望每个机架都能提供高达17kW的负载。虽然传统的208V配电系统也能实现这一点,但Topaz通过将高压配电扩展到所有机柜,显著降低了成本。
通过为每个机柜提供400V电源,eBay减少了降压变压和电缆传输损耗,并降低了铜缆的使用量。


具体来说,eBay 为每个机架中的两个 Raritan 智能机架电源分配单元(也称为插线板或机架式 PDU)提供 400V 三相电源。这些机架式 PDU 采用内部线对地(三相星形接法)布线,为每台服务器提供 240V 单相电源,该电压范围几乎适用于所有 IT 设备。
由于无需进行不必要的电压转换,与 208V 配电相比,400V 电源可降低 2-3% 的能耗成本;与 120V 配电相比,可降低 4-5% 的能耗成本。


作为全球领先的机架式配电单元分销商,Raritan 提供多种可兼容 400V 插座的产品配置。虽然 400V 配电在北美地区相对较新,但 Raritan 已部署了 400V 系统,而 400V 系统已成为澳大利亚和许多欧洲国家的标配标准。.


3. 详细的服务器功耗监控
可以说,数据中心运营团队最重要的经济指标是每次搜索的总成本。由于服务器 CPU 容量随着每一代新产品的推出而大幅增长,eBay 每两年就会更换一次服务器,因为每瓦性能带来的收益超过了新资产的成本。


然而,随着每台服务器的购置,eBay 要想降低每次搜索的成本,就必须考虑服务器的所有运营成本,而不仅仅是资本支出。尤其值得注意的是,能源成本是所有资产中最大的运营支出。.


为了最大限度地节省成本,eBay 安装了 Raritan 机架式 PDU,可为每台服务器的电源提供精确的能耗数据。Raritan 的 Dominion PX 系列机架式 PDU 符合 IEC/ANSI 计费标准,可为数据中心内的每个设备提供连续、误差率低于 1% 的千瓦时 (kWh) 数据。Dominion PX 的设计充分考虑了 IT 和设施标准,可将这些数据传递给楼宇管理系统和实时资产跟踪系统,从而达到 Green Grid 定义的 PUE 3 类 (PUE3) 监控标准。.


“Dominion PX 能让我精确计算出每台服务器的真实运营成本,精确到分,”Nelson 说。“我可以了解所有制造商的能效概况和功耗要求,这些都将在下一份服务器招标书中进行摊销。”.


优化34. 精细的温度测量
在将许多最先进的机制融入其冷却基础设施之后,Topaz 还通过实时了解所有服务器的运行环境,提高了冷却效率,从而节省了成本并提高了可靠性。


尽管大多数数据中心都会监控设定温度和回风温度,但这些数据只能近似反映服务器的实际环境。而这些近似值需要运营商预留安全裕度和冷却间隙,这本身就是一种浪费。
相比之下,eBay 能够精确掌握 Topaz 数据中心内每个机架的进出风温度。具体来说,Topaz 遵循 ASHRAE 的服务器环境监控建议,除了热通道外,还会测量冷通道顶部、中部和底部的温度。由于这些信息可以持续监控,eBay 可以微调冷却参数以优化效率,同时确保在服务器出现任何故障时都能立即发出警报。
通常情况下,在每个机架上部署这种级别的环境监控成本会非常高昂。然而,整个 Dominion PX 系列智能机架 PDU 都能提供这种精细化的监控,而无需在即插即用的温度传感器之外增加额外的基础设施成本。


Raritan机架式PDU提供的现有网络层已准备好测量和监控湿度和温度数据。


5. 架空配电管道:
大多数数据中心的地板下都布满了错综复杂的电缆,从配电盘连接到各个机柜。然而,这种设计严重阻碍了空气流通,降低了散热效率。由于这些电缆通常位于架空地板下方,因此这个问题常常被忽视,但一旦暴露出来,就会造成严重后果。
此外,为每个断路器配备专用地板下连接的标准设计还会不必要地消耗大量铜线,造成资源浪费,同时限制了新机柜安装的灵活性。


为了解决这个问题,Topaz采用了架空配电管道,使得任何机柜都能轻松连接到400安培的电源。每排机柜都设有两条母线,每条母线都提供冗余电源,从而完全消除了地板下连接的需要。只需安装一个由断路器保护的接线盒,即可在机柜排的任何位置快速添加插座,而无需像以往那样等待数天才能请电工安装额外的插座。.


摘要:

eBay是一家极其重视可靠性的公司,因为停机成本高达每秒2000美元,或每分钟12万美元。eBay庞大的运营规模也意味着他们需要控制设备和电力成本。为了实现这一目标,eBay开发了一种数据中心模型,该模型不仅使其计算运营高度可靠,而且成本比他们正在退役的数据中心降低了50%。


除了最大限度地减少故障和降低运营成本外,eBay 位于美国犹他州南乔丹的工厂还获得了美国绿色建筑委员会颁发的能源与绿色设计先锋奖 (LEED) 金奖。.


然而,eBay 数据中心的灵活性设计与 LEED 金级能效认证或 IV 级可靠性认证同样重要。.


这是一个能够随着需求和设备变化而调整的数据中心,尤其对于 eBay 而言,它还能满足未来增长的需求。
通过实施 eBay 所倡导的 IT 行业最佳实践,即使是规模较小的数据中心也能利用现有设备、简单的流程和技术,提高正常运行时间、降低成本并提升效率。

作者:

本文由拉里坦提供

更多信息或报价