ARM架构服务器

2月27日在上一篇关于ARM和x86在数据中心应用的较量，已经不是一个新话题了。我们经常看到功耗、性能数字，以及应用软件和生态系统丰富程度的讨论。《华为UDS对象存储：ARM自组织硬盘满足CERN功耗》一文里面，笔者曾经提到“功耗和成本正是UDS使用ARM而不是Intel Atom等处理器的原因，据了解华为此前在这一系列的产品中使用过Atom。”

现在我想以大型用户的实际研发和部署进度为切入点，继续谈谈ARM和x86之间各自的优势，以及可能存在的不足。

本文的两个主要论点是：ARM在用于数据中心的SoC方面，目前相对于x86的功能和集成度有一定优势；另外百度与Facebook主导的Open Compute Project（开放计算项目），其存储（服务器）设计的密度和灵活性也有些差别。那为什么标题中还说两家“异曲同工”呢？先来看看百度的情况。

百度ARM云存储支持纯x86/ARM，或两者混布

ChinaByte比特网：关于百度的ARM云存储节点，是否方便透露使用了来自哪家的处理器？系统来自哪个ODM？

以我的了解，华为UDS对象存储（云存储）也使用了ARM，在存储节点上每颗ARM （应该是单核）对应一个硬盘，而管理（元数据）节点仍然是x86。

我看到百度也是每个ARM核心对应一个硬盘，因此想了解下整套系统的组成，是否也需要x86的管理节点搭配使用？ARM在这里是什么样的角色（承担着哪些处理工作）？

百度：我们与ARM、Marvell 等业界领导者共同设计开发了这款ARM 云存储服务器，并拥有相关专利。完整的系统架构不方便透露。可以明确的是，我们的这套系统可以支持纯X86，或者纯ARM，或者两者混布。

点评：我想这个答复还算简单清楚，下面再看看实物照片：

百度的ARM云存储服务器，采用在2U机架中6个节点的机箱设计

上图下方为抽出的一个ARM节点，在外形尺寸上接近刀片服务器。我们可以看到4块希捷的3.5英寸硬盘，在右边红圈中的区域，2个带有散热片的芯片中应该有一个是来自Marvell的4核心ARM，附近斜插着一条ECC内存。

而放在机箱上的那个模块则是从机箱后部抽出来，在它两边是一对冗余电源模块。除了风扇排之外，这里大一点红圈中的3颗芯片应该是用于计算节点与对外万兆以太网（10GbE）接口之间的交换单元，右下方那个小芯片看上去像是ASPEED 的图形和远程管理（BMC）处理器。

可以看出，该2U系统有一块“中板”，负责内部通信和供电连接。

至本文截稿之时，笔者又看到了百度云首席架构师林仕鼎在HPCA大会上的演讲资料——《Application-Driven Datacenter Computing》。上图中提到了12 HDD/U 的密度，也就是2U 24块硬盘；另外内置网络交换模块也符合我们在上面的判断。

接下来讨论下Facebook的存储设计。

开放计算项目：30、15(45)盘位2U SAS JBOD

上图来自Open Compute Project（开放计算项目）的Open Vault Storage Hardware v0.7规格文档，作者自然是Facebook的人了。

这里的Open Vault存储实际上不包含服务器（主机）部分，只是一个JBOD硬盘扩展柜。关于x86和ARM在Facebook的应用我们会在后面谈及。

在2U的机箱里，上下容纳有2个像这样抽出硬盘“托盘（tray）”，那一共就是30个3.5英寸驱动器。WD 4TB企业级黑盘（单节点裸容量可达120TB）在该文档的多个照片中出现（如果换作我是西部数据的市场人员，把这些盘白送给Facebook也蛮值得的)。

从横向并排可以放5块硬盘这一点，可以确定Open Rack机柜不是标准的19英寸（682.5mm）宽度。如下图，它的宽度为538mm。

这张图机架尺寸图来自Open Compute Project的Open Rack Hardware v1.0文

档

至于硬盘与外界的I/O部分，主要是由前面那块绿色的SAS扩展板（SEB）来实现，上面关键的芯片和一般的JBOD都是用的SAS Expander。Facebook关键不同的一点是：在机箱前后气流进出的位置，居然不像传统服务器/存储那样安装塑料防尘面板。正如我们的判断，有知情者表示，他们是在整个数据中心机房的进风口来做防尘处理。

因此如果有人想直接完全照搬Open Compute Project的设计，需要考虑一下。拿来做参考，或者在其基础上改动当然是可以的。

Open Vault Storage单元后视图

从使用的台达风扇等情况来看，这款有可能来自广达的Facebook存储机箱，用料和做工还是不错的。

Open Vault系统结构图

这张图，有的读者可能在网上看到过。这里我们想简单交待一下逻辑关系。

2U机箱中的两个硬盘抽屉，各自通过Drive Plane Board来连接15块硬盘。这些SAS盘的双端口分别可以连接到A和B两块SAS扩展板（以实现连接路径的高可用，默认是每个tray一个SEB）。对于LSI Expander SAS2x28扩展器芯片来说，除了15个lane用于硬盘，还设计了一个外部mini-SAS x4连接器向上与主机端通信，以及两个内部mini-SAS x4连接器向下级联Open Vault（也可以是接下来要讲到的另一种JBOD？）。

定制系统的一大好处是，多余用不上的东西可以基本上去掉。没有前面板的开放机箱，自然也就可以在一个机柜的节点之间使用SFF-8087内部SAS线缆。这时我又想起了一个问题：“工作人员进出这样的Facebook机房，在着装上是否要放尘不好说，但没准要穿防辐射服。因为传统服务器/PC面板内侧的金属片是起到EMC电磁保护作用的。”

这张示意图来自Open Compute Project的Torpedo Design Concept Storage Server for Open Rack Hardware v0.3文档，尽管叫做“存储服务器”，其实也是一种JBOD。

Torpedo Design Concept（存储单元）的设计可以说比前面的Open Vault更加简单，空间效率更高。在2U的机架空间内应该可以容纳3个这样的单元，每个里面安装15块3.5英寸硬盘（一共就是45个驱动器）。作为 JBOD，它的核心也是SAS扩展器，这里使用了一块标准PCIe尺寸的Intel Expander RES2SV240。