ToR争议—数据中心架构与布线

ToR争议—数据中心架构与布线高密度、虚拟化、云计算等数据中心技术趋势的演进，以及10 GBASE-T相关产品的应用，都深刻地影响了机房基础设施的变革，以ToR为代表的新架构设计的出现，更是对数据中心布线系统提出了新的课题。

从综合布线系统的角度看，适应ToR等方式的点对点布线，与综合布线国际标准提倡的集中式布线之间存在很大差别，孰优孰劣也引发了新的争议。究竟哪种方式更适合数据中心实际需求及发展趋势?值得从业者关注和思考，更是用户关心的实际问题。

ToR潮流来袭，冲击布线厂商

在“开放式云网络框架”产品中，特别提到了对ToR架构的支持——“新产品提供更高水平的端口密度、性能以及灵活性……便于数据中心灵活选择核心与柜顶(ToR)层的构建方式……”实际上，在思科(Cisc o)、博科(Brocade)和H3C等网络设备厂商的新产品中，你都能看到ToR架构的影子。由于ToR极大地缩减了布线的使用量，这种架构若逐渐成为主流，将给布线厂商带来较大损失

什么是ToR、EoR、MoR?

ToR的英文全称为Top of Rank，意指柜顶，与列末EoR(End

of Row)及列中MoR(Middle of Row)一样，都是数据中心的一种架

构设计方式。

传统的机房架构主要以EoR和MoR方式(两者差别主要在于网络机柜的位置不同)为主，采取类似的集中式布线。

其中，EoR方式是指服务器机柜中所有的服务器端口，都通过跳线连接到机柜上的配线架，再由配线架上的铜缆延伸到网络机柜(位

于一组机柜尾部)中的接入交换机上。

MoR方式与EoR方式类似，只是将网络机柜部署在服务器机柜

的中部，从而在一定程度上减少了从服务器机柜到网络机柜的线缆距离。

ToR方式的出现，为机房架构设计带来了新的变化：该方式将接入交换机放置在每个服务器机柜或单元的顶部，机柜内服务器直接通过短跳线连接到顶部的交换机上，再经由光纤从交换机的上行链路端口连至核心交换机。

粗看上去，ToR与EoR/MoR两类方式，只是在接入交换机的位置上发生了变化，但实际上改变了整个机房的网络结构。仅从设备使用上来说，一方面增加了交换机使用数量，另一方面，综合布线系统由从前的集中式布线变为了点对点布线方式，大大缩减了布线使用量。

ToR是不可阻挡的潮流吗?

在网络设备厂商阵营看来，采用ToR架构设计有诸多好处：降低了网络结构复杂性;更符合数据中心绿色和节能趋势;极大地缩短

了铜缆的使用距离，简化了线缆管理;通过增加光纤的使用替代铜缆，减少了网络拥塞，并可支持不同的I/O连接选项，比如10GbE以太网端口和光纤通道;为复制机柜配置提供了便利;可扩展性强，当新增加机柜和业务服务器时，服务器直接连接到ToR即可……

更为重要的是，分析ToR的诞生背景会发现，随着用户数据业务需求的猛增，数据中心机房服务器密度越来越高，虚拟化和云计算等新技术趋势日益流行，使得服务器对应的网络端口大大增加，并且增加了管理的复杂性，另外以太网(LAN)与光纤存储区域网络(SAN)的融合也越来越常见，这就必然要求一种新的网络拓扑结构与之相对应。

“从时间点上来看，传统的数据中心大多数以EoR为主，而新的数据中心越来越多的采用ToR的方式。”Juniper亚太区数据中心顾问工程师包贵新告诉布线联盟网，在云计算的大潮下，这种分布式架构的业务扩展性极强，要求的服务器数量也越来越多。例如新的Apac he Hadoop 0.23支持6000~10000台服务器在一个集群内，海量的服务器数量要求充分利用数据中心机柜空间的同时，海量的业务数据也需要更快更直接的高性能链路把数据传送到网络核心。在这样的趋

势下，显然ToR更加适用，在业务迅速扩展的压力下，ToR的方式可以更好的实现网络的更快速扩展。

不过，在美国康普公司中国区技术总监吴健看来，ToR在短期内还不会成为趋势。一方面，ToR还没有大面积的普遍应用，对于置顶交换机的稳定性，管理性，还有待观察;另一方面，目前所有国际国内标准仍然建议结构化布线，EoR/MoR仍然是主流。而ToR的长期发展如何，还要取决于网络设备的成本变化，LAN和SAN设备的发展，云技术和虚拟技术的发展。

对此，罗森伯格亚太电子有限公司高级产品经理孙慧永认为，T oR形式的产生的背景主要是在PC服务器架构每个机柜的服务器密度越来越高的情况下发展起来的，高密度机柜的设计也是数据中心技术发展的方向之一，ToR在今后的数据中心应用中比率将会有一定比例的增长，但不是完全替代EoR与MoR的方式。根据不同的服务器类型，网络架构以及机房密度等多方面的因素综合考虑选择适合自己的布线方案。

ToR未必节省，可能增加成本

在各种宣传资料中，ToR方式得到推广的一个重要理由，是节省了大量的布线成本和制冷成本，简化结构，使得机房更加绿色节能。但深入研究会发现，布线成本减少的代价是网络接入设备成本的增加和端口冗余，并且缩减也只是水平铜缆布线的部分，ToR对于光纤的

要求比传统布线方式更多。在初期建设成本之外，后期的管理和扩展问题有可能变得更加复杂。

ToR可能造成端口浪费

一直以来，ToR被诟病最多的就是交换机端口冗余问题。由于供电和散热等限制，若采用ToR方式，也就是在每个机柜顶端配置一

个交换机连接本机柜的服务器，就会使得每个交换机有很多的端口是用不上的。

TIA TR-42 通信布线系统工程委员会副主席Valerie Maguire曾

介绍过一个真实案例，某用户共有336个服务器机柜，每个机柜配置2台48端口的ToR交换机和40台服务器，这就使得每个交换机有8个端口是空闲的，整个网络就有112整台交换机端口数量都是空闲的。这些超额购买的设备和3年维护的成本总计将达到112万美金。如

果考虑机柜受供电能力约束的真实情况，每个机柜能放置的服务器数量远小于40台，则浪费的总额将更高。而若采用集中式布线只需花费27.5万美金，通过在布线上的投资就能换来极大的交换机等设备的节约。

“若全部48个交换机端口都被使用时，则发生了更大的问题。”

美国西蒙公司大中国区技术部经理陈宇通进一步分析说，哪怕再添加一台新的服务器，也需要再购买一台48端口的交换机。即使在空闲