万兆以太网带宽实测

在昨天的万兆网卡单端口传输速度极限测试中(/thread-1795724-1-1.html)，我们测试得到的结果十分理想，实测单向/双向带宽均达理论峰值带宽的99%以上。经过一些参数调整，最后得到的最高单向传输速度是稳定的1248MB/s，达到了万兆理论带宽的99.84%。

这个传输速度看似非常强大，已经比一般硬盘的速度快了不少。但是，万兆网卡作为目前网卡中的高端型号其比较对象应该是高端SSD硬盘，如果这样一对比就会发现这个速度其实并不是想象得那么强。硬盘技术最近也在突飞猛进地发展，在百度上搜了一下，找到的民用领域硬盘传输速度的纪录是这一个:

/a/20090902/000457.htm

这是译自一家国外网站做的评测，他们利用16块intel X25-E SSD加上两块LSI的6.0Gbps SAS阵列卡组成RAID0，最大读取速度达到了惊人的3.5GB/s。需要说明的是这只是2009年的纪录，之后应该有更高的纪录但我暂时没有找到。实际上，现在连单块SSD的读写速度都已经逼近了这一纪录，目前单块SSD的读写速度已经接近3GB/s(如OCZ的天价SSD硬盘Z-Drive R4实测达2.8GB/s)。这些传输速度都已经远远超过了单块万兆网卡的极限，如果在配有此类高端硬盘的机器之间传输文件，那么连万兆网络都会成为瓶颈。

本测试所使用的网卡拥有两个万兆端口，在昨天的测试中只使用了其中

的一个端口，如果两个端口并发显然应该达到更高的的速度。但是否也能达到理论峰值的99%? 下面我们就对此进行测试。

类似于硬盘作RAID，网卡可以通过端口bonding(汇聚)技术提升传输速度。但是，网卡bonding会对总性能会造成细微的损失。因此，在以下测试中我们并不使用bonding技术，而是直接通过双端口进行多线程传输测试。这样做可以测出网卡的极限传输性能，这也是我们测试目的所在。

除了连接双绞线从1根改为2根外，测试的其他软硬件环境和昨天的相同，因此这里不再复述。下面是具体的测试结果：

双万兆端口并发测试结果

1、单向单线程测试(从pc1的两个万兆端口上各用1个线程向pc2发送数据)

测试结果：pc1两个端口的出流量实测速度之和约为1800MB/s(14400Mbps)，这个速度仅为单端口极限实测速度的1.44倍，有些令人失望。

2、单向多线程测试(从pc1的两个万兆端口上各用多个线程向pc2发送数据)

测试结果：传输速度不升反降，变为1770MB/s左右，比单线程时还少了30MB/s。

因此，单线程的1800MB/s就是我们测得的双端口并发最大传输速度。

这个速度仅相当于理论峰值速度的72%，而前面单端口的测试速度可以轻易达到理论峰值的99%以上(无论哪个端口)。因此这个成绩并不十分理想。

11.12.07更新: 已确认是PCI-e插槽问题，换了机器重新测试，现在的双端口并发传输速度2369MB/s(18950Mbps)，已达到理论峰值的94.75%

3、双向单线程测试

测试结果：双向传输速度之和为约3063MB/s(24500Mbps)。这个速度比起单向速度的两倍又有不小的损耗。

4、双向多线程测试

测试结果：传输速度有所提升，但提升幅度不大，最大实测值为约3240MB/s(25900Mbps)。

这个速度相当于单端口双向实测速度的 1.31倍，相当于理论峰值的65%。

总结：从以上测试结果看，双端口的测试结果和单端口差别明显。双端口实测峰值为单向1800MB/s，双向3063MB/s，和理论峰值有较大差距。我估计瓶颈很可能出在PCI-e带宽上面。这块卡应该是PCI-e 2.0 x8的接口，但是从以上测试看，似乎只发挥出了PCI-e 2.0 x4(或PCI-e 1.0 x8)的性能。如果这一瓶颈问题能够解决，相信性能还会有大幅提升。[11.12.08更新]

在昨天更换机器后的测试中，虽然双口单向性能有了提升，但是测试成

绩离理论峰值还有差距。分析后认为，虽然网卡已经工作在x8模式，但测试的主板和CPU都只是普通PC平台，无法充分发挥这款网卡的性能。如何解决？看来只有继续换机器。

今天，把网卡换到了intel Xeon 5600系列双路服务器平台继续测试。结果非常令人满意。测试成绩果然继续飙升，最后4项测试均完美达到了双万兆网卡的理论极限峰值。

最终测试成绩：

单端口单向：成绩仍然是1248MB/s(9984Mbps)，达到理论峰值的99.84% (看来这已经是极限速度，无法继续提升了)

单端口双向：小幅提升至2491MB/s(19928Mbps)，达到理论峰值的99.64%

双端口单向：大幅提升至2496MB/s(19968Mbps)，达到理论峰值的99.84%

双端口双向：大幅提升至4979MB/s(39832Mbps)，达到理论峰值的99.58%

至此，所有测试指标均已超过理论峰值的99%，充分验证了万兆以太网性能的真实性。本次测试完美结束。