中国电信低时延光网络白皮书_Release

低时延光网络技术白皮书
中国电信集团公司
2016年6月
目录
1概述 (1)
2低时延的业务需求 (1)
2.1金融/交易类业务对低时延的极致需求 (1)
2.24K/8K高清视频/虚拟现实等业务的高吞吐量需求 (3)
2.3实时性云业务的低时延需求 (4)
2.45G移动通信的低时延承载需求 (5)
3光网络的时延优势及构成分析 (6)
3.1光网络的时延优势 (6)
3.2光网络时延构成分析 (8)
3.3光网络设备时延的构成分析 (10)
3.4光网络时延性能的显性化监测 (12)
4光网络时延的优化举措 (13)
4.1光网络时延优化的基本举措 (13)
4.2光网络时延优化的高级举措 (14)
4.3总结 (15)
图表目录
图 1 纽约至芝加哥微波中继电路时延性能示意图 (2)
图 2 ITU-R M. 2083定义的IMT-2020(5G)关键能力指标 (5)
图 3 OSI七层模型时延比较示意图 (7)
表 1 网络电路时延分析 (7)
表 2 非相干光网络电路时延分布量化分析表 (8)
表 3 相干光网络电路时延分布量化分析表 (9)
表 4 SDH承载的FE业务时延测试结果表 (11)
表 5 FEC不同工作模式时延结果 (12)
图 4 OTN时延测试（DM）技术原理示意图 (13)
1
近几年来，网络时延（Delay/Latency）性能越来越得到人们的重视，逐渐成为通信业界的新热点。

低时延网络也成为运营商所关注的发展方向。

光传送网作为最基础的承载网络，在各类通信技术中拥有最低和最稳定的时延性能。

但是随着“互联网+”的深入发展，电信网络开始与各行各业深度融合，某些新兴行业和新兴业务对网络时延提出了近乎苛刻的需求，某些需求甚至到了现有光传送网络技术和组网结构无法满足的程度。

因此，非常有必要对低时延业务需求进行深入分析，从而进一步研究光传送网络的低时延优化技术，以更好的满足这些低时延业务的需求。

本白皮书将首先分析低时延业务需求和降低网络时延的现实意义，然后量化分析光传送网络中的时延分布，最后提出光传送网时延性能优化策略。

2
目前明确提出低时延需求的业务有四类：第一是金融和电子交易类用户，特别是大家耳熟能详的从事期货等产品高频交易（HFT: High Frequency Trading）的电子交易类用户；第二是基于TCP协议的高清视频类业务，包括4K/8K高清视频直播和点播业务、高清视频会议、以及未来的虚拟现实（VR）等实时性要求极高的大带宽业务；第三是部分云业务，特别是虚机迁移、数据热备份和实时性要求比较高的云桌面、云支付等业务；第四是尚处于研究阶段的未来5G移动网络的传送承载业务，目前5G网络对传送承载层预留的时延指标非常苛刻，需要一些低时延传输新技术加以保障。

2.1金融/交易类业务对低时延的极致需求
信息不对称是交易盈利的不二法则，时延越低，意味着你的信息比别人快，你的订单比别人先到达交易中心，你也就越容易盈利。

在发达的金融和交易市场中（尤其是美国），高频交易（HFT: High Frequency Trading）或称为机器交易、算法交易已经兴起多年，交易品涵盖了期货、股票、外汇等多个领域。

有统计数据显示,2009年HFT交易量在美国全国总交易量中的比例达到61%，2012这个数据攀升到70%，而英国在2011年甚至达到过77%[i]。

早在2008年，美国咨询公司TABB Group给出的题为《The Value of a Millisecond: Finding the Optimal Speed of a Trading Infrastructure》的研究报告中就指出，对于一个在美国电子交易市场的交易公司而言，如果其交易系统处理时间（包括传输时延）比竞争对手慢5毫秒（ms），它将损失1%的利润，如果慢10ms，则损失扩大到10%[ii]。

图 1 纽约至芝加哥微波中继电路时延性能示意图
“时间就是金钱”这句谚语在高频交易业务中充分显示的其现
实意义，早在2007年，Information Week杂志在一篇题为《 Wall Street‘s Quest To Process Data At The Speed Of Light 》的报道中，就宣称在美国电子金融交易市场，1ms的时延优势的价值是1亿美元。

2014年美国一家名为Virtue Financial的HFT公司准备上市前公开披露的报告显示其在过去5年共 1278个交易日中，只有1
个交易日是亏损的。

2014年华尔街畅销书作家迈克尔·刘易斯所著图书《Flash Boys》的出版（2015年4月中信出版社引入中文版，题为《高频交易员：华尔街的速度游戏》），则让普罗大众认识了高频交易这个专业词汇，也将其炒作成了年度热门词汇。

HFT的发展使得金融和电子交易公司对低时延的追求达到极致：一方面这些公司的服务器尽可能部署在交易机构（NYSE纽约股票交易所、NASDAQ纳斯达克股票交易所、CME芝加哥期货交易所等）的服务器附近，最好是相同的机房；另一方面，这些公司对低时延传输电路的追求也达到了白热化。

举两个例子：一个案例是2011年底，美国运营商Level3提取一条从纽约到洛杉矶的低时延10G电路（该电路时延比竞争对手低350us，大约降低1.5%），虽然为了降低1.5%的时延，Level3付出了2.5倍建设成本代价，但是拍卖价格是普通电路的50倍。

另一个案例是美国的HFT公司甚至建设了纽约（NYSE 所在地）到芝加哥（CME所在地）的微波中继系统；如图 1所示，相对于光纤系统，微波系统单向时延从6.55ms降低至4.25ms；原因有两个方面：一是光纤折射率大约1.5，空气中折射率大约1，微波信号传输速度大约是光纤信号传输速度的1.5倍；二是光缆路由必须避让自然屏障和建筑物，微波信号可以直达，路由长度可以更短。

2.24K/8K高清视频/虚拟现实等业务的高吞吐量需求
TCP协议已经成为Internet主流，TCP的确认机制保证了可靠性，但也带来了吞吐量受限的问题，参见如下公式：TCP吞吐量受限于三个因素，带宽BW、往返时延RTT和丢包率ρ。

假设带宽足够，且良好的网络质量可以不考虑丢包率，则时延成为决定性因素。

如果时延过大，客户体验带宽无法提升，此时仅提高带宽无法解决问题，形象的称之为“带宽黑洞”。

吞吐量≤min(BW,CWND
RTT ,
MSS
RTT
×
1
ρ
)
目前TCP协议包头表征拥塞窗口（CWND）大小是16位，因此CWND 最大值是64K字节（65536 Bytes）；MSS（Maximum Segment Size）是最大段长度，一般是1460字节，传输网中一般可以假设丢包率为零，因此最后一项不需要考虑；假设带宽（BW）为10Gbps，单向时延10ms（往返时延RTT为20ms）；根据上述公式，TCP协议的最大吞吐量只有26.3Mbps，远低于网络带宽。

考虑到网络实际情况，业界通常认为4K/8K高清视频等实时大通量业务的吞吐量需要达到实际码流速率的1.5倍，才能保证业务质量。

因此4K高清视频的吞吐量需求为30~45Mbps，按照上述公式计算，所能容忍的最大往返时延RTT为12~17ms。

虽然业界也提出了一些新技术来解决TCP协议的滑动窗口受限问题，例如RFC7323将滑动窗口的总大小扩展为30bit
（230=1073725440Bytes），应用层软件采用UDP传输或者多TCP线程也可以改善滑动窗口带来的吞吐量限制；但是这些解决方案需要网络整体的升级改造，短期内难以全面部署。

基于现有的网络环境，降低时延是解决TCP协议滑动窗口受限问题的最直接和最有效的手段。

IDC和CDN的部署需要考虑到4K/8K高清视频等高吞吐量业务的时延需求，合理部署。

2.3实时性云业务的低时延需求
云计算、大数据、物联网等发展趋势使得越来越多的业务运行在云上，云已经成为通信网络无法回避的趋势，而作为云的物理载体——数据中心逐渐成为网络流量的核心，数据在数据中心内部以及数据中心之间(DCI)的迁移越来越频繁，我们称之为云通信业务。

部分云通信业务有严格的实时性要求，此类业务也提出了低时延需求。

最典型的实时性云通信业务是虚拟机迁移，例如热迁移通常要
求时延低于10ms。

此外，云数据热备份、云灾备、高通量协同计算等云通信业务也有着严格的实时性要求。

随着越来越多的上层业务迁移到云上，为了满足用户体验，同
样也会对云承载网络提出严格的时延需求，例如云支付业务的最佳
体验需要时延低于10ms、云桌面业务的最佳体验需要时延低于
20ms，等等。

2.45G移动通信的低时延承载需求
5G目前处于起步阶段，提出了非常远大的愿景。

ITU已将5G标准正式命名为IMT-2020，我国IMT-2020(5G)推进组在2014年发布的题为《5G愿景与需求》白皮书中提出了5G的关键技术能力，包括：0.1~1Gbps的用户体验速率、每平方公里一百万的连接数密度、毫秒（ms）级的端到端时延、每平方公里数十Tbps的流量密度、每小时500公里（km）以上的移动性和数十Gbps以上的峰值速率，参加图 2。

该白皮书明确了用户体验速率、连接数密度和时延等5G网络的三大基本性能指标。

图 2 ITU-R M. 2083定义的IMT-2020(5G)关键能力指标
5G还是一项发展中的技术，各项性能指标尚未最终确定，但是可以确定的是5G相对于4G/LTE，对时延的要求更加苛刻。

在5G后
续发展中，需要无线网络和承载网络的技术专家深入合作，制定更
加明确和合理的时延指标，更好支撑5G的发展。

综上所述，随着电子交易、高清视频、云计算和未来5G等业务的发展，时延已经成为通信网络的重要性能指标，低时延也将成为
未来运营商网络能力竞争的重要手段。

在发达国家和国际市场的专线市场中，低时延电路已经是一个
专门的产品门类，时延已成为各大运营商专线业务的重要SLA和差
异化指标。

例如隶属澳大利亚电信（Telstra）的海缆公司PACNET就将其两个节点间的传输海缆专项按照时延性能分成低时延（Low Latency）、标准时延（Standard Latency）和尽力而为（Best Effort）三个等级，并提供差异化定价。

塔塔电信（TATA Communications）于2012年宣布建成全球低时延网络，重点服务于全球的金融公司和高频交易公司。

Verizon也专门成立了服务于金融公司的部门（VFN: Verizon Financial Network）,并与2012年推出了纽约、新泽西、芝加哥六大金融和交易数据中心之间的专用低时延网络，其中最具
有代表意义的CME芝加哥Cermak路数据中心和新泽西Carteret数据中心之间的传输专线双向时延是14.5ms，比普通电路减少了40%。

3
3.1光网络的时延优势
基于最基础的光纤光缆和最低的单位带宽*距离传输成本，光网络是目前主流通信技术中具有最低时延优势的技术。

虽然从技术原理分析，微波中继传输可以进一步降低时延，但是微波技术的使用很受限制，带宽能力也远远不能满足所有业务需求，成本也非常高，因此很难成为一种广泛推广的传输技术。

因此光传送网络依旧是全球运营商提供低时延电路的主要技术形态。

图 3 OSI七层模型时延比较示意图
图 3给出了OSI七层网络模型中各个层次的处理时延示意图，可见层次越低，处理时延越小。

表 1给出了网络中L0层至L3层各种网元引入时延的数量级分布，简单理解如下：L0层网元引入时延ns级、L1层网元引入时延us级、L2/L3层网元引入时延ms级、光纤引入时延与传输距离成正比（5us/km）。

表 1 网络电路时延分析
光网络的低时延优势源于其对业务信号处理层次极低，在全光传输距离可达范围内，除了5us/km的光纤固有传输时延以外，光网络设备引入的时延均为ns级的（1ns等于1us的千分之一）。

OTN的传输设备进入了L1层处理，单节点的时延多数也是在10us级（复杂封装结构下可能达到100us级）。

相对于交换机、路由器等L2、L3层网络设备单节点引入的1ms至10ms量级的时延，光网络设备节点引入时延只有其百分之一到千分之一。

3.2光网络时延构成分析
进一步优化光网络电路时延需要深入分析光网络电路中的时延分布，光网络工作在L0和L1层，根据表 1给出的不同层次网元引入的时延量级，光纤传输时延是光网络电路时延的决定性因素，其次是L1电层的处理（FEC编解码、成帧/解帧、业务封装、等），L0光学器件处理时延基本上可以忽略。

EDFA光放大器时延相对于其它光学器件比较高的原因也是其内部集成了一段用作放大介质的掺铒光纤带来的传输时延。

表 2 非相干光网络电路时延分布量化分析表
假设有一条光网络电路长度为2000公里（5us/km），经过了4个电中继站（100us/站）、30个光放站点（100ns/站）。

假设采用色散补偿光纤DCF进行色散补偿（0.625us/km），整个系统经过的尾
纤和跳纤总长度5公里。

我们简单核算一下各个部分的时延贡献比例。

传输光纤时延比重大约85%左右，占据决定性位置；若再加上DCF时延，光纤整体时延比重近95%。

光传送网络进入100Gbps时代以后全面采用相干光通信技术，线路上不再需要DCF，进一步降低了电路时延。

与采用DCF的10Gbps 光传输系统相比较，100Gbps光传输电路在相同的光缆路由条件下，能够降低10%左右。

这也是相干光通信带来的另一个好处。

在相干光通信网络中，光缆传输时延占到光网络电路时延的90%以上。

表 3 相干光网络电路时延分布量化分析表
综上所述，光网络不仅是目前主流通信技术中具有最低时延优势的技术，而且光网络电路时延具有良好的可预测性。

在中国电信骨干光传送网络中我们选取了一条100Gbps WDM电路进行了验证，该电路从上海到苏州，跨越一个一干系统和一个二干系统：一干上海—南京的光缆距离大约439公里、二干南京—苏州的光缆距离大约287公里；经过了4个OTM站点，站点双向时延按照150us计算；两者相加，双向时延理论分析值为7.86ms（726km×10us/km+150us×4）。

实际测试结果如下：100Gbps OTU4业务往返时延为7.859ms、100GE业务往返时延为7.858ms；经过若干小时的长期挂表测试，时延测试结果在小数点后3位数均未测试到变化。

可见，光网络的时延与理论分析结果相比较，误差非常小；而且非常稳定，随时间的变换很小。

这种低时延和低时延抖动的特性非常得到时延敏感客户的欢迎。

3.3光网络设备时延的构成分析
前文已论述，光纤传输时延是光网络电路时延中占据主导地位的组成部分，光网络设备引入时延比重较低（5%左右）。

虽然比重较低，但是在光缆路由无法进一步优化的限制条件下，光网络设备时延还能提供一定的优化空间，对于一些对时延要求积极苛刻的极端应用场景，也有较大的价值。

我们关注了OTN和SDH等两种主要的光网络技术，特别关注了以太网业务（Ethernet或者简写为ETH）作为支路业务的场景。

对于OTN技术，基于对100Gbps OTU板卡的量化分析，FEC编解码是L1层处理时延的主要来源，占比在80%以上；业务封装和成帧占据了其余的20%。

FEC技术对光传输系统的贡献非常大，但是随着系统对FEC纠错能力的要求越来越高，FEC的编解码算法越来越复杂，特别是LDPC 算法需要采用多次迭代的方式达到提高FEC纠错能力的目标，会带来较大的时延。

正是因为软判决FEC算法采用多次迭代解码的方式一步一步提高编码增益，每一次迭代就多引入更大的时延。

因此为了适应时延特别敏感的电路传输需求，部分厂商WDM/OTN设备已经可以提供FEC的低时延工作模式，通过配置迭代FEC解码算法的迭代次数，达到所需要的纠错能力和时延之间的平衡。

对于OTN技术，业务类型和映射方式对时延的影响在us量级，一般而言支路侧速率越低、映射路径越长，封装时延越长。

更进一步研究表明，在相同条件下，GMP封装时延低于GFP-T，GFP-T封装时延低于GFP-F，但是这种差异是us量级甚至亚us量级，一般而言不需要考虑。

对于SDH技术，由于容器颗粒比较小，业务类型对封装和映射时延的影响相对比较大，特备是ETH业务在SDH网络中一般采用
GFP-F封装，相对于TDM的封装时延有明显增加，随着ETH包长的增长，封装时延也会变长。

在中国电信骨干光传送网络中我们选取了一个10G SDH系统中的一条VC4电路进行了测试：当业务配置为STM-1时，端到端时延为1.46ms；当配置为FE业务是，端到端时延在2ms以上，而且随着帧长度的增加，时延也略有增长，参见表4。

表 4 SDH承载的FE业务时延测试结果表
理论分析和实验室测试均表明，SDH设备若采用低阶VC12映射，封装时延会显著增加，达到ms量级；若采用高阶VC4映射，封装时延为10us至100us量级。

ETH业务帧长度越大，封装时延越长,其影响在VC12低阶封装条件下更加显著。

综上所述，随着未来专线客户速率宽带化、接口以太化的趋势
越来越明显，未来光网络应当优选选择OTN技术作为承载方案，因
为当承载以太网业务是，OTN相对SDH技术可以提供更低的时延。

若必须采用SDH技术进行承载，应当尽量采用VC4高阶映射，避免采用VC12低阶映射。

FEC技术对光传输系统的贡献非常大，但是随着系统对FEC纠错能力的要求越来越高，FEC的编解码算法越来越复杂，特别是LDPC
算法需要采用多次迭代的方式达到提高FEC纠错能力的目标，会带
来较大的时延。

根据前面的分析，我们已经看到WDM/OTN设备电层
引入的时延中比例最大的就是FEC编解码时延。

表 5给出了一种FEC芯片在不同的解码方法是下的纠错能力和
时延测试结果，基本上每增加一次迭代，时延增加一倍。

表 5 FEC不同工作模式时延结果
正因为软判决FEC算法采用多次迭代解码的方式一步一步提高
编码增益，每一次迭代就多引入更大的时延。

因此为了适应时延特
别敏感的电路传输需求，部分厂商WDM/OTN设备已经可以提供FEC的低时延工作模式，通过配置迭代FEC解码算法的迭代次数，达到所
需要的纠错能力和时延之间的平衡。

3.4光网络时延性能的显性化监测
随着时延越来越成为业界关注的性能指标，如何低成本的显性
化监测电路时延指标也成为光网络未来的发展方向之一。

OTN技术在发展过程中考虑到了这种需求，ITU-T G.709定义了一种时延测试（DM: Delay Measurement）技术，利用OTN开销进行端到端时延测试，其
原理如图 4所示：时延测试发起端进行业务封装的同时在ODUk开销中打上时间戳，同时启动计时器；时间戳随着业务传递到时延测试终结端环回，反向传输给发起端；发起端接收到反向传输回来的时间戳，与计时器进行比较即可得到双向时延；考虑到OTN电路的双向对称性和路由一致性特点，往返时延的一半即可认为是单向传输时延；这种方法的测试精度在us量级，满足绝大多数业务需求。

图 4 OTN时延测试（DM）技术原理示意图
这种光网络时延显性化监测方法非常简单易行，不需要增加硬
件成本，只需要设备板卡和网管软件支持即可，因此很快得到了推广。

中国电信新建设的WDM和OTN网络已支持该项功能，为面向客户的低时延保证奠定了重要基础。

4光网络时延的优化举措
4.1光网络时延优化的基本举措
基于光网络时延构成的量化分析，光纤传输时延占据光网络电
路时延的90%以上，因此光网络时延的首要优化举措是路由优化，尽可能降低路由长度。

优化路由距离的时延优化结果非常容易量化，
每减少1公里的路由距离，业务双向传输时延（RTT）减低10us。

中国电信提出了一二干融合等战略举措，统筹规划骨干网光缆网络的
建设和使用，有利于优化光网络路由，提供更短的光缆路由，在未
来低时延专线市场竞争中取得技术优势。

研究表明，传统光WDM系统中的色散补偿光纤（DCF）引入的时延在光网络电路时延中占据了大约10%的比例。

随着相干光通信技术的普及，不再需要DCF进行色散补偿，有利于进一步降低光网络电
路时延。

在相同的光缆路由条件下，采用相干光通信技术的100Gbps WDM系统相对于早期10Gbps和40Gbps WDM系统，电路时延可以减低10%左右。

因此，低时延业务首先尽量选择采用相干光通信技术的
100Gbps WDM系统，其次未来优先升级到400Gbps等更高速率的光传输系统。

综上所述，优化光网络时延的两大利器分别是：（1）优化路由距离，降低光纤传输时延；（2）采用大管道传输，例如现阶段采用相干100Gbps WDM传输系统，未来优先升级到400Gbps等更高速率的光传输系统。

4.2光网络时延优化的高级举措
在前节所述两项基本优化举措均已实施，不具备进一步优化空间的前提下。

光网络依旧可以提供一些额外的时延新能技术优化手段。

但是首先需要明确的是，大部分技术优化手段所能优化的幅度都比较小。

1)提高传输速率：这是非常好理解的技术手段，相同的业务数据
量，传输时延与传输速率成反比；例如，1GB数据通过10Gbps电路传输所需时间大约是800ms，而通过100Gbps电路传输所需时间大约是80ms，100Gbps的优势非常明显；这也就是纽交所
（NYSE）等交易机构最早部署40Gbps、100Gbps高速光传输系统的主要原因。

因此，对于时延敏感用户，不应该以业务数据量作为带宽选择的依据，而是应尽可能提高带宽，降低传输时延。

2)减少光电光OEO再生次数：每次OEO再生都需要引入FEC编解
码、封装、解封装的一系列操作，带来100us量级的时延。

中国电信近几年在骨干传送网中规模部署了超长距（ULH）100Gbps WDM 传输系统和ROADM全光调度设备，极大提高了100Gbps波长电路的全光传输距离，减少了OEO再生，取得了较明显的低时延技术优势。

3)采用OTN传输技术：OTN的业务封装和映射时延相对于SDH技术
有明显优势，在相同条件下低时延业务应当优先选择OTN技术承载。

目前中国电信传送网络已经全面采用OTN技术承载波长通道业务和大颗粒专线业务，为时延性能的优化奠定了物理基础。

4)选择合适的FEC纠错算法：在能够满足无电中继传输以及系统性
能、余量需求的前提下，应当选择低时延的FEC纠错算法，降低FEC编解码带来的时延。

这种技术需要传输设备具备FEC调整能力，而且优化效果也只有几十us，可以作为一种非常规的技术优化手段，提供给对时延及其敏感的特殊用户。

5)考虑采用RAMAN放大器：RAMAN放大器一方面不需要掺铒光纤
（EDF）作为放大介质，避免了EDF带来的额外时延，RAMAN放大器的放大介质就是传输光纤自身；RAMAN放大器还可以有效延长全光传输距离，减少OEO再生引入的时延。

4.3总结
随着时延（Delay/Latency）性能越来越得到人们的关注，低时延网络也成为运营商所关注的发展方向。

光传送网作为最基础的承载网络，在各类通信技术中拥有最低和最稳定的时延性能，因此成为低时延传输业务的主要承载技术。

本白皮书对光网络时延优化提出如下建议：
一、通过优化光缆路由降低光网络电路长度，减少传输时延
鉴于光纤传输时延占据了光网络电路时延中的近九成，因此通过网络架构优化和光缆路由优化减少路由长度是优化光网络电路时延最有效的方案。

按照5us/km的信号在光纤中的传输速率，光缆路由距离优化100公里，即可带来500us（0.5ms）的单向时延优化，效果非常明显。

中国电信拥有全国最完善、最发达的光纤光缆网络，拓扑丰富，路由距离短，在提供低时延业务服务时具有天然的优势。

为了更好的满足客户对低时延的要求，应继续推动网络扁平化，减少层次化网络带来的不必要的电路路由迂回，优化光纤光缆网络拓扑，进一步巩固优势，在低时延专线市场竞争中取得先机。

二、通过技术手段进一步优化光网络电路时延性能。