公司数据中心建设服务质量保证设计方案

公司数据中心建设服务质量保证设计方案
1.1 服务质量保证设计分类
XXX公司本次网络的服务质量保证（QoS）设计主要包括两个方面：
●数据中心服务质量设计：由于采用Data Center
Ethernet技术，因此主要是DCE以太网QoS设计；
●传统局域网广域网服务质量设计：这一部分业务类型
复杂，包括业务数据、IP电话、视频会议等等，加上
传统局域网和广域网技术都有自身机制和带宽资源的
制约，因此是QoS设计的重点，这部分将主要是IP
QoS设计。

1.2 数据中心服务质量设计
本次数据中心采用Data Center Ethernet（DCE）技术，DCE的设计目标之一就是为未来大型数据中心的业务提供传输保障。

我们知道衡量QoS质量的四个要素是：带宽，
延迟，延迟抖动和丢弃率。

在资源整合后的面向服务的数据中心中，对带宽、延迟和丢弃率的要求是非常苛刻的，因此要达到新一代数据中心的设计目标，必须使DCE能够满足对带宽、延迟和抖动的服务质量要求。

1.2.1带宽及设备吞吐量设计
保证在资源整合后的网络传输带宽和网络设备吞吐能力，必须实现以下DCE设计：
1.2.1.1.设备吞吐能力
选择的设备必须能够提供足够的交换容量，Nexus 7000具备4Tbps的交换吞吐能力，每插槽230Gbps（可扩展500Gbps）；在接入层设备选择上采用接近1.2Tbps交换能力的Nexus 5000，并使用交换延展设备Nexus 2000将这一交换能力线性延展到每个服务器机柜。

1.2.1.2.带宽设计
首先要在数据中心的拓扑设计中规划好带宽。

在本次设计中接入层的每列机柜基本上保证每服务器接入网络的线速，这是依靠每台柜顶交换机（Nexus 2000）上连时的4
个万兆链路捆绑后所提供的带宽保证，另外Nexus 5000的1.2Tbps交换能力也保证了所有万兆汇聚后的无瓶颈处理。

数据中心当前最大规模的带宽占用还是在服务器之间
的内存同步、并行计算、数据备份和融合SAN之后的存储访问，如果能够将未来支持FCoE的存储机柜设计在Nexus 5000接入，其它万兆网卡的高性能服务器直接在Nexus 5000所在机柜接入，并保证服务器机柜分配得当的条件下，以上大量资源耗费的处理都可以在接入层的同一对Nexus 5000内完成，因此基本可以保证带宽的线性处理。

而接入层到数据中心汇聚层（Nexus 7000的VDC）的连接中是有一定过载，这些过载也只针对跨越两对Nexus 5000即两个列（也可称为POD）之间的流量，当前每对
Nexus 5000到7000之间采用4个万兆，在万兆端口数量不紧张的情况下还可以扩容并保证跨机箱的vPC技术实现充分负载均衡的端口捆绑。

而考虑到当前服务器数量远没有达到完全过载数量（充分过载是640台全线性1G的服务器接入），而且在适当安排服务器后两列之间的流量基本上非常少，大部分带宽消耗型应用将在列内完成，因此当前的过载比是完全满足当前和至少今后5年内的数据处理量要求的。

数据中心服务机箱（Catalyst 6500）和数据中心汇聚（Nexus 7000 VDC）之间当前的设计带宽是每机箱双万兆上连（40Gbps全双工吞吐量），这个数值已经超过当前每个机箱内的单防火墙模块在引擎加速特性下的吞吐能力（32Gbps）和单ACE模块的最大处理性能（16Gbps），因此也没有连接瓶颈。

在以后智能服务扩容时，互连的带宽还可以继续扩容，通过vPC和VSS技术保证跨机箱捆绑的充分负载均衡。

从数据中心汇聚到全网核心（Nexus 7000的VDC之间）则可以通过灵活的万兆线路跳接方便的扩容互连带宽，根据整个股份公司对数据中心访问量的评估，当前的互连方式（全双工超过80Gbps）也是完全满足至少5年的业务发展需求的。

1.2.1.3.DCE带宽管理：
在以上的理论分析中，带宽设计已经完全满足本次设计的需要，但是我们可以看到即使最完美的设计也不可能保证网络中处处线性、没有过载，这是不必要也不经济的。

在出现过载的位置，我们可以通过技术手段使得最需要带宽的服务能够保证优先获得资源，这也是服务质量保证设计的重点。

在本次推荐的DCE网络技术中已经完全支持IEEE最新的带宽管理技术802.1Qaz ETS（Enhanced Transmission Selection），该技术可以保证在过载情况下优先保证如高性能计算网、存储网流量的带宽，而一般数据业务可以灵活、
高效的使用剩余有效带宽，如下图所示11G对10G过载情况下的QoS优化带宽分配：
1.2.2低延迟设计
DCE的资源汇聚使得存储业务和高性能计算业务都将在一个交换平台上传送，DCE的一个重要要求就是保证这些网络原来的低延迟、低抖动能力一样可以在以太网上获得，这主要依靠设备的低延迟转发特性和在拥塞情况下高级的队列调度来实现。

在本期所推荐采用的Nexus系列交换机最大特点就是使用了Cisco在MDS系列存储交换机上实现的SAN网络低
延迟技术和专利，使以太网交换机获得了极低的转发延迟，三层端口对端口的转发延迟可在10～20us，而二层的端口见转发延迟可在3个us以下。

充分保证远程存储读写、远程内存访问的流畅性。

与带宽设计时一样，网络不可能在任何位置都通过充裕的资源，在适当的进行带宽分配和设计后，在许多关键的位置虽然存在过载，但仍不会带来资源的紧张。

但仍可能出现突发和不可预测的资源分配不够的问题，这时就需要采用高级的队列管理和调度，对延迟不敏感的业务主动出让一些资源，以保证对延迟极为敏感的业务服务质量不受影响。

在以太网上协调资源实现类似流量控制的很早就有，比如最常见的端口暂停帧机制（IEEE 802.3 Annex 31B），当有拥塞发生时通过互连端口信息的传递，让端口流量发送暂缓，以保证自己有足够的资源处理关键业务。

而这种传统的控制方式将导致一个物理端口内的所有业务的暂停，导致不可预料的延迟。

本次我们采用的DCE网络支持IEEE最新的Priority Flow Control (IEEE 802.1Qbb)技术，如下图所示，可以对多达8种不同业务给与完全不同的流量区别，从而保证迫切需要资源的存储、访存类业务流的低延迟优先性。

8类业务可以常规QoS的802.1Q优先标识和IP Precedence优先标识进行统一定义。

1.2.3无丢弃设计
资源缺乏会导致系统对业务进行丢弃，而存储业务、高性能计算业务等是对丢弃极为敏感的，由于业务机制对延迟
和成功率的苛刻要求，即使少量的丢弃也会对业务效率产生极为严重的影响。

DCE有“无丢弃以太网”的别称，就是在许多方面改善了传统以太网易于丢弃的简单流控行为。

主要表现在以下方面：
●Switch Fabric VoQ：这是SAN交换机的交换矩阵以
及运营商核心设备所广泛采用的矩阵队列调度方式，
现在该技术广泛使用在DCE的各级设备，有效的避免
在设备交换处理时的头端堵塞现象，保证高优先级流
量的无丢弃。

●硬件化的Credit 机制：这也是传统SAN交换机在硬
件上保证的传输无丢弃技术，它通过收发双方能有一
个互相沟通收发能力的计数器相互协商对方的发送和
接收能力，以一种高效沟通的方式保证在底层传输上
的无丢弃。

现在该技术以在DCE的各级交换机上采
用，保证收发以太网帧可以象过去收发存储FC帧一
样做到无丢弃。

●Per Virtual Lane (VL) Credit：上面的技术是物理端口
级别的，在DCE中还将这种硬件Credit技术用在端口内的Virtual Lane级别，这意味着在同一收发双方的物理口内，可以实现不同业务采用不同Credit参数，实现不同的流控要求，比如传统数据不进行这种机制以节约资源，而FCoE帧则必须使用该机制，而它们都将在一对收发物理接口内共存。

●BCN/QCN (IEEE 802.1Qau)：这是一种后向拥塞控制
机制，它最大的特点是可以在网络中检测出拥塞，然后发信令到源头，来降低过载的流量，使拥塞得以缓解，并保证优先业务无丢包。

该技术曾用于ATM等精细流量管理的网络中。

如下图所示。

1.3 非数据中心网络的服务质量设计
为了保证XXX公司非数据中心网络部分的关键应用，将对应用按重要等级进行分类，在网络上，实现对不同等级的应用提供优先权不同的质量服务。

实时多媒体应用如IP 电话、视频会议等应用将给予绝对的保证，而对一些不十分紧要的应用，在网络带宽充足的情况下将予以保证，在网络带宽不足的情况下，将预先舍弃，以保证关键应用。

XXX公司局域网和广域网需要具备提供数据、图像、语音、传真和各种多业务综合承载和接入能力。

信息传递的服务质量保证和性能优化设计将是最为关键的一个环节，它直
接影响到华能系统应用的稳定。

实际上IP网的两个技术根源——以太网和TCP/IP是众所周知的“无服务质量保证技术”，所谓无服务质量保证不是指服务的质量一定不好，而是在技术本质上只考虑数据的可达性、正确性，并没有机制去考虑数据递送中诸如延迟、延迟抖动等服务质量要素，因而又称之为“尽最大努力”（Best Effort）的传送方式。

随着网络技术的不断发展，今天的华能网络已从单一的数据传输应用转向了综合的多媒体应用，如IP电话业务应用、视频应用等。

这种转变引发对包括网络带宽、性能和灵活性在内的网络服务质量的大量需求，因而也产生了大量高新技术和产品。

如何利用TCP/IP、以太网高效和通用性来传输要求较高服务质量保证的业务、如何在XXX公司各级网络中进行设计和部署性能优化特性就是这里将要重点说明的。

实际上即使使用IP和以太网技术原本的Best Effort传送方式只要在资源充足的情况下用户也不会感到有服务质量
的问题。

因此只要网络资源充裕，语音、视频、传统应用等等各种用户都不会抱怨网络的传送，但是无限制的资源是不现实的，更多见的是突发和不可预测性造成的资源的局部紧张，在这样的网络中保证各种业务有它们最佳的服务质量才是性能优化设计的最终目标。

在XXX公司网络上有3种实现服务质量保证的思路：
（1）提供充裕的资源：这需要有高容量的吞吐能力、极低的转发延迟和充裕的带宽，在Best Effort环境里，即使不能提供无限丰富的资源，也需要网络尽可能的少的出现拥塞或至少不在关键部位（如骨干）出现拥塞，这需要精细的设计；
（2）拥塞处理机制：万一发生了拥塞，采用何种技术处理，如Email延迟几秒钟到达没有用户会抱怨，而视频会议如果出现这样的问题就很严重了。

因此如何使视频、语音、实时交互软件感觉不到拥塞则是需要在拥塞发生时处理的主要问题；
（3）拥塞规避：等到拥塞发生再进行的处理，对于容量大、要求延迟低而且对延迟抖动要求极为苛刻的视频应用来说可能已经来不及了，换句话说对于大规模视频流应用而言仅仅依靠拥塞处理机制是不可能达到预期效果的，必须对这些特殊应用的流量施行“拥塞规避”措施，即采用某种机制保证它们不拥塞（即使网络资源不是极大丰富的前提下），而其他业务使用它们使用剩余的资源。

以上解决手段不是孤立出现的，下面针对以上三个思路分别介绍在XXX公司各级网络实现IP QoS的方式。

1.3.1QoS实施方案
我们通常按以下步骤来考虑QoS的实施：
•步骤1：分析业务需求
•步骤2：QoS策略的制订和部署
•步骤3：评测和调整
1.3.2分析业务需求
首先我们需要了解XXX公司网络中存在哪些应用、其流量特征基线和未来发展情况，其次我们需要了解每种应用的服务质量特性和需求。

根据我们对XXX公司业务的了解，我们认为XXX公司存在视频会议应用、语音业务应用和各类不同档级的数据业务。

我们需要在实施前对网络所存在的这样业务现有情况进行流量基线调查，包括其细致的应用所占带宽比例，使用频度，未来的增长趋势等。

这需要依靠协议分析设备（比如XXX 公司已有的网络协议分析模块）、网络设备的Netflow/Netstream功能（这在前面建议的设备中都具有了），然后作出一个类似下图的分析：（此图仅是示例，不代表XXX 公司网络的实际情况，实际情况需要在实施前使用上述工具进行统计）
在充分了解后当前各业务，特别是构成复杂的数据业务后，制订各个业务的QoS需求。

以下做各个业务需求的示例：
其中数据业务最为复杂，我们只能根据一个大致的分类，将不同优先级的应用归入相关的类别，以后再逐步调整。

1.3.3QoS策略的制定和部署
QoS的策略我们遵循Diff-Serv框架所规定的分类、标识、调度、供给的流程准则。

如下图所示，不同的网络区域被Diff-Serv框架赋予不同的责任，因此也要在其位置赋予不同的QoS策略。

上图把网络分为分类标识区、QoS调度区和广域网供给区。

该区域划分规则广泛适用于XXX公司各级局域和广域网络。

下面我们分别说明QoS的策略制订：
1.3.3.1.分类和标识区
分类和标识区位于网络边缘。

在本项目中基本上是局域网的接入层，以及前面提到的省级广域网上下连路由器之间、市级广域网上下连路由器之间的拥有丰富局域网端口的汇聚层。

在此处我们要标识各种应用进行标识，比如802.1p、
DSCP（DiffServ Code Point）、传统的IP Precedence等等，利于后续的QoS调度。

我们对上述各类应用的标识要求如下表所示：
我们建议尽可能根据局域网端口进行标记，只要是该端口进入的流量即作相应标识，这种分类和标识方式占CPU 资源少、性能影响小，XXX公司视频终端的接入、特定的应用服务器的接入都可以采用这里的分类和标识方式。

还有一类业务是在应用级就做好了标识，比如IP电话，在音频流出IP电话机端口时相应的标记就已经打好。

如果设备的物理端口进入的流量混杂有多种复杂的应
用，要打不同的优先级标识，我们推荐两种方法：一个是利用桌面安全管理系统的应用标识功能（在“安全服务”一章有详述），直接在主机内进行标识；还可以在网络设备内根据该业务流的特征（比如协议端口号）进行标识。

前者需要安装桌面安全管理软件，后者需要设备支持基于硬件的流分类匹配技术，才能不影响性能。

接入层网络设备应当支持边缘端口对进入流量所打的标记是否信任进行设置，比如连接的是IP电话，则信任其设置的标识，如果是普通的客户端，则不信任，将其标识重置为Best Effort，这样可有效防止客户端欺骗。

另外局域网设备应当支持一套默认的二层和三层标识的转换映射，比如MAC帧内的CoS对IP包内的IP Precedence的映射，如果不能默认支持，那么将极大的增加管理和配置工作量。

1.3.3.
2.QoS调度区
QoS调度区是数据流传送所经过的网络主体，包括各级局域网和广域网路由器。

我们只需要识别流量中做好的标识，根据标识进行资源的调度。

由于局域网和广域网在资源供给上的巨大差异，因此它们的调度措施是完全不同的。

（一）局域网
在局域网上我们认为提供充裕资源的条件是具备的，如果有明显拥塞，首先应检查其局域网设计是否合理，增加带宽、升级设备对于现在的局域网而言所花费的代价和得到的效果远远优于复杂的设计所花费的代价和得到的效果。

在高速的局域网上的过于复杂的QoS调度反而有可能降低总体性能。

但局域网设备仍应当默认支持一些高效率、低开销的调度算法，比如根据标识优先级加权的WRR队列分配算法；根据标识优先级加权的拥塞规避算法（WRED）。

前者各级
二层局域网设备应当默认启动，后者可以人为配置给金、银业务中基于TCP的数据业务。

（二）广域网
广域网路由器是部署QoS的重点。

我们对各类业务部署的策略如下：
（1）视频业务：根据标记识别视频业务，将视频业务按CBLLQ（Class-based Low Latency Queue）进行调度，给定视频业务的管制带宽，管制带宽为该业务所占带宽资源的上限，以防止绝对优先业务膨胀侵吞所有资源，比如广域网为视频专门预留2M×2，视频业务的管制带宽建议设为为3M（4M的75％），为一些隐蔽的系统流量（比如路由器协议、Keepalive等）保留一些带宽；
（2）音频业务：根据标记识别音频业务，将音频业务按CBLLQ进行调度，给定音频业务的管制带宽为其能够容纳的话路数乘以每路话路的带宽（在前期业务分析中已得出）。

注意，路由器应当支持利用H.323的呼叫允许控制(CAC)功能控制VoIP的话路数，从而到达控制VoIP占用带宽的目的，而不是去尽量容纳所有的话路而导致所有话音质量下降；
（3）数据业务：根据标识识别金服务、银服务、铜服务和剩余资源，为每种服务施加CBWFQ保证其“拥塞带宽”，并同时实施基于DSCP的智能丢弃（CBWRED）。

•CBWFQ：CBWFQ保证了拥塞带宽，是拥塞处理算法。

拥塞带宽是指当出现拥塞时能为该业务所至少
能保证的平均带宽。

所有拥塞带宽和前面所说的管
制带宽之和尽量不要超过广域网线路实际物理带宽
的75％，以便为系统流量（路由协议、Keepalive
等）预留一些带宽。

金服务和银服务的带宽根据其
实际带宽占用比例进行设置（前面的业务需求分析
中得出的带宽比例），一般金服务的带宽更充裕一
点。

而铜服务和剩余资源的拥塞带宽都为0，即没
有带宽保证。

•CBWRED：CBWRED替代了原有的队尾丢弃，而变为加权随机早期丢弃，这是拥塞规避算法。

金服
务比银服务的丢弃概率要低一些，银服务比铜服务
的丢弃概率低一些，而剩余资源是丢弃概率最大的
一类服务。

1.3.3.3.广域网供给区
广域网供给区是指广域网线路的传送部分，我们要考虑广域网线路的带宽、传送质量、传送延迟等对各类业务的影响。

（一）带宽
第一步的“业务需求分析”是广域网带宽申请的主要指导，另外在QoS调度时需要注意两个原则，最高优先的业务量（比如LLQ的业务的管制带宽）不应当超过物理带宽的33％，所有CBWFQ的拥塞带宽和CBLLQ的管制带宽之和不要超过物理带宽的75％。

根据这些规则，在广域网中，我
们应当把两种LLQ业务——语音和视频分在两个线路上，其中语音和其它业务在DS3线路，而视频单占2M×2线路。

只有一条线路故障、所有业务才会走到一条线路上。

正常情况视频独占4M线路，因此可以允许视频的LLQ管制带宽超过33％而达到75％（3M）。

（二）传送质量
我们要考虑广域网线路的质量，以满足业务分析中所要求的丢弃率指标，在申请线路时索要线路质量评估报告，以保证其符合我们线路上所传送业务中要求最高的那种业务的质量要求。

（三）延迟
在线路上的延迟由串行延迟和传送延迟构成。

串行延迟是指数据包要串行化发送所不得不发生的延迟，比如一个1500字节的包在64K线路上传送，必须将1500字节一个比特一个比特的放到线路上传送，这需要耗费1500
×8/64000＝187.5ms，仅串行延迟就超出了语音的单程延迟150ms以内的要求。

因此即使业务拥有了最高优先级和绝对优先发送权，也无法避免夹在大包之间发送，只要前面有大包，在低带宽线路上也会出现过大的延迟抖动。

因此我们需要将大包分解成小包交替放到线路上发送。

在广域网上，线路带宽都大于2M，经过计算，即使是最大包1500字节其串行延迟也非常低，没有必要分解传送，而在其它广域网如果带宽过低，则应当分包传送，请参考下表的分包值（表中的值是要达到可控延迟标准在相应带宽线路上建议的分解后的包大小，红色叉子表示分的包长已大于1500，不需要分包了）
还有一类传送延迟，指在线路上传送信号所耗费的时间，仅在距离超长（比如卫星线路）上会有此问题，此处不需讨论。

1.3.4评测和调整
QoS的部署是一种调优的部署，需要不断调整以达到最佳。

但我们怎样评估刚刚部署的策略是否起到效果了呢？在生产网络上用真实业务进行测量是有风险且无法定量评估的。

因此我们需要在网络中实现一套准确的测量和评测方法。

我们认为华能网络必须支持以下QoS测量方法：•协议分析设备的测量方法：利用协议分析设备的应用响应时间功能进行测算，XXX公司可以购买NAM
模块可以实现该功能，可以进一步在关键节点使用
该类模块；
•IP SLA：这是最重要的QoS测量方法，传统的ping 测量无法得到延迟、抖动、丢弃率等信息，而且协
议和测量位置都受限，IP SLA可以从任何支持该功
能的网络节点出发测量包括延迟、抖动、丢弃率在
内的各种参数，并配合网管形成丰富的统计报表和
图形，帮助我们分析QoS结果。

XXX公司本次改
造的主要路由器和局域网核心交换机都应当支持IP
SLA功能。

网管软件应当支持IP SLA的呈现功能；
•Netflow/Netstream：符合标准RFC 3954的Netflow/Netstream流量统计是测算特定业务是否
获得相应的网络资源的有力方法，但是在高速网络
中这种由设备担当的统计会耗掉过多的资源，真正
有实际意义的Netflow/Netstream应当是硬件化的，
因此XXX公司本次建设的所有核心交换机和广域
网主干路由器都应当支持通过硬件进行
Netflow/Netstream统计。

1.4 QOS策略管理
由于XXX公司网络系统分布较广，QoS的策略管理是非常关键的问题。

XXX公司网络应当从两个方面解决这个问
题：
•设备本身部署QoS策略的自动化；
•集中式的QoS策略管理软件
1.4.1QoS自动配置
XXX公司网络设备应当具有QoS自动配置功能，即只需要键入简单命令，便可以形成人机对话界面，自动生成QoS 策略配置命令行。

大大简化QoS的部署。

1.4.2QoS策略管理器解决方案
另外XXX公司还需要有一套功能强大、行之有效的集中式QoS策略管理软件对全网的QoS进行管理，这样可以大大提高网络维护的质量，降低维护成本。

QoS策略管理软件应当具有如下的功能：
•集中策略控制：一个集中的、覆盖整个网络的策略数据库消除了在路由选择和交换环境中为实现QoS
的配置、修改和部署而一个设备一个设备地进行管
理的必要。

•易于使用的策略配置：QPM简化了通信流分类和端对端QoS供应的配置，同时可以提供基于规则的策
略有效性验证。

•为关键商业应用提供差别服务：根据应用定义定义不同的服务等级，可通过内容级的应用识别功能得
到加强。

•语音QoS支持：确保高质量语音和视频服务的性能。

•全面的QoS功能支持：提供广泛的可以利用智能QoS功能的拥塞管理、拥塞避免和通信流整形服务。

•自动化策略部署：确保在设备上部署可控的和可靠的QoS策略。

通过提供能够在您的网络上定义端对端服务质量（QoS）策略的工具，QoS策略管理器（QPM）解决方案使网络管。