CMNET网络结构和路由策略

汇聚层
汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点 （相当于中国电信的普通核心），负责本大区内省份流量之间的交换 原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点 的一个或多个。只有杭州连接至三个核心，并连接到南京。 CMNET六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。
第 9页
9
CMNET骨干网国内拓扑结构
核心层
北京、上海、广州3个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为 核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际 Internet、 国内其他运营商的互联。 CMNET六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。
骨干网承载总流量之和为824Gbps。 骨干网承载省际总流量为555Gbps，占全部流量的67%。 骨干网承载网间总流量为269Gbps，占全部流量的33%。 各省业务量发展不平衡。
六期原设计于2012年8月完工，满足网络需求到2012年底，扩容后总 带宽为5.9T；
第14页
14
CMNET骨干业务量和端口技术发展情况
业务量增长：2003年到11年，网络承载流量增长175倍，年均增长90.7%
08年到11年：业务量增长8倍，年均增长100%，其中IDC流量贡献从5G发展到240G；用 户数方面，宽带从100万户发展到1000万户；WLAN从不到20万发展到超过800万。 建设容量：2003年到11年，网络建设容量增长约45倍，年均增长62.7%
2000
1500
1122.5 1000 500 810
0
接口 技术
10
110
180
03年 04年 05年 06年 07年 08年 09年 10年 11年
CMnet一期 CMnet二期 CMnet三期 CMnet四期 CMnet五期 2011年底 10G 155M 155M/2.5G 2.5G 2.5G/10G
02年
以品牌为基础解 决基本通信需求
增值业务提 升用户体验
07年
数据业务大爆炸
11年
多媒体化、定制化 互联网化
时间
第 5页
用户：中国移动的互联网用户发展情况 用 户 种 类
GPRS CSD WAP
2000
VIP客户
TD
专线 集团客户 家庭宽带 专线
WLAN GPRS CSD WAP
2003
WLAN GPRS CSD WAP
由中国移动国际公司运营的CMNET国际网（CMI）提供，拥有独立的自制系统，为CMNET提供国际互联业 务。现有北美POP点（单局址双设备）、香港POP点（单局址双设备）及欧洲POP点（尚未承载业务）
Sprint、AT&T、DT等国 际运营商 电信、联通等国内运营商 北美 香港 CMI
网间互联
北京1北京2 核心节点 上海1
第11页
11
CMNET骨干国际网络结构
国际出口层 北京、上海、广州的路由器组成，是国际网络的核心部分，面向 国内连接骨干核心层，面向国外连接海外POP点，用来汇聚 CMNET出入国内的国际流量，建立出国流量的缓冲区，设立这 个层面的一个重要目的是方便国际出口配套工程实施。目前北京 出口配套工程原因暂停使用。 国际接入层 国际接入层主要是指海外POP，主要用来接入海外网络，及与 其他海外ISP间的互联链路（包括部分PEER电路和购买的 TRANSIT电路）。它的主要作用是降低PEER互联成本和购买 Transit的成本。每个节点规划两台路由器。 美国POP点：洛杉矶、旧金山的国际互联网接入。 香港POP点：负责香港本地和部分东南亚、欧洲的互联网接 入。 伦敦POP点：英国伦敦，负责欧洲国际互联网接入。（目前 1台，未启用）
新增1个天津私有云节点作为骨干接入节点； 增加部分接入节点接入方向； 苏州城域网流量直连骨干网南京、上海节点，进行扁平化试点疏通方式；
国内出口节点结构调整方案
目前全网流量过于集中于北京、上海、广州三个核心，故障时影响面大且难以疏通， 北京、上海、广州三个核心节点设备及机房的压力大。 本次工程新增武汉、南京、成都3个节点作为国内互联节点，分散北京、上海、广州 三个核心节点的压力，降低故障时的影响面。
CMNET一期
建设3大核心5大汇聚 及一般骨干节点
节点：核心、汇聚——单节点、双设 备 一般骨干——单节点、单设 备、双上联 链路：少量2.5G、部分155M
涉及31个省份，设备替换、 双 节 点 改 造 及 版卡扩容、网内、省网、 出口链路扩容、全网优化 设备替换 链路： 10G、 2.5G为主， 少量155M 链路： 2.5G 、 155M 节点： 为主 核心、汇聚：单节点、双 节点：核心汇聚增设 设备、建设第二节点 第二节点（一般骨干） 其他节点：双节点、双设 其他节点：双节点、 备、双上联 双设备、双上联
2012
手机用户发展：手机用户数从不足2000万增长到4 .5亿。 宽带用户发展：宽带用户数从100万左右发展到目前的近1000万，
网络承载的流量增加超过12倍。 WLAN大发展：WLAN网络经历了巨大发展，AP数量20万到200 万。Wlan用户从不足10万增长到3000万。
第 6页
骨干网络架构与路由策略
• 全网大力建设IDC中心，主要包 括7个一级IDC和5个二级IDC。
00年
源自文库网络雏形
双节点改造
04年
引入10G链路
07年
建设VPN专用网
10年
引入集群，大力发展IDC
时间
第 4页
内容：中国移动的互联网内容发展情况
业 务 种 类
数据增值业务： 70余种
SP 话音增值业务： 截 至 2009 年 9 月 共 有 合 作 18余种 SP7258 家 , 其 中 全 网 SP 共
新奥VPN一期: 涉及13个省份31个地市， 新增52台PE设备路由器， 上 联 至 CMNET 骨 干 网 设 备 CMNET网间互联： 上海广州新增第二国内出 口T1600 广州新增第二国际出口 CRS-1 扩容国内、国际网间链路
CMNET5期网络结构调整： 1、 北京、上海、广州分别设置2个 节点，每节点1台集群路由器 2、五大汇聚设置第二汇聚节点 3 、北京、西安、武汉、广州、上 海设置独立的IP RR 4、除8大核心汇聚节点外其他25个 一般骨干节点设置双节点 5 、北京、上海、广州国内互联设 置双节点 6 、北京、广州国际互联设置双节 点、上海设置单节点
骨干网总链路带宽：移动1.8T，电信21T，联通16T（互联网发展报告数据）
技术发展方面：从08年到11年，主流端口技术一直停留在10G/Port
G
CMNET承载流量增长情况
840.4
G
CMNET网络量总容量建设情况
1800.5
1000 800 600 400 200 0 5.6 8.4 64.8 83.2 29.6 54.4 401.56 218.4
CMNET网络结构和路由策略
2012年6月
第 1页
目录
•骨干网络架构与路由策略
•省内网络架构和路由策略
•省网组织结构与路由交换方式
•高价值业务的区分、标识原则及保障方法
第 2页
骨干网络架构与路由策略
骨干网络架构与路由策略
1. 2. 3. 4. 网络概述 网络现状 路由组织策略 网络演进
第 3页
网络：中国移动的互联网网络发展情况
接入层
接入层按照一个省份两个骨干接入节点设臵，只负责汇聚本省省际流量和出网流量。
第10页
10
CMNET骨干网络节点－概述
网络节点：2011 年底后，覆盖全国31 个省（区市）36 节点城市
– 划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量； – 划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发。
第12页
12
CMNET骨干网网络现状－网间互联节点设臵
国内互联节点： 北京、上海、广州，均为双节点设臵。 国际互联路由器： 北京、上海、广州，均为双节点设臵，由于安全配套尚未到位，故北京国际出口、上海国际出口2、广 州国际出口1暂未上线。 NAP互联路由器： 北京、上海、广州；均为单节点设臵。
海外POP点
北京 广州
骨 干 网
上海
骨干核心层（北京、上海、广州）：负
责中转省际流量、网间流量；
AS9808 西安
成都
沈阳
武汉
南京
骨干汇聚层（西安、成都、武汉、南京、
沈阳5省）：负责中转省际流量；
骨干接入层（23个省）：负责汇聚本
省流量。
省 网
同一AS
A结构（29省）
省 网 城 域 网
省网核心层 省网接入层/城域网核心
技 术 及 网 络 结 构 发 展
CMNET5期
奥运WLAN网间互联 新奥VPN一期 全面建设移动骨干网 CMNET三期至 四期二阶段
奥运WLAN: 涉及北京、上海、沈阳、 青岛、天津、秦皇岛 6 个 奥运城市，设置 WLAN 专 用国内、国际出口，承载 奥运WLAN业务
CMNET二期
网内网间链路扩容 全网优化
---2012年3月全网省际链路共205条，均值流量超过40%且峰值流量超过80%的链路共有37条（占 18%），峰值利用率达到100%的共31条链路（占15%）。
骨干网网内带宽及利用率分析
带宽 峰值带宽利用率 均值带宽利用率
带宽：Gbps
180 160 140 120 100 80 60 40 20 0 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
不同AS
B结构（广东、江西）
城域网接入层
全网组网原则：无论骨干和省网、城域网，一般接入节点至少连接两个上级节点（汇聚和核心）。 城域网核心至少连接两个省网核心，省网核心至少连接两个以上骨干核心（或汇聚）。 第 8页
CMNET骨干网的结构
总体分层
CMNET骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三 层结构。另外与核心层还连接有国际出入口层、互联互通层。一般接入层 及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）
骨干网按照地域分为3大片区，3大片区又细分为8个大区：
北京片区：北京大区、沈阳大区、西安大区 上海片区：上海大区、南京大区、武汉大区 广州片区：广州大区、成都大区
当前各片区向外发布路由优选情况如下（条数）：
电信互联，北京：上海：广州=300:287:359 联通互联，北京：上海：广州=374:223:393
骨干网络架构与路由策略
1. 2. 3. 4. 网络演进 网络现状 路由组织策略 网络演进
第 7页
CMNET网络概况
CMNET网总体分为两层结构，分为骨干网、省网。
− 骨干网按功能层次分为骨干核心层、骨干汇聚层、骨干接入层。 − 省网分为两种结构。其中29省采用一个自治域，分为省网核心、省网接入、城域网接入三层。
网络容量建设速度远低于业务量增长，且10G端口技术未升级，导致原 有网络结构日趋不适应新的流量模型。
第15页
15
在业务高速增长情况下，CMNET工程期末拥塞状态
--五期工程原计划于2011年11月份完工，推迟到今年9月份（预计），目前仍有270条骨干 链路未到位（五期建设规划共911条）
---六期原设计于2012年8月完工，目前未完成设备集采，预计工程将延后；
手机动漫
全业务运营
基地业务，互联网 业务
绿色农业 工业监控
可视电话
MM
公共安全
智能交通
基本业务：9种 补充业务：7种
基本语音，短信 前传等补充业务
879 家，开展合作业务 8.3 万 个
条码识别 条码凭证
音乐搜索
短信转移 /过滤/仓 库
环境监测
音乐随身听 全曲下载
电子广告
移动智能网
飞信
远程医疗
智能家居
广州1
第13页
CMNET六期工程建成后的结构
骨干节点网络结构调整
原核心骨干层和汇聚骨干层调整为骨干核心层，汇聚和疏通出网的业务量，实现跨省 业务的有效疏通；北京、上海、广州、武汉、南京、四川、西安、沈阳；除西安、沈 阳外，骨干核心节点之间全网状互联。 原一般骨干层调整为骨干接入层，用于汇接本省的出省的业务量，全网目前23个骨 干接入节点，六期工程内容：
第16页
16
骨干承载总流量情况
骨干网承载总流量=骨干网承载的省际流量+骨干网承载的网间流量
骨干网承载总流量
150.00 100.00 50.00 0.00
各省流量(Gbps)
123.2 119.9 69.6 51.4 49.7 44.5 37.7 35.5 29.2 24.5 24.3 24.1 21.3 18.8 17.8 17.6 15.7 15.4 14.9 12.2 9.5 8.4 7.8 6.1 6.1 5.3 4.2 3.5 2.1 1.9 1.6