校园网流量多维度行为分析及优化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
✓ 下载流量逐步增长，直到文件下载结束时，下载流量 达到峰值
✓ 上传流量在文件下载结束后继续增长，直到关闭迅雷 ✓ P2P是一种对称流量，在下载数据的同时，使用相当
的带宽上传数据 ✓ 使用向多个IP并发多个连接的方法不断扩展带宽
2020/12/21
a
10
三 时间维度总体流量趋势分析
✓ 校园网出口的 流量协议分布
• 保障VOIP、视频直播等对延迟和抖动敏感的应用 • 根据时间特征限制P2P流量 • 对其他高带宽占用比流量如HTTP Download Manager等
根据时间和区域特征进行差异化优先级设定，根据优先级分配 带宽
2020/12/21
a
24
校园网出口流量优化策略
✓ (3). 时间维度：
• 对带宽占比较大的下载类协议根据其时间分布特征执行差异化 的时间控制策略
2020/12/21
a
3
二 校园网高带宽占用比网络协议的流量特征
✓ 根据2016.5.142016.6.14校园网出口
流量日平均值数据，目
前流量占校园网入带宽 前5位的网络协议如表1 所示
表1 校园网入带宽TOP5协议
协议类型
入带宽百分比/%
HTTP_Streaming
19.9
HTTP
DownloadManager
2020/12/21
a
14
时间维度总体流量趋势分析
✓ 校园网用户使用带宽资源的情况非常不均衡:
• 排名百分比分布函数为:
xk-用户入带宽排名百分比， n-为用户总数。
• 1%用量最多的用户使用了校园网入流量的54% • 4%的用户使用80%的流量 • 20%的用户几乎使用了校园网的全部入流量
2020/12/21
✓ 不同在线视频网站呈现的流量特征略有不同 ✓ 在视频播放中间切换清晰度时，流量脉冲的峰值出现
成倍的波动，峰值之间的平静期随清晰度的提升缩短 ✓ 无线网移动流媒体的流量特征与有线网相似
2020/12/21
a
6
HTTP Download Manager流量特征
2020/12/21
a
7
HTTP Download Manager流量特征
✓ (5). 链路维度：
• 根据不同ISP链路的带宽利用情况，对不同链路相同协议类型执 行不同的限速策略
• 在拥塞线路针对某些高带宽占用协议如P2P、HTTP Download Manager协议采用比其他链路更严格的流控策略
• 实验显示，链路维度优化策略可以有效缓解拥塞线路的拥塞情况 ，充分利用非拥塞线路的带宽
高，公共区域、教学区用户偏好度较高的是优酷视频，宿舍区的 用户偏好度则比较均衡
2020/12/21
a
19
接入维度流量行为分析
✓ 校园网同一区域的有线和无线用户因接入方式 不同，其流量特征有较大差别
✓ 从时间分布来看：
• 宿舍区的有线和无线流量时间分布特征基本一致 • 办公区18:00-8:00之间的流量无线比有线下降的
a
15
区域维度流量行为分析
2020/12/21
a
16
区域维度流量行为分析
✓ 公共区域无线流量的峰值波动最为剧烈,可能与 公共区域人群的短时间聚集或离开有关
✓ 宿舍区无线流量则相对平稳 ✓ 根据不同区域流量的时间特征，需要制定差异
化的流量时间控制策略
2020/12/21
a
17
区域维度流量行为分析
✓ 校园网用户入带宽资源使用统计分布律符合幂律分布
• y-用户入带宽占总入带宽的百分比 • k-用户入带宽排名 • y呈幂指数单调递减函数，随k增加快速衰减。 • 在双对数坐标下, 幂律分布表现为一条斜率为幂指数的负数
的直线, 这一线性关系是判断随机变量是否满足幂律的依据
2020/12/21
a
Baidu Nhomakorabea
13
时间维度总体流量趋势分析
6.1
6.7
0.6
Thunder
5.9
5.5
-0.4
HTTP_Browsing
4.8
4.1
-0.7
HTTP_File_Transfer
3.7
2.4
-1.3
2020/12/21
a
11
时间维度总体流量趋势分析
✓ 入带宽占比前四位的协议在2016.6.1当日的时 间分布规律
2020/12/21
a
12
时间维度总体流量趋势分析
7.4
Thunder
5.6
Undefined
4.4
HTTP_Browsing
3.8
2020/12/21
a
4
在线视频应用的流量特征
2020/12/21
a
5
在线视频应用的流量特征
✓ HTTP Streaming下载的峰值速率比较高，呈现离 散的脉冲波形
✓ HTTP Streaming是非对称协议，下载速率约为上 传的23-26倍
• 对网页浏览等办公属性的流量保障白天时段的带宽 • 适当限制流媒体等娱乐性流量白天时段的带宽占比，在夜间则
不做限制 • 实验显示，时间维度优化策略可以有效提升用户白天工作时段
网页浏览的体验
2020/12/21
a
25
校园网出口流量优化策略
✓ (4). 区域维度：
• 对不同区域根据其协议偏好度，制定区域差异化的流控策略
2020/12/21
a
2
一 引言
✓ 高带宽需求的网络应用使校园网出口带宽拥 塞的压力不断增大
在线视频网站、云存储、P2P
✓ 有线无线一体化部署在校园网中不断推进， 用户大规模从有线迁移到无线，其流量行为 方式随之转变
✓ 针对P2P协议的以IP为单位的粗粒度流控 策略难以适应当前变化中的校园网流量环境
图7 不同区域有线、无线主要网络协议入带宽百分比分布
2020/12/21
a
18
区域维度流量行为分析
✓ 区域无线维度:
• 流媒体视频和迅雷下载偏好度最高的是宿舍区用户，最低的是教 学区用户
• 文件下载和移动流媒体偏好度最高的是公共区域用户 • Baidu web偏好度最高的是教学区用户 • HTTP Browsing偏好度最高的是办公区用户 • 几种常见的在线视频应用中，办公区用户对腾讯视频的偏好度最
校园网流量多维度行为分析及优化
作者：公绪晓，尚群，付中南，钱杰 报告人：公绪晓
北京大学计算中心 CERNET 2016，重庆
2016年10月27日
a
介绍提纲
一．引言 二．校园网高带宽占用比网络协议的流量特征 三．时间维度总体流量趋势分析 四．区域维度流量行为分析 五．接入维度流量行为分析 六．链路维度流量行为分析 七．校园网出口流量优化策略
✓ 随着有线无线一体化部署的实施，无线用户的比例不 断增加，流媒体、文件下载等高带宽需求应用对带宽 的占用比会进一步提高
2020/12/21
a
21
链路维度流量行为分析
图8 不同链路主要网络协议入带宽百分比分布
2020/12/21
a
22
链路维度流量行为分析
✓ HTTP Streaming和HTTP Download Manager 、迅雷是4条链路偏好度都比较高的协议
在拥塞线路的上下行速率，从而进一步提高Cache服务的性能
2020/12/21
a
27
汇报完毕，谢谢大家！
a
✓ 链路的协议分布呈现出较大的差异性：
• 教育网链路偏好度较高的是文件传输类与HTTPS协议 • 联通链路BITS与直播和游戏类协议占比较高 • 电信链路中加密、游戏和P2P下载占比较高 • 电信通链路中视频流媒体和P2P下载占比较高 • 因此对出口各条链路，特别是拥堵链路，需要根据其不同的协议
流量分布特征，制定差异化的流量优化策略
2020/12/21
a
26
校园网出口流量优化策略
✓ (6). 对校园网的重要服务如SMTP、DNS和VPN等提 供带宽保障
✓ (7). 加大Cache缓存服务的部署力度
• 对流媒体和下载这两种带宽占用比最高的协议提供缓存 • 在拥塞的ISP线路上对Cache服务器提供带宽保障 • 实验显示，该策略可以大大缓解出口拥塞，提高Cache服务器
发生了明显的
改变。入带宽 占比前5的协 议从2015.9 到2016.5的 变化见表2
表2 2015.9与2016.5入带宽前5位协议对比
协议
2015．9占总带宽百 2016.5占总带宽百
分比/%
分比/%
增加百分比/%
HTTP_Streaming
17.8
19.6
1.8
HTTP DownloadManager
2020/12/21
a
23
校园网出口流量优化策略
✓ (1). 根据校园网用户入带宽资源使用统计分布呈幂律 分布的特征，需要制定更公平合理的单IP带宽分配机 制，使流量分布趋于均衡
✓ (2). 协议方面：
• HTTP Streaming的流量优化需要在流媒体下载速率与用户 播放体验QoE之间取得平衡
幅度和趋势更为明显
2020/12/21
a
20
接入维度流量行为分析
✓ 从用户协议偏好度：
• 同一区域无线用户对流媒体、文件下载和HTTP Browsing 的偏好度高于有线用户。
• 使用迅雷下载方面，宿舍区的有线用户比无线用户偏好度高， 办公区则完全相反。
• 在线视频应用方面，办公区无线用户偏好腾讯视频，有线用户 偏好迅雷看看，而在宿舍区，无线用户偏好度比较均衡，有线 用户偏好迅雷看看。
✓ 流量特征为下载开始时流量迅速攀升到峰值并 随后保持稳定的下载速率直到文件下载结束
✓ 流量是对称的，既有上传也有下载，且上下行 的速率都很高
2020/12/21
a
8
P2P协议的流量特征
2020/12/21
a
9
P2P协议的流量特征
✓ 在下载的初始阶段，并发连接数迅速达到峰值，随后 迅速下降并逐渐稳定
✓ 上传流量在文件下载结束后继续增长，直到关闭迅雷 ✓ P2P是一种对称流量，在下载数据的同时，使用相当
的带宽上传数据 ✓ 使用向多个IP并发多个连接的方法不断扩展带宽
2020/12/21
a
10
三 时间维度总体流量趋势分析
✓ 校园网出口的 流量协议分布
• 保障VOIP、视频直播等对延迟和抖动敏感的应用 • 根据时间特征限制P2P流量 • 对其他高带宽占用比流量如HTTP Download Manager等
根据时间和区域特征进行差异化优先级设定，根据优先级分配 带宽
2020/12/21
a
24
校园网出口流量优化策略
✓ (3). 时间维度：
• 对带宽占比较大的下载类协议根据其时间分布特征执行差异化 的时间控制策略
2020/12/21
a
3
二 校园网高带宽占用比网络协议的流量特征
✓ 根据2016.5.142016.6.14校园网出口
流量日平均值数据，目
前流量占校园网入带宽 前5位的网络协议如表1 所示
表1 校园网入带宽TOP5协议
协议类型
入带宽百分比/%
HTTP_Streaming
19.9
HTTP
DownloadManager
2020/12/21
a
14
时间维度总体流量趋势分析
✓ 校园网用户使用带宽资源的情况非常不均衡:
• 排名百分比分布函数为:
xk-用户入带宽排名百分比， n-为用户总数。
• 1%用量最多的用户使用了校园网入流量的54% • 4%的用户使用80%的流量 • 20%的用户几乎使用了校园网的全部入流量
2020/12/21
✓ 不同在线视频网站呈现的流量特征略有不同 ✓ 在视频播放中间切换清晰度时，流量脉冲的峰值出现
成倍的波动，峰值之间的平静期随清晰度的提升缩短 ✓ 无线网移动流媒体的流量特征与有线网相似
2020/12/21
a
6
HTTP Download Manager流量特征
2020/12/21
a
7
HTTP Download Manager流量特征
✓ (5). 链路维度：
• 根据不同ISP链路的带宽利用情况，对不同链路相同协议类型执 行不同的限速策略
• 在拥塞线路针对某些高带宽占用协议如P2P、HTTP Download Manager协议采用比其他链路更严格的流控策略
• 实验显示，链路维度优化策略可以有效缓解拥塞线路的拥塞情况 ，充分利用非拥塞线路的带宽
高，公共区域、教学区用户偏好度较高的是优酷视频，宿舍区的 用户偏好度则比较均衡
2020/12/21
a
19
接入维度流量行为分析
✓ 校园网同一区域的有线和无线用户因接入方式 不同，其流量特征有较大差别
✓ 从时间分布来看：
• 宿舍区的有线和无线流量时间分布特征基本一致 • 办公区18:00-8:00之间的流量无线比有线下降的
a
15
区域维度流量行为分析
2020/12/21
a
16
区域维度流量行为分析
✓ 公共区域无线流量的峰值波动最为剧烈,可能与 公共区域人群的短时间聚集或离开有关
✓ 宿舍区无线流量则相对平稳 ✓ 根据不同区域流量的时间特征，需要制定差异
化的流量时间控制策略
2020/12/21
a
17
区域维度流量行为分析
✓ 校园网用户入带宽资源使用统计分布律符合幂律分布
• y-用户入带宽占总入带宽的百分比 • k-用户入带宽排名 • y呈幂指数单调递减函数，随k增加快速衰减。 • 在双对数坐标下, 幂律分布表现为一条斜率为幂指数的负数
的直线, 这一线性关系是判断随机变量是否满足幂律的依据
2020/12/21
a
Baidu Nhomakorabea
13
时间维度总体流量趋势分析
6.1
6.7
0.6
Thunder
5.9
5.5
-0.4
HTTP_Browsing
4.8
4.1
-0.7
HTTP_File_Transfer
3.7
2.4
-1.3
2020/12/21
a
11
时间维度总体流量趋势分析
✓ 入带宽占比前四位的协议在2016.6.1当日的时 间分布规律
2020/12/21
a
12
时间维度总体流量趋势分析
7.4
Thunder
5.6
Undefined
4.4
HTTP_Browsing
3.8
2020/12/21
a
4
在线视频应用的流量特征
2020/12/21
a
5
在线视频应用的流量特征
✓ HTTP Streaming下载的峰值速率比较高，呈现离 散的脉冲波形
✓ HTTP Streaming是非对称协议，下载速率约为上 传的23-26倍
• 对网页浏览等办公属性的流量保障白天时段的带宽 • 适当限制流媒体等娱乐性流量白天时段的带宽占比，在夜间则
不做限制 • 实验显示，时间维度优化策略可以有效提升用户白天工作时段
网页浏览的体验
2020/12/21
a
25
校园网出口流量优化策略
✓ (4). 区域维度：
• 对不同区域根据其协议偏好度，制定区域差异化的流控策略
2020/12/21
a
2
一 引言
✓ 高带宽需求的网络应用使校园网出口带宽拥 塞的压力不断增大
在线视频网站、云存储、P2P
✓ 有线无线一体化部署在校园网中不断推进， 用户大规模从有线迁移到无线，其流量行为 方式随之转变
✓ 针对P2P协议的以IP为单位的粗粒度流控 策略难以适应当前变化中的校园网流量环境
图7 不同区域有线、无线主要网络协议入带宽百分比分布
2020/12/21
a
18
区域维度流量行为分析
✓ 区域无线维度:
• 流媒体视频和迅雷下载偏好度最高的是宿舍区用户，最低的是教 学区用户
• 文件下载和移动流媒体偏好度最高的是公共区域用户 • Baidu web偏好度最高的是教学区用户 • HTTP Browsing偏好度最高的是办公区用户 • 几种常见的在线视频应用中，办公区用户对腾讯视频的偏好度最
校园网流量多维度行为分析及优化
作者：公绪晓，尚群，付中南，钱杰 报告人：公绪晓
北京大学计算中心 CERNET 2016，重庆
2016年10月27日
a
介绍提纲
一．引言 二．校园网高带宽占用比网络协议的流量特征 三．时间维度总体流量趋势分析 四．区域维度流量行为分析 五．接入维度流量行为分析 六．链路维度流量行为分析 七．校园网出口流量优化策略
✓ 随着有线无线一体化部署的实施，无线用户的比例不 断增加，流媒体、文件下载等高带宽需求应用对带宽 的占用比会进一步提高
2020/12/21
a
21
链路维度流量行为分析
图8 不同链路主要网络协议入带宽百分比分布
2020/12/21
a
22
链路维度流量行为分析
✓ HTTP Streaming和HTTP Download Manager 、迅雷是4条链路偏好度都比较高的协议
在拥塞线路的上下行速率，从而进一步提高Cache服务的性能
2020/12/21
a
27
汇报完毕，谢谢大家！
a
✓ 链路的协议分布呈现出较大的差异性：
• 教育网链路偏好度较高的是文件传输类与HTTPS协议 • 联通链路BITS与直播和游戏类协议占比较高 • 电信链路中加密、游戏和P2P下载占比较高 • 电信通链路中视频流媒体和P2P下载占比较高 • 因此对出口各条链路，特别是拥堵链路，需要根据其不同的协议
流量分布特征，制定差异化的流量优化策略
2020/12/21
a
26
校园网出口流量优化策略
✓ (6). 对校园网的重要服务如SMTP、DNS和VPN等提 供带宽保障
✓ (7). 加大Cache缓存服务的部署力度
• 对流媒体和下载这两种带宽占用比最高的协议提供缓存 • 在拥塞的ISP线路上对Cache服务器提供带宽保障 • 实验显示，该策略可以大大缓解出口拥塞，提高Cache服务器
发生了明显的
改变。入带宽 占比前5的协 议从2015.9 到2016.5的 变化见表2
表2 2015.9与2016.5入带宽前5位协议对比
协议
2015．9占总带宽百 2016.5占总带宽百
分比/%
分比/%
增加百分比/%
HTTP_Streaming
17.8
19.6
1.8
HTTP DownloadManager
2020/12/21
a
23
校园网出口流量优化策略
✓ (1). 根据校园网用户入带宽资源使用统计分布呈幂律 分布的特征，需要制定更公平合理的单IP带宽分配机 制，使流量分布趋于均衡
✓ (2). 协议方面：
• HTTP Streaming的流量优化需要在流媒体下载速率与用户 播放体验QoE之间取得平衡
幅度和趋势更为明显
2020/12/21
a
20
接入维度流量行为分析
✓ 从用户协议偏好度：
• 同一区域无线用户对流媒体、文件下载和HTTP Browsing 的偏好度高于有线用户。
• 使用迅雷下载方面，宿舍区的有线用户比无线用户偏好度高， 办公区则完全相反。
• 在线视频应用方面，办公区无线用户偏好腾讯视频，有线用户 偏好迅雷看看，而在宿舍区，无线用户偏好度比较均衡，有线 用户偏好迅雷看看。
✓ 流量特征为下载开始时流量迅速攀升到峰值并 随后保持稳定的下载速率直到文件下载结束
✓ 流量是对称的，既有上传也有下载，且上下行 的速率都很高
2020/12/21
a
8
P2P协议的流量特征
2020/12/21
a
9
P2P协议的流量特征
✓ 在下载的初始阶段，并发连接数迅速达到峰值，随后 迅速下降并逐渐稳定