种基于数据挖掘的IPTVQoE评价方法

6
6
2 IPTV QoE关键指标选择
步骤一：首先采用因子分析法来对指标变量进行分析，也就是对这些指标变量进行 KMO检验，KMO检验的目的是判断是否有必要对这些指标变量进行因子分析。
KM O
r2
ij ij
ijrij2
a2
ij ij
r in1XiEXYiEY in1XiEX2 in1YiEY2
mos(u)c1r2r 2c 4c2r rc 5c3
R 2 = S S R
SST
n i 1
yi
y
n
yi y
i 1
3. 确定参数系数：根据上一步得到的回
目录
1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证
14
4 实验验证
1. 利用某市运营商用户针对直播和点播的真实IPTV指标数据，采用本文方法进行 拟合评分，利用这部分用户的电话回访数据（用户主观评分）计算本文拟合算 法的拟合优度值。
2. 明确回归模型：回归方程的构建涉及 多指标问题，也就是每个因变量对应 多个指标，不能简单的通过画出离散 点来实现函数拟合，本节采用的方法 是先通过分析上面相关性分析法得到 指标与因变量之间的关系，然后根据 专家经验来建立回归模型。
M O S N ,V = 1 b 1 P L R a b 1 2 a b 2 3 F R J i tta e 3 r b l4 n B b 5 R D e la y 1 b 4
命中率 66.35% 53.98% 48.46% 43.15% 38.84% 34.44% 32.49% 27.43% 26.10%
③ 提取3日内所有IPTV质量类投 诉记录，作为投诉清单，共 计2410人。
④ 对比QoE预警清单针对投诉 16 清 单 的 命 中 率 ， 验 证 本 文
采用本文设计的评价模型，在设定触 发预警评分阈值为80分时，QoE预警 清单对投诉清单的命中率为66.35%， 即：本文方法可有效预警60%以上的 投诉用户。
IV.需要有效的IPTV QoE计算方法
3
3
1 问题和背景
传统评价方法
QoE评价方法 基于数据挖掘的 评价方法
完 全 参 考 评 价
部 分 参 考 评 价
无 参 考 评 价
QoE指标选取分 析
QoE评价模型因 子 源自 析 法主 成 分 分 析 法
相 关 性 分 析 法
回 归 分 析 法
AHP 层次 分析 法）
主成分
1 2 3
特征值 方差贡献率
3.735 1.174 1.213
0.5133 0.1613 0.1667
累积贡献率
0.5133 0.6746 0.8412
2 IPTV QoE关键指标选择
步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存 在相关性的指标，从而降低指标数目。
研究对 象和问
题
II.大面积IPTV质量投诉，用户对IPTV的服务质量满意度下降，宽带 运营商难以先于用户投诉发现IPTV质量劣化现象，难以预警投诉并 提前处置
III. IPTV业务在日常运行中，积累了海量的指标数据难以发挥应有 价值。需要获取每个IPTV客户在使用业务过程中感受到的质量（感 知质量，Quality of experience, QoE），以实现投诉预防、预 检预修。
视频
直播 点播
a1
4.4520 3.352
a2
-0.0065 -0.0073
a3
0.078 0.112
b1
7.033 9.982
b2
1.912 0.957
拟合优度
93.04% 90.82%
✓ 不同的IPTV业务的指标参数不一样，造成这个结果的原因是选择的两个视频在 时间与空间信息上所包含的数据量本身就不一样，也就意味着它们各自对IPTV 质量的影响不同，所以也就导致它们对丢包率、比特率、帧率等参数的相关性 不一样；
✓ 所设计的拟合回归函数可以很好的反映指标与QoE之间的关系，通过上面的拟
合优度值与残差平方和可以看出，不同的视频采用本论文设计的评价模型得到
15 的拟合回归函数的拟合优度值均大于90%，且残差平方和均小于0.04，说明此
拟合回归函数能较好反映用户真实体验。
15
4 实验验证
2. 利用某省运营商全部用户3天内真实IPTV指标数据，采用本文方法对每个用户进 行拟合评分，并计算每个用户3日平均分，采用不同的阈值进行质量预警，然后 利用3日内全省IPTV投诉记录进行实际预警命中率验证。
0.018 35 210 24 76
A
=
0
.0
2
6
28
198
19
8
1
0.021 26 176 16 84
0.014 20 172 20 80
1.094 1.705 1.502 1.602 -1.602
-0.365 0.692 0.847 0.748 -0.748
-0.608 0.186 0.273 0.320 -0.320
抖动
时延
MOS
1.000
-0.623
-0.767 -0.698
丢包率 -0.623
1.000
0.228
0.070
抖动
-0.767
0.228
1.000
0.480
时延
-0.698
0.070
0.480
1.000
MOS值为通过大量电话 回访获得的用户主观评 分结果，取值范围0-5， 代表了IPTV用户的真实感 受，作为对IPTV指标的相 关性检验依据。
丢包率 抖动 时延 掉线率
丢包率 1.000 0.102 0.014 0.124
抖动 0.102 1.000 0.210 0.301
时延 0.014
掉线率 0.124
7
0.210 1.000 0.140 0.301 0.140 1.000
✓ IPTV承载网络QoE参数的KMO值为 0.83
✓ IPTV视频QoE参数的KMO值为0.78 ✓ 用户终端性能QoE参数的KMO为0.80
第一主成分
第二主成分
第三主成分
指标
第一特征向量 指标
第二特征向量 指标
第三特征向量
丢包率 抖动
3.363 1.012
抖动 时延
4.012 1.109
时延 掉线率
3.102 1.054
时延
1.132
丢包率
-1.018
抖动
-1.065
掉线率
-0.076
掉线率
-0.182
丢包率
-0.168
所以得到影响第一主成分的指标为丢包率，影响第二主成分的指标为抖动，影响 第三主成分的指标为时延，最后得到影响IPTV承载网络QoE参数的指标为丢包率 、抖动和时延。同理可获得其他类型的主成分指标
12
12
3 IPTV QoE评价模型
1. 明确回归方程中哪些是自变量与因变 量：通过上述QoE评价模型可知：只 需要求出MOS( N ,V )和mos(u)的回归 方程就可以得到完整的关于指标与 QoE之间的回归方程，因此本节的回 归方程有两个，因变量分别是MOS( N ,V )和mos(u)，而自变量则分别是他 们各自对应的相应指标。
① 利用全省所有IPTV用户连续3 天的IPTV运行数据，对所有 用户进行QoE评分，并计算3 日内平均分。指标样本记录 共计超过4千万条。
② 分别按照不同的评分阈值， 对用户进行质量预警，提取 多个阈值的QoE预警清单。
预警评分阈值 80 75 70 65 60 55 50 45 40
命中人数 1599 1301 1168 1040 936 830 783 661 629
目录
1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证
5
2 IPTV QoE关键指标选择
IPTV原始指标
指标分类
指标集合
视频编码
比、特分率辨、率帧率、视频压缩率、容错能力、复杂度
服务平台 承载网 终端 业务
最大并发数、平均响应时间 丢包率、抖动、时延、掉线率、连通率 CPU利用率、内存利用率 延迟因素DF、媒体丢包速率MLR
D
1.337
-0.523 -0.219 -0.748
0.748
0.122 -0.726 -1.120 -1.388 1.388
-1.580 -1.334 -1.284 -0.534 0.534
1.200 0.564 0.554 0.192 -0.192
0.564 1.200 1.168 1.084 -1.084
7
2 IPTV QoE关键指标选择
步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存 在相关性的指标，从而降低指标数目。
主成分分析（Principal components analysis, PCA）
0.025 50 240 30 70
0
.0
1
9
40
224
26
7
4
根据pearson相关系数与 相关性的关系，可以看 出IPTV承载网络中各指标 与MOS值之间是显著相 关，而各指标之间是低 相关或者中等相关，说 明降维后得到的指标是 符合要求的
目录
1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证
11
3 IPTV QoE评价模型
S M O S m o su •M O SN ,V
✓ SMOS为希望获得的IPTV QoE值，值的范 围是0到5之间的实数；
✓ mos(u)为用户终端性能QoE参数的体验质 量拟合后的评价值，值的范围是0到1之 间的实数；
✓ 而MOS( N ,V )是对IPTV视频QoE参数和 IPTV承载网络QoE参数的体验质量进行拟 合后得到的评价值，值的范围是0到5之 间的实数。
一种基于数据挖掘的IPTV QoE评价方法
2016年10月
报告人： 李良
目录
1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证
2
1 问题和背景
I. 电信、移动、广电等运营商均基于宽带IP（Internet Protocol， 网际网协议）网开展了大规模IPTV业务
16
谢谢
R0.554 1.168 1.200 1.106 -1.106 0.192 1.084 1.106 1.200 -1.200
-0.192 -1.084 -1.106 -1.200 1.200
C ont=λi/(1+2+6)
选取前三个主成分的累积贡献率达到 84.12%，而两个主成分的累积贡献率只 有67.46%，所以选择前三个主成分
2 IPTV QoE关键指标选择
步骤三：通过步骤二得到了三类指标里所有的关键指标，但这些指标还不一定能完全 反映用户体验质量QoE，因为还不确定这些指标对QoE是否有影响。继续采用Pearson 相关系数来对这些指标与QoE之间的关系进行分析，以确定这些指标是否为是影响 QoE的关键指标。
MOS
丢包率