4G用户体验质量QoE体系原理及优化指导书V1.docx
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
4G 用户体验质量 QoE 体系原理及优化指导书
2016 年 4G 网络 QOE算法简介和考核目标
指标简介:
4G 时代已经来临,网络建设持续发力、客户挖掘和发展加之各类新兴APP业务的多样性(智能终端
的快速普及和微信、视频、证券、云盘等新兴移动互联网业务应用的日趋丰富),用户对移动数据业
务使用体验的要求愈来愈高。
因此,需要进行对用户使用的主流业务进行科学的量化和评价,以便进
一步进行客户感知量化管理和端到端短板问题挖掘及精准优化。
为了紧密贴近用户上网实际感知,必须要转变网络质量管理方式,不仅关注网络性能,更要关注业务
质量与用户感知的量化评价。
本次基于单用户单次会话控制面和业务面( S1 接口、 S11 接口、 S6A 接口信令)全流程事件构成感知评价要素,从接入性( Accessibility)、完整性( Integrity )和保持性( Retainability )三
个部分的用户感知关键指标 KQI 来构建 4G 客户 QoE(用户的体验质量)评估体系,
以通过 QoE 的量化的形式来评估用户感知的好坏程度,并对评估出感知差的用户、站点/ 小区、SP进
行全程全网端到端的分析优化,从而提升用户的上网感知,即让用户上网时获得“上得去,不中断,
速率快”的良好体验。
2016 年 4G 网络客户业务QOE 评价算法变化情况描述:本次主要根据浏览、视频、应用下载和即时通
信业务实际特性,主要基于各类业务QOS要求特性,例如:交互类时延要求低、会话类时延要求高、
视频类速率码率和清晰度速率差异要求。
针对接入性能、完整性能和保持性能进行门限重新定义,更
加适合现有客户满意度需求,通过无线、核心网络和业务层面优化,达到进一步提升客户满意度和业
务感知的目的。
(1)浏览业务小包时延和大包感知权重进行优化,根据小包流量和大包流量、小包次数和大包次数
比例和流量贡献情况,适当增加大包速率感知权重,由前期小包:大包=65%:35%优化为小包:大包
=20%: 80%;
( 2)视频业务四大APP(乐视、优酷、爱奇艺、腾讯)进行标清、高清、超清、1080P 测试验证, 15
年以标清视频为基准进行视频感知制定,由于客户使用高清视频比例达到65%左右,因此2016 年以
高清视频感知需求为基准,制定了贴近业务需求的速率感知门限,更加准确的评价视频客户使用业务
感知高低。
( 3)应用下载大流量业务速率感知提升,为了进一步保障和提升
据感知门限,例如>8M 应用下载业务优秀门限由S 提升为 4Mbit/S 4G 存量客户感知,适当提升大包数。
考核目标:
4G 业务 QOE 以 1 月 QOE 百分制得分为基准,各地市每个月目标为在一月份基础上,百分制得分增加1%为达到考核目标(举例: 2 月份为在 1 月份基础上增加1%,三月份基础上增加2%,以此类推,如果改月
QOE 得分增加比例达到 1 月基础的百分比例,即为考核达标);如果按照一月份基础上,某月增加的百分制
数值达到 90 分,默认为达到考核目标)
4G 客户业务体验QoE 实施背景
传统的 KPI 只能集中反映网络设备的性能(控制面),很多时候存在 KPI 很好但业务质量不佳的情况。
而KQI 聚焦用户面和控制面,更能贴近用户的业务质量和用户体验,而 QoE 则是由各类业务(如浏览类、视频类、下载类等)的主要 KQI 构建而成,即相对传统的 KPI 更能贴近用户的真实上网感知。
即KPI主要评估的是网络管道的质量,而 QoE/KQI 则是评估网络管道内的业务质量。
如
网页浏览的 KQI 模型:
用户上网的主要信令流程:
QoE 体系建立思路描述
一套体系:本次的QoE(用户的体验质量,Quality of Experience ,QoE)主要针对浏览类业务、视频业
务、应用下载业务、即时通信业务进行基于上网业务全流程KQI(关键质量指标)感知评估。
QoE 体系的建立思路主要为:各类业务接入、完整、保持性能的KQI 指标选取及定义、各类业务的KQI 指标
门限及权重的选择、 QoE 体系的计算。
两级定界:在 QOE 模型建立中,全面引入表征QI(业务指标),基于 IUPS接口进行 KQI 质量问题分析,一级问题定位界:针对网络、客户、终端和SP 等维度 QOE 评价差的网元、客户、终端和SP进行S1 接口以上和以下质量问题定位,S1 接口以上问题表征QI 为:上行 SYN时延、上行 RTT时延、上行
重置率; S2 接口以下问题表征QI 为:下行重传率、下行RTT时延、下行重置率和单位流量切换次数,
鉴权失败 S6A 接口指标关联,短信、语音被叫感知SGS接口指标关联 ,;二级问题定界: S1 接口 ATTACH、PDN、默认承载建立、承载修改和业务请求失败CAUSE关联细分,结合设备KPI 进行感知具体影响因
素分析,业务质量侧 SP失败代码关联分析确定服务器侧具体问题,无线侧基于网络接入KPI(关键性能指标)保持 KPI 和完整性能 KPI,关联无线侧容量、编码配置、功能参数、无线质量和移动性能相关
表征 PI(性能指标)进行具体问题核查和优化。
三个层面:基于端、管、云优化思路,在QOE模型基础之上,业务维度与端(VIP 客户维度,热门
终端维度)管(网络、小区、ENODEB、MME 、 SGW、 PGW、APN 维度、 3GNET 路由维度、 SP落地维度)云(热门业务 SP维度、服务器参数设置维度、分布式服务器落地性能分析)。
进行QOE 评价和
QI 关联输出 QOE 感知差客户和终端、小区和设备、业务和服务器,进一步进行各专业协作分析和优
化。
备注:在有资源条件下,基于各类业务主流终端主流业务测试QOE 感知常态工作,在后期体现,力求
做到全网评估 QOE 与测试 QOE 基本吻合。
QOE百分制算法介绍
4G 客户 QOE 百分制按照四类业务感知评价分值进行聚合计算,计算地市维度、小区维度、终端维度
和 SP维度 QOE得分,浏览业务、视频业务、应用下载和即时通信四类业务权重占比为:浏览业务30%、视频业务 30%、应用下载 30%和即时通信 10%。
QOE 得分 =浏览业务 QOE 得分 *30%+视频业务 QOE 得分 *30%+应用下载 QOE得分 *30%+ 即时通信 QOE 得分 *10%。
浏览类业务 QoE模型构建
浏览业务 QOE感知评价模型介绍
基于 S1/SGS/S6A接口平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题,将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流
程指标性能进行评估,主要信令指标按照一般上网流程划分三类,包括业务接入KQI 指标( ATTACH、
PDP、DNS、 SYN、GET)业务完整性能 KQI 指标( GET和 POST感知速率和时延)和保持性能 KQI 指标( TCP重传率、 TCP重置率和 IU-RELEASE掉线率),上述三类指标量化后系数加权值作为数据业务上
网感知性能(QOE)的最终数值。
表 1:浏览业务 QOE 评估体系—考核 KQI 子项权重和感知门限
门限
KQI 子项KQI 子项权重QI
良好正常差
优秀
E-RAB建立成
%%99%%<99%
>%
功率 (%)
PS寻呼成功率
90%-93%88%-93%<88%
>93%
(%)
TAU 成功率 (%) >98%97%-98%95%-97%<95%
attach 成功率
%%99%%<99%
>%
(%)
接入性 KQI30%PDN 建立成功
%%99%%<99%
>%
率(%)
bearer 成功率
%%99%%<99%
>%
(%)
更新承载成功
96%-97%94%-96%<94%
>97%
率
Service_request
%%99%%<99%
>%
成功率 (%)
QI 权重
10%
5%
10%
10%
10%
10%
10%
10% DNS 成功率 (%) >92%90%-92%85%-90%<85%10%
完整性 KQI50%保持性 KQI20%SYN成功率 (%)>95%93%-95%90%-93%<90%5%
HTTP_GET成功
>95%93%-95%90%-93%<90%10%
率( %)
<100K 数据包
<300300-330330-380>38020%
时延(小包)
200K 速率>22001800-22001500-1800<1500随即计算300K 速率>30002500-30001500-2500<1500随即计算500K 速率>40003500-40002500-3500<2500随即计算800K 速率>40003500-40002500-3500<250080% 随即计算1024K 速率>40003500-40002500-3500<2500随即计算2048K 速率>40003500-40002500-3500<2500随即计算>2048K 速率>60005000-60003000-5000<3000随即计算
TCP下行重置
<%%%%%>%%
率
TCP下行重传
<%%%%%>%%
率
UE 异常掉线率<%%-1%1%-5%>5%%
浏览业务 QOE数学模型介绍
浏览业务 QOE 计算模型中 QOEb、和 QOE c分别是指业务接入性能子项QOE 值、业务完整性能
子项 QOE值和业务保持性能子项QOE 值,其中:=X* 业务保持性 KQI 值、=Y*业务完整性
KQI 值、= Z*业务接入性 KQI 值, X、Y、 Z 值为各子项业务 KQI 值系数权重因子, X+Y+Z=1。
浏览业务 QOE和 KQI 等级划分
根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求,定义 X=30%,Y=50%,Z=20%。
( 1)浏览业务 QOE 感知等级门限:优秀值门限为90 分,良好值门限为80 分,差值门限为 70 分;( 2)浏览业务 QOE 由接入 KQI、完整 KQI和保持 KQI 构成,权重为:30%、 50%、 20%;
( 3)接入 KQI、完整 KQI 和保持 KQI 感知等级门限如下。
接入 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分;
完整 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分;
保持 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分。
KQI 感知门限划分原则:定义 KQI 得分小于差值门限为“感知差”等级, KQI 得分大于差值小于良好值定义为“达标”等级, KQI 得分大于良好值门限小于优秀值门限定义为感知“良好”等级, KQI 得分大于优秀值门限定义为感知“优秀”等级。
浏览业务 KQI 计算模型描述
( 1)接入性能KQI 评估简介
如下表所示,通S1 接口平台度(本次全网区域和小区)子KQI 指,
在制定 KQI 流量子 KQI 感知限后,根据 QOE 算模型算公式感知行估打分(百分制),各子 KQI 重
加得接入性能 KQI 感知得分,出接入性能 KQI 感知等。
接入性 KQI
=+。
其中 : ERAB建立成功率、呼成功率、 TAU 成功率、 ATTACH成功率、 PDN 成功率、默承建立成功率、求成功率、承修改
成功率、 SYN接成功率、DNS成功率和GET成功率作各自KQI 量化,表达式如下:
R1+R2+R3+R4+R5+R6+⋯⋯+R11=1(R1,R2,R3⋯. ATTCH\PDN\DNS 等 KQI 的重因子 )。
本次加大ERAB、 ATTACH成功率、默承建立成功率和GET 功率重( RAB 无无表征、GET SP), 11 接入事件重分: 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。
( 2)完整性能KQI 评估简介
完整性 KQI 估算:主要估用在行数据程中感知好坏情况,用数据真感知性能情况,从用真
感知及性能感知参数本出,依据小包延和大包速率制定
的感知限,由于网各区包延和速率与足感知差大,部分限行整。
QOE 完整性 KQI
=++。
估各包大小延感知性能限指如下:以下小包延限根据前期感限速得,限
研究部分述小包校正后良好感知速率 400KBIT./S,算延 1 秒。
大包速率限根据延 QOS算得。
表 2 完整性能 KQI 时延感知门限速率转换表
包区间优秀 I良好门限 Q达标门限 T
I 门限换算时延3GPP 换算速率
( S)
小包完成时延 (MS)330350380(校正)400 200K 速率
300K 速率2
500K 速率2
800K 速率3
1024K 速率3
2048K 速率3
>2048K 速率3
其中 : Q8 个区速率感知得分,想数据流大小区的感知得分。
W 8 个
区重因子。
W1+W2+W3+W4+W5+W6 ⋯.+W8=1(W1,W2,W3 。
不同包区重因子)。
小包和大包重算表:根据流量和次数40%:60%比例算得。
包区间次数<50KB50-100KB100-200KB200-300KB300-400KB400-500KB500-600KB>600KB 次数占比%%%%%%%%
流量占比%%%%%%%%
业务权重%%%%%%%%
( W1-W8 )W1W2W3W4W5W6W7W8( 3)保持性能KQI 评估简介
保持性能 KQI 限和重:保持性能 KQI 主要以 TCP重率、 TCP重置率和 IU-RELEASE放率,作
表征 KQI 来衡量, KQI 分重 40%、 30%、 30%。
秀、良好和差限感知如下:
用保持性能估,主要估用在行数据程中信令流程完整及可靠感知情况,用
是否有正常数据行及其成功率感知情况,其中主要体程中断率(TCP重置率)和TCP包重率包等情况,指按照各流程加平均作完整性能KQI 合感知指。
定保持性KQI =
, K1+K2+K3=1(K1重率重40%,K2 重置率重30%,K3 IU-RELEASE掉率重 30%)。
视频类业务 QoE模型构建
视频业务 QOE感知评价模型介绍
基于 IUPS平台的数据感知估方法解决无指面向、无用面指和指用感知不敏感等,将用主
面的感知化成可量化移的互网各段信令流程指性
能行估,主要信令指按照一般上网流程划分三,包括接入KQI 指( ERAB建立成功率、
呼成功率、 TAU 成功率、 ATTACH成功率、 PDN 成功率、默承建立成功率、求成功率、
承修改成功率、 SYN接成功率、 DNS 成功率和 GET成功率)完整性能KQI 指( GET和 POST
感知速率和延)和保持性能KQI 指( TCP重率、 TCP 重置率),上述三指量化后系数加
作数据上网感知性能(QOE)的最数。
表 3:视频业务QOE 评估体系—考核 KQI 子项权重和感知门限
KQI 子项KQI 子项权重QI 门限
QI 权重优秀良好正常差
接入性 KQI30%E-RAB建立成
%%99%%<99% 10% >%
功率 (%)
完整性 KQI50%保持性 KQI20%PS寻呼成功率
90%-93%88%-93%<88%
>93%
(%)
TAU 成功率 (%) >98%97%-98%95%-97%<95%
attach 成功率
%%99%%<99%
>%
(%)
PDN 建立成功
>%%%99%%<99%
率(%)
bearer 成功率
>%%%99%%<99%
(%)
更新承载成功
>97%96%-97%94%-96%<94%
率
Service_request
>%%%99%%<99%
成功率 (%)
DNS 成功率 (%)>92%90%-92%85%-90%<85%
SYN成功率 (%)>95%93%-95%90%-93%<90%
HTTP_GET成功
>96%94%-96%90%-94%<90%
率( %)
<100K 数据包
<300300-330330-380>380
时延(小包)
200K 速率>30002200-30001200-2200<1200
500K 速率>30002200-30001600-2200<1600
1024K 速率>35002500-35001800-2500<1800
4096K 速率>40002500-40001800-2500<1800
8192K 速率>40002500-40001800-2500<1800
16384K 速率>26002000-26001800-2000<1800
>16384K 速率>30002500-30001600-2500<1600
TCP下行重置
<1%1%-2%2%-3%>3%
率
TCP下行重传
<%%%%%>%
率
UE 异常掉线率<1%1%-3%3%-4%>4%
5%
10%
10%
10%
10%
10%
10%
10%
5%
10%
0%
100%
%
%
%
随即计算
随即计算
随即计算
随即计算
随即计算
随即计算
随即计算
视频业务 QOE数学模型介绍
结合主流视频的播放原理、信令流程、业务特征、播放卡顿现象、播放下载速率等,基于IUPS口信令对视频播放KQI 建模如图 6 所示。
图 6视频感知KQI 建模
视频业务QOE 数学公式如下:
QOE a、和QOE c分别是指业务接入性能子项QOE 值、业务完整性能子项QOE值和业务保持性能子项 QOE 值,其中:=X* 业务保持性KQI 值、=Y*业务完整性KQI 值、= Z*业务接入性 KQI 值, X、 Y、 Z 值为各子项业务KQI 值系数权重因子,X+Y+Z=1。
根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求,定义X=30%,Y=50%,Z=20%。
视频业务 QOE和 KQI 等级划分
( 1) QOE 感知等限:秀限90 分,良好限80 分,差限70 分;( 2) QOE 由接入 KQI、完整 KQI和保持 KQI 构成,重:30%、 50%、 20%;
( 3)接入 KQI、完整 KQI 和保持 KQI 感知等限如下:
接入 KQI 感知限:秀限90 分,良好限80 分,差限70 分;
完整 KQI 感知限:秀限90 分,良好限80 分,差限70 分;
保持 KQI 感知限:秀限90 分,良好限80 分,差限70 分。
KQI 感知限划分原:定KQI得分小于差限“感知差”等,KQI 得分大于差小于良好
定“达”等,KQI 得分大于良好限小于秀限定感知“良好”等,KQI 得分大于秀限定感知“ 秀”等。
视频业务KQI 计算模型描述
( 1)接入性能KQI 评估
由于三感知KQI 分由多事件表征KQI 合构成,因此,需要每KQI 具体信令指
行感知高低研究,投客聚合小区分析,定KQI 衡量差,根据感知研究和其他运
商平均指,不同根据小包延和大速率合用体回果制定感知限。
接入性KQI
=+。
其中 : ERAB建立成功率、呼成功率、 TAU 成功率、 ATTACH成功率、 PDN 成功率、默承建立成功率、求成功率、承修改成功率、 SYN
接成功率、 DNS成功率和 GET成功率作各自 KQI 量化;表达式如下:
R1+R2+R3+R4+R5+R6+⋯⋯+R11=1(R1,R2,R3⋯. ATTCH\PDP\DNS 等 KQI 的重因子 )。
本次加大ERAB、 ATTACH成功率、默承建立成功率和GET 功率重( RAB 无无表征、GET SP), 11 接入事件重分: 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。
接入性能算:如下表所示,通S1 接口平台度(本次全网区域和小区)子
KQI 指,在制定 KQI 流量子KQI 感知限后,根据 QOE 算模型算公式感
知行估打分(百分制),各子KQI 重加得接入性能KQI 感知得分,依据根据客投和感知(小包延、大速率)制定的感知限,出接入性能KQI 感知等。
( 2)完整性能KQI 评估
完整性能感知限和重定:主要以各客感知主要价注,不同,客感知指价有所不同,完整性
能感知估,合数据送慢启原因,按照求数据以小
包延和大包速率行感知限制定和估,小包以感知延衡量准,定感知延<300毫秒秀,延大于300 毫秒小于330 毫秒良好,定大于330 毫秒小于380 毫秒达,延大于 380 毫秒差。
大于 100K 字数据按照速率区行感知限制定(以前期速率感知依据)。
估各包大小延感知性能限指如下:
视频业务数据“包区间”优秀值 I良好值 Q达标值 T
小包完成时延( 100K)300330380
100-200KB 速率300022001200
200-500KB 速率300022001600
500-1000KB 速率350025001800
1000-4096KB 速率400025001800
4096-8192KB 速率400025001800
8192-16834KB 速率260020001800
>16834KB 速率300025001600
表 4完整性能 KQI 时延感知门限速率转换表
完整性KQI 估算 :主要估用在行数据程中感知好坏情况,用数据
真感知性能情况,从用真感知及性能感知参数本出,延用真感知重要因素,指按照每次不
同包大小区行合运算,合不同感知限行保持
性 KQI 估。
完整性能KQI=小包延得分 *20%+ 大包速率感知得分*80%( 重根据次数和流量加得)。
小包重 20%,大包重 80%由小包( <50KB)和大包( >50KB),根据流量和次数 60%:40%比例算得。
大包速率感知完整性KQI
=++
其中 : Q8 个区,想数据流大小区的得分。
W1+W2+W3+W4+W5+W6 ⋯.+W8=1(W1,W2,W3 。
不同包区重因子),根据流量和次
数60%:40%比例算得。
注:小区完整性能算模型中,小包和大包占比差异算得。
( 3)保持性能KQI 评估
保持性能 KQI 门限和权重:保持性能 KQI 主要以 TCP重传率和 TCP重置率,作为表征 KQI 来衡量, KQI 分项权重为 50%和 50%。
优秀值、良好值和差值门限感知如下:
用户业务保持性能评估,主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况,用
户是否有正常数据业务行为及其成功率感知情况,其中主要体现为业务过程中断率(TCP重置率)和TCP包重传率丢包等情况,对统计指标按照各业务流程加权平均值作为业务完整性能KQI 综合感知指标。
定义视频业务保持性 KQI 值=, K1+K2=1(K1重传率权重为 50%,K2重置率权重为 50%)。
视频业务播放“卡顿”问题研究
为了能从信令上找出移动视频播放“卡顿”的特征,通过在无线信号质量差的环境
( RSCP<-105dbm,Ec/Io<-12dB)对手机 USIM 卡限速等措施进行大量的模拟测试及数据分析得知:在视频业务出现“卡顿”时,由客户端会发送大量的上行reset 信令。
结合 TCP/IP协议原理,当下行大量的分片长时间未被客户端确认时,客户端主动关闭链路,原先处于监听的端口就会被客户端认为是无
效的端口号,后续服务器发送的这些分片就会被客户端认为是异常的,会导致客户端reset 重置此类分片,信令流程如图 5 所示。
图 5视频播放出现“卡顿”现象对应的信令
对卡顿现象的信令特征分析可知,造成卡顿问题主要是由于用户在访问内容服务器时,客户端侧对服
务器下发的未确认的数据分片进行大量的 reset 计,在移动视频业务播放卡顿较为明显的情况下,行为所致。
通过对每次卡顿现象中reset 的次数进行统reset 分片的次数均在30 次以上,因此确定搜狐视
频出现卡顿现象对应的本期以 TCP重置率(
reset 次数定界为30 次以上。
RST次数 / 视频业务成功次数)进行衡量,按照RST发生原理,在上行或者下行
TCP数据没有接收到之后,进行重传机制启动和对应数据重传,对应下行或者上行三次TCP DUP ACK
后确认数据丢失,且超过TCP定义的RTO后,进行RST复位建链,因此,RST之前,数据传送过程中,实际伴随有丢包或者超时,本次结合丢包重传和RST定义一次业务过程中RST的事件,结合业务过程中RST次数 30 次出现卡顿现象,本次定义 RST重置率大于 10%且 TCP重传率大于 8%为卡顿门限(结合实际情况,连续 RST无法实现统计)。
视频业务完整性能感知门限研究
视频播放速率为内容会话的下行总流量除以内容会话GET消息到本次会话结束的时间间隔,单位为
kbps。
结合 IUPS 口信令统计,通过对手机USIM 卡限速(速率从来模拟评估乐视视频的播放感知。
在无线信号质量良好的环境下(800kbps 到 2048kbps,步长为200)RSCP>-80dbm,Ec/Io>-6dB),从大
量的测试分析得知:下载速率大于1300kbps 时,观看视频流畅,偶尔有卡顿问题,而速率低于1300kbps
时,均出现不同程度的卡顿和初始缓冲严重现象。
因此初步确定搜狐视频点播基准速率为
左右,低于该基准速率时用户感知相对较差,如表 1 所示。
1300kbps 表 7主流APP标清视频点播基准速率与卡顿门限关系
表 8 主流 APP 高清视频点播基准速率与卡顿门限关系
表 9主流APP超清视频点播基准速率与卡顿门限关系
备注:以上只针对普通标清移动搜狐视频业务进行分析,未考虑终端性能影响,乐视超清视频基准速
率约为 3300kbps 左右。
本次区分码流类型,以视频APP 类超清视频为基准。
应用下载类业务QoE模型构建
应用下载QOE 感知评价模型介绍
应用下载业务 QOE 总体评估方法和视频业务类似,基于 IUPS平台的数据业务感知评估方法解决传统无线
指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题,将用户主观层面的感知转化
成可量化移的动互联网业务各阶段信令流程指标性能进行评估,主要信令指标按照一般上网流程划分
三类,包括业务接入KQI 指标(ATTACH、PDP、DNS、SYN、GET)业务完整性能KQI 指标( GET和POST
感知速率和时延)和保持性能KQI 指标( TCP重传率、 TCP 重置率),上述三类指标量化后系数加权值作为数据业务上网感知性能(QOE)的最终数值。
表 4:应用下载业务QOE 评估体系—考核KQI 子项权重和感知门限
KQI 子
QI 门限
QI 权重
KQI 子项
优秀良好正常差项权重
E-RAB建立成功率 (%)>%%%99%%<99%10%
PS 寻呼成功率 (%)>93%90%-93%88%-93%<88%5%
TAU 成功率 (%)>98%97%-98%95%-97%<95%10%
attach 成功率 (%)>%%%99%%<99%10%
PDN 建立成功率 (%)>%%%99%%<99%10%
接入性bearer 成功率 (%)>%%%99%%<99%10% 30%
KQI更新承载成功率
>97%96%-97%94%-96%<94%10%
Service_request 成功率
>%%%99%%<99%10% (%)
DNS成功率 (%)>98%95%-98%90%-95%<90%10%
SYN成功率 (%)>97%95%-97%90%-95%<90%5%
HTTP_GET成功率( %) >99%95%-99%90%-95%<90%10%
<100K 数据包时延(小
<300300-330330-380>3800%包)
200K 速率>30002000-30001000-2000<1000随即计算
500K 速率>30002000-30001000-2000<1000随即计算
1024K 速率>40003000-40002000-3000<2000随即计
完整性
算50%
KQI随即计4096K 速率>50004000-50003000-4000<3000100%
算
8192K 速率>50004000-50003000-4000<3000随即计算
16384K 速率>60005000-60004000-5000<4000随即计算
>16384K 速率>120009000-120006000-9000<6000随即计算
保持性20%TCP下行重置率<1%1%-2%2%-3%>3%%
KQI TCP下行重传率<%%-1%1%%>%%
UE 异常掉线率<1%1%-3%3%-4%>4%%
应用下载QOE 数学模型介绍
应用下载QOE 计算公式如下:
QOE a、和QOE c分别是指业务接入性能子项QOE 值、业务完整性能子项QOE值和业务保持性能子项 QOE 值,其中:=X* 业务保持性KQI 值、=Y*业务完整性KQI 值、= Z*业务接入性 KQI 值, X、Y、Z 值为各子项业务KQI 值系数权重因子,X+Y+Z=1。
根据前期客户投诉在接入、完
整和保持方面权重以及业务感知实际需求,定义X=30%,Y=50%,Z=20%。
应用下载 QOE 和 KQI 等级划分
( 1)应用下载业务QOE 感知等级门限:优秀值门限为90 分,良好值门限为80 分,差值门限为 70分;
( 2)应用下载业务QOE 由接入 KQI、完整 KQI 和保持 KQI 构成,权重为:30%、 50%、 20%;
( 3)接入 KQI、完整 KQI 和保持 KQI 感知等级门限如下:
接入 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分;
完整 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分;
保持 KQI 感知门限:优秀值门限为90 分,良好值门限为80 分,差值门限为70 分。
KQI 感知门限划分原则:定义KQI得分小于差值门限为“感知差”等级,KQI 得分大于差值小于良好
值定义为“达标”等级,KQI 得分大于良好值门限小于优秀值门限定义为感知“良好”等级,KQI 得分大于优秀值门限定义为感知“优秀”等级。
应用下载KQI 计算模型描述
( 1)接入性能KQI 评估
通过 S1 接口平台统计对应维度(本次统计为全网区域和小区级别)子项KQI 指标值,在制定KQI 对应业务流量子项 KQI 感知门限后,根据 QOE 计算模型计算公式对业务感知进行评估打分(百分制),各
子项 KQI 权重加权获得接入性能 KQI 感知得分,输出接入性能 KQI 感知等级。
接入性KQI
=+。
其中 : ERAB建立成功率、呼成功率、 TAU 成功率、 ATTACH成功率、 PDN 成功率、默承建立成功率、求成功率、承修改成功率、 SYN
接成功率、 DNS成功率和 GET成功率作各自 KQI 量化;
R1+R2+R3+R4+R5+R6+⋯⋯+R11=1(R1,R2,R3⋯. ATTCH\PDP\DNS 等 KQI 的重因子 )。
本次加大ERAB、 ATTACH成功率、默承建立成功率和GET 功率重( RAB 无无表征、GET SP), 11 接入事件重分: 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。
接入性能算:如下表所示,通 S1 接口平台度(本次全网区域和小区)子
KQI 指,在制定 KQI 流量子 KQI 感知限后,根据 QOE 算模型算公式感
知行估打分(百分制),各子KQI 重加得接入性能KQI 感知得分,依据根据客投和感知(小包延、大速率)制定的感知限,出接入性能KQI 感知等。
( 2)完整性能KQI 评估
用下完整性能感知限和重定:主要以各客感知主要价注,不同,客感知指价有所不同,用下
完整性能感知估,合数据送慢启原因,按照客求数据以小包延和大包速率行感知限制定和估,
小包以感知延衡量准,定感知
延 <350 毫秒秀,用下延大于350 毫秒小于 370 毫秒良好,定大于370 毫秒小于
450 毫秒达,延大于 450 毫秒差。
大于 50K 字数据按照速率区行感知限制定(以前期用下速率感知依据)。
完整性能KQI=小包延得分 *20%+ 大包速率感知得分*80%( 重根据次数和流量加得)。
小包重 10%,大包 90%由小包( <50KB)和大包( >50KB),根据流量和次数 60%:40%比例算得。
大包速率感知完整性KQI =++
其中 : Q8 个区,想数据流大小区的得分。
W1+W2+W3+W4+W5+W6 ⋯.+W7=1(W1,W2,W3 。
不同包区重因子),根据流量和次
数60%:40%比例算得。
注:小区完整性能算模型中,小包和大包占比差异算得。
估各包大小
延感知性能限指如下:
应用下载业务数据“包
优秀值 I良好值Q达标值T
区间”
200K 速率300020001000
500K 速率300020001000
1024K 速率400030002000
4096K 速率500040003000
8192K 速率500040003000
16384K 速率600050004000
>16384K 速率1200090006000
表 9 完整性能KQI 时延感知门限速率转换表。