用户感知评估 - 方法之争与应用之难

ITU：QoSE的质与量
质可受到用户预期、环境条件、心理因素、 量可受到整个端到端系统因素的影响 应用背景等的影响 质是主观参数，可利用人工评判和理解来 表示的参数可被列为主观或质的参数。质 的参数通过评分意见表示。
例如： • 使用MOS对话音质量进行意见评分 • 通过客服外呼获取的满意度答卷 • 使用等级评分来表示手机的人体工学质量
模型的简化与演进
凡是采用了KPIKQICEI指标映射模型的运营商，都投入大量资源在 指标集设计上，希望实现一套更全面/更复杂的指标集。 而KPIKQICEI 指标映射模型一直面临着映射关系过于复杂、权重 如何设置等问题，却无法有效解决，导致了在实践中困难重重。 在TMF的文献中坚持了KPIKQICEI的指标映射模型，采用了重新 设计的指标来测量业务，再通过映射和汇聚依次得到KPI和KQI(左图)。 部分软件厂商的产品实现则采用了简化的评估模型，而非三级指标映 射，从而规避了指标的复杂性和主观权重的问题。 业务评估的两种测量指标： • 采用统一的测量指标，评估各种具体的业务则使用差异化的阈值， 例如速率、时延、成功率，是目前普遍采用的方案 • 采用不同的测量指标，各种具体的业务都分别定义了特有的测量 内容 (左图)，这是在LTE逐渐普及、视频成为主要业务的背景下， 出现的新的指标设计方案
– 按[网元]汇聚统计[性能]，可以知道在这些网元中，哪些性能好或存在问题，这就是NPM/KPI指标 – 按[业务]汇聚统计[性能]，可以知道在这些业务中，哪些质量好或差，这就是SQM/KQI指标 – 按[用户]汇聚统计[性能]，得到个体用户的一组指标，由这组指标做出感知评估，就是CEM/CEI指标
•
对其余421个接通的记录进行对照分析，就可以 了解主观评价与客观评价的关联度
对比验证：外呼
主观评价 vs.
测量
客观评价
二者之间并没有量化的对应关系，而且存在明显背离的样本，在进行对比验证之前，需要先 建立映射关系。 区间调整
• • 外呼反馈打分从1至10，调整为四个区间：优[10]、良[8,9]、中[5,7]、差[1,4] CEI打分从1至10，对应调整为四个区间：优[9,10]、良[7,8]、中[4,6]、差[1,3] （注：原始打分为0-100，先做了开方处理）
量是客观参数，可以利用工具或观察来 衡量的参数以及量化确定的性能值可被 列为客观参数。
例如： • 网络信令的成功率 • 会话中的传输速率、应答时延 • DNS的解析成功率
TMF：分层映射，指标汇聚
按客户、业务、网络资源、供应商/合作者分层，从网管数据库系统获取各类网络虚拟指 标(KPI)，通过映射和公式计算得到KQI ，再汇聚计算得到QoE。对应于ITU的主观因素， TMF也定义了对QoE有影响的非技术因素。非技术因素也需要参与对QoE的打分。
对于不具有多接口工作能力的探针设备，需要使用后关联设备来完成回填。
• • • 后关联设备没有“多接口实时状态机”，回填工作只能依赖对特征值的比对 为了解决特征值的复用问题，必须根据规范利用信令时戳设计关联条件 通常的实现方法包括：严格的时序分析（准确度高）、宽松的时间窗口分析（准确度低）
总结：如何评估用户感知（客观因素部分）
由探针设备实时回填（数据质量更高）、或由后关联设备离线回填（数据质量可能受损）
多年的理论准备和模型设计，再加上有些厂家使用了高大上的算法包装 运营商往往寄予厚望，不但要支持客户感知评估，还要支持投诉预测、离网预测 但在外呼验证中往往会发现：“非技术因素/主观因素”是很难逾越的障碍
外呼验证：主/客观评价的关联度较低
-- 1988/1994/2008
TMF于2008年成立了Managing Customer Experience小组，对 CEM开展了系统的研究，并于2012年3月发表了CEM白皮书。TMF在 eTOM中把电信运营管理的企业流程按层级分解，定义了客户层(CEM)、 业务层(包括SQM)、网络层/资源层、供应商/合作商层等一级流程。在 QoE指标体系中采用了指标分层与汇聚的方法：KPIKQIQoE，籍此 来进行评估：网络所提供的QoS是否满足用户签约的SLA。
准确 大致符合 不准确 严重背离 139 33.02% 193 45.84% 81 19.24% 8 1.90%
关联度
– 两个评价之间具有较低的关联度，但并不是毫无关联，业务质量优劣的客观作用有所体现
打分方式引入的误差
– 外呼应采用5分制，10分制中相邻分值的差异非常模糊，标注误差非常多（可以观察到±2分的浮动） – 受限于运营商客服部门的作业方式，本地外呼中采用了10分制


解决方案与产品
• • • • • ARANTECHTM2002年 可能是最早开展CEM研究与开发的公司，2002年发表了CEM白皮书，开发了称为TouchpointTM 的CEM解决方案，向客户提供可视 化的端到端客户体验管理，迅速确定和定位影响客户体验的根源，提供必要的信息以帮助客户解决和改善出现的问题。 摩托罗拉 2008年 最早为分组域数据业务设计和开发 SQM解决方案的公司， 2005年发布DEEPOCEAN，2008年借鉴ITU的路测技术标准，开始通过 全量信令分析技术支持SQM/CEM。 华为 2010年 建立了涵盖QoE-KQI-KPI三级指标的语言业务质量评估体系，以端到端的视角出发对用户体验进行监测，基于该体系实现端到端移 动业务质量保障模型。 中兴 2010年 建立了“用户感知指标(CEI)-网络质量指标(KQI)-网络基础数据(KPI)”的三层指标模型，通过CEI指标可以了解客户对业务的实时感 知，进而可对业务质量实施监测。 诺基亚 2012年 DEEPOCEAN对LTE网络提供支持，并发布了CEM on Demand用户体验管理门户，向运营商提供集中的客户体验管理接入，访问和 管理用户的体验数据。


根据业务特征设计测量指标，对指标模型进行简化与改良，现在可以评估用户感知了么？ 等等，还有个重要的前提：实现对个体用户的评估 网管系统提供网元级统计，而非用户级，因此使用网管指标评估客户感知，就是一种似是而非的方案
客户感知，从个体评估开始
个体用户才是评估对象
• 当拥有海量的话单，记录包含[用户,网元,业务]和[性能]信息，就可通过数据透视来评估
CEI 中 良 优 5 4 7 19 15 39 33 60 95 37 43 58
用户可能会因为某些原因给出差评(18个) 给出差评的用户中也只有很小的比例会真的发起投诉 (通常百万用户申诉率仅几十人次 ) 所以：对于预测投诉，网络质差既不是充分条件也不是必要条件 更重要的是，实际上的投诉者有可能不是CEI最差的2个，而是来自其他16个之中
预测投诉，暂时还行不通
• • • • • • • 通过客观评价找到的感知差用户中，有33%会和主观评价一致，但是只占了主观评价差的用户中的11%， 从数学角度看，存在67%的误判和89%的漏判。 CALL FEEDBACK 优 良 差 中 6个CEI差的样本中有2个在外呼反馈中给了差评，他们会是投诉用户吗？ 1 2 1 差 2
TMF：主设备商采用的模型
作为TMF 会员，主设备商普遍采用了KPIKQI CEI的三级指标模型。但是这些实现方案普遍 忽略了非技术因素对QoE的影响，并未纳入计 算。 在设计实现中常常需要设计上百、甚至数百个 指标，并通过大量主观权重来体现各指标的重 要性，最后利用数学公式完成指标汇聚，其中 错综的映射关系和主观权重常常造成实际应用 中的困扰。 国内典型案例： 2013年，广东移动、浙江移动 建立的QoE评估模型均涉及到上百个KPI指标， 也通过主观权重和指标汇聚的方式实现评估。
映射关系
• 调整区间之后，在两种评价中，对应区间的样本分布比例大致相等，借此关系实现映射 – 例如：在外呼评价中有33%的用户分布在“优”，在CEI评价中有31.5%分布在“优”
CALL FEEDBACK 差 差 CEI 中 良 优 2 5 4 7 中 2 19 15 39 良 1 33 60 95 优 1 37 43 58
用户感知评估
用户感知评估的理论与实践
（数据来源：2013年 2/3G网络，易谙信令分析系统数据库与客服外呼记录）
EasyAnalyzer®
方法之争与应用之难
两大国际组织的研究成果
ITU 指出应从四个视角来理解服务质量，其中用户所体验的服务质 量就是用户感知。用户感知包括主观和客观两类因素，客观因素可 以通过测量来获得……端到端业务质量……接入性、保持性、完整性。 对语音业务评价，ITU提出了MOS(平均意见得分)评价方法，这是 一种主观评价方法。对于视频业务评价，也采用了MOS方法。
自以为了解用户，却把下钩当营销
… 一样的交谈, 一样的冲浪 … 却有不一样的体验
… 之所以有体验的差异 … 是因为我们有着不一样的需求
每个用户都不同，需要分Hale Waihona Puke Baidu评估
ITU，路测样本规模太小，严重制约统计意义 路测人员的职业行为显然无法代表真实用户 全流量分析成了唯一的选择 TMF，网管系统的指标体系无法关联到个体用户 复杂的映射和主观的权重，在应用中不容易落地 重新设计指标，面向个体客户，改用全流量分析
采用全量信令分析来评估用户感知的客观因素，已是行业共识 对体系和模型的概念之争，求同存异
不论采取哪种模型、哪个技术体系，用户感知的评估都离不开信令成功率与业务质量的测量 信令成功率不存在争议，仅仅是指标选择的问题 业务质量的测量，需要根据业务类型与特质设计指标
话单需要提供准确的用户识别信息，认真选个好探针吧！
呼叫关联：探针的重要性
只有当信令与会话都有用户识别信息时，才能够为每个个体用户评估用户感知 在全量信令分析系统中，探针设备负责完成用户识别与呼叫关联的工作。
• • • • 当目标信令携带了用户识别信息时，提取信息即可完成用户识别工作 当未携带时，就要利用呼叫关联技术，找到同属一个用户的其它信令，来实现回填 探针为每个用户建立状态机，实时维护关联信息，回填的信息就越准确 探针同时处理的接口越多，状态机的信息越完备，回填的质量就越高
外呼调查的完成情况
提取信令分析系统中各用户的CEI评估得分，划 分区间并分别选择用户样本 在选择的2120个用户中，排除各种原因之后， 成功完成外呼的有449个，其中
– 表示自己不使用手机上网的19个（A组） – 提出费用过高的9个（B组） – 在421个记录中，有16个用户提供了打分依据，可 以简单了解到主观打分的偏差程度（C组）
ITU：两类指标（网络性能、非网络性能）
• “QoS包括网络性能和非网络性能。网络性能（KPI）包括误码率、延迟等，而非 网络性能包括提供时间、修复时间、资费范围及投诉解决时间等。一种业务的QoS 标准根据业务而不同，其相关性对不同客户亦有差别。”
ITU：四个视角
QoSR，用户/客户所要求的QoS 客户/用户提出的QoS独特性能要求或需求表述 QoSO，服务提供商提供/计划的QoS 服务提供商计划并因此向客户提供的质量水平表述 QoSD，服务提供商提供/实现的QoS 为客户实现或提供的QoS水平表述 QoSE，客户/用户所体验/感受到的QoS 客户/用户评语表明他们认为所体验到的服务水平
填表
• • 按优良中差，分别统计“外呼评价”和“测量评价”的样本数填表 绿色表示评价匹配，红色表示评价背离（严重不匹配）
验证结果：主/客观评价的关联度很低
匹配结果
33%的CEI客观评价符合主观评价 （准确） 19%的CEI客观评价不符合主观评价（不准确） 1.9%的CEI客观评价严重背离主观评价
•
数据质量决定了评估价值，首先得能找到评估对象
– 如果话单记录缺少足够的[网元]信息，显然我们只能评估整体网络，而不能评价网元 – 如果话单记录缺少足够的[业务]信息，此时评价某个业务不好，显然无法令人信服 – 如果话单记录缺少足够的[用户]信息，我们根本不知道个体用户的感知，这时候统计结果毫无意义 • 仅可以看作是对一个虚拟用户的评估，假设存在一个由网中所有个体用户构成的虚拟用户 • 如果我们不知道哪些客户感知好或者差，却以为了解客户，后果会很严重