面向业务的端到端客户感知评估监控分析系统

成果上报申请书

面向业务的端到端客户感知评估监控分析系统

一、背景情况

随着移动通信网络的日益复杂化，网络中逐渐出现了“网元好≠端到端质量好，均值好≠局部地区好，测试好≠单用户好，统计好≠感受好”的脱节现象，客户满意度的提升不再与单纯的网络KPI的提升成正比，网络质量的评估优化等一系列管理工作迫切需要从传统的基于网元的以KPI为中心的管理向以客户感知为导向的端到端的业务管理转变！

在此背景下，本成果的主要意义在于：

i.建立面向业务的端到端客户感知评估体系，实现了从基于网元的KPI管理到基于客户感

知的端到端业务管理的转变，解决“网元好≠端到端质量好，统计好≠感受好”的问题；

ii.实现了分场景，且最低粒度为小区级的用户感知评估和监控，解决“均值好≠局部地区好”的问题；

iii.实现了对集团客户，甚至是单用户的感知评估和监控，解决“测试好≠单用户好”的问题；

iv.设计大量的分析型KPI，实现对造成不良感知或用户投诉真正原因的快速定位，提高问题的发现速度和优化效率，提升用户感知；

v.以用户感知的评估指导网络优化调整工作的开展，保证资源受限的情况下一切调整不以牺牲用户感知为代价；

vi.实现了“可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统，支撑“面向用户、面向业务、面向网络、面向场景”的客户感知评估管理工作开展。

二、技术方案

1、概述

从面向业务的端到端客户感知的评估、监控、分析工作的实际需求出发，本成果的技术方案主要包括以下技术点：

i.设计层次丰富、结构清晰的客户感知模型，既实现了客户感知评估的简明性，又满足了问题

原因分析定位的复杂性；

ii.针对不同业务，通过业务矩阵分解，建立端到端的客户感知评估体系；

iii.挖掘丰富的数据源，实现全面完整的客户感知评价；

iv.深入分析问题原因与症状之间的映射关系，实现问题原因的快速定位；

v.采取专家问卷调查等多种手段制定评分规则，保证评估体系是客户感知的真实反映；

vi.设计开发满足“四可”、“四面向”的客户感知监控分析系统。

2、层次丰富、结构清晰的客户感知模型设计

为达到既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性的目的，客户感知的模型从上至下共设计了5个层次：

客户感知评估体系中用于评估网络质量的指标包括KQI、逻辑KPI、评估型KPI，三者之间有逐级对应的汇聚计算关系。当上层指标不好时，可以量化计算每个下层指标所造成的影响。

从网络层级上看，KQI、逻辑KPI和评估型KPI的构建都是从小区级开始的。更高层级（包括场景、BSC、MSS、行政区域等）的指标都是以下一层网络的指标经汇聚运算得出。

QoE体系中的分析型KPI则用于当某项评估型KPI不良时，细分问题的根源位置。通常某项评估型KPI的好坏，与其所关联的分析型KPI的好坏有直接或间接的关系，但二者之间并没有直接的汇聚计算关系。

对于语音业务，共设计了网络覆盖、接入性、保持性、完整性4项KQI，7项逻辑KPI，12项评估型KPI，对于数据业务，共设计了接入性、保持性、完整性3项KQI，9项逻辑KPI，38项评估型KPI，而两项业务均设计了百余项分析型KPI，各层次KPI的繁简程度直接体现了一方面满足客户感知评估的简明性，另一方面满足问题原因分析定位的复杂性的要求。

3、面向业务的端到端客户感知评估体系建立

针对不同的业务，遵循以下六个步骤实现端到端客户感知评估体系的建立：

①分析业务场景

②分析用户体验时间轴

③确定业务拓扑图

④开发业务矩阵

⑤KQI/KPI模型

⑥确定KQI测量方法

其中业务矩阵是把业务生命周期分解成底层技术相关的动作，及其所流经的服务资源。下图即为分解得到的语音和数据业务的业务矩阵。

4、丰富数据源的挖掘利用

得到各业务的业务矩阵，确定所需的counter和测量点后，还要根据数据源状况，采选合适的测量数据进行关键指标的构建，因此数据源对于所得评估体系最终与客户感知的相符程度也起着至关重要的作用。

本成果中不仅利用了OMC提供的大量统计作为数据源，还深度挖掘了设备厂家的统计工具及第三方的监测统计手段，并采用了诺西的Traffica系统和中创的信令监测系统分别作为语音和数据业务的数据源之一。

除此之外，还结合实际的工作经验和需求，定制了寻呼黑洞，异常短呼的分析结果作为数据源，同时还纳入了用户投诉数据来帮助进行用户感知的评估和问题分析。丰富的数据源奠定了全面准确反映用户感知的基础。

5、问题原因的快速定位

为使客户感知评估体系能够在发现问题的同时帮助快速的定位问题原因，提高网络优化效率，一方面设计并定义了丰富的分析型指标，利用分析型KPI构成分析问题库，包括覆盖、负荷、干扰、移动性和RTT clear code等类型的指标。每个评估型KPI都会和分析问题库中的相应内容进行关联，对每一项评估型KPI，进行分析型KPI的归类和收集，及关联关系的建立，使其与评估型KPI形成合理的映射关系，集成在一起可以便在发现问题后很方便地进行优化上的原因分析和查找。因此分析问题

库就是一个优化的经验库。

另一方面专题深入分析了Traffica clear code与掉话等问题原因的细分映射关系，利用Traffica clear code准确快速的定位至问题原因。

6、评分规则的科学制定

如何将评估体系中的KPI科学的映射到客户感知一直是相关研究的重点和难点所在，在本成果中，为准确把握客户感知，采用了设定门限的0-5分的归一化评分方式，即对各评估型KPI，根据其所处的不同区间评价为0-5分六档，其中5分为客户感知优秀，3-4分为客户感知良好，1-2分为客户感知不良，0分代表客户感知差。

为使评分门限能够准确的反映客户感知，本成果中采用了多种方式方法，综合制定了评分门限，主要采取的方法有：

i.面向一线维护优化专家开展客户感知评分标准问卷调查，每种业务均回收问卷约150

份；

ii.各评估型KPI现网情况的统计和分布分析；

iii.利用典型案例对客户感知评估体系的验证；

iv.利用用户投诉中预估覆盖小区与客户感知的评估结果对照

7、“四可”、“四面向”系统的设计开发

基于成果中建立的面向业务的端到端客户感知评估体系，设计了系统功能和界面，部署并开发了