互联网业务高质量指标体系及测试评估系统

互联网业务质量指标体系及测试评估系统

一、项目背景

互联网作为全业务发展的重要基础，业务质量直接影响3G、WLAN和有线宽带业务的发展。然而当前网络指标无法反映业务质量、用户业务感知无法量化评估、优化工作只能围绕网络指标分段分层开展的问题，凸显出互联网业务质量指标不完善、监控手段的匮乏。

网络性能指标实际业务质量

网络指标与用户感知不对应：尽管网内时延、抖动等各项指标优秀，但是用户实际

上网感知网速慢的问题突出；

业务感知无法定量评估：用户业务质量感知、和竞争对手的业务质量对比、各种优

化手段对业务质量的提升效果无法定量评估；

业务质量劣化无法预警：日常维护优化工作主要围绕网络指标分段分层开展，无法

通过数据统计分析对业务质量劣化进行预警。

各种问题说明互联网业务质量指标体系不完善，不能反映真实的业务质量状态和用户感知。

指标体系不够全面：现有监控指标体系侧重于网络性能指标监控，无法反映现网业

务的真实情况，单靠网络性能指标无法准确反应用户的真实感知。

故障发现速度慢：现有指标监控体系不完善，不能快速发现业务质量故障和性能劣

化情况，不能根据指标波动对业务质量进行预警。

本课题从互联网业务感知角度出发，对主流互联网业务流程深入分析提炼，建立了互联网业务质量指标体系，对主要业务指标、采集方法、评估标准进行了规范。同时为使指标落地，自主开发了互联网业务质量测试评估系统，通过软探针采集数据，在服务端呈现报表，构建了完整的互联网业务质量监控系统，通过全网各种业务质量数据自动采集和监控，实现分业务、分地区、分时段业务质量评估，解决了监控手段不足的问题。

二、技术方案

（一）概述

本项目研究的目标在于量化互联网用户体验感知，形成可采集、可监控、可提升的业务质量指标体系，并通过开发业务质量测试评估系统，达到持续监控优化互联网业务质量、提高用户感知的目的。

项目从网络、业务、用户感知等层面现状分析，梳理出影响用户业务感知各项主要因素，并且在对各项目主要业务应用协议流程深入分析的基础上，总结对用户感知关联密切的项目，整理制订了互联网业务质量指标集。为了实现指标的落地，本课题开发了业务质量监控系统，通过业务测试探针和集中管理系统，实现对业务质量指标的采集和监控。后续围绕业务质量监控系统，以质量指标的提升为目标，将逐步优化互联网运维管理流程，建立业务质量预警机制，实现由被动维护向主动维护的转变。

（二）方案介绍

本项目的总体研究思路和步骤为：

第一步，用户感知分析：从投诉分析、用户回访等渠道，分析用户对网络的感知以及影响用户业务感知的各种因素。

第二步，建立指标体系：全面分析互联网业务类型，总结主要业务，从应用协议流程分析入手，总结对用户感知关联密切的项目。

第三步，开发应用系统:开发互联网业务质量采集与测试评估系统，实现业务质量指标自动采集，以自主开发软件方式为主，在全网分级、分层部署软探针，实现覆盖范围广、成本低的业务质量监控体系。

第四步，形成一体化运维体系：将监控系统融合到已有网络优化运维流程中，形成质量监控、质量优化、质量评估与提升的互联网业务质量运维管理体系。

以下重点介绍两部分内容：

互联网业务质量指标体系；

互联网业务质量测试评估系统的研究情况。

1、建立标准：互联网业务质量指标体系

为了衡量用户感知，量化互联网业务质量，我们对互联网业务类型进行了深入分析，从信令协议过程入手，制订了完整的互联网业务质量指标体系；另一方面为了将互联网业务质量指标落地，与现实网络维护工作相结合，从网络的实际拓扑和维护分工，互联网质量指标体系从管理上同样采取分层结构。

（1）、业务质量指标体系

通过对当前互联网主要业务的梳理，对各项主要业务协议流程、网络层次建立了评估模型，并且按照不同的业务类型，分别定义了各环节的指标及指标分层组合关系，随后通过现网模拟，确定了各项指标的测试获取方法；最后为了使评估结果更加直观，通过各项KPI 指标的加权组合，为各项业务制订了综合评分的规则，并且对测试结果对应的业务质量等级确定了取值范围。

评价标准

定义

评估对象建模

指标层次关系定义

测量方法定义SAP_A Service SAP_Z Service Link Layered Networks 通过模型描述评估对象（网络/业务）；

明确评估范围；

约定网络及业务存量对象命名规则及权重设置规则等定义一致的评价标准（SLA/SLO/指标阈值/指标权重）规范测量方法及参数，以及测量结果处理规则；规范测量设备或软件部署方案；

定义指标及层次关系；定义指标计算规则；优

SLA 符合度=100，即没有一项Critical 、Major 不符合条款（或只有Minor 条款不满足）；良好SLA 良好控制线<= SLA 符合度< 100，即没有Critical 条款突破，有少量Major 条款突破中等SLA 中控制线<= SLA 符合度< SLA 良好控制线，即没有Critical 条款突破，有Major 条款突破差0 <= SLA 符合度< SLA 中控制线，即有Critical 条款突破（SLA 符合度为0）；或者有Major 条款突破

结合目前业务开展情况和中长期的业务规划，业务质量指标体系现阶段重点考虑了WEB

浏览、文件下载、在线游戏、自有业务、IPTV 内容：

请点击下方文件查看中国移动CMNET 网络及业务指标体系技术规范（建议稿）。

J:\创新申报\

中国移动CMNET网络及业

（2）、CMNET 分层指标体系

为了将互联网业务质量指标落地，集团公司、省公司、地市公司有明确的运维范围

与职责的划分，在CMNET 网络及业务指标体系时，需要与目前的运维体系相一致。