互联网业务质量指标体系及测试评估系统

互联网业务质量指标体系及测试评估系统互联网业务质量指标体系及测试评估系统一、项目背景

互联网作为全业务发展的重要基础，业务质量直接影响3G、WLAN和有线宽带业务的发展。然而当前网络指标无法反映业务质量、用户业务感知无法量化评估、优化工作只能围绕网络指标分段分层开展的问题，凸显出互联网业务质量指标不完善、监控手段的匮乏。

网络性能指标实际业务质量

网络指标与用户感知不对应:尽管网内时延、抖动等各项指标优秀，但是用户实际

上网感知网速慢的问题突出;

业务感知无法定量评估:用户业务质量感知、和竞争对手的业务质量对比、各种优

化手段对业务质量的提升效果无法定量评估;

业务质量劣化无法预警:日常维护优化工作主要围绕网络指标分段分层开展，无法

通过数据统计分析对业务质量劣化进行预警。

各种问题说明互联网业务质量指标体系不完善，不能反映真实的业务质量状态和用户感知。

指标体系不够全面:现有监控指标体系侧重于网络性能指标监控，无法反映现网业

务的真实情况，单靠网络性能指标无法准确反应用户的真实感知。

故障发现速度慢:现有指标监控体系不完善，不能快速发现业务质量故障和性能劣

化情况，不能根据指标波动对业务质量进行预警。

本课题从互联网业务感知角度出发，对主流互联网业务流程深入分析提炼，建立了互联网业务质量指标体系，对主要业务指标、采集方法、评估标准进行了规范。同时为使指标落地，自主开发了互联网业务质量测试评估系统，通过软探针采集数据，在服务端呈现报表，构建了完整的互联网业务质量监控系统，通过全网各种业务质量数据自动采集和监控，实现分业务、分地区、分时段业务质量评估，解决了监控手段不足的问题。

二、技术方案

(一)概述

本项目研究的目标在于量化互联网用户体验感知，形成可采集、可监控、可提升的业务质量指标体系，并通过开发业务质量测试评估系统，达到持续监控优化互联网业务质量、提高用户感知的目的。

项目从网络、业务、用户感知等层面现状分析，梳理出影响用户业务感知各项主要因素，并且在对各项目主要业务应用协议流程深入分析的基础上，总结对用户感知关联密切的项目，整理制订了互联网业务质量指标集。为了实现指标的落地，本课题开发了业务质量监控系统，通过业务测试探针和集中管理系统，实现对业务质量指标的采集和监控。后续围绕业务质量监控系统，以质量指标的提升为目标，将逐步优化互联网运维管理流程，建立业务质量预警机制，实现由被动维护向主动维护的转变。

(二)方案介绍

本项目的总体研究思路和步骤为:

第一步，用户感知分析:从投诉分析、用户回访等渠道，分析用户对网络的感知以及影响用户业务感知的各种因素。

第二步，建立指标体系:全面分析互联网业务类型，总结主要业务，从应用协议流程分析入手，总结对用户感知关联密切的项目。

第三步，开发应用系统:开发互联网业务质量采集与测试评估系统，实现业务质量指标自动采集，以自主开发软件方式为主，在全网分级、分层部署软探针，实现覆盖范围广、成本低的业务质量监控体系。

第四步，形成一体化运维体系:将监控系统融合到已有网络优化运维流程中，形成质量监控、质量优化、质量评估与提升的互联网业务质量运维管理体系。

以下重点介绍两部分内容:

互联网业务质量指标体系;

互联网业务质量测试评估系统的研究情况。

1、建立标准:互联网业务质量指标体系

为了衡量用户感知，量化互联网业务质量，我们对互联网业务类型进行了深入分析，从信令协议过程入手，制订了完整的互联网业务质量指标体系;另一方面为

了将互联网业务质量指标落地，与现实网络维护工作相结合，从网络的实际拓扑和维护分工，互联网质量指标体系从管理上同样采取分层结构。

(1)、业务质量指标体系

通过对当前互联网主要业务的梳理，对各项主要业务协议流程、网络层次建立了评估模型，并且按照不同的业务类型，分别定义了各环节的指标及指标分层组合关系，随后通过现网模拟，确定了各项指标的测试获取方法;最后为了使评估结果更加直观，通过各项KPI指标的加权组合，为各项业务制订了综合评分的规则，并且对测试结果对应的业务质量等级确定了取值范围。

通过模型描述评估对象SAP_ASAP_ZService Link,网络/业务,,

明确评估范围,Service定义指标及层次关系,约定网络及业务存量对定义指标计算规则,象命名规则及权重设置规则等

Layered Networks

规范测量方法及参数,以及测量结果处理规则,0 <= SLA符合度SLA符合度SLA 良好控制线SLA中控制线<= < SLA中控制线=100,即没有<= SLA符合度SLA符合度< 规范测量设备或,即有Critical一项Critical、< 100,即没有SLA良好控制线软件部署方案,条款突破,SLAMajor不符合条Critical条款突,即没有Critical符

合度为0,,款,或只有破,有少量条款突破,有或者有Major条Minor条款不满Major 条款突破Major条款突破款突破足,,

定义一致的评价标准,SLA/SLO/指标阈值/指标权重,

结合目前业务开展情况和中长期的业务规划，业务质量指标体系现阶段重点考虑了WEB浏览、文件下载、在线游戏、自有业务、IPTV内容:

请点击下方文件查看中国移动CMNET网络及业务指标体系技术规范(建议稿)。

J:\创新申报\中国移动CMNET网络及业务指标体系技术规范(讨论稿)V1.1.doc

(2)、CMNET分层指标体系

为了将互联网业务质量指标落地，集团公司、省公司、地市公司有明确的运维范围与职责的划分，在CMNET网络及业务指标体系时，需要与目前的运维体系相一致。

CMNET质量指标体系宏观分级结构

分级指标体系的实施建议按照“整体规划，分步实施，逐级衔接关联，持续优化”的过程实施。

整体规划整体规划可以保证指标体系的一致性，保证同级运维实体间指标的可对比性。制订统一的技术规范是整体规划得以落实的关键，技术规范的定义的主导权与解释权归属于集团公司，技术规范定义后，各级省、地市分公司需要对技术规范进行理解，提出意见与建议，以保证技术规范的有效性。

分步实施在统一的技术规范指导约束下，集团、省、地市可分别独立实施，条件成熟的省公司、地市公司可以先行。同一公司在实施过程中，可以分业务逐步实施，比如先实施IP网络及HSI业务，再逐步补充其他业务如VoIP业务或IPTV 业务。

逐级衔接关联地市公司指标体系可以向上与省级指标体系衔接，省级公司指标体系可以向上与集团公司指标体系衔接。衔接的过程可以是逐步进行的。