运营商大数据技术应用

运营商大数据技术应用

发表时间：2018-09-11T15:49:55.900Z 来源：《基层建设》2018年第23期作者：李媛媛[导读] 摘要：基于电信运营商的大数据资源，提出了网络运营大数据平台汇聚的数据范围、系统定位及功能架构，并结合4G网络的建设推广，阐述了如何利用网络运营大数据平台的海量数据资源来全面评估移动互联网业务感知，挖掘网络运营大数据平台在网络精细化运营方面的价值，为运营数据资源的内部应用提供参考。

中国移动通信集团广东有限公司珠海分公司 519015

摘要：基于电信运营商的大数据资源，提出了网络运营大数据平台汇聚的数据范围、系统定位及功能架构，并结合4G网络的建设推广，阐述了如何利用网络运营大数据平台的海量数据资源来全面评估移动互联网业务感知，挖掘网络运营大数据平台在网络精细化运营方面的价值，为运营数据资源的内部应用提供参考。

关键词：大数据；网络运营；用户感知；关键质量指标；关键绩效指标引言

大数据的应用是在互联网的高速发展中诞生的。谷歌提出了一套以分布式为特征的全新技术体系，即分布式文件系统（GFS，Google File System）、分布式并行计算（MapReduce）和分布式数据库（BigTable）等技术。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。

一、大数据的优势特征和不足之处

1.1大数据优势特征

大数据对于互联网领域的价值是不可估量的，互联网企业的运行效率和生产力在大数据的影响下得以大幅度的提高，移动运营商在大数据应用方面的优势尤为明显。其具体主要体现在以下几方面：第一，用户基数庞大。随着通信技术的快速发展，消费者对移动运营业务的需求也在不断增长，迄今为止，三家运营商移动用户已达到约13亿人次，移动运营商拥有庞大的用户群体及海量的基础数据。第二，数据的时效性。4G时代的到来促使人们的日常生活与移动互联网紧密相关，移动运营商掌握着庞大的第一手用户行为数据，并保持数据的不间断更新，保证了数据的时效性。第三，移动运营商转型契机。为应对OTT的竞争，移动运营商亟需向数字化服务提供者转型。借助大数据技术的兴起，移动运营商能加快转型的步伐，为用户提供更好的移动信息服务。

1.2移动运营商在大数据应用方面面临的挑战

第一，数据来源广而杂，聚集较为困难。系统数据形式不一，格式多样，而系统往往只支持单一的数据结构处理模式，无法全面覆盖各种类型的数据处理，进而无法满足互联网多样化的发展，同时也给大数据的技术人员在处理数据上造成一定的困难。第二，商业模式尚未成熟。移动运营商由于拥有的用户基数过于庞大，掌握的数据资源也非常多，但对于这些数据的处理上仍存在一定难题。由于移动运营商尚未建立对外数据平台，大量的数据只能供内部人员使用，而不能使外部人员对其加以应用，从而造成这些数据没有得到有效利用，无法实现利益最大化。第三，大数据运营存在风险。人们的隐私关系到他们的自身利益、名誉，甚至生命安全等，因此，移动运营商在为客户提供服务时保证个人隐私不泄露至关重要。对移动运营商而言，大数据安全策略的研究将会是重中之重。

二、大数据发展现状

近年大数据的发展呈现以下两个特征：1）互联网公司引领大数据发展。互联网公司在搜索、广告领域积极采用大数据技术优化既有业务。二是今年以来陆续推出一系列面向第三方的大数据服务。2）传统企业大数据应用仍处在探索期，发展渐趋理性。传统企业在大数据应用的思路上也在纠偏，更加务实。一是更加注重更干净、结构化小的数据。二是更加注重企业自身沉淀下来的内部数据的价值挖掘。三是更加注重根本业务需求把Hadoop 与传统数据仓库结合起来用。

三、大数据关键技术

1）大数据存储管理。传统的单机文件系统和网络系统要求一个文件系统的数据必须存储在一台物理机上，在冗余性、可扩展性和容错能力和并发能力上难以满足大数据的需求。2）大数据计算能力。传统的数据计算能力的提升依赖于扩容单机的CPU性能、增加内存、扩展磁盘等方式，难以支撑平滑扩容。以MapReduce为代表的分布式并行计算技术可以通过低成本的通用服务器搭建系统。通过添加服务器扩展系统的总处理能力。3）大数据分析技术。大数据分析主要在两个方面，一是对海量的结构化和半结构化数据进行高效率的深度分析，如从文本网页中进行自然语言分析；二是对非结构化的语音、图片和视频进行机器可以识别的分析提取有用的信息。

四、基于网络运营大数据的应用实践

网络运营大数据蕴含着大量的用户使用业务时的感知体验信息以及运营商各设备的实时运行信息，有多种应用方向可以挖掘实践。2015年是中国电信的4G用户的爆发之年，将4G网络下移动互联网业务感知评估及优化这一课题作为电信网络运营大数据应用实践的切入点，可全面评估在4G网络快速推进建设时用户感知的变化情况，以便及时调整资源布放，不断提升4G网络下的数据业务感知，支撑中国电信4G品牌运营。

4.1 移动互联网业务感知评估方法

移动互联网业务属于典型的“20/80效应”，典型的业务场景覆盖了大部分用户：统计分析表明，用户使用新闻/门户网页浏览、视频、即时通信等应用的流量和时长占比超过80%；而每种类型的业务也呈现较明显的拖尾效应，采用TOP n的方式能够涵盖大部分情形。因此，可以通过分析用户在网页浏览、视频、即时通信这3种典型业务场景下用户感知的影响因素，来代表移动互联网业务感知的总体情况。具体分析如下：

（1）新闻/门户网页浏览类

DNS（Domain Name System，域名系统）延时：用户不易感知。 TCP（Transmission Control Protocol，传输控制协议）延时：用户不易感知。页面访问成功率：用户比较容易感知，但用户能够愿意等待的时间也是有限的，如果等待时间超长，即使网页能够打开，时间上用户可能提前关闭。

首包延时：用户能够在浏览器中看到有响应，用户容易感知。

页面打开延时：从访问页面开始到页面打开所需要的等待时间，用户最容易感知。

（2）视频类

播放延时：用户容易感知，与下载速率、播放软件缓冲大小等有关系。在终端的客户端上容易检测，同下载速率有很大关系。

视频卡顿：用户容易感知，与下载速率、播放软件缓冲大小、视频节目源码流速率等有关。

视频下载速率：容易测量，能够很大程度上反映视频播放的感知情况。

（3）即时通信类

消息发送/接收延时：用户容易感知，但即时通信类应用定位的准实时特性决定了用户对消息发送/接收的延时不敏感。

消息上传/下载速率：用户不易感知，即时通信以小流量应用为主，对速率不是非常敏感。

消息发送/接收成功率：用户容易感知，体现核心需求。

综上所述，对于网页浏览类可以使用首包延时和页面打开延时，视频类可以使用视频下载速率，即时通信类可以使用消息发送/接收成功率作为移动互联网业务感知的KQI（Key Quality Indicator，关键质量指标），根据不同用户使用这3类业务的时长占比，通过一定的加权算法来综合评估4G网络下移动互联网用户使用业务时的感知情况。

4.2 移动互联网业务感知指标采集及建模分析

为了获取3类典型移动互联网业务（网页、视频、即时通信）的4个KQI，采用在4G核心网的SGW侧部署DPI（Deep Packet Inspection，深度包检测）监测系统，抓取全网移动用户使用业务时的KQI，实时掌握全网用户的感知体验情况，建立全网用户业务感知综合评估模型。同时，采集安装在终端上的APP测试数据，获取友好测试用户的端到端KQI指标，通过友好用户端到端的KQI指标进一步回归验证全网用户业务感知综合评估模型，从而获得移动互联网业务感知的稳定、客观的评估模型。 APP测量点部署在用户终端上，可以采集到最能反映真实用户感知的KQI指标，但由于数量有限，属于少量抽样数据；DPI检测点部署在网络侧，能够采集到全网用户使用所有业务时的KQI指标，通过两者结合搭建全网用户业务感知综合评估模型。

4.3 移动互联网业务感知评估实施及

效果评估

根据全网用户业务感知综合评估模型的计算分析，可以随时掌握全网用户感知。对于用户感知差的区域及时间段进行端到端关联、逐层钻取分析，找出导致用户感知差的因素，有针对性地开展优化整改工作。

根据组网拓扑和业务流程，将KQI逐层映射分解到网络设备的运行指标：无线网KPI（Key Performance Indicator，关键绩效指标）指标、信令监测计算生成的KQI/KPI指标、承载网的KPI指标、EPC（核心网）网管KPI指标以及DPI系统计算生成的KQI/KPI指标等。

将KQI指标最终映射成各网络上的运行指标KPI，从而达到监测网络和优化网络运行指标来提升移动互联网业务感知的目的。该映射模型通过“指标采集→KQI评估→KPI指标优化→再采集评估”闭环流程的不断反馈优化，最终完成从用户感知到网络运行指标的建模关联，将用户感知的提升落实到日常的网络运行维护工作上，使得网络维护和优化工作有的放矢，资源投放和利用更加高效。

移动互联网业务感知评估应用从用户感知指标的采集提取建模到KQI指标向KPI指标的映射分析，充分利用了网络运营大数据平台的跨专业海量数据，并采用Hadoop架构下的Hive、Spark等组件进行海量数据的存储、处理和建模分析，验证了网络运营大数据平台对各数据应用的支撑能力。

结束语

大数据商业化应用作为电信运营商在“语音+短信”、“流量”业务外发展第三条收入曲线的创新举措，对电信运营商的战略转型起着重要作用。在互联网服务提供商的强大竞争压力下，电信运营商需加快面向数据服务转型，在遵守国家法律法规前提下，利用自身大数据优势构建大数据时代的行业竞争力，以应对互联网模式下信息化行业的高速变革。

参考文献：

[1]丁圣勇.电信运营商大数据发展策略探讨.电信科学.2011.09

[2]施巍巍.大数据助力电信企业实现精确营销.信息技术与信息化.2013.09

[3]刘波.云计算和关键技术问题的分析研究[J].电力系统通信，2 0 11（3 2）.