大数据平台在运营商支撑系统中应用

大数据平台在运营商支撑系统中应用

发表时间：2018-09-30T11:20:30.890Z 来源：《建筑学研究前沿》2018年第13期作者：张仁发

[导读] 在互联网时代，数据就是金钱。曾经有专业调查显示，各国政府对数据开放提供了新的想法，提出了大数据平台。在

中国移动通信集团广东有限公司湛江分公司 524044

摘要：互联网技术的飞快发展，计算机处理能力也逐渐强大，云计算和数据中心为大数据时代的到来奠定了良好的基础。传统的通信业务已经无法满足人们的需求，在这种背景下，恰当的使用大数据平台能够有效的推动通信行业的发展。本文介绍大数据平台的基础上，结合实际情况，分析大数据平台在运营商支撑系统的应用，从而提高运营商的经济效益。

关键词：大数据平台；运营商；支撑系统

引言

在互联网时代，数据就是金钱。曾经有专业调查显示，各国政府对数据开放提供了新的想法，提出了大数据平台。在调查中显示，很多消费者愿意相信运营商和银行的保密性，将自己的数据交到他们手中使用和处理。运营商赢得了消费者的信任度，对开展大数据平台提供了有力的基础。一家企业拥有数据的规模和应用的能力决定着这家企业的综合实力，对数据的掌控和使用成为这个国家争议的焦点。随着互联网、社交网站、电子商务的发展，各类信息服务正在迅速发展，电信行业的业务呈现出全新的形态。时下非常流行的微博、微信和QQ等通信方式，带来的图片、语音、视频等非结构化数据推动了电信数据量的增长。如何处理好这些非结构化数据，为用户提供最佳的服务成为运营商思考的重点。

一、大数据平台

虽然至今为止，人们对大数据没有给出一个确切的定义，但是对大数据进行了大量的研究发现，对大数据的本质有了新的认知。大数据平台所存储的信息非常大，其处理的数据量达到PE级别。在大数据平台上，数据更新的速度、传输的速度、存储的速度超过传统的方式。大数据平台有着自身的特点，无论是结构、用途还是处理过程都表现出多样性。数据的多样性指的是以下几点：第一点，数据来源非常广，利用传统的方法，企业获得数据的方式主要来源于交易书记，随着互联网和物联网的发簪，人们能够给通过微博、社区等方式获得想要的资源；第二点，数据的类型非常多，主要以非结构化数据为主。在传统的企业中，数据通过以表格、图片、视频等方式来保存；第三点，数据之间的关联性非常强，如果用户上传照片，能够快速的检索到用户的位置等等相关信息。

大数据中宝贵的价值在于能够为人们提供存储和处理大数据的动力。关于大数据时代处理数据理念要全部不要抽样、要高效不要精确，要相关不要因果。基于现在的技术，处理这些大量的数据非常困难。人们对大数据的处理方式都是对静态数据进行处理，对线数据采取实时处理，对图像数据进行综合处理。大数据处理系统的发展趋势主要体现在三个方面：第一方面是数据处理引擎专用化。大数据处理系统必须采用全新的处理体系，使其具有专一性，提高其效率，降低成本，为此，很多互联网企业都在原有的处理系统基础上，研发拓展性能强、通量大、成本低的专用系统；第二方面是数据处理平台呈现出多样化发展。全面的提升传统系统的兼容性，扩展其数据技术的生态环境，使其超良性方向发展；第三方面是数据计算实时化。在大数据平台上，能够对其进行大量的操作，同时，使用的时间非常快，可以缩短到几秒。

要想使大数据平台发挥出应用的价值，必须对大数据的内容进行实时分析和计算。深度学习和知识计算是大数据分析的基础，可视化是数据分析的关键技术，数据分析的结果是大数据呈现的结果。大数据平台处理和分析的最终目标是借助数据分析，帮助人们做出合理的决策。

二、IT支撑能力的规划和建设

2.1系统架构

系统架构根据数据资产运营对IT支撑系统提出的能力要求，在电信行业通常所划分的OSS（OperationSup-portSystem，运营支撑域）、BSS（Business supportsystem，业务支撑域）、MSS（Management supportSystem，管理支撑域）三个域的基础上，新增了ASS（Analysis Support System，分析支撑域）的建设规划，由统一数据接人中心、企业数据中心、数据质量管理中心、能力服务中心、分析应用中心共五大能力服务中心构成。分析支撑域的架构如图1所示。

统一数据接人中心主要引入基于Hadoop架构的云化ETL，利用分布式文件存储降低成本，利用分布式批处理计算提升对数据源ETL过程的执行效率，统一接人来自全网的网络、计费、财务、信令等数据。企业数据中心由传统的经分数据仓库及新引入的MPP分布式数据库组成，利用分布式计算提升高度汇总数据的关联计算的效率，利用Share-nothing架构提升扩容效率。数据质量管理中心负责保障ASS域内外部数据的完整性、准确性、一致性。能力服务中心主要面向上层应用抽象对底层数据操作和基础功能组件能力，为上层应用提供数据及

服务。分析运营中心实现各类应用的“百花齐放”，支撑分析、预测、大数据运营等各种应用。

2.2系统建设方案

根据分析支撑域的建设规划，重点进行了云化ETL、MPP数据库、能力服务中心、大数据运营支撑平台四大系统的建设，实现了从底层数据采集到上层业务运营支撑的整体IT支撑。

2.2.1基于Hadoop技术的云化ETL

ETL（Extract Transform Load）是指数据抽取、转换、装载的过程，是整个分析支撑域的基础。按照具体规则将分散于各业务系统的数据进行轻度汇总后集成人数据仓库，为上层分析应用提供数据支撑。

大数据技术引人前，传统的ETL过程主要基于“小型机+盘阵”的架构。由于与数据仓库中的高度汇总以及面向应用的数据计算共享计算和存储能力，在处理海量数据时出现性能瓶颈。因此引人了大数据的核心技术Hadoop来实现云化ETL的处理。云化ETL相关组件结构如图2所示。

2.3能力服务中心

云化ETL和MPP数据库面向的是数据层面的问题，数据按照一定的规则面向业务领域进行了构建。为了实现数据到知识的转化，需要开发各类分析应用。这个应用开发的过程通常是及其个性化和专业化的，也有不同的开发商专注于某个具体的分析应用领域。出于降本增效的考虑，引人开发商之间的竞争，实现应用的“百花齐放”，因此构建能力服务中心，向应用开发商提供统一的数据服务。能力服务中心具体的功能架构如图3所示，分为展示层、业务层、服务层和数据层。展示层、业务层主要负责展现能力服务资源管理、能力服务使用管理、能力服务管理中心的界面，控制页面跳转。服务层提供统一的开发规范和数据服务，支持多种形式的能力服务组件；提供用户权限、应用权限管理及鉴权机制，确保数据安全性及服务可靠性；引人负载均衡及基于内存的数据缓存机制，提高查询效率，保障服务的及时响应。数据层封装底层数据仓库的操作，包括传统Oracle数据仓库，Hadoop集群和MPP数据库，通过透明数据层访问异构数据库。

图3

2.4大数据运营支撑平台

基于大数据的业务精准营销模型可以抽象为客户（Customer）、产品（Product）、渠道（Channel）、时机（Time）四个要素，强调业务（产品）、客户、场景（时间、空间）及营销等要素协同一体，推动业务（产品）产生增量效益。基于这四要素搭建的大数据运营支撑平台，将系统功能抽象为产品/内容库、客户标签库、营销平台、事件库、营销渠道五元组和大数据运营门户。其功能架构如图4所示。

产品内容库是管理所销售的业务（产品），如流量包、语音包等。客户标签库是指为客户建立标签，定位及适配目标客户，如老年用户、手机阅读用户等。营销平台主要管理营销术语和触发规则。事件库主要管理触发的事件，如进入到WLAN覆盖区域等。营销渠道是对