运营商PB级大数据服务能力外部引入研究

运营商PB级大数据服务能力外部引入研究作者：唐懿黄倚霄张攀翔付文武宋炜来源：《中国新通信》2015年第21期【摘要】运营商利用大数据对内实现网络配置优化、对外实现精准营销及价值变现的需求迫切，与自身大数据分析服务能力不足的现状形成强烈的供需反差。

在运营商亟需采用自建加外部引入模式建设大数据能力的背景下，提出运营商引入外部PB级大数据能力的应用场景、引入模式及引入策略。

【关键词】 PB级大数据一、概述随着大数据时代的到来，互联网公司和电信运营商都积极投入力量进行大数据分析，充分利用企业数据，深入挖掘数据价值，对内支撑市场经营、网络优化，对外提供数据分析服务，实现数据价值变现。

例如Telefonica（西班牙电信）通过与市场研究机构GFK合作，进行数据分析和打包工作，让这些数据变得更加易用，产生了巨大的经济价值。

然而由于运营商的“先天缺陷”，与大数据平台应用成熟的互联网公司相比，存在大数据人才不足、研发能力薄弱、应用复杂度高等问题，导致当前大数据平台存在建设缓慢，大数据能力形成时间长等问题，这与日益增长的互联网大数据能力需求形成强烈的供需反差。

与此同时，国内外领先互联网公司在内部运用大数据平台的同时也对外提供海量的大数据服务能力，因此运营商在努力打造自身大数据平台的同时，需要极开展外部引入PB级大数据服务能力的研究，借鉴外部成熟经验，通过自建+外部能力引入相结合的方式迅速提升自身的大数据服务能力。

二、运营商外部引入大数据能力的驱动力2.1大数据应用需求迫切大数据是运营商面对OTT冲击，实现收益持续增长和企业转型的重大契机，对此业内已经形成共识。

移动互联网时代，随着数据爆炸式的增长，大数据已经引爆了全球热情。

对于运营商而言，数据对内能够实现网络配置优化、降低成本，对外能够通过位置数据、精准营销等数据分析实现海量数据的价值变现，因此大数据应用的需求极为迫切。

2.2运营商自身大数据平台发展缓慢相比业内领先互联网公司已经形成了完善的大数据金字塔，运营商在建设自身大数据平台之时起步较晚，大部分还未实现数据统一存储、用户唯一ID和统一画像等大数据发展的基础建设。

与此同时，运营商在数据结构、应用复杂度等方面更高，大数据自研和运维能力也相对较为薄弱，因此运营商在构建自身大数据平台时发展缓慢。

2.3外部大数据分析能力已经成功转化为生产力国内外互联网巨头如Amazon，Google、阿里巴巴、腾讯等公司均已经成功将大数据平台转化为生产力，在企业内部成功实现数据价值变现的同时，纷纷对外提供大数据分析服务，以期占据更多的大数据市场蛋糕。

综上所述，一方面为应对不断增长的庞大的大数据分析能力需求，另一方面又面临着自身能力不足，大数据平台建设缓慢的现实困境。

运营商需要以互联网开放、共享和合作的思维发展大数据业务，考虑引入外部大数据能力与自建的大数据能力有机融合，探索内外兼修的大数据能力构建新思路，有助于尽快提升和丰富运营商的大数据服务能力。

运营商自建+外部引入大数据平台的融合目标架构如图1所示。

三、运营商PB级大数据能力外部引入方案3.1外部PB级大数据能力引入资源分析从技术上看，下述大数据处理平台均能够提供PB级的在线数据存储分析能力，包括Google的BigQuerry、Amazon的EMR、Splunk、阿里ODPS等。

3.1.1 SplunkSplunk使用MapReduce模型，及通过许多计算机组成的集群分散处理，加速计算，在Splunk中，成为分布式搜索，在搜索结果用映射函数和化简函数形式表达后，建立简介改搜索集群的网络连接，然后使用时间MapReduce方案开始处理集群，当数据流返回至启动搜索的实例时，数据存入硬盘，进行简化函数运算。

3.1.2 BigQuerryGoogle发布的BigQuerry解决了海量数据存储和快速处理问题。

BigQuerry 的这些技术包括Google文件系统GFS、分布式计算变成模型MapReduce、分布式锁服务Chubby、分布式结构化数据表Bigtable、分布式存储系统Megastore以及分布式监控系统Dapper，Google的BigQuery使用流程如下图所示：3.1.3阿里ODPSODPS的体系架构由四部分组成，分别是客户端、接入层、集群调度和计算集群。

用户可以基于ODPS开发自己的应用，STful请求访问ODPS RESTful API、通过ODPS CLT、通过ODPS SDK是对RESTful API的封装，并非是一一对应的映射方式，而是提供了更高层次的抽象，以便于用户理解并运用ODPS中的概念，ODPS SDK按功能划分了Tables、Jobs、Resources、Authorization、Registration等包，ODPS CLT是基于SDK的开发的一个Windows/Linux命令工具，用户可以以命令的方式运行作业。

3.2外部大数据能力引入应用场景考虑到用户隐私和信息安全，建议可以在非关键应用的离线分析和常规报表统计输出等应用中引入外部大数据能力满足日常统计分析工作的需求。

不建议在精准营销、触点服务等涉及用户、位置等敏感信息且实时性要求高的业务场景中使用。

主要的业务场景如下：（1）批量离线分析：基于MR的传统批量离线分析应用，主要用于产生统计分析结果用于后续的业务开发，如用户离网率分析、用户投诉分析等.（2）简单键值对查询：基于HBase的简单键值对查询应用，如传统的话费详单查询等。

（3）准实时查询：基于流计算的准实时营销和网络保障等应用，如终端营销、内容营销等。

（4）复杂即席查询：基于Hive的定制化查询，需要整合用户常用数据，形成数据宽表，用户可灵活定制查询条件及导出结果，并支持高级SQL编辑功能，如HLR用户数据宽表、PS 用户行为明细宽表等。

3.3外部大数据能力引入模式分析（1）模式一：购买大数据分析能力此模式是租用外部互联网公司的大数据存储分析能力，将数据源导入到相关处理平台，具体的数据处理分析模型仍旧由运营商自身负责搭建，由外部平台进行处理分析后输出所需的结果。

为了保障数据的安全性和传输速率，可通过专线实现与外部互联网公司大数据分析平台的互通，运营商通过专线将需存储处理的数据源导入外部大数据处理分析平台，运行自有的算法分析模型，得到所需的分析结果。

此模式可快速解决当前运营商大数据分析处理能力不足的问题，并且可以将技术人员快速地投入到大数据分析的实践中，同时可以培养广东移动自有的数据建模分析能力。

（2）模式二：购买大数据分析服务与模式一相比，模式二除了购买外部大数据处理分析能力之外，数据分析模型搭建的工作也由第三方专业数据分析公司提供，运营商只需负责提供待处理的数据源以及需实现的数据分析功能需求即可，经外部专业数据分析公司的大数据处理平台处理分析后，直接输出运营商所需的结果（也可与第三方公司共同开发）。

相比较而言，此模式是实现运营商引入外部PB级大数据服务能力最快捷有效的方式，外部专业数据分析服务公司可根据运营商的需求定制开发数据处理分析模型，运营商通过专线向第三方大数据分析平台提供数据源即可。

此模式的缺点是大数据分析能力主要依靠第三方公司，无法培养运营商自有的大数据平台搭建、运营能力，不利于长远的发展和公司人才的培养，且成本较高。

并且由于数据分析模型也由第三方公司提供，运营商无法根据变化的需求，灵活地更改调整数据分析模型，存在建模分析周期不可控等弊端。

（3）模式三：合作共建模式三的侧重点在合作共建，购买专业数据分析公司的技术服务，指导运营商的大数据分析平台建设工作。

运营商负责提供机房、服务器、网络设备等物理资源，引入专业第三方数据分析公司先进的大数据平台搭建技术和部署经验，合作完成数据分析模型的建模，形成运营商自有的大数据平台搭建和运营能力以及数据分析模型建模能力，同时也可以进一步培养运营商自有的大数据人才。

该模式较好地平衡了快速引入大数据平台能力和自有大数据分析能力培养建设的需求，既可以较快速地解决现有大数据能力不足的问题，也有助于向未来自有大数据平台能力的过渡和打造专业数据价值挖掘的专业团队。

（4）模式四：大数据贸易共享当运营商自有大数据分析平台发展到一定规模的时候，可以借助引入外部大数据服务能力的契机，考虑另一形式的“外部大数据分析能力引入”，即建设开放共享的数据贸易平台，让数据资源变得像电商产品一样可视化、可交易化，实现运营商与第三方企业之间、第三方企业与第三方企业之间的数据互通及贸易共享，两两或多方合作共享，让数据的交换和合作产生更大价值，该模式属于外部大数据能力引入的高级形式，属于后期发展的目标。

综上所述，以上四种模式各有优劣，分别适用于运营商不同阶段应用，各模式的对比分析如下表1所示。

3.4外部大数据能力引入策略分析（1）初期：由于运营商匮乏大数据平台分析能力以及算法分析师人才，为应对迫切的大数据分析需求，可采取模式一和模式二并重的方式，一部分数据推送至外部成熟大数据分析公司的平台（带算法模型）直接获取所需的分析结果，另一部分数据推送至类似阿里ODPS的大数据处理平台，运营商开发自有的算法分析模型，并在ODPS平台上进行分析处理，然后获取所需数据。

（2）中期：可考虑引入外部大数据平台技术支撑服务，进行合作共建，由专业大数据解决方案提供商协助运营商建设自有大数据平台，并指导算法分析模型的搭建工作，培养运营商自有架构师、分析师等高端大数据人才，最终形成运营商自己的大数据分析解决能力。

（3）后期：在运营商大数据平台发展到一定规模和能力之后，可考虑数据进行对外贸易共享，两两结合或多方结合，让数据的交换和合作产生更大价值，并且可以将大数据平台处理能力和数据作为能力开放的资源对外开放，吸引更多优秀的分析模型进行数据价值变现。

四、结束语大数据时代的到来，面对外部PB级大数据能力产品的不断涌现，运营商在探索打造自身大数据服务平台的同时，也应积极加强对外部商用产品的研究，根据不同的应用场景和风险管控需要灵活采用能力引入、合作共建等模式，通过自建+外部服务引入相结合的方式快步提升自身能力。

参考文献[1]刘智慧.张泉灵.大数据技术研究综述[J].浙江大学学报：工学版，2014，48（6）：1-16[2]赵清，唐菁.电信业数据仓库体系结构及关键技术研究[J].信息通信技术，2013，7（6）：15-19。