电信运营商大数据处理技术分析与应用探讨

电信运营商大数据处理技术分析与应用探讨

【摘要】：在互联网和物联网快速发展的背景下,我国进入了"大数据时代",社会各行各业都通过大数据,获得了一个新的经济增长点。在电信业运营中,大数据运营将成为电信运营商实现"去管道化"的有力抓手,它能有效地促进电信运营商降本增效,因此在企业中建立大数据平台是一个大趋势。本文对数据仓库、MPP 和 Hadoop 这三个大数据处理技术框架和应用场景进行分析和比较,并介绍了某电信运营商分公司大数据建设运营的实践案例。

【关键词】：大数据；数据仓库；MPPDB；Hadoop

一、电信运营商大数据建设背景

随着移动互联网的迅速发展,催生了一个"大数据时代"。目前，移动互联网中即时通讯软件使用广泛,对电信运营商基础语音和短信业务造成冲击,运营商投入巨大资金建设和维护的网络正在逐渐成为各互联网公司的“管道”，面对外部竞争和网络流量收入的压力，如何破局管道化趋势？如何发掘新的业务增长点？成为目前电信运营商最为关切的课题。

在电信运营商日常网络运营中，可以累积大量的用户数据，相比于互联网公司来讲，这些用户数据对于电信运营商来讲是具有巨大价值的，一是用户实名,具有真实的个人基础信息，如年龄、性别、工作单位和职位等；二是地理信息，运营商可以轻松地获得电话者的通信位置，而且精度非常高；三是通讯信息，包括电话费用、对方的信息等等。这些真实的数据是最具战略意义的资产，因此,在电信运营商内部通过搭建一个大数据平台来充分释放数据的价值助力智慧运营是非常有意义的。

二、电信运营商大数据建设驱动因素

1 数据驱动业务创新

数据是一种知识和思维，随着运营商IT系统的建设和运营，数据呈现如下的特征：

（1）数据量大

非传统业务数据量大，包括采集、存储和计算的量都非常大。而传统业务所使用的数据库在数据量大于30TB时就无法支撑，需要通过分库分表的策略来扩充数据库的处理能力，但此策略会带来跨库查询和更多的多表联接操作，导致处理效率的降低。

（2）数据结构多样

数据的种类和信息来源通常是丰富多样的。在日常运营中会出现多种类型的数据（结构化、半结构和非结构化的数据）,具体表现在包括网络日志、音视频、图片和网络地理位置等多个方面,这些多样性的数据对数据处理分析能力的要求更高。

（3）数据增长速度快

数据的增长速度快,数据的处理要求更快,时效要求更高。例如,要求搜索引擎需要几分钟甚至几秒钟就能查询客户的所需要的信息,要求在用户浏览网页时通过算法完成实时的个性化推荐。这些情况是传统的数据挖掘无法实现的。

（4）数据价值密度低

数据的价值密度较低，信息量较大，但价值密度低，例如一个用户的定位数据没有什么价值，但是海量的位置数据能够预测区域内的商业价值。这需要将业务逻辑结合起来，并通过强大的机器算法挖掘数据价值。

通过以上的数据特征分析，运营商在业务生产和管理中形成的大量多种类型的数据存储和处理、数据价值的深度挖掘、数据融合共享等这些需求必然需要新技术平台的承载和支撑，因此采用大数据技术是运营商必然选择的技术方案。

2 应用驱动业务创新

深化应用，创新驱动，深入理解用户需要，密切追踪信息的发展趋势，拓展新技术的应用范围和深度，丰富管理及服务工具，如经营分析、精准营销、维系挽留、营业厅地址等创新应用，赋能智慧运营，助力收入增加。

总之不管是数据驱动还是需求驱动，运营商建设大数据的根本目标都是一致的，那就是要实现智慧的运营，实现可见、可查、可控、可管、可预见的数据体系，从而在互联网背景下不断提升电信运营商的核心竞争力。

三、大数据技术应用分析

大数据技术在战略上的意义并不是掌握大量数据信息，而在于专业地处理这些具有意义的数据。换句话说，如果将大数据与一个产业相比较，那么该行业实现利润的关

键在于增强数据"加工力"，通过加工实现数据的增值。下文对电信运营商在实际工程中运用的主流数据处理技术进行简单分析和对比：

1 数据仓库

是借助现有数据库的能力,为进一步挖掘数据资源、科学决策而产生的一种数据处理技术,它并不是所谓的"大型数据库"。数据仓库的建设目的,是为了前端查询和分析需要,由于数据存储量较大,需要更多的存储资源。

传统数据仓库技术的应用场景如下（包括但不限于如下场景）：

（1）处理结构化的数据(ETL)。底层数据处理任务较重，但整体计算复杂度不高,没有多表格的关联处理,资源允许的条件下可以采用数据仓库的形势。

（2）结构化数据处理与分析。针对结构化数据的处理和分析，数据具有先天优势，在时效等方面数据仓库也是首屈一指的。

（3）数据集市。数据集市的应用比较独立，对可靠性要求不那么严格，资源可以在有足够的资源条件下，通过数据库实现动态资源调配，效率较高。

（4）外部查询。数据中心不仅是对数据进行处理，而且还需要对外查询数据，传统的数据仓库可以进行OLTP 查询，同时也可以支持OLAP查询。

2 MPPDB

MPP，它是一款分布式数据库集群，各节点并行计算而不进行数据共享,在处理性能和架构扩展方面具有优势，它是一个可以为大规模数据提供计算和存储能力的平台,并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统。其应用于数据的深度分析（结构化数据）、前端复杂查询以及自助分析等场景。它提供了统一标准的访问接口(SQL),不需要定制开发。其一般构建在X86服务器的本地磁盘上，因此可以有效降低拥有成本。

MPP数据库产品在数据中心中可以用于以下场景（包括但不限于）：

（1）数据集市

数据集市定位于以企业数据仓库数据为基础，结合其他相关数据，支撑特定业务场景或者业务部门需求的IT平台。可以在数据集市建设和扩容时考虑引入MPP数据库来降低成本，提高效率。

（2）数据分布式存储（历史库或者明细库）

传统的数据仓库对历史数据分析有更多的需求，这可能会导致现有的数据仓库资源不能满足分析要求，将历史数据转移到MPP ，支持随后的数据访问和数据分析需要，