一种基于大数据平台的移动通信信令系统20151110

一种基于大数据平台的移动通信信令系统

谢识常

目录

摘要 (2)

1.背景 (2)

2.系统框架 (3)

3.系统关键模块 (3)

3.1 系统采集、解析、存储方式 (4)

3.2 数据的建模设计 (5)

4．数据处理中的关键技术 (6)

4.1 Hadoop基础 (6)

4.2 基础数据采用Hbase数据库存储 (7)

4.3 汇总KPI数据使用Hive构建数据仓库 (8)

4.4 上层应用查询考虑Impala数据查询工具 (9)

4.5 Spark计算框架的引入 (11)

4.6 硬件架构参考 (13)

5.结论 (15)

6.鸣谢..................................................................................... 错误!未定义书签。

摘要

信令系统是运营商日常运维的重要支撑手段。现阶段数据业务急剧增长，基于传统数据库的信令平台对信令数据的处理越来越困难。本文探讨一种基于

大数据平台的移动通信信令系统。先给出系统的主要框架，论述数据处理的流程，已经讨论系统涉及的关键大数据技术，最后给出一个硬件的配置参考样例。

1.背景

2012年广州在全国率先建设TD-LTE试验网络，2014年广州4G网络正式商用。现阶段数据业务需求猛增、流量急速增涨。移动需要四网协同(WLAN、LTE、3G、2G)，做到集中管理、实时维护网络存在的问题，及时处理网络故障。信令是网络交流的语言，网络的管理与优化需要完善的信令系统的支撑。随着用户、业务、信令数据的急剧膨胀，基于传统数据库的信令系统已经很难满足网络运

维优化的实时、存储及分析要求。

例如，2015年广州本地信令系统对于4G KPI指标只能做到15分钟粒度的

统计，现在客户感知越来越敏感，5分钟内的指标监控能提高网络运维侧响应

网络故障与隐患的主动性；此外，随着信令数据膨胀，传统数据库不能做到线

性增加，数据库分表、分库操作复杂，存储效率低，广州本地信令系统由于数

据库调整造成不可用的时间越来越长；另外，在网络数据的价值挖取当中也缺

乏灵活手段，目前只能按几种固定的时空、网元、目的IP等维度的统计。

大数据技术的日益成熟，在通信领域运用越来越广。更多运营商开始部署

基于大数据平台的信令系统。

基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提供解决方案的综合分析优化平台。对于移动信令分析，大数据首先是面临着越来越多的海量数据挑战；其次，要通过

合适的分析处理，从大量数据中分析出工程人员需要的数据，区分出重点数据

及非重点数据，分辨出哪些数据是实时需要的，哪些数据是需要存储，为以后

工程人员查询所需要的，并形成实时网络性能管理、故障性能告警、客户感知

预警、客户投诉处理、市场营销支撑等应用功能及数据模块。

本文探讨一种基于大数据平台的移动信令系统。

2.系统框架

信令系统通常采取分层结构设计，应用功能松耦合设计，具有优点是缩短

应用上线周期，降低开发成本。从下往上分为：采集层、存储计算层、接口层

以及应用层。

（1）采集层：在移动核心网的主要网络接口部署分光设备，分光器出来的原始信令为原始码流，经由汇聚分流设备后，解析生产原始话单xDR；xDR再经过清洗、抽取、转换操作后入库。采集层可不断扩展，获取更多的数据源。

（2）存储与计算层：是整个系统的核心部分，主要解决数据的实时计算、以及xDR话单的长期存储、预统（轻度汇总数据）的生成与存储，其他数据的存储，并通过共享模块，实现数据共享。

（3）应用层：可通过多种接口方式，实现与共享层的数据交互。

图2.1 信令系统分层框架

3.系统关键模块

应对海量数据的高效处理、存储，多种类型数据的处理

图3.1 数据处理流程

3.1 系统采集、解析、存储方式

1、数据采集与解析

原始信令由专门的采集解析服务器对原始信令数据进行采集解析；目前广

东采取统一的采取汇聚平台。筛选后的原始信令保存在采集机本地存储，建立

信令索引，提供信令回放、信令流程查询。解析后的信令形成XDR，送给信令汇总模块进行关联回填和各种维度的KPI预统计。关联回填后的XDR数据以及单用

户单业务记录发送到Hadoop集群存储，利用Hadoop并行列存储的特性，容易实

现线性扩容。

2、数据存储

数据加载集群，可实现xDR等文件的临时缓存。对不同数据采取不同存储

方式：XDR话单文件，则使用Hbase数据库+HDFS方式存储(当前存两周) ；汇

总数据，采用MPP数据库长期存储，使用的是Hive/Impala+HDFS 。

3、数据装载

共享平台前置加载集群，用于接收获取统一采集平台等上传XDR话单文件；通过加载集群，向处理集群提供缓存的原始数据，可用于数据恢复、库外预统；通过加载集群，提供应用层和统一采集平台之间的通道，提供第三方数据接口（简单处理或透传给应用层）。

4、数据处理

数据汇总，按照多种维度进行数据汇总提高查询速度，减少存储空间。数据关联处理，多张数据表，多种xDR类型进行联合处理，形成OLAP分析结果

数据聚合处理，按全省对各个地市进行聚合等，通过聚合处理，形成OLAP分析结果。数据计算，进行各种维度的KPI指标计算。在处理流程上，可以理解为，我们采用库内，以及库外两种处理方式。

3.2 数据的建模设计

为了满足多样的应用层数据需求，需要对数据建模：

多租户模式，为不同权限的用户提供其所拥有访问权限的数据。每种应用都会对其抽象为一个数据模型，系统根据数据模型，生成相关的应用实现。大

型信令平台通常在一个省集中部署，须考虑多租户模式。多租户模式容易出现

数据和集群资源管理混乱的情况，可考虑建立统一调度平台，实现数据统一化

管理，任务合理调度，集群资源按需分配。

多租户模式下，数据的安全性是重要问题，集群需要将不同用户的数据统

一管理运维，对不同用户的数据进行权限隔离。用户通常是Hadoop集群的省公司内不同部门或者不同地市公司。

Hadoop可以对不同文件目录给不同用户赋予不同权限，实现数据统一管理。通常可以建立三级目录：第一级为用户级，不同用户拥有自己的私用目录，每

个用户不能访问其他用户，同时设置公共目录，集群用户可访问公共目录。第

二级根据数据类型划分，第三级跟进时间划分，对数据规范存放。

数据建模体系可以大概按以下分层：

1)数据装载层：缓存明细数据，网管数据，根据源系统的数据模型进行建模；

2)基础数据层：存储经过处理的明细数据

3)数据仓库层：存储基础数据层的汇总数据，根据数据仓库的维度建模

4)数据集市层：面向主题分析的汇总数据，面向应用建模

采用分层、分功能建模

1)原始数据建模使用分布式文件的存储和设计方法

2)基础数据和明细应用数据建模使用Hbase的建模方法

3)不同维度汇总数据和计算结果使用Hive/Impala的建模方法