Smartcare融合大数据平台

Security Level:内部公开Smartcare融合大数据平台

Contents01 平台概述

02 解决方案关键技术

03 解决方案介绍

华为平台关键能力及技术优势

100G大容量探针

•NetProbe12U 探针

•100 Gbps(处理能力）

•60 TB (存储能力）

复杂多接口拼接能力

•跨CS，PS，IMS多域的接口关联能力；

•具有120万条/秒流式数据、100MB/s文件数据采集能力

强大的实时计算能力

•实时流处理能力

•实时事件规则定制

•VVIP用户分钟级实时感知监控

•海量数据存储能力

•海量数据高效获取能力

•后分析和离线挖掘能力

海量数据存储计算能力

•架构开放硬件虚拟化

•平台开放Hadoop数据订阅

•数据开放多租户管理

架构灵活&开放能力

华为平台关键能力1－架构灵活&开放能力

数据开放

架构开放平台开放

平台能力开放给客户，易于平台的使用•第三方工具通过标准接口使用Hadoop 组件；•通过CEP 配置接口，开放实时CEP 能力；

使用客户现有资产，易于平台的部署•使用第三方硬件：PC 服务器、存储

•使用第三方的Cloud 环境各类数据灵活共享，数据价值最大化•实时事件数据，根据条件触发到第三方系统

•通过多租户方式，客户可访问共享平台数据

现网硬件虚拟化层

功能

现网云平台

数据库

权限控制

DSI

实时处理

多租户视图Spark

Hadoop

Data Mining

Machine Learning

共享平台

3方工具

标准接口

根据电信行业数据特点，采用最优的组件处理特定的数据。

Hadoop Distributed File System(HDFS)

HBASE (投诉处理详单)

IMPALA (接口详单)

Spark

(天粒度汇总计算)

Hadoop 通用组件功能：•HDFS ：提供可扩展的海量数据低成本存储。

•

Spark ：提供小批量流式处理、离线批处理、SQL 查询、数据挖掘，适合高优先级、迭代型计算任务。

•IMPALA ：基于SQL 查询接口提供海量数据查询能力的新型查询引擎。

•HBASE ：支持主键检索及简单事务，适合存储大表数据。

采用Huawei 自研的Hadoop 方案：

兼容开源Hadoop ，便于开发者使用和技能复制；

根据电信数据特点进行针对性的增强，更适合运营商部署；技术优势：

在Hadoop 标准组件功能的基础上，增加以下功能•

基于聚簇表/聚簇索引框架的HBase 增强：通过HBase 内部机制实现一个对象下多个用户表数据在物理上的相邻存放，

从而达到查询时延相比传统方法5~100倍提升。

•

基于二级索引的Hbase 增强：开源的Hbase 只提供单索引，Huawei 增强的二级索引，就是对于电信领域需要经常查询

的列，建立这一列数据(例如用户号码)和RowKey 之间的索引；避免了直接在全数据表中的整表搜索，可以大大减少数据搜索量；

华为平台关键能力3－海量数据存储计算能力（Hadoop ）

华为平台关键能力4－复杂多接口拼接能力

复杂的多接口拼接能力：

采集多接口探针上报数据，通过适配转换、单据关联回填，实现复杂的多接口单据拼接，生成XDR 详单。技术优势：

•跨CS ，PS ，IMS 多域的接口关联能力；•完成实时跟踪、链路监控、链路拓扑、协议分析等实时业务

•支持XDR 字段的增加以及删减；

•多协议支持：FTP 、SFTP 、FTPS 、TCP 、SDTP 和SNMP

•具有120万条/秒流式数据、100MB/s 文件数据采集能力差异化特点：

•独立实时通道，确保特定数据的实时性；

多接口探针

单据适配拼接

●12U 探针:

•100 Gbps (处理能力)•60 TB (存储能力)

100Gpbs 探针是在未来LTE 时代满足数据大爆炸需求的关键能力

华为平台关键能力5——100G 大容量探针

●2U 探针:

•10 Gbps (处理能力)•24 TB (存储能力)

12U

2U

Tecal E9000 采用OSCA 平台架构，用于大容量的MBB 探针。

完成原始信令的数据识别、解析和处理，生成xDR 。技术优势：

1、处理能力强，单机框最大处理流量100Gbps ；

2、配置灵活：通过增加插板，可逐级增加处理能力；（每块

业务板支持10G 流量）

3、计算单板、存储单板根据需要配置；

4、前插板提供计算、存储资源，后插板提供接口、交换能力；

Tecal E9000

Contents01 平台概述

02 解决方案关键技术

03 解决方案介绍

关键技术1：高铁用户精准识别算法

基于MR/CHR/xDR 多维大数据运算，通过合理的高铁用户识别算法，“四大步六小步”充分识别和定位高铁用户，从而达到评估高铁性能质量的能力。

工程参数预处理

高铁用户识别

标示高铁站点

专网/非专网高铁站点小区清单，包含ECGI\小区类型\专网标记

◆xDR 与软采数据拼接◆xDR 与CHR 数据拼接◆CHR 与MME CHR 拼接◆

CHR 内通话间拼接

高铁用户的MR 过滤与定位

1、基于站点切换序列和时间，识别高速高铁用户。

2、识别同车高铁用户，获取小区切换序列和时间匹配的用户信息。

3、根据专公网切换信息和驻留时长，识别上下车用户。

4、基于上下车用户、站点和速度，识别低速高铁用户。

5、根据高低速用户的切换信息，识别高铁运行方向。

六步六识别

(高铁用户/同车/上下车/运行方向/运行线路)

多类数据源关联拼接

1、按照识别的高铁用户，过滤出高铁MR

2、通过地理化定位算法，定位每个高铁MR 的实际位置

高铁用户识别准确率达到XX%。

数据拼接