山西公司-网优大数据定位算法研究与应用

业支大数据平台租户：需每天关联1.2T的MRO文 件，XDR及指纹库数据，租户分配1T内存、 300CPU、 300T存储，每天8点开始前1天数据的 计算，计算时长约10小时。 新增httpcontent_ul 和 httpcontent_dl字段每 天8T，保留3天数据
4
1.1 OTT平台架构-数据处理
2
网管域
3.接口机的flume程 序再将MR文件上传到 业支租户的HDFS目录 下
5
业支域
数据安全：XDR信息入库 前业支大数据平台已对关 键信息进行脱敏处理，厂 家无法接触到用户信息
3
4
Leabharlann Baidu
Hadoop集群
网管设备采集侧
硬采解析服务器 硬采数据S1MME/SGS/S6a 统一DPI设备 用户面数据S1-U 新增httpcontent_ul 和 httpcontent_dl字段：解出 http请求及响应报文的content部分，按照16进制 码流输出在xdr（S1-U）后面，即在原来的xdr增加 字段httpcontent_ul 和 httpcontent_dl。上行长度 要求小于3000字节，下行长度要求小于1500字节。 5
6
1.2 重点工作1-经纬度信息回填
OTT数据直接关联MR信息，位置信息回填率不足5%，通过识别常驻用户识别、搭建OTT指纹
库、传统仿真指纹库进行全量MR采样点经纬度回填。
MR XDR
关联、运动状 态识别
关联位置采 样点
高速运动用户
未关联位置 采样点
静止用户
关联位置采样点
未知状态用户
未关联位置采样点
共 享 层 数 据 预 处 理 采 集 层
分布式数据库
FTP/WebService/CS
分布式实时流处理系统
数据加 载 数据关 联 数据聚 合 数据统 计 数据挖 掘
接口管理 日志管理 配置管理
编解码子系统
解码 合成 关联 回填 预统 计 业务 识别
…
解码 合成
编解码子系统
关联 回填 预统 计 业务 识别
评估，占比74%，对全省城区1-5级道路、高速和高铁全段进行覆盖评估。应用常驻用户识别算法对 居民区、写字楼、高校、城中村等重点场景进行长期覆盖质量评估。
应 用 层
道路模拟测试 竞对分析 室内模拟测试 用户级分析 特殊场景分析 4G倒流问题点 楼宇透视 无覆盖区域识别 网络规划 ……
外部系统
接口
系统管理层
系统自监控
Mc
Gb
IuPS
Gn
LTE-S1
LTE-S6a
LTE-SGs
……
1.1 OTT平台架构-IT架构
应用端：1台服务器提供BS访问的WEB服务器和 提供CS访问及数据预处理
MR数据采集：3台采集服务器，实时采集北向服 务器中的MRO数据 （每天MRO数据约160G）。 数据库服务器：2台存储服务器，存储及运算匹配 后的OTT数据
1.实时从北向MR服务 器采集15分钟粒度 MR文件，解析形成 txt格式文件 6.将数据应用处理结 果进行分发和呈现
1
2.将解析后的MR数据 通过FTP实时上传到业 支大数据平台接口机
6
5.通过业支大数据平 台的FTP分发模块， 将计算结果输出到本 地数据库中 4.堡垒机采用Spark处 理架构，通过大数据 平台的Oozie调度模 块关联MR和XDR及指 纹库的计算
1.1 OTT平台架构-搭建中遇到的问题
问题 问题定位 解决措施
1.与网管中心商议，后续网管涉及 1.MR北向服务器IP地址发生变 MR北向服务器的操作必须邮件或工 化导致MR采集服务器无法连通 单至网优中心； 2.通过工单明确MR常态化及全量开 MR数据缺失 启时间段，每地市指定MR负责人， 2.OMC侧未开启测量任务 常态化临时关闭及全量测量项开启前 必须通知网优中心相关负责人； 3.MR全量开启后，MR采集服务 3.扩容采集服务器； 器无法全部解析 1.需求提出错误，OTT平台需要 16进制文本格式的原始码流，而 1.按照16进制文本格式入库 http字段无法 非提出的二进制的原始码流 录入大数据平 2.http原始码流没有明确的关键 台 2.DPI解析厂家对HTTP码流进行标 字，不能录入业支大数据平台库 识 中 涉及网管网和业支网两个域，需 MR采集服务器与接口机打通，本地 网络不通 要打通网络 数据库服务器与接口机打通网络 数据处理中需 在网管网和业 网管网和业支网分属两个域 对账号进行VPN授权 支网来回切换 接口机会停止 每天对6TMR数据进行上传，分 工作，导致文 接口机账户下的空间进行扩容 配的资源无法满足 件不上传
数据 问题 网络 问题
OTT平 台搭建 的问题
接口 机问 题 调度 问题
队列资源不足、队列调度优先级 Oozie调用 对调度优先级由最低提升至中级，并 Spark程序经 低和集群的调度方式等方面存在 进行硬件扩容 常失败 问题 堡垒机只能通过业支4A云桌面进 上传指纹库时 行操作，云桌面因为有超时断开 设置长任务保护机制，对于长任务操 无法长时间连 的机制（超时门限在20分钟以 作，保护时间延长 接堡垒机 内），导致与堡垒机的ssh连接 会中断
1.2 重点工作1-常驻用户识别
通过建立用户常驻位置模型，识别常驻区域，通过OTT数据对常驻用户赋值经纬度信息。
1、基于用户周期性潮汐类别对用户常驻位置进行场景划分： 2、用户小区驻留时长（频次）算法：
基于S1_MME消息的TAU_TYPE=3的TAU ， （T3412，现网设置为54min），即用户在持续空 闲态1小时内一定会触发TAU_TYPE=3的TAU，以 小时粒度统计用户在对应小区下的驻留小时频次 基于S1-U消息各类话单，例，用户单天特定时段 内在同一小区的3个小时时段均产生过S1-U话单记 录即认为在该小区的业务态驻留频次为3
网优大数据定位算法研究与应用
山西移动 2017年7月
-1-
目录
1 基于OTT定位平台及应用
2 基于软硬采相结合的楼宇KPI分析
3 基于MR的高负荷小区分流
2
1.1 OTT平台架构-平台功能
16年底OTT平台已在全省11地市推广应用，支撑日常集中分析中的覆盖分析和网络结构分析。
目前平台日处理160G的MR北向文件，生成87亿采样点数据。实现对全省城区34万栋楼宇进行覆盖
更新指纹库
常驻用户识别 更新用户常驻地 指纹库
常驻用户 非常驻用户
道路栅格 指纹库
道路指纹 回填
道路回填 采样点
用户常驻地数 据库 常驻楼宇 常驻小区
常驻位置经纬 度回填
OTT高精度 指纹库回填
仿真指 纹库回 填
高精度OTT采样点MR回填率不足5%
常驻用户可以回填32%的MR采样点
OTT指纹库可以回填46%，剩余 采样点使用仿真指纹库回填