综合采集系统介绍

技术发展趋势
• 传统的非IP化的话单信息采集技术已不能满足联通BSS业务支撑的需要，综合采集系 统的全IP化、集中化、云能力化是技术发展的必然趋势；离线采集、联机采集、在线 采集技术的融合应用；应用联通成熟的操作维护技术贯穿入采集系统，减轻采集运维 人员的工作压力，同时是采集系统的二级透明维护和科学化管理的基础。
新一代的综合采集系统定位
电子渠道
总部电子渠道 省分网上营业厅
CRM、Billing域核心系统
VAC/DM
客户关系管理系统CRM
客户接触管理 订单处理 客户资料管理 渠道管理
综合计费账务系统Billing
批价 帐务处理 收费管理 欠费管理 收入流监测
OCS
增值业务平台
产品管理 帐单管理 CRM、Billing域核心系统 客户积分俱乐部 公共支撑管理 信用控制 防欺诈控制 统计查询
监控稽核模块
X.25 TCP/IP 协议转换器 贝尔S1240 X.25 TCP/IP 采集机
采集监控
数据稽核
监控告警
分发监控
协议转换器 西门子EWSD TCP/IP 华为CC&08 采集机
采集平台 数据采集
预处理平台
分发平台
综合计费系统
采集机
自动 重采 手工 采集
审核 校验 脱机 采集 采集 统计
异常 数据
共享内存
定时或实时把异常数 据进行自动回收并送 到排重引擎 自动回收规则
用户手动发起 回收数据的请 求
回收引擎
排重引擎 异常数据回收 异常数据回退
用户发起一个 或多个文件的 回退请求
回退引擎
数据清理完毕送入 标准化引擎
数据标准化引擎
清理相关数据
相关数据
历史 数据 异常 数据
话单 数据
综合采集系统功能架构
14
“采集平台”对多厂家网元的支持
采集业务： 采集业务 固网语音 移动网语音 数据业务 短信业务 增值业务 小灵通
网元协议适配
物理转换层：
接入方式
网元交换协议： FTAM over TCP/IP FTP over TCP/IP FTAM/CMISE over X25
FTAM over X25
MPT over X25
需重新定义预处理 规则支持融合业务
综合采集系统总体概述
新一代的综合采集系统
定义
新一代的综合采集系统是集中采集的二级系统架构体系，实现了对既有业务和未来业务的集中采集 支持，引入全新的运行维护体系保证透明管控需求，系统将成为服务于联通业务支撑系统的数据交 换枢纽。
区别
序号 1 2 3 4 5 差异分析 体系结构 业务支撑能力 数据处理能力 管控能力 保障体系 老一代系统 一级 传统业务 低 部分管控 无 新一代系统 二级 融合业务 高 全程管控 有
采集监控
数据稽核
监控告警
分发监控
协议转换器 西门子EWSD TCP/IP 华为CC&08 采集机
采集平台 数据采集
预处理平台
分发平台
综合计费系统
文件校验
采集机
格式转换 字段调整
自动分发
审核校验 压缩 传输 自动 重采 采集 统计
字段映射
数据加密
移网3G
宽带业务 小灵通平台
异常 处理
话单分拣 话单入库
“预处理平台”功能介绍
预处理平台
详细功能
格式转换 字段调整 字段映射 支持通过参数配置，实现多种话单格式的规格化功能。 支持一张话单映射到多个文件（话单复制功能）
文件校验 字段映射
话单分拣 话单入库
话单排重 话单稽核
支持对分隔符话单文件、定长话单文件、标识符话单文件的映射 字段调整 支持根据特殊业务要求，计算或替换话单指定域值。 支持时间的计算，同时填充指定域。 支持数值域值的运算。 支持字符域值的前串、后串、截取等操作。 话单分拣 支持根据话单中的计费信息要素对话单进行分拣过滤，分拣过滤后的话单存放到不同类 型的话单文件中，其中无法分拣过滤的话单，生成异常话单文件。 支持同一话单可以对其实施多种分拣规则。 支持分拣供争议的话单、不计费话单、计费话单、结算话单。 支持对字段域级错误检查。（包括时间非法、号码非法、数值范围非法等异常类型） 支持对话单级别的检查，如话单关键域缺失等错误。 支持对漫游话单、3G业务话单、短信话单、流量话单、智能网等数据的分检工作。 支持国内漫游来访，国际漫游来访用户话单分拣。
新增监控稽核模块
3
固网、移网 采集各自独立
固网采集和移网采集各自独立建设，数据孤立，不能统 一处理。
所有计费话单 集中采集
4
预处理规则定义
以上诸多的问题表明：现有采集系统已经越来越不能适应新形势的 发展需要，急需重新建设“新一代综合采集系统”。 5 ……… ……… ………
5
各省分公司的预处理规则不一致，固网和移网规则也不 一致（例如：话单排重规则，固网有交叉重复判断，移 网只有重复判断）
特点
多采集方式、多协议支持、全业务支持、新网元设备支持
采集日志
详细功能
•支持多种采集方式包括：联机采集、在线采集、脱机采集； •对采集原数据文件提供审核校验机制，并可进行数据压缩传输； •防止采集系统漏采、重复采集话单数据文件的情况并触发告警平台； •对于发生异常情况提供自动重采和手工采集功能； •支持FTP/FTAM等多种采集协议 •既可以提供实时采集性能数据报表，也可供完备的日报和周报，月报等提供管理人员使用；
文件校验 字段映射
格式转换 字段调整
自动分发
数据加密
移网3G
宽带业务 小灵通平台
异常 处理
话单分拣 话单入库
话单排重 话单稽核
手动分发
分发统计
采集日志
GPRS 短信平台 VAC平台
综合结算系统
配置管理模块 组件库管理
语音交换 IVPN PPS
采集管理配置 组件部署
预处理规则 配置
分发管理配置
“监控稽核模块”功能介绍
8
系统部署方式
Mo dem Bank
9
技术架构体系
10
统一外围适配接口
1 2 3
X.25/FT AM X.25/C MISE 协议转换器 协议转换器 FTAM采 集 CMISE 采集 FTP采集 DCN网 络 RS232 采集 文件采集 报文整理 扩展采集 以太网/FTP 采 集 统 一 适 配 接 口 数 据 管 理 平 台 接 口
文件校验 字段映射
格式转换 字段调整
自动分发
数据加密
移网3G
宽带业务 小灵通平台
异常 处理
话单分拣 话单入库
话单排重 话单稽核
手动分发
分发统计
采集日志
GPRS 短信平台 VAC平台
综合结算系统
配置管理模块 组件库管理
语音交换 IVPN PPS
采集管理配置 组件部署
预处理规则 配置
分发管理配置
“分发平台”功能介绍
分发平台
定义
针对计费、结算系统需要的标准数据格式，按照预先配置进行数据分发。
自动分发
数据加密
手动分发
特点
优先级配置、断点续传、自动重传
分发统计
详细功能
•支持多方向计费、结算话单记录的分路分发和协议适配； •支持多方向计费原始记录的追溯、追踪的监管要求的协议适配，支持自动和手工两种模式； •支持分发点和分发时间等的可配置，配置信息包括文件名规则、数据格式、路由、传输协议、分发点 IP地址、分发目录、用户/密码以及分发时间计划等； •支持配置多路由，支持路由故障情况下自动分发，支撑计费数据分发的各类性能统计；
话单排重 话单稽核
手动分发
分发统计
采集日志
GPRS 短信平台 VAC平台
综合结算系统
配置管理模块 组件库管理
语音交换 IVPN PPS
采集管理配置 组件部署
预处理规则 配置
分发管理配置
“预处理平台”功能介绍
预处理平台
定义
格式转换 字段调整
文件校验 字段映射
负责对原始话单文件标准化处理，形成计费系统需要的统一标准话单文 件。
话单分拣 话单入库
话单排重 话单稽核
特点
规则配置引擎
详细功能
格式转换 支持对ASCII、ASN.1、BCD、二进制、等编码文件的处理。 支持可对大数据量原始数据文件做分离处理。 支持华为、中兴、贝尔、北电等厂商的原始话单格式转换。
话单排重 支持在进行预处理的话单文件中发生重复记录的情况下，对其进 行检测,并对重复记录进行剔除。 支持相关话单间的话单合并功能。 支持固网和移网全业务话单的排重功能。 支持排重关键域可配置功能。
话单排重 话单稽核
Biblioteka Baidu
手动分发
分发统计
采集日志
GPRS 短信平台 VAC平台
综合结算系统
配置管理模块 组件库管理
语音交换 IVPN PPS
采集管理配置 组件部署
预处理规则 配置
分发管理配置
“采集平台”功能介绍
采集平台 数据采集 审核校验 压缩 传输 异常 处理 自动 重采 采集 统计
定义
为了满足业务支撑系统计费要求，从网元或其他系统读取话单文件经过 校验压缩传递给预处理平台
综合结算
前置机构 网元设备
业务资源管理 客户问题管理
经营分析
智能网平台
ERP
CRM、Billing域配套系统
外部系统 银行、公安等 市场营销管理 大商客管理
客户维系挽留 销售管理 CRM、Billing域配套系统
社区营销 一卡充VC缴费
外围 系统
PRM 综合采集 客户服务 号线资源 服务开通 IOM 收入归集
采集监控
数据稽核
监控告警
分发监控
协议转换器 西门子EWSD TCP/IP 华为CC&08 采集机
采集平台 数据采集
预处理平台
分发平台
综合计费系统
采集机
自动 重采 手工 采集
审核 校验 脱机 采集 采集 统计
文件校验 字段映射
格式转换 字段调整
自动分发
数据加密
移网3G
宽带业务 小灵通平台
异常 处理
话单分拣 话单入库
3
综合采集系统演进趋势
近期目标
中期目标
远期目标
综合采集系统需求分析
主要问题
采集点多 设备老化
问题描述
网元分散，管理难度大，采集点繁多，需要转发分发多 个系统，部分省份设备老化无法更换。
需求分析
集中采集减少 采集点的数量
1
2
稽核问题 监控问题
采集系统无监控、稽核、告警功能，不能及时发现采集 系统存在问题。
排重模块处理方式
文件系统
内存中无相关时间片 时与历史数据交互 历史 数据 确定排重规 则并与内存 数据排 重 使用事件送到 排重引擎 当前使用记录
共享内存 使用 事件 时间 片1 使用 事件 时间 片2 使用 事件 时间 片3
排重规则
排重引擎
生成使用记 录文件
使用记录 落地进程
异常处理方式
文件和使用记录
综合采集系统介绍
联通系统集成有限公司黑龙江省分公司 2011年 3 月
目 录
项目建设背景 综合采集系统总体概述 产品功能特点介绍 项目实施建议
项目建设背景
综合采集系统建设驱动力分析
产业发展趋势
• 中国联通运营的业务已扩展为内含移动、固网、互联网、融合业务、合作伙伴增值业 务的态势，迫切需要运营商运营支撑系统能为用户提供一体化的全业务电信级运营支 撑，作为中国联通BSS系统的重要子系统综合采集系统迫切需要实现全业务和全网络 计费信息集中和统一的采集、处理和分发，以适应BSS系统整体提升带来的诸多挑战。
格转、映射、调整与分检方式
包含格式转换、字 段映射、字段调整、 异常检查、话单合 并和分检等功能
共享内存
格式转换参数
读取参数 配置
字段映射规则 字段调整规则
使用记录
异常规则 数据标准化引擎 分检规则
需要排重的 使用记录
原始文件 分检与异常 话单落地
文件系统
删除的 记录
排重引擎
异常记 录 无需排 重记录
23
综合采集系统功能架构
监控稽核模块
X.25 TCP/IP 协议转换器 贝尔S1240 X.25 TCP/IP 采集机
采集监控
数据稽核
监控告警
分发监控
协议转换器 西门子EWSD TCP/IP 华为CC&08 采集机
采集平台 数据采集
预处理平台
分发平台
综合计费系统
采集机
自动 重采 手工 采集
审核 校验 脱机 采集 采集 统计
监控稽核模块 采集监控 数据稽核 监控告警 分发监控
定义
对采集、处理和分发进行全过程监控 稽核,保证数据及时性和准确性。
特点
主动告警、实时监测、数据核查
详细功能
•采集文件连续性监测（基于网元设备）和告警处理； •采集文件内CDR记录连续性监测（基于网元设备）和告警处理，采集延时、缺失、异常的分等级告警； •支持短信，邮件多种告警通知方式； •分发数据连续性监测和告警处理，分发数据的时效性，实时传输和恢复数据记录； •分发数据处理中的延时、缺失、异常的分等级告警；
统一网元协议适配接口（UNEA）
RS232 磁带仿真 RADIUS 扩展网元
协议转换器 采集前置机 防火墙 前置或转换
话单
统一数据库适配接口（UMDB）
统一外围系统适配接口（UDI）
11
产品功能特点介绍
综合采集系统功能架构
监控稽核模块
X.25 TCP/IP 协议转换器 贝尔S1240 X.25 TCP/IP 采集机
TCP/IP
RS232
RADIUS
SAMRA over TCP/IP
SFTP over TCP/IP
磁带仿真
S12IP网管接口 网管接口
数 据 源
交换机厂商： 上海贝尔 西门子 华 为 中 兴 爱立信 北 电 大 唐 其他
综合采集系统功能架构
监控稽核模块
X.25 TCP/IP 协议转换器 贝尔S1240 X.25 TCP/IP 采集机