电信行业的数据架构管理实践

社交网络
电子商务
21世纪是数据信息大发展的时代，移动互联、 社交网络、电子商务等极大拓展了互联网的边 界和应用范围，各种数据正在迅速膨胀并变大。
移动互联
互联网（社交、搜索、电商）、移动互联网 （微博）、物联网（传感器，智慧地球）、车 联网、GPS、医学影像、安全监控、金融（银 行、股市、保险）、电信（通话、短信）都在 疯狂产生着数据。
电信行业数据架构管理实践
1
自我介绍

十多年电信行业背景，毕业后一直从事电信行业相关工作。 十年数据库、数据仓库、数据分析，架构从业经验；开发、集成、运维、架 构多岗位经验

目前专注于电信行业数据架构


个人理念：让数据创造价值
现服务于国内最大的系统软件服务厂商上海新炬
“让一切成为数据”是大数据时代的特征
案例分享（3）： X省测试数据安全项目
新炬安排数据安全方面的专家，配合局方进行各系统敏感数据梳理工作。 根据敏感数据的特点制定完整的数据安全加密策略。 根据制定的数据安全加密策略，配合局方在数据安全加解密平台中实施相应的加解密策 略。
测试数据分析
分析数据迁移的整体路径和相应数据内容分析， 包括数据源分析、目标数据分析，数据源类型分析，数据内容分析 安全平台自动化敏感数据识别配合专家分析识别在
新炬电信行业数据架构管理体系
新炬数据架构管理体系
宏观层面 微观层面
整体数据架构规划 数据分布管理
数据模型管理
数据业务流程分析
运营层面
数据生命周期管理 数据安全管理 数据资产管理平台 数据资产管理制度和规范
数据操作管理 数据质量管理
Байду номын сангаас
治理层面
数据资产管理团队
9
数据架构宏观层面：明确数据总体视图，包括数据分类组织 、分布、关系和结构
• 节约生产存储的同时，为系统性能提升 打下基础。
100 80 60 40 20 0
12月1日
CRMA1
10月1日 50 0
06:06:00 06:39:00 07:12:00 07:45:00 08:18:00 08:51:00 09:24:00 09:57:00 10:30:00 11:03:00 11:36:00 12:09:00 12:42:00 13:15:00 13:48:00 14:21:00 14:54:00 15:27:00 16:00:00 16:33:00 17:06:00 17:39:00
据资产管理活动的基础与
核心
应用 项目
业务流程 事务…
在TOGAF企业架构框架，
数据架构也是整个企业架
构框架中的四个重要组成 部分之一
应用系统 服务 …
应用架构
数据架构
性能 智能
新炬数据架构管理服务，
以数据架构为核心、辐射 业务和应用，以架构变更
技术架构
系统软硬件…
管理与持续优化为手段推
8 动整体企业架构治理水平
变更管理 Text
制定数据模型变更 规范与流程 数据模型变更评审 及优化 业务影响度分析 SQL评审及优化
上线实施 Text
变更实施 模型基线稽核 模型基线发布
分析优化 Text
架构分析及优化 数据生命周期实施 模型生命周期实施
15
数据架构设计： 数据架构团队从源头提升应用交付质量
帐务
产品搭积木式叠代开发
数据架构混乱 架构管理滞后 架构变更失控 数据无序增长
数据标准缺失 数据安全突出 数据架构黑盒 数据质量参差
7
数据架构是企业架构的一个极其重要的组织部分
数据架构管理定义是整体IT 系统资产蓝图，是其它数
业务 战略 业务 目标 业务 需求 业务 方案 业务架构
12.03%。
索引优化 • 共清理冗余索引24176个，超出目标 4176个，超预期20%以上。 • 核心五套库清理的冗余索引占总数的
• 从生产清理出库34TB的数据，超
11.78%。
模型精简 • 从318311张核心表精简出12697张 基础模型，精简度达4%，使模型 管理变得可控。
出目标值4TB，出库量占比34%。
从提高系统处理效率，降低系统消耗。优化客户感知角度出发，整 理出10个需要开发优化完善的问题。以充值复机流程为例，通过架 构优化改造，充值复机时长从39.21秒降低至13.4秒。同时，每起 充值复机故障平均处理时长可降低到20分钟以下，可消灭黄色以上
优化架 构设计
故障。
案例分享（2） ：X省业务支撑域数据容量管理以及数据架 构优化服务
核心系 统现状 梳理
49.5%。
完成《业务支撑系统IT数据生命周期管理实 施规范》和《业务支撑系统IT数据资产管理
办法》的初稿，待项目后期与相关部门沟通
确认后即可发布实施，以保证项目实施成果 持续可控，预计实施后每年可节省存储资源 522TB，节算为存储扩容成本过千万。
建立数据 生命周期 管理体系
数据资产 管理
到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！
大数据时代下的数据资产管理
数据资产管理（Data Asset Management，简称DAM）是规划、控制、和提供数据这 种企业资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、 流程、方案和程序，从而控制、保护、交付和提高数据资产的价值。 在当前大数据的时代，数据被业界公认为是 企业的最宝贵资产之一，数据的价值得到认同。 企业依赖数据资产管理为其提供可靠、有价值和 高质量的数据，提供更好的产品和服务，降低开 发和运维成本，控制风险，以及为企业提供更明 智和更有效的决策数据支持。 因此，亟需对数据资产进行有效的管理，提 升数据的价值 。
注：9月份完成首轮清理
12月1日 10月1日
CRMB1
06:00:00 06:30:00 07:00:00 07:30:00 08:00:00 08:30:00 09:00:00 09:30:00 10:00:00 10:30:00 11:00:00 11:30:00 12:00:00 12:30:00 13:00:00 13:30:00 14:00:00 14:30:00 15:00:00 15:30:00 16:00:00 16:30:00 17:00:00 17:30:00
11
业务 规则 概念模型 逻辑模型
范、业务流程和业务需求 的集合 分析业务层面，主动识别、定义业 务实体的关键属性及实体间关系 根据概念模型，设计数据实 体和数据属性，着重于系统 的逻辑实现，不考虑物理属 性 具体设计表格、视图、字 段、主/外键、索引等数 据库物理对象
物理模型
数据模型管理目标
数据架构微观层面：明确业务、应用以及数据之间的关系
部门
短信记 录
用户消 费记录
数据价值巨大
电信运营商距离数据金山的“最后一公里”问题
在距离“大数据金山”的不远的路上，电 信运营商亟待解决的数据架构问题以及在
数据架构基础上的数据资产运营问题
电信运营商目前IT系统数据架构现状和问题
业务系统越来越多
CRM 计费 网厅 渠道 客服 ……. 短厅
各系统烟囱式建设
CRM
省中心 接口
帐务基础数据
固定费 规则 固定费 结果 固定费 清单 托收划 扣数据
帐务管理
缴费优 惠数据 充值转 预存数 据 信控状 态 销帐数 据 路由 规则
计费引擎
产品 资费 局数据
信控规 则
免监控 规则
信控红 名单
信息管理
个人客 户资料 个人订 购关系
代付 计划
余额管理
全省 VPMN对 应关系
架构设 计
数据冗余 度分析 实体间逻 辑关系
技术实 现 性能审查
属性枚举 值设计 实体属 性标准
历史业 务数据 策略
16
数据架构管理的主要推进方向
架构管理 规范化
数据资产 可视化
数据运营 智能化
规范管理 架构贯通
资产盘点 优化整合
内控成本 外拓价值
新炬数据架构管理体系
数据架构管理制度和规范 数据架构管理团队 数据架构管理平台
数据架构上的数据运营
数据架构
数据
控制整体容量 自动数据清理
生命 周期 安全 优化
架构深度分析
深层优化系统
质量
管理敏感数据 防止数据泄漏
发现数据问题 推进数据质量
数据架构管理着力于系统开发周期全程
分析/设计 开发 上线 运维
数据架构设计 Text
数据标准制定 业务功能域分析 架构设计数据建模 模型迭代优化 数据模型基线定义 数据生命周期管理 策略
应用系统主要业务实体、实体
数据架构
集中展现数据架构 间的关系，落地所涉及的表、 中的应用与数据的 字段、索引等等 映射关系
12
架构治理层面：建立适合企业的数据架构管理制度
架构管理团队 数据架构标准和规范
标准化和规范化系统数据架构设 计和变更，提升架构设计质量， 减少数据模型的二义性，降低系 统数据共享的难度 建立一个熟悉业务、数据以及系统特 点的架构管理团队，审查、批准和维 护整体系统架构；同时，对系统进行 架构合规性评估，分析架构差异。
数据模型是实际业务需求映射
业务层 面
数据模型 层面
形成IT系统的各种业务规
到IT系统中数据库物理模型实 体抽象，清淅反映IT系统是如 何实现业务需求的。 数据模型分物理模型、概念模 型、逻辑模型三个层次，分别 对三个层次进行管理 在数据模型基线的基础上，开 展版本、变更、稽核和发布管 理，以及持续提供有效的数据 模型基线。
应用系统主要业务流程、业务域、 业务模块与业务节点等等 集中展现应用架构 中的系统流程图相 关内容 应用架构相关元素，例如WEB中
业务流程 分 析 三 层 映 射 关 系 实 现 统 一 应 用 视 图
集中展现数据架构 中的数据实体/业 务功能的映射关系
间件、事务中间件、数据库、主
机、进程等等
应用架构
案例分享（1） --X省信息技术部整体数据资产管理取得总体效果
根据运营管理室对业务支撑系统的分类结果，项目组在业务支 撑域的28套核心系统的范围内，开展现状梳理工作。目前完成
了营业、账务、计费系统的物理模型整理和27套核心系统数据
对象生命周期保留策略的整理。共分析27套库1G以上的表近 3115张（占数据库使用空间的97%以上）的数据生命周期保 存策略，有1542张表存在生命周期保存策略问题，占总数的
数据架构 管理
数据架构管理流程
建立一套适合企业内部实际情况的数据架
数据架构管理平台
构建企业自身的数据架构管理平台，
以平台介质实现数据架构的可视化 管理和应用，以及实现数据资产的 智能化管理
构管理流程，针对数据规划、设计、实施
以及变更等关键环节进行有效的数据架构 管理，提升系统设计质量以及设计与系统 实现的高度一致
数据架 构管理
数据质 量管理 元数据 管理
数据开 发管理
数据操 作管理 数据安 全管理
数据治理
文档与内 容数据管 理 数据仓库 与商业智 能
参考数据 与主数据
数据资产管理体系图
4
电信行业运营商每天正在不断产生的大量的有潜在价值的数据资产
语音通
话记录
每天上百TB数
据量
流量记
录
用户位
置记录
涉及多个业务
150
100
生产业务数据库数据增长速度明显放缓，以营业A库为例：
10月1日CPU使用率高峰期平均下降20%左右。
案例分享（2） X省业务支撑域数据生命周期管理具体案例
数据库主机CPU使用率均有不同程度的下降，优化产生相当于28颗同类型CPU的效能，如果
通过价格换算，CPU与存储总计节约成本753万。以营业库4台主机为例，CRM库12月1日较
各套库CPU使用率均有所下降，核心数据 库CPU使用率高峰期平均下降20%。 若通过硬件扩容的方式达到同样效果，需 要扩容28颗同类型CPU。
2. 架构优化
3. 性能提升
取得 成果
1. 容量控制
库表清理 • 共清理冗余表15442张，超出目标 5442张，超预期50%以上。 • 核心五套库清理的冗余库表占总数的
1 2
敏感数据识别
制定安全策略
迁移过程中存在敏感数据，敏感数据迁移过程中那 些步骤或过程中需要加密 根据敏感数据特点，制定数据加密 策略，包括数据加密算法制定
根据迁移路径和案例策
3
策略实施
略，配置实施安全平台 的数据作业
4
数据安全加解密 分析和实施过程
Thank You!!
家庭客 户资料 家庭订 购关系 跨市支 付关系
系统 参数
号码IMSI 对应关系
发票
坏帐数 据
短信
虚拟帐 户
账本 余额
累积量
免费 资源
积分
产品
渠道 信息
未销账客 户应收
已销账客 户应收
实时费用
滞纳金
10
SP信息 资料 路由 规则
局数据
XX系统数据分布图
红名单
黑名单
用户资料
订购关系
产品 资费
账单 科目
数据架构微观层面：管控系统数据模型设计和变更