无锡农商银行数据治理项目

业务元数据
元数据获取 与应用
技术元数据 操作元数据
数据应用服务
报表服务
经营报表 高管驾驶舱
业务人员报表 开发能力建设
监管报表
应用服务
业务领域专项应用
数据服务 数据文件服务
报表及应用服务管理 需求/设计管理 指标体系管理
报表生命 数据应用与服 周期管理 务平台管理
数据 管控
数据组织与职责
数据管控
数据控制与流程
报表服务
促进
数据 标准 管理
举措
数据 质量 管理
数据应用
应用服务
数据文件服务
数据管理
数据 架构 管理
主数 据管 理
元数 据管
理
数据 安全 管理
支持
数据 生命 周期 管理
支持
数据管控
支持
保障
数据组织与职责
数据控制与流程
数据管理绩效
技术支撑
01 项目背景 02 项目简介 03 项目功能 04 总结
03 数据治理平台架构
重点关注：
数据标准
数据规 范
部门间协作 执行的力度 常态化运作
数据
数据形 态
元数据
数据质 量
数据质量
03 数据质量管理
• 实现数据质量检测规则的定义、设置、运行和发现 • 将问题数据通过流程引擎下发到对应人员，监督相关人员处理和跟踪 • 记录问题处理结果，并形成质量知识库 • 对质量问题进行统计分析
数据管理绩效
技术支撑
优化数据管理组织架构
建立元数据、数据质量、 数据标准管理平台
完成新数据平台的建设
完成大数据风险预警建 设
02 数据治理组织架构
决
行长室
▪ 行长室 ▪ 组长：行长
策
▪ 成员：各副行长
层
数据管控职能团队
数据管控职能团队
协
财务 管理 部
数据管 理中心
▪ 制定数据治理工作计划； ▪ 协调年度数据治理工作； ▪ 汇报年度数据治理工作成果； ▪ 负责全行监管报表统一报送及牵头监管指标体系梳理；
完成初期大数据平台的 搭建，简单应用场景的 试用
启动数据治理平台建设 项目，重建基础数据平 台
2018年 巨大改变
企业数据管理
企业数据架构 数据标准管理 数据质量管理
数据安全管理
企业数据模型 企业数据分布 企业数据流转 数据架构管理 数据模型管理 数据治理规划
基础类数据标准 指标类数据标准
数据标准管理 标准落地实施
元数据版本管理
元数据血缘分析
03
数据标准
数据标准是数据管控工作中的一个不可缺失的重要环节，它是整个企业层级的规范。 前期咨询整理了1723项基础数据标准，在此次仓库模型中落地了212个，同时对部分标准项进行了调整。 为了更好的实现数据标准，后期需要逐步落实到前端交易系统。
主题 标准大类 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息 客户 通用信息
▪信息科技部：配合财务相关数据管理工作； 为数据和系统责任部门提供数据领域的服务与 支持，确保数据管理工作的有效落实；支撑业 务部门大数据应用分析与大数据平台的开发
数据责任人体系
公司 业务
三农 电子 金融 银行
金融 市场
……ຫໍສະໝຸດ Baidu
总行
业务
执
部门
行
总行
层
分支
机构
数据
责任
部门
总行数据 主负责人
数据使用人
分支机构 数据入人
02 数据治理建设阶段
2016年 打下基础
企业数据管理
企业数据架构 数据标准管理 数据质量管理
数据安全管理
企业数据模型 企业数据分布 企业数据流转 数据架构管理 数据模型管理 数据治理规划
基础类数据标准 指标类数据标准
数据标准管理 标准落地实施
存量数据质量管理 增量数据质量管理 数据质量主动保证
数据质量监控 数据质量清洗 数据质量平台建立
数据整合
指标
03
配合ECIF完成客户整合
客户 客户经理
网银 柜面 座席 手机 终端
更新客户信息
营销信息
CRM 营销管理
渠
销售管理
道
客户管理
客户相关 信息
客户信息查询
外购系统 客户信息
更新客户
信息
ECIF
（信用卡 等）
知识库 服务管理 客户视图
客户信息 查询
客 户 信 息
数据交换-ODS/EDW
存储 标识 管理 服务
主数据管理
数据生命周期管理
数据授权 数据监控 数据审计 数据等级管理 数据安全监控 数据安全事故处理
元数据管理
主数据规则管理 主数据专业系统开发
数据分类 数据备份 数据存储 与恢复
数据归档 备份存档管理 数据销毁 数据恢复管理
业务元数据
元数据获取 与应用
技术元数据 操作元数据
数据应用服务
报表服务
经营报表 高管驾驶舱
（个人）记录能够唯文一本识型别对私/客10户0 的中/文对名公称客或户英信文息名称。（S公_C司I_）CU描S_述C客OM户或集团关客联户组中的文完名整称中文名称。公CU司ST客_N户A的M名E 称为经过法V律A程RC序H登AR记并能够在公共1活00动中使用的名称；集团关联组的名称为
✓ 数据难以理解，无法转述为业务语言
智能
专业数据分析团队使用，为全行高 级分析提供支持
数据分析
SAS数据分析工具
数据挖掘
可视化数据分析 工具
决策分析 数据报表
将技术语言转变为业务语言，通过 拖拉拽的方式实现基本数据分析
03 分析平台展示
03 数据管控
数据管控是为了内部对数据的需求，提升数据服务 水准而制定的相关流程、制度以及相关技术手段， 是一项跨系统、跨部门、长期的、渐进式的工作。
系统责任人体系
系统负责人 系统技术专家 系统开发维护人
项目组
项目经理
需求分析人员
设计人员
开发测试人员
▪ 数据责任人体系：在本业务条线内贯彻和 落实数据管理政策、制度、规范，并执行数 据标准和数据质量等数据管理相关工作；负 责对数据相关的业务问题进行澄清；跟踪数 据标准执行情况以及数据质量状况，并及时 向数据管控职能团队汇报。
数据治理项目
汇报人：顾琪冰 科技信息部软件开发中心
01 项目背景 02 项目简介 03 项目功能 04 总结
01 项目背景
全面风险管理
客户管理
产品创新
主动营销
产品更迭速度 越来越快
业务口径越来 越复杂
数据治理
数据使用范围 越来越广
数据质量要求越 来越高
01 项目背景 02 项目简介 03 项目功能 04 总结
▪ 财务部：主持管控数据管理工作；统筹制定 年度数据管理工作方案与目标；审核、监督 及评估相关数据管理方案落实成果；针对重
支 大事项及时上报信息科技委员会；负责全行
调
撑 监管报表统一报送及牵头监管指标体系梳理
层 信息
科技 部
大数据 管控组
▪ 配合、协调年度数据治理工作，提供科技领域的技术与 支撑
▪ 支撑业务部门大数据应用分析与大数据平台的开发 ▪ 汇报年度数据治理工作成果
客户 个人客户
标准小类 基本信息 基本信息 基本信息 基本信息 管理信息 管理信息 联系信息 联系信息 联系信息 联系信息
标准中文名称 客户号 客户名称 客户英文名称 证件号码 客户开户机构 客户所属机构 地址 邮政编码 电子信箱 电话号码
基本信息 个人证件类型
客户 个人客户 客户 个人客户 客户 个人客户
▪ 系统责任人体系：在系统层面落实数据管 理政策、制度、规范，并贯彻和执行数据标 准和数据质量等数据管理相关工作；跟踪系 统层面数据标准执行情况以及数据质量状况， 并及时向数据管控职能团队汇报。
▪ 项目组：由项目经理、架构师、需求分析人 员、开发测试人员各角色组成。
02 数据治理体系框架
目标
数据战略
对公贷款模型
03 自主化分析
缺陷
✓ 一个报表所能展示的内容是相对固定且 有限的，不同的人看同一张报表，视角 或想法都可能是不一样的！
✓ 业务数据需求多变，数据使用范围变化 较大，科技部门落地工作量大。
✓ 数据分析需要多方配合，业务模型不全， 专业化分析没有数据支持。
✓ 数据分析工具晦涩难懂，对人员要求较 高，准入门槛高。
更新客户
客 更 信息 户新
非重要系 统CIF模块
部
信客 息户
分
查信
客
询息
户
业务系统（群）
相
关
核信核网理
分
心贷算银财
…
析
结
果
帐户数据
交易数据
用户认证
企
业 门
仅限管理
户
安全管理
元数据管理
数据存储管理
ETL运作管理
客户评级 交易信息
个人客户 产品信息
机构客户 联系信息
资产信息 企业内容
数据集成（DW）
事件信息 渠道信息
03 数据模型
3NF设计
设计规范
优点： ✓ 符合数据库规范 ✓ 数据量相对较少 ✓ 灵活性高，容易扩展 ✓ 相对稳定 缺点： ✓ 实施周期较长 ✓ 关联较多，性能差 ✓ 语义抽象
降范式建模
优点： ✓ 性能较高 ✓ 实施周期短 ✓ 无二义性 缺点： ✓ 稳定性较低 ✓ 扩展性欠佳
相互结合
✓ 容易理解 ✓ 运行高效 ✓ 扩展性好 ✓ 高稳定性
数据应用服务
报表服务
经营报表 高管驾驶舱
业务人员报表 开发能力建设
监管报表
应用服务
业务领域专项应用
数据服务 数据文件服务
报表及应用服务管理 需求/设计管理 指标体系管理
报表生命 数据应用与服 周期管理 务平台管理
数据 管控
数据组织与职责
数据管控
数据控制与流程
数据管理绩效
技术支撑
优化数据管理流程制方 法
业务人员报表 开发能力建设
监管报表
应用服务
业务领域专项应用
数据服务 数据文件服务
报表及应用服务管理 需求/设计管理 指标体系管理
报表生命 数据应用与服 周期管理 务平台管理
数据 管控
数据组织与职责
数据管控
数据控制与流程
数据管理绩效
技术支撑
建立全行数据管控体系 架构，提高全行数据治 理意识
编制基础数据标准，建 立数据标准管理制度及 流程，形成全行层面的 基础数据标准
分布式架构 高效运算 大数据量吞吐 数据整合
门户（统一认证、单点登录、角色权现管理）
综合分析 管理系统
非
结
构实历
化时史
数决数
据策据
处区区
非
理
现 场
区
审 计
源系统
固定报表
多维分析
灵活查询
数据仓库
库内集市层 分行应用层 分析存储层
大数据
公共分析层
ETL
基础数据层
ETL
ETL ODS
数据缓冲区（Stage Area）
存量数据质量管理 增量数据质量管理 数据质量主动保证
数据质量监控 数据质量清洗 数据质量平台建立
主数据管理
数据生命周期管理
数据授权 数据监控 数据审计 数据等级管理 数据安全监控 数据安全事故处理
元数据管理
主数据规则管理 主数据专业系统开发
数据分类 数据备份 数据存储 与恢复
数据归档 备份存档管理 数据销毁 数据恢复管理
数据质量监控 数据质量清洗 数据质量平台建立
主数据管理
数据生命周期管理
数据授权 数据监控 数据审计 数据等级管理 数据安全监控 数据安全事故处理
元数据管理
主数据规则管理 主数据专业系统开发
数据分类 数据备份 数据存储 与恢复
数据归档 备份存档管理 数据销毁 数据恢复管理
业务元数据
元数据获取 与应用
技术元数据 操作元数据
编制数据质量规范和管 理流程
梳理整个监管报送指标
2017年
稳步提升
企业数据管理
企业数据架构 数据标准管理 数据质量管理
数据安全管理
企业数据模型 企业数据分布 企业数据流转 数据架构管理 数据模型管理 数据治理规划
基础类数据标准 指标类数据标准 数据标准管理 标准落地实施
存量数据质量管理 增量数据质量管理 数据质量主动保证
MapRduce
Hive
ETL EOD数据总线
ETL
决策仪表盘
数据挖掘
应用系统
监管合规
反洗钱 EAST
风险管理
风险加权 资产
操作风险
征信
市场风险
1104
信用风险
监管数据 集市
风险数据 集市
财务管理 客户管理
管理会计
CRM
预算管理
客户积分
财务数据 集市
营销数据 集市
ETL
核心业务 统一监 国际结 信贷管 个贷管 微贷管 资金业 信用卡 综合额 不良资 抵押品 客户关 个人理 现金管 综合积 个人 系统 管报送 算系统 理系统 理系统 理系统 务系统 系统 度管理 产管理 管理 系管理 财系统 理系统 分管理 征信
检
核 结 果
检核字段：OPERATERID 记录总数：3397 问题总数：285
趋势分析
类型分析
问题数：7
质
量
分 析
指标趋势分析
问题数：3
非空问题：31% 长度问题：31%
一致性问题：38%
03 元数据管理
元数据管理是针对信息系统元数据变化的日常管理和维护，有效管理变更的各个环节，建立向相关单位发 布变更的机制，从而为数据正确使用提供保障。
基本信息 基本信息 基本信息
性别 出生日期 国籍
标准业务定义 标准类型 代长码度编号精数度据模型中文名称 数据模型英文名称 数据模型字段中文名称 数据模型英文名称 数据模型字段类型 数据模型字段长度
我行为统一管理，根编据码既型定规则/生30成并分/配对给公客客户户的信唯息一编码，S在_C全I_行CU内S_具C有OM唯一性。客核户心包客括户公号司客户和个人客CO户R。E_公CU司S客T_户NU是M法律上V以A法RC人H实AR体为资格条件与3银0 行发生往来，在我行开立在账户、持有
企业 征信
ECIF
财务管人力资源产品管 理系统管理系统理系统
电子渠 道整合
平台
补录 数据
外部数 非结构 据 化数据
03 数据治理物理架构
03 数据整合
客户号统一 机构号统一 产品号统一 员工号统一
手机号统一
行内数据
（核心、信贷、、 支付、理财等）
行外数据
（工商、法院、税 务、同盾、Wind等）
模型