智慧银行大数据数据治理平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
客户风险集市
缺少统一的应用分析标准
业务表现
各集市系统指标存在重复 各集市系统在保有存量的同时，不断 产生新的指标（增量） 集市指标派生无法实现 指标逻辑视图（指标分类）不一致
借据号 期末余 额 主营业务收 入负债总 。。。 额
我想看本期贷款 余额，看哪个呢？
客户一部集市 用户
作用
• 确定了一系列岗位角色和相应的责任及管理流程
• 保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性
价值
• 企业进行数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值 • 将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统 建设，支持管理能力的提高、精细化和决策的科学性
信贷管理五级分类代码 01 正常 02 关注 03 次级 04 可疑 05 损失
1 正常 2 关注 3 次级（不良） 4 可疑（不良） 5 损失（不良）
数据应用现状分析-数据质量方面
没有归纳并总结数据质量问题，缺少反馈机制,导致长期存在各类数据质量问题。
业务表现
指标难以共享 数据不一致、不准确
75682839
数据治理框架
数据战略
数据应用与服务 促进
数据服务管 理 数据需求管 理 数据服务 应用系统建 设
实现
数据管理
数据架 构 与 模型管 理 数据标 准管理 元数据 管理 数据质 量管理 主数据 管理 数据保 留与归 档 管理 数据安 全管理 内容管 理
支撑
支撑
保障机制
数据战略与规划 数据组织与职责 数据制度与管理流 程
由于信贷管理系统业务人员没 有填写或填写错误借据的五级 分类信息，导致报表数据不准 确，需要手工补录修改
问题
部分关键业务数据缺失 源系统校验关系缺失及业务人员 操作随意
客户号 客户简称
75682839 97326762
客户号
综合厂 国鑫资产
客户简称
不同系统相同客户号 对应的客户简称不一 致
借据编 号 期末贷款余 额 总资产 。。。
我想看客户经营 情况信息，有哪 些呢？
问题
重复投入
数据不一致 指标设计、口径不一致 指标难以共享
用户 资金计划 部 活期存款指标数据 怎么不一致呢？
数据应用现状分析-数据应用难题
缺少统一的基础数据标准
业务表现
各系统存在冗余数据 各系统存在业务含义一致，名称定义不一致的属 性 各系统存在含义不一致，名称定义一致的情况 业务代码定义混乱
智慧银行大数据数据治理平台建设方案
大数据 云平台
目 录
1.数据治理概述 2.某行数据现状及问题 3.数据治理阶段目标 4.成效和特点
Contents
5.数据管理系统建设情况
Part 1
数据治理概述
数据治理意义、作用和价值
意义
• 是构建完善、共享、统一管理数据环境的基本保障和重要组成部分
• 是把数据作为资产来管理的有效手段
客户信息
行领导
贷款余额 客户信息
贷款余额 客户信息
…..
…..
客户信息
…..
…..
客户信息
…..
业务人员
财务会计部
信贷管理部
国际业务部
资金计划部
…….
Βιβλιοθήκη Baidu
X\?5 67
综合报表平台 数据交换平台
综合业务 系统 信贷管理 国际业务 系统 债券管理 系统 ……
数据应用现状分析-数据架构方面
由于全行的数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，
实施周期不易过长，规模不易过大，能够快速的见 到数据总线带来的效果和价值。
三、借鉴同业的成功经验和成果，选择成熟技术架构和解决方案
尽量参考同行业、同规模、同类型企业行的建设经验，适当创新 。
四、重视内部人员培养，建设配套运营制度和管理体系
前期让公司内IT人员尽量更多、更深入的参与到数据总线 的建设中，后期角色以管理为主，尽量与合作伙伴共同 建设二期以上。配套的管理规范、技术规范、运营体系 。
数据生命周期管理 数据质量检核 元数据管理
数据传输
数据 管理 平台
物联网
数据平台建设原则
一、应用（需求）驱动主导数据平台的实现，加强业务的关注和参与
应用是展现数据总线建设效果的门户，因此需要建设业务人员最紧迫和 最关注的需求和应用，让业务部门最快参与数据总线的建设当中。
二、初期能够快速见效并体现建设价值，不盲目投入
Part 2
某行数据现状及问题
数据应用现状分析-总体情况
业务职能不清晰或 相互重叠，观察数据 视角不尽相同，缺少 数据标准与业务统一 定义，语轨不一致 IT架构中中都是以部 门级应用为主（如计财、 资金计划部等），缺乏 从大的管理职能（财务、 风险、运营等）综合方 面的数据整合、数据标 准和统一业务定义
数据架构
数据源
内部数据 业务系统 数据结构化转换 数据交换平 台 大数据分析计算 分布式数据库 分布式文件系统 外部数据 互联网 贴源层
数据平台
整合层 汇总层 基 础 数 据 平 台
数据服务
数据应用 统计 报表 数据 挖掘 高管 驾驶 舱
数据集市
其他系统
大 数 据 平 台
数据接口
数据切分
数据调度与处理
整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。 业务表现
信息孤岛 数据冗余 共享性差 历史数据缺失
主题层
报表应用共用 主题数据
竖井式架构， 造成信息孤 岛
其它 报表 …… 绩效考核 客户管理
缺少一个稳定的、 抗源变化的数据层
客户 一部 报表
信贷管理借据表 核心贷款分户账表 业务含义一致， 名称定义不一致
贷款主档代码 贷款余 额 五级分类标 志 计息方 式 。。。
数据冗余
相同业务代码 定义不一致
问题
重复投入 数据不一致、不准确 难以利用和管理 各系统数据难以共享
核心五级分类代码
贷款账号 贷款余 额 5 级分类标志 借据计息周 期 。。。
客户 风险 报表
中间 业务 报表
支付 报表
客户风险
客户一部
中间业务
支付业务
集市层
问题
数据分散，难以管理
没有一个稳定的，抗源变 化的数据层
汇总数据层 ODS层
BDS 层 DEP层
源系统
综合业务 信贷管理
没有进行整合，无法 共享，不能支持如客 户管理等共享性应用
国际结算
债券核算
数据应用现状分析-数据应用难题
缺少统一的应用分析标准
业务表现
各集市系统指标存在重复 各集市系统在保有存量的同时，不断 产生新的指标（增量） 集市指标派生无法实现 指标逻辑视图（指标分类）不一致
借据号 期末余 额 主营业务收 入负债总 。。。 额
我想看本期贷款 余额，看哪个呢？
客户一部集市 用户
作用
• 确定了一系列岗位角色和相应的责任及管理流程
• 保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性
价值
• 企业进行数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值 • 将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统 建设，支持管理能力的提高、精细化和决策的科学性
信贷管理五级分类代码 01 正常 02 关注 03 次级 04 可疑 05 损失
1 正常 2 关注 3 次级（不良） 4 可疑（不良） 5 损失（不良）
数据应用现状分析-数据质量方面
没有归纳并总结数据质量问题，缺少反馈机制,导致长期存在各类数据质量问题。
业务表现
指标难以共享 数据不一致、不准确
75682839
数据治理框架
数据战略
数据应用与服务 促进
数据服务管 理 数据需求管 理 数据服务 应用系统建 设
实现
数据管理
数据架 构 与 模型管 理 数据标 准管理 元数据 管理 数据质 量管理 主数据 管理 数据保 留与归 档 管理 数据安 全管理 内容管 理
支撑
支撑
保障机制
数据战略与规划 数据组织与职责 数据制度与管理流 程
由于信贷管理系统业务人员没 有填写或填写错误借据的五级 分类信息，导致报表数据不准 确，需要手工补录修改
问题
部分关键业务数据缺失 源系统校验关系缺失及业务人员 操作随意
客户号 客户简称
75682839 97326762
客户号
综合厂 国鑫资产
客户简称
不同系统相同客户号 对应的客户简称不一 致
借据编 号 期末贷款余 额 总资产 。。。
我想看客户经营 情况信息，有哪 些呢？
问题
重复投入
数据不一致 指标设计、口径不一致 指标难以共享
用户 资金计划 部 活期存款指标数据 怎么不一致呢？
数据应用现状分析-数据应用难题
缺少统一的基础数据标准
业务表现
各系统存在冗余数据 各系统存在业务含义一致，名称定义不一致的属 性 各系统存在含义不一致，名称定义一致的情况 业务代码定义混乱
智慧银行大数据数据治理平台建设方案
大数据 云平台
目 录
1.数据治理概述 2.某行数据现状及问题 3.数据治理阶段目标 4.成效和特点
Contents
5.数据管理系统建设情况
Part 1
数据治理概述
数据治理意义、作用和价值
意义
• 是构建完善、共享、统一管理数据环境的基本保障和重要组成部分
• 是把数据作为资产来管理的有效手段
客户信息
行领导
贷款余额 客户信息
贷款余额 客户信息
…..
…..
客户信息
…..
…..
客户信息
…..
业务人员
财务会计部
信贷管理部
国际业务部
资金计划部
…….
Βιβλιοθήκη Baidu
X\?5 67
综合报表平台 数据交换平台
综合业务 系统 信贷管理 国际业务 系统 债券管理 系统 ……
数据应用现状分析-数据架构方面
由于全行的数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，
实施周期不易过长，规模不易过大，能够快速的见 到数据总线带来的效果和价值。
三、借鉴同业的成功经验和成果，选择成熟技术架构和解决方案
尽量参考同行业、同规模、同类型企业行的建设经验，适当创新 。
四、重视内部人员培养，建设配套运营制度和管理体系
前期让公司内IT人员尽量更多、更深入的参与到数据总线 的建设中，后期角色以管理为主，尽量与合作伙伴共同 建设二期以上。配套的管理规范、技术规范、运营体系 。
数据生命周期管理 数据质量检核 元数据管理
数据传输
数据 管理 平台
物联网
数据平台建设原则
一、应用（需求）驱动主导数据平台的实现，加强业务的关注和参与
应用是展现数据总线建设效果的门户，因此需要建设业务人员最紧迫和 最关注的需求和应用，让业务部门最快参与数据总线的建设当中。
二、初期能够快速见效并体现建设价值，不盲目投入
Part 2
某行数据现状及问题
数据应用现状分析-总体情况
业务职能不清晰或 相互重叠，观察数据 视角不尽相同，缺少 数据标准与业务统一 定义，语轨不一致 IT架构中中都是以部 门级应用为主（如计财、 资金计划部等），缺乏 从大的管理职能（财务、 风险、运营等）综合方 面的数据整合、数据标 准和统一业务定义
数据架构
数据源
内部数据 业务系统 数据结构化转换 数据交换平 台 大数据分析计算 分布式数据库 分布式文件系统 外部数据 互联网 贴源层
数据平台
整合层 汇总层 基 础 数 据 平 台
数据服务
数据应用 统计 报表 数据 挖掘 高管 驾驶 舱
数据集市
其他系统
大 数 据 平 台
数据接口
数据切分
数据调度与处理
整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。 业务表现
信息孤岛 数据冗余 共享性差 历史数据缺失
主题层
报表应用共用 主题数据
竖井式架构， 造成信息孤 岛
其它 报表 …… 绩效考核 客户管理
缺少一个稳定的、 抗源变化的数据层
客户 一部 报表
信贷管理借据表 核心贷款分户账表 业务含义一致， 名称定义不一致
贷款主档代码 贷款余 额 五级分类标 志 计息方 式 。。。
数据冗余
相同业务代码 定义不一致
问题
重复投入 数据不一致、不准确 难以利用和管理 各系统数据难以共享
核心五级分类代码
贷款账号 贷款余 额 5 级分类标志 借据计息周 期 。。。
客户 风险 报表
中间 业务 报表
支付 报表
客户风险
客户一部
中间业务
支付业务
集市层
问题
数据分散，难以管理
没有一个稳定的，抗源变 化的数据层
汇总数据层 ODS层
BDS 层 DEP层
源系统
综合业务 信贷管理
没有进行整合，无法 共享，不能支持如客 户管理等共享性应用
国际结算
债券核算
数据应用现状分析-数据应用难题