业务数据全生命周期管理工作思路
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
7
2.1数据的全生命周期管理—定义
• 数据全生命周期管理：是指根据数据价值随时间推移的演化关系，提供高效、低成本、安全、访问便捷的管理架 构。
• 数据全生命周期管理贯穿于数据产生（开发设计、投产变更）、数据使用（采集、修改、存储、调阅）、数据保 管（备份、恢复、测试）、数据销毁等各个环节。
越来越多的需求要包括去年加上今年的数据，这样会要求设置25个月， 使得能够处理2年以上时间段的数据分析。
主要应用于内部管理的数据使用，受业务使用需求驱动。
此类规则主要是受税务及其它报告法规的需求驱动，在国际会计准则下，
一般都要求保留7年的可查询业务场景数据。 此规则也是为适应经济情况分析的需求，基本近似于一个完整的经济 周期，对于制定合理的业务规划预算是非常重要的分析数据源。
创建
安全与保护
保存与归档
访问与 查找
回收
活跃 10%
半活跃 20%
静态 70%
大多数是非结构化 8
2.1数据的全生命周期管理—目标
• 数据是我行的重要资产之一，健立健全数据管理体制，满足监管要求，提升数据管理能力，充分发挥数据价值， 为经营决策提供有力支撑，已成为当前科技工作的主要任务。
规范管理
✓ 通过规范数据的生命周期管 理，提高数据的整体管理水 平，满足监管要求。
备份、恢复、清理和销毁。 • 保存交易记录，确保完整性，安全保存和可恢复。
《金融行业信息系统信息安全等级保护实施指引》 JRT0071-2012
• 对重要信息资源设置敏感标记，依据安全策略严格控制用户 对有敏感标记重要信息资源的操作。
• 检测系统管理数据、鉴别信息和重要业务数据在采集、 传输、使用和存储过程中完整性，并采取必要的恢复措
3
修改维护阶段：根据通过审批流程的《哈尔滨银行应用系统 生产数据维护申请书》进行数据维护，并记录相关信息。
数据 管理
数据调阅阶段：业务部门提交经主管业务部门审批通过的《哈
面。
《商业银行数据中心监管指引》 银监办发[2010]114号
应建立数据安全管理制度，规范数据的产 生、获取、存储、传输、分发、备份 、恢复和清理的管理，以及存储介质的台
帐、转储、抽检、报废和销毁的管理，保证
数据的保密、真实、完整和可用。
《商业银行信息科技风险管理指引》 银监发[2009]19号
• 建立实施信息分类保护体系，培训员工信息保护流程。 • 严格管理客户信息的采集、处理、存贮、传输、分发、
优化存储结构
Norm
Optinize
✓ 优化数据存储结构，有效控制在 线数据规模，提高生产数据访问 效率。
全生命 周期管理
提高效率
Efficiency
✓ 提高系统资源使用效率，确保系 统安全、稳定、高效运行。
Support
数据支撑
✓ 做好历史数据管理，为客户服务 和经营分析提供数据支撑
9
2.1数据的全生命周期管理—方案
4
1.2数据管理的内因—监管审计和经营分析和数据查询需求
5
1.2数据管理的内因—解决关键系统数据库容量管理问题
交易访问
明细查询
数据调用
在线 生产数据
归归档档瘦瘦身身
近线 生产数据
数据迁移 按需回退
归档库
结构数据 非结构数据
降低成本：按业务与技术分析要求，控制生产在线数据容量，降低高端存储的容量成本 提升性能：通过迁移并清理历史数据，重新回收数据库的存储资源，提升应用系统交易与批量性能 有效处置：将生产数据库容量控制在较小的范围内，在发生数据库等故障的情况下，便于快速处置
施。 • 应采用加密或其他有效措施实现系统管理数据、鉴别信息和
重要业务数据采集、传输、使用和存储过程的保密性。
3
1.1数据管理的外因--国际会计准则等业务管理需求
银行的数据保存周期策略，最常用的经验法则是13个月规则和7年规则。
确保数据集至少有一个完整年度的数据周期，能够看到一个完整年度的数 据，这通常是数据保存周期的最低要求。
实现历史数据的“管、控、查”
管理对 象
结构化 数据
在线
DB
数据存放策略 近线
DB
非结构 化 数据
离线
数据 访问方式
平台 接口
在线访问 专门工具访问
生产数据库 归档/历史数据库
专门工具访问 大数据平台
恢复后访问 在线访问
备份工具/磁带 生产存储
内容检索平台
专门工具访问
备份工具/磁带
恢复后访问
10
2.1数据的全生命周期管理—理论与方法
11
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
12
3.1数据管理工作流程—各阶段的主要管理内容
设计（开发）阶段：结构化数据支持读写分离，非结构化数据支持按时间
1
和业务部门进行分离；充分考虑数据清理机制。
2
投产变更阶段：评审《数据管理服务协议》，确认协议中的备份策 略、清理策略的合理性。
在线阶段
归档
数据生命周期管理流程
清理 归档阶段
清理
销毁阶段
系统 快照
用户 快照
在线归档
转移
历史数据 平台
结构化
影像平台 非结构化
老Fra Baidu bibliotek表
离线归档
磁带 光盘 低端磁盘
➢ 在线归档阶段（也被称为近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查 询；
➢ 离线归档阶段：将访问频度较低且应用需求不高的数据从应用 中分离出来，保存在磁带、光盘及低端磁盘上。离线归档后不提供信 息联机查询入口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统。
• 在数据的整个生命周期中，不同阶段的数据其性能、可用性、保存等要求也不一样。 • 通常情况下，在其生命周期初期，数据的使用频率较高，需要使用高速存储，确保数据的高可用性。 • 随着时间的推移，数据重要性逐渐降低，使用频率会随之下降，应将数据进行不同级别的存储，为其提供适当的可用性、存储空间。 • 最终大部分数据将不再会被使用，可以将数据清理后归档保存，以备临时需要时使用。
业务数据全生命周期管理工作思路
1
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
2
1.1数据管理的外因--金融行业监管的相关要求
《银行业金融机构数据治理指引》 银保监发【2018 】22 号
银行业金融机构1应当制定全面科学有效的
数据管理制度，包括但不限于组织管理、 部门职责、协调机制、安全管控、系 统保障、监督检查和数据质量控制等方
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
7
2.1数据的全生命周期管理—定义
• 数据全生命周期管理：是指根据数据价值随时间推移的演化关系，提供高效、低成本、安全、访问便捷的管理架 构。
• 数据全生命周期管理贯穿于数据产生（开发设计、投产变更）、数据使用（采集、修改、存储、调阅）、数据保 管（备份、恢复、测试）、数据销毁等各个环节。
越来越多的需求要包括去年加上今年的数据，这样会要求设置25个月， 使得能够处理2年以上时间段的数据分析。
主要应用于内部管理的数据使用，受业务使用需求驱动。
此类规则主要是受税务及其它报告法规的需求驱动，在国际会计准则下，
一般都要求保留7年的可查询业务场景数据。 此规则也是为适应经济情况分析的需求，基本近似于一个完整的经济 周期，对于制定合理的业务规划预算是非常重要的分析数据源。
创建
安全与保护
保存与归档
访问与 查找
回收
活跃 10%
半活跃 20%
静态 70%
大多数是非结构化 8
2.1数据的全生命周期管理—目标
• 数据是我行的重要资产之一，健立健全数据管理体制，满足监管要求，提升数据管理能力，充分发挥数据价值， 为经营决策提供有力支撑，已成为当前科技工作的主要任务。
规范管理
✓ 通过规范数据的生命周期管 理，提高数据的整体管理水 平，满足监管要求。
备份、恢复、清理和销毁。 • 保存交易记录，确保完整性，安全保存和可恢复。
《金融行业信息系统信息安全等级保护实施指引》 JRT0071-2012
• 对重要信息资源设置敏感标记，依据安全策略严格控制用户 对有敏感标记重要信息资源的操作。
• 检测系统管理数据、鉴别信息和重要业务数据在采集、 传输、使用和存储过程中完整性，并采取必要的恢复措
3
修改维护阶段：根据通过审批流程的《哈尔滨银行应用系统 生产数据维护申请书》进行数据维护，并记录相关信息。
数据 管理
数据调阅阶段：业务部门提交经主管业务部门审批通过的《哈
面。
《商业银行数据中心监管指引》 银监办发[2010]114号
应建立数据安全管理制度，规范数据的产 生、获取、存储、传输、分发、备份 、恢复和清理的管理，以及存储介质的台
帐、转储、抽检、报废和销毁的管理，保证
数据的保密、真实、完整和可用。
《商业银行信息科技风险管理指引》 银监发[2009]19号
• 建立实施信息分类保护体系，培训员工信息保护流程。 • 严格管理客户信息的采集、处理、存贮、传输、分发、
优化存储结构
Norm
Optinize
✓ 优化数据存储结构，有效控制在 线数据规模，提高生产数据访问 效率。
全生命 周期管理
提高效率
Efficiency
✓ 提高系统资源使用效率，确保系 统安全、稳定、高效运行。
Support
数据支撑
✓ 做好历史数据管理，为客户服务 和经营分析提供数据支撑
9
2.1数据的全生命周期管理—方案
4
1.2数据管理的内因—监管审计和经营分析和数据查询需求
5
1.2数据管理的内因—解决关键系统数据库容量管理问题
交易访问
明细查询
数据调用
在线 生产数据
归归档档瘦瘦身身
近线 生产数据
数据迁移 按需回退
归档库
结构数据 非结构数据
降低成本：按业务与技术分析要求，控制生产在线数据容量，降低高端存储的容量成本 提升性能：通过迁移并清理历史数据，重新回收数据库的存储资源，提升应用系统交易与批量性能 有效处置：将生产数据库容量控制在较小的范围内，在发生数据库等故障的情况下，便于快速处置
施。 • 应采用加密或其他有效措施实现系统管理数据、鉴别信息和
重要业务数据采集、传输、使用和存储过程的保密性。
3
1.1数据管理的外因--国际会计准则等业务管理需求
银行的数据保存周期策略，最常用的经验法则是13个月规则和7年规则。
确保数据集至少有一个完整年度的数据周期，能够看到一个完整年度的数 据，这通常是数据保存周期的最低要求。
实现历史数据的“管、控、查”
管理对 象
结构化 数据
在线
DB
数据存放策略 近线
DB
非结构 化 数据
离线
数据 访问方式
平台 接口
在线访问 专门工具访问
生产数据库 归档/历史数据库
专门工具访问 大数据平台
恢复后访问 在线访问
备份工具/磁带 生产存储
内容检索平台
专门工具访问
备份工具/磁带
恢复后访问
10
2.1数据的全生命周期管理—理论与方法
11
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
12
3.1数据管理工作流程—各阶段的主要管理内容
设计（开发）阶段：结构化数据支持读写分离，非结构化数据支持按时间
1
和业务部门进行分离；充分考虑数据清理机制。
2
投产变更阶段：评审《数据管理服务协议》，确认协议中的备份策 略、清理策略的合理性。
在线阶段
归档
数据生命周期管理流程
清理 归档阶段
清理
销毁阶段
系统 快照
用户 快照
在线归档
转移
历史数据 平台
结构化
影像平台 非结构化
老Fra Baidu bibliotek表
离线归档
磁带 光盘 低端磁盘
➢ 在线归档阶段（也被称为近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查 询；
➢ 离线归档阶段：将访问频度较低且应用需求不高的数据从应用 中分离出来，保存在磁带、光盘及低端磁盘上。离线归档后不提供信 息联机查询入口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统。
• 在数据的整个生命周期中，不同阶段的数据其性能、可用性、保存等要求也不一样。 • 通常情况下，在其生命周期初期，数据的使用频率较高，需要使用高速存储，确保数据的高可用性。 • 随着时间的推移，数据重要性逐渐降低，使用频率会随之下降，应将数据进行不同级别的存储，为其提供适当的可用性、存储空间。 • 最终大部分数据将不再会被使用，可以将数据清理后归档保存，以备临时需要时使用。
业务数据全生命周期管理工作思路
1
目录
1 数据管理背景及目标 2 数据全生命周期管理 3 数据管理工作流程
2
1.1数据管理的外因--金融行业监管的相关要求
《银行业金融机构数据治理指引》 银保监发【2018 】22 号
银行业金融机构1应当制定全面科学有效的
数据管理制度，包括但不限于组织管理、 部门职责、协调机制、安全管控、系 统保障、监督检查和数据质量控制等方