银行数据中心应用平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据轮廓分析
数据的影响力分析
银行数据中心项目组
集成企业调度，元数据管理，数据质量管理过程的统一的数据仓库管 控平台
统一的数据仓库管控平台
同时集成数据仓库统一调度监控平台，为运营维护 人员和系统开发人员提供统一一致的日常工作平台
银行数据中心项目组
移动BI，IBM Cognos Mobile简介
—— IBM Cognos Active Report
Name Gender Comments M F F U M M Canadien Existing Frequent New
数据质量 规则 & 结果
业务指标检查
Watson Terrance Phillips Gabriel
6
手工质检报告
5
文件校验报告
记录检验报告
表检验报告
指标检验报告
银行数据中心项目组
战术目标
应对手段
构建数据中心平台，增强数据治理
突破方向
应用突破
系统突破
管理突破
需求多了
数据 不一致
时间短了
压力大了
面临挑战
资源紧张
数据孤岛
扩容难了
数据冗余
系统分散
应用讲效果
整合难了
投资要效益
银行数据中心项目组
数据中心应用平台不是一个单一项目，需要一系列项目按照规划渐进 上行，IBM从四个方面来进行项目的规划与路线图的定制，这样才能 保证项目投资的连续性和良好的投资回报率
P750A PC Server A
4Core 32G MEM
P750B
配置两台P750，目的是 实现HA，避免单点故障， 未来可进行垂直和水平 扩展。 备份/系统监控服务器
PC Server B
4Core 32G MEM
HA
16C 64G
HA
16C 64G
PC SΒιβλιοθήκη Baidurver
2CPU 4G MEM
DB2 Interconnect
建设数据质量管理问题跟踪平台，实现端到端的沟通和管理，数据质 量问题定位到人，解决过程流程化，解决成果文档化，提升数据质量 解决的效率和效果
数据质量管理平台 记录了所有数据质 量问题解决的过程
数据质量问题的描 述 数据质量问题解决 流程启动
下一个责 任人
问题管理
银行数据中心项目组
技术元数据管理方案：构建技术元数据管理平台，提供对数据的影响 力分析和血缘分析，提高数据质量，降低系统开发、维护工作量。
灵活的架构 与集成方案 友好的用户 操作和体验
先进的软件 工具和平台 可落地的管 控实施办法
银行数据中心项目组
整体架构——组件模型概览
银行数据中心项目组
有价值的数据源分析过程是需要数据分析与业务分析相结合的过程
2. 试图解释和说明数据特征 1. 发现数据特征
数据分析
4. 利用数据对声明的数据 规则进行验证
逻辑数据模型使用统一的逻辑语 言描述业务，是数据管理的分析 工具和交流的有力手段；同时还 能够很好地保证数据的一致性， 是实现业务智能（Business Intelligence）的重要基础。 模型物理化是基于模型工具导出的物理模型。制定统一的命名规范，标准 字段、根据DB2/DPF 特性 指定表实体的存储空间、分区键、主键、索引
技术与方案成熟度
变革的管理难度
项目风险分析
项目之间的依赖关系
银行数据中心项目组
根据我们所理解的商业银行当前所面临的问题和业务部门的需求，我 们建议参考如下的数据中心应用平台实施规划
价值提升
中期：深化业务分析
深化报表平台 综合统计分析与KPI监控 客户价值分析 风险计量与监控 产品创新支撑
银行数据中心项目组
IBM Cognos Mobile在IPAD上的使用
——IBM Cognos Mobile界面
IBM Cognos Mobile
IBM Cognos Mobile欢迎界面，
含用户登陆和注销功能
我的Ipad上的报表
列出报表查看历史，可迅速导
航到常查看的报表，也可对其 管理
获取更多报表
利用已有PC Server SAN交换机
磁带库 磁 盘 阵 DS5300(21T) 利用已有磁 带库 列 可考虑利用已有的 SAN和存储
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
数据质量提升：数据中心应用平台将构建质量检测机制，识别源数据 当中存在的各种数据质量问题，并根据预订的规则解决质量问题，如 总分不平等。对于无法根据规则解决的问题，将按照数据质量管理流 程反馈给相关人员。
业务分析
3. 声明数据应该遵循的规则
内容
质量
结构
银行数据中心项目组
借鉴标准数据模型落地的经验完成商业银行数据标准的模型化，数据 模型是数据标准落地的产物，是基于商业银行的数据的数据标准的体 现，要符合商业银行现有数据的标准体系和要求
全行统一数据标准
企业级数据模型
• • • •
1.数据标准实施方案建议 2.数据标准实施演进路线 3.数据标准数据质量检验 4.数据标准执行差异 5.数据标准日常问题收集
银行数据中心项目组
综合展现平台功能概览
系统管理（管理员）
菜单管理 角色管理 用户管理 组管理 报表信息管理 数据模型 日志查询 快速查询 会话时长设置 在线人员监控 用户权限查询
- 目录权限 - 数据权限 - 系统操作日志 - 报表明细日志
应用功能（业务用户）
监控上报 管理报表 即席查询 换肤介绍 修改密码 查看公告 业务报表 监管报表 我的收藏夹 查看报表
应用级数据模型
•
银行数据中心项目组
数据标准模型化过程一般分为四个步骤，1）数据标准到概念模型，2 ）概念模型到逻辑模型，3）物理模型建立，4）ETL和应用的映射， 这期间逻辑模型是核心，即要从业务角度体现数据标准，又能满足数 据中心灵活可扩展的需求
逻辑数据模型（Logical Data Model） 是一种图形的展现方式，采用面向主 题的方法有效组织来源多样的各种业 务数据，同时能全面反映复杂的业务 规则，支持大量的分析应用。 为了能够更方便快捷地从 分析应用系统中抽取所需 要的信息进行全面、综合、 灵活多样的查询和分析， 支持决策分析，就需要重 新有效地组织原有业务系 统中的数据，满足以下要 求，这就是逻辑数据模型 的引入
登陆到 IBM Cognos Connection查看服务器上的报 表，系统自动将查看过的报表
保存到本地
银行数据中心项目组
IBM Cognos Mobile在Iphone等移动终端上的使用
—— 查看报表
银行数据中心项目组
- 查询报表 - 以PDF格式查看 - 导出为EXCEL - 导出为CSV - 打印报表
综合展现平台
报表管理（管理员，IT，业务用户）
报表定制 报表修改 报表上传 报表覆盖 部门维护
数据维护（管理员，业务用户）
参数维护
报表状态 报表审批
机构维护 机构汇总关系设置
公告维护 外汇折算率维护
银行数据中心项目组
综合报表平台展现案例
银行数据中心项目组
建议的物理架构方案如下：根据当前业务系统存量数据，以及项目数 据容量的需求，我们依据IBM BCU方案，配置2台P750服务器作为数据 仓库服务器，两台服务器相互HA。两台PC Server作为平台管控服务 器。
文件服务器，平台管控服务器 数据仓库服务器 InfoSphere Warehouse
产品回报率 排名
经济资本指 标趋势
客户前十回 排名
存贷比仪表 盘
银行数据中心项目组
以统一数据架构，统一展现交互，统一需求管理三个统一为核心思想 构建统一的报表平台，提升数据报表的质量，用户体验和收益
整合系统 依托现有系统强大的数据加工能 力，将分散于系统中的报表统计 信息进行集中化 信息协同 分离报表的管理和加工运算过程 ，将报表的分类、定义、指标口 径等信息分离出来 ，形成面向业 务需求统一的报表管理中心 智慧决策 积累客户认识、市场分析等过程 中的智慧，在整合之后，辅以先 进的IT技术手段，向分析性报表 平台过度
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
整体架构——概念模型
银行数据中心项目组
参考最佳实践和参考架构，制定商业银行数据平台的总体技术架构方 案，从应用架构、数据架构、ETL架构和管控架构等几个方面设计入 手，达到完整、全面、详细的要求，可全程直接指导项目的具体实施
银行数据中心应用平台建设方案
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
商业银行在IT建设上成就卓著，但是近年来和其它城商行一样需要对IT尤其 是数据应用和管理进行优化以适应业务的快速发展和市场变化，我们认为需 从应用、系统、管理三大方面逐一突破，通过建设数据中心平台，并增强实 施数据治理来提升对经营管理分析的支撑
项目利益分析
对业务战略及业务运营的支持 对管理改进的支持 对其它IT系统的影响 项目实施紧急程度
项目所需资源与能力
项目所需的资源，包括实施服务、 硬件和软件投资，IT与业务人员投 入等 项目实施所需的管理、业务和技术 能力
业务的准备度 项目实施难度
项目划分 及优先级
项目内部的关系，包括系统模块 间和实施业务单元间的依赖及主 从关系 项目之间的实施依赖关系
时间 8个月 8 – 11个月 1–2年 2–3年
银行数据中心项目组
本期建设的重点目标管理驾驶舱 —充分利用数据中心应用平台的建 设成果，建立全面、便捷、直观的关键经营指标展示平台，以压力表 盘、雷达图等多种方式直观的显示企业关键经营指标，为高层管理提 供’一站式’决策信息
关键经营指标包含
服务对象 银行决策层
业务 风险
财务 客户
展示手段 时间、机构维度 历史趋势、机构排位 计划完成情况、预警
展示内容 全行的关键指标（KPIs)
银行数据中心项目组
采用价值树的KPI体系梳理方法，梳理出符合商业银行业务的关键指 标体系
银行数据中心项目组
管理驾驶舱专页示例——行长首页：将行长最关心的业务指标以非常 直观的方式在一个页面上进行集中展现，让行长能够快速、全面的掌 握银行的经营状况。并且这些页面我们可以在移动终端上进行脱机访 问 各分支行经营状况
基于ETL Mapping结果自动生成的 DS Job 映射工具自动输出的ETL Mapping结果
输出ETL Mapping结果 基于ETL Mapping结果自动生成 DataStage Job模版
银行数据中心项目组
银行业务和数据结构复杂，应该采用专业的ETL工具和具有丰富实施 经验的团队，ETL是数据仓库建设中最为繁重，与仓库建设效率最密 切的核心开发内容，我们在长期的数据仓库项目实施中积累了大量的 最佳实践并将其有机的用于各种数据处理的项目实施过程中
远期：企业战略
全面风险管理 高端业务分析 提升决策支持
前期：平台建设
数据仓库平台建设 元数据管理平台 数据质量管理平台 分析型应用门户建立 基础业务报表 原有分析系统数据迁移
统一视图 平台建设 分析型门户建立
报表功能增强 KPI梳理与计量 经济资本计量 客户细分 风险计量
客户关系管理 Basel II数据管理 资产负债管理
银行数据中心项目组
工具化的模型设计使用流程图
数据源业务分析 引入参考模型的建模工具 建模工具自动输出的Erwin数据模型
数据源分析结果导入建模工具中 在建模工具中完成逻辑和物理数据 模型的设计工作 在ETL映射工具中完成数据源到数 据模型的ETL Mapping工作 输出Erwin数据模型
新的交互式可快速响应的静态报表类型.
关键能力
快速的交互式的仪表盘 可以保存为MHT 应用，允许离线使用 可调度和分发给广泛的各种类型的用户
Active Report对于浏览器的要求： 至少Microsoft Internet Explorer 7 版本以上 如果使用Firefox查看需安装 UnMHT附加组件
数据质量评估维度
业务数据标准&规则
总分核对 平衡检查 其它业务规则
数据质量监测机制
通过数据质量管理流程确定 增加数据质量检查内容 数据质量 检查规则
文件检查 文件记录检查
3
ETL服务器 质检脚本文件
1
记录检查
4
表级检查
2
Cust # Cust 001 002 003 004 005 004 Smith Jones
数据的影响力分析
银行数据中心项目组
集成企业调度，元数据管理，数据质量管理过程的统一的数据仓库管 控平台
统一的数据仓库管控平台
同时集成数据仓库统一调度监控平台，为运营维护 人员和系统开发人员提供统一一致的日常工作平台
银行数据中心项目组
移动BI，IBM Cognos Mobile简介
—— IBM Cognos Active Report
Name Gender Comments M F F U M M Canadien Existing Frequent New
数据质量 规则 & 结果
业务指标检查
Watson Terrance Phillips Gabriel
6
手工质检报告
5
文件校验报告
记录检验报告
表检验报告
指标检验报告
银行数据中心项目组
战术目标
应对手段
构建数据中心平台，增强数据治理
突破方向
应用突破
系统突破
管理突破
需求多了
数据 不一致
时间短了
压力大了
面临挑战
资源紧张
数据孤岛
扩容难了
数据冗余
系统分散
应用讲效果
整合难了
投资要效益
银行数据中心项目组
数据中心应用平台不是一个单一项目，需要一系列项目按照规划渐进 上行，IBM从四个方面来进行项目的规划与路线图的定制，这样才能 保证项目投资的连续性和良好的投资回报率
P750A PC Server A
4Core 32G MEM
P750B
配置两台P750，目的是 实现HA，避免单点故障， 未来可进行垂直和水平 扩展。 备份/系统监控服务器
PC Server B
4Core 32G MEM
HA
16C 64G
HA
16C 64G
PC SΒιβλιοθήκη Baidurver
2CPU 4G MEM
DB2 Interconnect
建设数据质量管理问题跟踪平台，实现端到端的沟通和管理，数据质 量问题定位到人，解决过程流程化，解决成果文档化，提升数据质量 解决的效率和效果
数据质量管理平台 记录了所有数据质 量问题解决的过程
数据质量问题的描 述 数据质量问题解决 流程启动
下一个责 任人
问题管理
银行数据中心项目组
技术元数据管理方案：构建技术元数据管理平台，提供对数据的影响 力分析和血缘分析，提高数据质量，降低系统开发、维护工作量。
灵活的架构 与集成方案 友好的用户 操作和体验
先进的软件 工具和平台 可落地的管 控实施办法
银行数据中心项目组
整体架构——组件模型概览
银行数据中心项目组
有价值的数据源分析过程是需要数据分析与业务分析相结合的过程
2. 试图解释和说明数据特征 1. 发现数据特征
数据分析
4. 利用数据对声明的数据 规则进行验证
逻辑数据模型使用统一的逻辑语 言描述业务，是数据管理的分析 工具和交流的有力手段；同时还 能够很好地保证数据的一致性， 是实现业务智能（Business Intelligence）的重要基础。 模型物理化是基于模型工具导出的物理模型。制定统一的命名规范，标准 字段、根据DB2/DPF 特性 指定表实体的存储空间、分区键、主键、索引
技术与方案成熟度
变革的管理难度
项目风险分析
项目之间的依赖关系
银行数据中心项目组
根据我们所理解的商业银行当前所面临的问题和业务部门的需求，我 们建议参考如下的数据中心应用平台实施规划
价值提升
中期：深化业务分析
深化报表平台 综合统计分析与KPI监控 客户价值分析 风险计量与监控 产品创新支撑
银行数据中心项目组
IBM Cognos Mobile在IPAD上的使用
——IBM Cognos Mobile界面
IBM Cognos Mobile
IBM Cognos Mobile欢迎界面，
含用户登陆和注销功能
我的Ipad上的报表
列出报表查看历史，可迅速导
航到常查看的报表，也可对其 管理
获取更多报表
利用已有PC Server SAN交换机
磁带库 磁 盘 阵 DS5300(21T) 利用已有磁 带库 列 可考虑利用已有的 SAN和存储
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
数据质量提升：数据中心应用平台将构建质量检测机制，识别源数据 当中存在的各种数据质量问题，并根据预订的规则解决质量问题，如 总分不平等。对于无法根据规则解决的问题，将按照数据质量管理流 程反馈给相关人员。
业务分析
3. 声明数据应该遵循的规则
内容
质量
结构
银行数据中心项目组
借鉴标准数据模型落地的经验完成商业银行数据标准的模型化，数据 模型是数据标准落地的产物，是基于商业银行的数据的数据标准的体 现，要符合商业银行现有数据的标准体系和要求
全行统一数据标准
企业级数据模型
• • • •
1.数据标准实施方案建议 2.数据标准实施演进路线 3.数据标准数据质量检验 4.数据标准执行差异 5.数据标准日常问题收集
银行数据中心项目组
综合展现平台功能概览
系统管理（管理员）
菜单管理 角色管理 用户管理 组管理 报表信息管理 数据模型 日志查询 快速查询 会话时长设置 在线人员监控 用户权限查询
- 目录权限 - 数据权限 - 系统操作日志 - 报表明细日志
应用功能（业务用户）
监控上报 管理报表 即席查询 换肤介绍 修改密码 查看公告 业务报表 监管报表 我的收藏夹 查看报表
应用级数据模型
•
银行数据中心项目组
数据标准模型化过程一般分为四个步骤，1）数据标准到概念模型，2 ）概念模型到逻辑模型，3）物理模型建立，4）ETL和应用的映射， 这期间逻辑模型是核心，即要从业务角度体现数据标准，又能满足数 据中心灵活可扩展的需求
逻辑数据模型（Logical Data Model） 是一种图形的展现方式，采用面向主 题的方法有效组织来源多样的各种业 务数据，同时能全面反映复杂的业务 规则，支持大量的分析应用。 为了能够更方便快捷地从 分析应用系统中抽取所需 要的信息进行全面、综合、 灵活多样的查询和分析， 支持决策分析，就需要重 新有效地组织原有业务系 统中的数据，满足以下要 求，这就是逻辑数据模型 的引入
登陆到 IBM Cognos Connection查看服务器上的报 表，系统自动将查看过的报表
保存到本地
银行数据中心项目组
IBM Cognos Mobile在Iphone等移动终端上的使用
—— 查看报表
银行数据中心项目组
- 查询报表 - 以PDF格式查看 - 导出为EXCEL - 导出为CSV - 打印报表
综合展现平台
报表管理（管理员，IT，业务用户）
报表定制 报表修改 报表上传 报表覆盖 部门维护
数据维护（管理员，业务用户）
参数维护
报表状态 报表审批
机构维护 机构汇总关系设置
公告维护 外汇折算率维护
银行数据中心项目组
综合报表平台展现案例
银行数据中心项目组
建议的物理架构方案如下：根据当前业务系统存量数据，以及项目数 据容量的需求，我们依据IBM BCU方案，配置2台P750服务器作为数据 仓库服务器，两台服务器相互HA。两台PC Server作为平台管控服务 器。
文件服务器，平台管控服务器 数据仓库服务器 InfoSphere Warehouse
产品回报率 排名
经济资本指 标趋势
客户前十回 排名
存贷比仪表 盘
银行数据中心项目组
以统一数据架构，统一展现交互，统一需求管理三个统一为核心思想 构建统一的报表平台，提升数据报表的质量，用户体验和收益
整合系统 依托现有系统强大的数据加工能 力，将分散于系统中的报表统计 信息进行集中化 信息协同 分离报表的管理和加工运算过程 ，将报表的分类、定义、指标口 径等信息分离出来 ，形成面向业 务需求统一的报表管理中心 智慧决策 积累客户认识、市场分析等过程 中的智慧，在整合之后，辅以先 进的IT技术手段，向分析性报表 平台过度
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
整体架构——概念模型
银行数据中心项目组
参考最佳实践和参考架构，制定商业银行数据平台的总体技术架构方 案，从应用架构、数据架构、ETL架构和管控架构等几个方面设计入 手，达到完整、全面、详细的要求，可全程直接指导项目的具体实施
银行数据中心应用平台建设方案
银行数据中心项目组
议题
1.
项目背景与挑战 总体方案架构 方案建设要点
2.
3.
4.
项目实施计划
方案总结和案例分享
5.
6.
展示与讨论
银行数据中心项目组
商业银行在IT建设上成就卓著，但是近年来和其它城商行一样需要对IT尤其 是数据应用和管理进行优化以适应业务的快速发展和市场变化，我们认为需 从应用、系统、管理三大方面逐一突破，通过建设数据中心平台，并增强实 施数据治理来提升对经营管理分析的支撑
项目利益分析
对业务战略及业务运营的支持 对管理改进的支持 对其它IT系统的影响 项目实施紧急程度
项目所需资源与能力
项目所需的资源，包括实施服务、 硬件和软件投资，IT与业务人员投 入等 项目实施所需的管理、业务和技术 能力
业务的准备度 项目实施难度
项目划分 及优先级
项目内部的关系，包括系统模块 间和实施业务单元间的依赖及主 从关系 项目之间的实施依赖关系
时间 8个月 8 – 11个月 1–2年 2–3年
银行数据中心项目组
本期建设的重点目标管理驾驶舱 —充分利用数据中心应用平台的建 设成果，建立全面、便捷、直观的关键经营指标展示平台，以压力表 盘、雷达图等多种方式直观的显示企业关键经营指标，为高层管理提 供’一站式’决策信息
关键经营指标包含
服务对象 银行决策层
业务 风险
财务 客户
展示手段 时间、机构维度 历史趋势、机构排位 计划完成情况、预警
展示内容 全行的关键指标（KPIs)
银行数据中心项目组
采用价值树的KPI体系梳理方法，梳理出符合商业银行业务的关键指 标体系
银行数据中心项目组
管理驾驶舱专页示例——行长首页：将行长最关心的业务指标以非常 直观的方式在一个页面上进行集中展现，让行长能够快速、全面的掌 握银行的经营状况。并且这些页面我们可以在移动终端上进行脱机访 问 各分支行经营状况
基于ETL Mapping结果自动生成的 DS Job 映射工具自动输出的ETL Mapping结果
输出ETL Mapping结果 基于ETL Mapping结果自动生成 DataStage Job模版
银行数据中心项目组
银行业务和数据结构复杂，应该采用专业的ETL工具和具有丰富实施 经验的团队，ETL是数据仓库建设中最为繁重，与仓库建设效率最密 切的核心开发内容，我们在长期的数据仓库项目实施中积累了大量的 最佳实践并将其有机的用于各种数据处理的项目实施过程中
远期：企业战略
全面风险管理 高端业务分析 提升决策支持
前期：平台建设
数据仓库平台建设 元数据管理平台 数据质量管理平台 分析型应用门户建立 基础业务报表 原有分析系统数据迁移
统一视图 平台建设 分析型门户建立
报表功能增强 KPI梳理与计量 经济资本计量 客户细分 风险计量
客户关系管理 Basel II数据管理 资产负债管理
银行数据中心项目组
工具化的模型设计使用流程图
数据源业务分析 引入参考模型的建模工具 建模工具自动输出的Erwin数据模型
数据源分析结果导入建模工具中 在建模工具中完成逻辑和物理数据 模型的设计工作 在ETL映射工具中完成数据源到数 据模型的ETL Mapping工作 输出Erwin数据模型
新的交互式可快速响应的静态报表类型.
关键能力
快速的交互式的仪表盘 可以保存为MHT 应用，允许离线使用 可调度和分发给广泛的各种类型的用户
Active Report对于浏览器的要求： 至少Microsoft Internet Explorer 7 版本以上 如果使用Firefox查看需安装 UnMHT附加组件
数据质量评估维度
业务数据标准&规则
总分核对 平衡检查 其它业务规则
数据质量监测机制
通过数据质量管理流程确定 增加数据质量检查内容 数据质量 检查规则
文件检查 文件记录检查
3
ETL服务器 质检脚本文件
1
记录检查
4
表级检查
2
Cust # Cust 001 002 003 004 005 004 Smith Jones