数据仓库建设规划

债券
国贸 总账 绩效
华 东 某 城 商 行 一 期 之 前 背 景
……
FTP
核心 信贷 个贷 三存 基金 理财 国债 管会 人力 债券 国贸 基础 数据 层 FDM 汇总 数据 层 ADM
ETL平台
复杂 报表 多维 分析 即席 查询 仪表盘
BI Office
部门报表
同 业 案 例 三 : 华 东 某 城 商 行 一 期 结 束 的 架 构
第7页
从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程，主要基于人 工智能、机器学习、模式识别、统计学等技术，做出归纳性的推理，从中挖掘出潜 在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 特点： • 全面性－挖掘模型使用的数据通 常都需要大量详细的历史数据支 持，大多需要跨业务领域进行综 合的关联分析。 • 专用性－大多数挖掘模型都是针 对某个特定领域的特定问题创建， 应用的范围和服务的对象都比较 特定。 • 抽象性－数据挖掘使用的统计技 术以及模型的产出结果都具有高 度的抽象性。 • 周期性－挖掘模型的创建是基于 建模时的训练和校验数据，一段 时间后可能需要根据性能对模型 进行回顾和调整。 关注点： • 业务人员的参与 >资质 >目标 >规则 • 架构 >仓内 >仓外 • 产出结果 >存储 >发布 >应用
•
不确定性－过程不确定、方法不 确定、查询路径不确定、分析结 果不确定、表现形式也不确定。
关注点： • 需求、数据、效率的平衡 • 业务人员的参与和交互 • 提供知识共享的途径和办法 >分析模板 >用户培训 • 依赖条件 数据的了解 业务知识和经验 查询分析工具的运用 沟通、应变能力
第5页
应 用 固定报表是数据仓库信息共享的主要途径之一，是最重要的展现方式。部分常用的，模 能够提炼出共性的灵活查询可能会转化为固定报表 式 二
应 用
•
•
•
交互式—相对于操作型应用非常 固定的用户界面，分析型应用提 供交互式的访问途径。 信息整合—分析型应用是以业务 主题为导向的，会使用多个信息 来源。建构在数据仓库环境上的 分析型应用在多个维度上保证信 息的一致性。 业务主题—应用一定是服务某个 业务主题定义。例如风险管理、 营销管理等。
特点： • 随机性－随时发生、可以由任何 部门发起。 • 时效性－应对突发需求的相应能 力，要求比较高。 • 开放性－可能是简单统计，或是 某种测算，或是某项明细数据查 询，也可能是某种复杂逻辑的处 理。 • 独特性－特定的目标，特有的度 量、专用的视角和算法。
应 用 模 式 一 : 灵 活 查 询
应 用 模 式 描 述
Ad-hoc 灵活查询
Applicatio n 应用
Data Mining 数据挖掘
•数据挖掘应该和分析 型应用系统嵌套使用， 并整合至业务流程中， 将业务决策和营销管理 文化发生转变
如何将数据挖掘与应 用系统整合发挥作用 ，而不是为了数据挖 掘而数据挖掘
第4页
利用分析工具直接进行任意的数据探索和查询，回答各种未预先定义的业务问题。
CRM 绩效考核 非现场审计
公用
数据接口
华 东 某 城 商 行 二 期 结 束 的 架 构
……
数据交换平台
分行数据支持
管理驾驶舱 （管理者数据） 部门管理报表
应用 数据
同 业 案 例 三 :
报表应用 业务价值
汇总模型
模型(FDM、ADM) 数据接入 数据供应
ETL平台; 公共应用平台; 数据交换平台
特点： • 确定性－信息所涉及的度量和维 度是确定的、权威的，一般由归 口业务部门对其进行明确定义。 • 普遍性－信息经常在部门内部乃 至全行的信息需求中多次出现； 简单、容易理解，对用户要求不 高。 • 跨系统－不依赖单一业务系统， 需要全局视图。
:
关注点： • 信息共享 • 统计口径 • 大用户量 • 主要元素 维度、指标设计 报表设计规范 控制总量 准入准出制度 数据要求：语义层的准备
挖掘
部署在应用 中，例如事 件式营销
应 用
第9页
同 业 案 例 四 : 某 股 份 制 银 行 界 面
同 业 案 例 四 : 某 股 份 制 银 行 界 面
同 业 案 例 四 : 某 股 份 制 银 行 界 面
同业现状
第13页
客户
市场
风险
各类MIS
同 业 案 例 一 : 某 国 有 银 行
数据系统
财务系统的报表模块：监管机构报表
流程系统
OA系统：公文流转与审批，公告和办公沟通 信贷管理系统：流程管理、信息管理、基本数据分析
当 前 行 内 系 统 分 类
风险监管系统
事后监督系统：票据监督、账务监督、操作类风险事后检查 压力测试系统：在建
应 用 模 式 四 : 数 据 挖 掘
第8页
• 应用模式和需求并不是一一对应的，一个业务需求的提出和解决可能需要多种应 用模式的综合应用
挽留客户示例
看看最近客 户流失率是 否有异常？ 查查原 因？
挽留成 功！！
报表 灵活查询
应 用 模 式 综 合 应 用 场 景
他们有什么 特征？能不 能提前发现？
专题应用
技术
报表平台 ETL平台
基础模型
华 东 某 城 商 行 一 期 价 值
一期的能力： 应用：建立公共应用平台，具备决策支持、数据分析支持能力 数据：全行数据集成能力（ODS数据模型）；全行数据交换能力 技术：BI应用门户；ETL处理中心
管理驾驶舱完善 部门管理报表完善 CRM优化支持 数据库营销支持 模型扩充（数据接入） 数据供应（新增、迁 移） 客户主题集市 分行数据规划 数据管控平台 平台升级完善
BI Office
部门报表
应用及数据延续
基础 数据 层 FDM 汇总 数据 层 ADM 数据集市层 报表集市
同 业 案 例 三 :
P O R T A l
协议
抽 取 ETL
团体 事件 帐务 产品 渠道
历史 拉链
轻度 汇总
管理 驾驶舱
指标 汇总 集市 汇总
客户数据集市
银企对账 数据 接口
国贸
总账 绩效
短信平台
第3页
应用模 式
Report 固定报表
定义及特色
该应用模式主要满足常态，定期的业务统 计需要；具有确定性和普遍性，也包含一 些常态的交互式报表 具有IT和业务两方面的知识和技能，进 行任意数据探索和查询，回答各种未预先 定义的业务问题 具有随意性和不可重复性 包括分析型应用和操作型应用，分析型应 用由一系列逻辑整合的固定报表，交互式 报表和数据挖掘的结果构成 ,在明确的业 务主题内的流程和任务的指导下，提供整 合的信息， 使得用户能够访问，分析与 操作；可以将各类的结果直接部署到操作 型应用上，用于指导业务流程和业务操作 ，一般多用于前端营销系统 通过模式识别与数学模型技术从数据仓库 中的大量明细数据中发现隐藏的模式与趋 势，预测未来趋势及行为，做出前摄的、 基于知识的决策。目标是从数据库中发现 隐含的、有意义的知识
与其他应用模式 关键点 关系
•部分常用的，能够提 炼出共性的灵活查询可 能会转化为固定报表; •浏览固定报表发现问 题，并进行问题的追踪 ； •探索性问题的获取,并 转化成Report需求； •分析型应用并不是一 堆报表的堆砌，而是将 固定报表和交互式报表 甚至数据挖掘的结果嵌 入流程中，体现一定的 管理逻辑 •报表的管理，建立 准入与退出机制； •数据共享管控 •建立有效的支持中 心，支持服务并推广 •培训和推广是要分 步骤分阶段分别推广 •建立业务解决方案 架构小组； •应用数据共享管控
南充市商业银行数据仓库建设规划
南充市商业银行科技部
概述
第1页
数据仓库的投产不同于传统的信息系统，它是萃取原始数据转 换成决策信息，进而衍生企业智慧的一段旅程，数据仓库系统的投 产是旅程的起点而非终点。数据仓库的价值体现在深度运用中，用 于持续改善的过程，而非一个短暂的项目。
建立成熟完备的BI环境进行业务支持是一个重要手段，应该建 立、健全一套完整的业务支持流程，针对不同特点的应用使用不同 的方式，提供不同种类的应用模式，从而提高对业务需求的响应速 度和质量。除了流程的规范，还应该完善EDW自身数据体系的建设， 同时加大用户的培训力度，用各种可能的方式和渠道推广数据仓库， 实现最大程度发挥信息平台业务价值的终极目标。
Ad Hoc
Reports
Data Mining (Modeling)
Applications
数据挖掘 – 在灵活分 析的基础上，对某些 业务问题进行数据属 性的提炼和归纳，如 “评分模型”、“违 约模型”、”细分模 型”等。
数 据 仓 库 的 应 用 模 式
应用系统 – 支持复杂业务逻辑的应用系统，典型 的包括营销管理、利润贡献度、平衡计分卡等。
准实时数据服务
数据集成服务
历史数据服务
数据整合层
DW ODS
数据交换层
历史数据管理 准实时数据管理 元数据管理 数据质量管理 数据标准管理 统一ETL平台 统一报表平台
基础环境层
核心
信贷
个贷 三存 基金 理财 国债 管会 人力
同 业 案 例 三 :
P O R T A l
抽 取 ETL
银企对账 风险监控 CRM 数据 接口 反洗钱 非现场审计 1104
同 业 案 例 三 :
应用 数据
报表应用 业务价值
汇总模型
报表平台
专题应用
基础模型
技术
ETL平台
数据管控平台
华 东 某 城 商 行 二 期 价 值
二期的能力： 应用：决策支持、数据分析支持能力；分行服务支持能力；客户主题分析 数据：全行数据交换能力；全行数据集成能力；数据管控能力 技术：BI应用门户；ETL处理中心；数据管控平台
数据集市层
报表集市
协议
抽 取 ETL
团体 事件 帐务 产品 渠道 公用
历史 拉链
轻度 汇总
管理 驾驶舱
P O R T A l
指标 汇总 集市 汇总
银企对账
数据接口
数据 接口
总账
绩效
……
数据交换平台
核心 信贷 个贷 三存 基金 理财 国债 管会 人力 债券
数据管控
ETL平台
复杂 报表 多维 分析 即席 查询 仪表盘
项目背景
第22页
联机交易系统
核心业务系统：资产、负债、结算（同城/跨行/票据等）、分录账务、报表、客户账户管理、公共（角色/权限) 外汇系统：外币综合系统，账户、客户、负债业务、分录账务、报表 卡平台系统：ATM/CDM、POS、银联、兴业柜柜通、城商柜面通的渠道接入 MBFE支付系统：人行大小额支付前置 综合前置系统：代收类业务、网银接入、代付类业务的渠道接入 网银系统：外包方式，当前在自建 其它：财务系统、电话银行接入前置、网银接入前置、TIPS系统、指纹识别系统、电票系统 ... ...
数据应用层
综合统计报表
专Biblioteka Baidu集市
业务分析
集成信息服务
数据整合层
DW
数据集成
数据交换层
主机数据交换 通用文件传输 统一数据交换
基础环境层
历史数据管理
离线数据管理 统一调度监控平台
元数据管理
CRM
信贷
营销
风险
MA
反洗钱
各类MIS
同 业 案 例 二 : 某 区 域 银 行
数据应用层
ECIF
信贷集市
事件式营销
固 定 报 表
第6页
应 包括：分析型应用和操作型应用；而分析型应用绝不仅仅是固定报表随意的堆砌， 用 应用系统中特意设定的业务逻辑可以帮助用户逐步访问与分析一系列交互式的报表，模 并在特定的业务主题背景下采取经过优化的行动。 式 三 :
特点： • 逻辑整合—某种程度的业务逻辑 内嵌于此应用以便用户能够按照 一定的规则完成其任务。 关注点： • 自建还是购买 • 架构和部署 BI架构 数据架构 技术架构 • 主要元素 外观和感受 业务逻辑 报表和分析功能 数据模型 数据映射
数 据 仓 库 业 务 支 持 的 目 标
第2页
国际先进银行的企业级数据仓库系统实践表明，应用系统的开发离不开需求的成 熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应 用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有 效的分析探索数据。 随机查询 – 具有IT和 业务两方面的知识和 技能，进行任意数据 探索和查询，回答各 种未预先定义的业务 问题。 固定报表 – 以固定 模式回答简单、常规 的业务管理、统计类 问题。
统一报表信息系统
统一卸数
集成信息服务
数据整合层
DW EDIP
数据交换层
数据交换平台
基础环境层
历史数据管理 离线数据管理 元数据管理 数据质量管理 数据标准管理 统一ETL平台 统一报表平台
ACRM
MA
风险
各类MIS
同 业 案 例 三 : 华 东 某 城 商 行
数据应用层
业务快报
操作型应用
专题集市应用