金融行业数据仓库应用案例
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
? 根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、 稳定的、随时间变化的，主要用于决策支持的数据库系统”。
11/20/2019
7
期望的数据仓库
数据仓库是一个用以更好地支持企业决策 分析处理的、面向主题的、集成的、不可 更新的、随时间不断变化的、分离维护的 数据集合。
-- W.H.Inmon
? 系统的使用和运行；数据、分析的积累 ? 系统的再完善，数据重构
11/20/2019
14
数据仓库建设实践
目标调研、需求分析 ：
? 确立数据仓库的主题目标
? 数据仓库的目标不能包括所能想起来的 所有目标，要根据企业的实施能力、分 析能力、数据基础制定合理的建设目标， 建议按照目标的可实现度分布建设。
4
案例背景
信贷系统目前的体系结构
11/20/2019
5
案例背景
一个典型的ETL流程
11/20/2019
6
期望的数据仓库
大家期望的数据仓库是什么？ ? 数据仓库项目无法作为形象工程！
? 数据仓库类型的系统无法在短期内看到效益，无法在短期内 提供有效的回报，数据仓库类型的系统建成后需要一个较长 的时间来使用和积累，才能发挥作用。
元数据管理 数据挖掘 系统管理
11/20/2019
13
数据仓库建设实践
主要的建设阶段 ： ? 目标调研、需求分析
? 确立数据仓库系统的主题目标 ? 分析业务需求，制定需求框架，逐步细化
? 系统设计和开发
? 技术构架设计 ? 业务分析模型设计 ? 运行、完善机制设计 ? 系统开发和上线发布
? 系统运行、积累和完善
? 数据提供部门
? 如何解决我为别人服务的问题。 ? 如何解决数据仓库项目成为了我的负担。 ? 如何解决数据准确性和时效性。
? 系统建设部门
? 如何理解数据仓库项目的建设过程。 ? 如何面对模糊的需求、巨大的数据量、异想天开的要求。 ? 如果不要陷入运行泥潭。
? 数据使用部门
? 数据为什么总是有问题 ? 为什么我总是无法应用系统 ? 为什么他什么都做不到
数据仓库应用案例
11/20/2019
1
内容提要
（一）自我介绍 （二）案例背景 （三）期望的数据仓库 （四）数据仓库建设实践
11/20/2019
2
11/20/2019
3
案例背景
中国大型商业银行信贷应用与分析系统
? 系统构建了全行的信贷数据仓库（总行）。 ? 系统建立了全行450个信贷数据集市。
? 基于全国每个地市级分行建立信贷数据分析中心。
? 分析业务需求、制定需求框架、逐步细化
? 分析具体业务需求，对于无法确定的需 求，要首先制定需求框架，给系统体系 设计提供指标估算。在项目的设计和建 设中可逐步细化局体需求条目。
11/20/2019
15
数据仓库建设实践
系统设计和开发
? 技术构架设计
? 系统规模评估 ? 系统技术构架选型 ? 系统存储、服务器选型 ? 系统软件平台选型 ? 系统分析工具选型 ? 系统ETL工具选型 ? 系统技术实现确定 ? 系统数据分布设计
信息展现
报表、即席查询 联机分析处理 主管信息系统 数据挖掘
企业
12
期望的数据仓库
?数据仓库不仅仅是 数据存储加上一个查询工具 ?数据仓库不仅仅是 产品
服务 + 产品 ?数据仓库的成功必须有
正确的构造方法为指导 ?数据仓库的构造包括多方面的问题
基础架构(硬件、数据库、网络) 规划设计 数据转移 数据访问(REPORT、OLAP 、EIS、WEB )
? 数据仓库不是报表系统！
? 数据仓库是面向主题的面向分析的系统，不是日常的报表系 统，数据仓库在于从业务的角度上发现问题，分析问题，解 决问题。报表系统在于真实的反映日常的运行状况，要求高 效快捷，无须深入分析和挖掘。
? 数据仓库能干什么！
? 数据仓库用来分析业务数据的潜在关系，用来指导业务人员 思考和分析，用来发现问题，指导业务的开展和改造。虽然 这些成果都是以报表、图表、图示的方式展现出来，但这些 展现方式都是表层，以这些展现方式来展现数据背后的关系 才是数据仓库的用途。
? 大型存储设备、高运算能力的服务器等设备 ? 数据库软件平台 ? 数据仓库与数据集市、集中数据与分布数据 ? 重点关注效率问题
? 数据仓库展现分析百度文库分
? 主流分析展现工具。 ? 定制功能的工具开发。
11/20/2019
9
期望的数据仓库
数据仓库项目中的角色 ? 企业最高领导团队
? 你是否打算建设成为形象工程？ ? 这是你重大决策的原动力、而不是你的秘书。 ? 你是否有足够的耐心和准备，来建设这个长期性的项目。
11/20/2019
10
期望的数据仓库
成功的数据仓库：面向过程的开发方法
11/20/2019
11
期望的数据仓库
成功的数据仓库：结构化
设计建模 逻辑模型 物理模型 业务流程
11/20/2019
咨询服务
抽取清洗 转换加载
数据仓库
内部数据 外部数据
数据库 数据库管理工具
Intelligent Infrastructure 元数据管理
? 业务分析模型设计
? 业务主题设计 ? 分析模型设计
? 运行、完善机制设计
? 运行机制设计 ? 完善机制设计
? 系统开发和上线发布
? 系统开发 ? 系统上线 ? 数据装载
11/20/2019
16
数据仓库建设实践
系统运行、积累和完善 ? 系统的使用和运行；数据、分析的积累
? 数据准确性的反馈 ? 分析执行效率的反馈 ? 数据模型合理性反馈 ? 分析主题的积累和反馈
? 数据规模6T，数据以500G/年的数据增长。 ? 系统已运行八年。 ? 系统用户20,000+。 ? 系统累计投资5亿+。 ? 系统采用ROLAP模型，采用BusinessObjects为分
析工具，采用Informix为数据仓库平台，采用 Domino/Notes为应用平台。
11/20/2019
? 系统的再完善，数据重构
? 系统的扩展和纠正 ? 元数据管理 ? 数据的重构
11/20/2019
8
期望的数据仓库
现实中的数据仓库系统包括哪些部分？ ? 数据采集部分
? 直接的数据采集、其他系统作为数据源等
? ETL数据整合部分
? 数据汇总、清洗、转换，当然还包括数据传输、数据汇集、 分发、校验、过滤、过程记录等。
? 采用工具还是自己开发。 ? 重点关注效率问题
? 数据仓库存储系统部分
11/20/2019
7
期望的数据仓库
数据仓库是一个用以更好地支持企业决策 分析处理的、面向主题的、集成的、不可 更新的、随时间不断变化的、分离维护的 数据集合。
-- W.H.Inmon
? 系统的使用和运行；数据、分析的积累 ? 系统的再完善，数据重构
11/20/2019
14
数据仓库建设实践
目标调研、需求分析 ：
? 确立数据仓库的主题目标
? 数据仓库的目标不能包括所能想起来的 所有目标，要根据企业的实施能力、分 析能力、数据基础制定合理的建设目标， 建议按照目标的可实现度分布建设。
4
案例背景
信贷系统目前的体系结构
11/20/2019
5
案例背景
一个典型的ETL流程
11/20/2019
6
期望的数据仓库
大家期望的数据仓库是什么？ ? 数据仓库项目无法作为形象工程！
? 数据仓库类型的系统无法在短期内看到效益，无法在短期内 提供有效的回报，数据仓库类型的系统建成后需要一个较长 的时间来使用和积累，才能发挥作用。
元数据管理 数据挖掘 系统管理
11/20/2019
13
数据仓库建设实践
主要的建设阶段 ： ? 目标调研、需求分析
? 确立数据仓库系统的主题目标 ? 分析业务需求，制定需求框架，逐步细化
? 系统设计和开发
? 技术构架设计 ? 业务分析模型设计 ? 运行、完善机制设计 ? 系统开发和上线发布
? 系统运行、积累和完善
? 数据提供部门
? 如何解决我为别人服务的问题。 ? 如何解决数据仓库项目成为了我的负担。 ? 如何解决数据准确性和时效性。
? 系统建设部门
? 如何理解数据仓库项目的建设过程。 ? 如何面对模糊的需求、巨大的数据量、异想天开的要求。 ? 如果不要陷入运行泥潭。
? 数据使用部门
? 数据为什么总是有问题 ? 为什么我总是无法应用系统 ? 为什么他什么都做不到
数据仓库应用案例
11/20/2019
1
内容提要
（一）自我介绍 （二）案例背景 （三）期望的数据仓库 （四）数据仓库建设实践
11/20/2019
2
11/20/2019
3
案例背景
中国大型商业银行信贷应用与分析系统
? 系统构建了全行的信贷数据仓库（总行）。 ? 系统建立了全行450个信贷数据集市。
? 基于全国每个地市级分行建立信贷数据分析中心。
? 分析业务需求、制定需求框架、逐步细化
? 分析具体业务需求，对于无法确定的需 求，要首先制定需求框架，给系统体系 设计提供指标估算。在项目的设计和建 设中可逐步细化局体需求条目。
11/20/2019
15
数据仓库建设实践
系统设计和开发
? 技术构架设计
? 系统规模评估 ? 系统技术构架选型 ? 系统存储、服务器选型 ? 系统软件平台选型 ? 系统分析工具选型 ? 系统ETL工具选型 ? 系统技术实现确定 ? 系统数据分布设计
信息展现
报表、即席查询 联机分析处理 主管信息系统 数据挖掘
企业
12
期望的数据仓库
?数据仓库不仅仅是 数据存储加上一个查询工具 ?数据仓库不仅仅是 产品
服务 + 产品 ?数据仓库的成功必须有
正确的构造方法为指导 ?数据仓库的构造包括多方面的问题
基础架构(硬件、数据库、网络) 规划设计 数据转移 数据访问(REPORT、OLAP 、EIS、WEB )
? 数据仓库不是报表系统！
? 数据仓库是面向主题的面向分析的系统，不是日常的报表系 统，数据仓库在于从业务的角度上发现问题，分析问题，解 决问题。报表系统在于真实的反映日常的运行状况，要求高 效快捷，无须深入分析和挖掘。
? 数据仓库能干什么！
? 数据仓库用来分析业务数据的潜在关系，用来指导业务人员 思考和分析，用来发现问题，指导业务的开展和改造。虽然 这些成果都是以报表、图表、图示的方式展现出来，但这些 展现方式都是表层，以这些展现方式来展现数据背后的关系 才是数据仓库的用途。
? 大型存储设备、高运算能力的服务器等设备 ? 数据库软件平台 ? 数据仓库与数据集市、集中数据与分布数据 ? 重点关注效率问题
? 数据仓库展现分析百度文库分
? 主流分析展现工具。 ? 定制功能的工具开发。
11/20/2019
9
期望的数据仓库
数据仓库项目中的角色 ? 企业最高领导团队
? 你是否打算建设成为形象工程？ ? 这是你重大决策的原动力、而不是你的秘书。 ? 你是否有足够的耐心和准备，来建设这个长期性的项目。
11/20/2019
10
期望的数据仓库
成功的数据仓库：面向过程的开发方法
11/20/2019
11
期望的数据仓库
成功的数据仓库：结构化
设计建模 逻辑模型 物理模型 业务流程
11/20/2019
咨询服务
抽取清洗 转换加载
数据仓库
内部数据 外部数据
数据库 数据库管理工具
Intelligent Infrastructure 元数据管理
? 业务分析模型设计
? 业务主题设计 ? 分析模型设计
? 运行、完善机制设计
? 运行机制设计 ? 完善机制设计
? 系统开发和上线发布
? 系统开发 ? 系统上线 ? 数据装载
11/20/2019
16
数据仓库建设实践
系统运行、积累和完善 ? 系统的使用和运行；数据、分析的积累
? 数据准确性的反馈 ? 分析执行效率的反馈 ? 数据模型合理性反馈 ? 分析主题的积累和反馈
? 数据规模6T，数据以500G/年的数据增长。 ? 系统已运行八年。 ? 系统用户20,000+。 ? 系统累计投资5亿+。 ? 系统采用ROLAP模型，采用BusinessObjects为分
析工具，采用Informix为数据仓库平台，采用 Domino/Notes为应用平台。
11/20/2019
? 系统的再完善，数据重构
? 系统的扩展和纠正 ? 元数据管理 ? 数据的重构
11/20/2019
8
期望的数据仓库
现实中的数据仓库系统包括哪些部分？ ? 数据采集部分
? 直接的数据采集、其他系统作为数据源等
? ETL数据整合部分
? 数据汇总、清洗、转换，当然还包括数据传输、数据汇集、 分发、校验、过滤、过程记录等。
? 采用工具还是自己开发。 ? 重点关注效率问题
? 数据仓库存储系统部分