工商银行数据仓库总体设计demo资料
工商银行数据仓库总体设计demo46页PPT
21.11.2019
20
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 应用的竞争力
利用web展现工具输出报告，可以进 行网上直邮
21.11.2019
21
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 体现的概念
工商银行卡部在客户关系管理方案上 领先业界的尝试
抽样分析：SAS EG
21.11.2019
30
1.10 PCRM应用主题——深层分析
分布分析：SAS EG
21.11.2019
31
1.10 PCRM应用主题——深层分析
图形展示：SAS EG
21.11.2019
32
1.10 PCRM应用主题——深层分析
图形展示：SAS EG
21.11.2019
工商银行卡用户体验到自动的个性化 分析服务
IT部门开发产生直接的市场效益：
有先进的客户关系管理系统支持 的牡丹卡
21.11.2019
22
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 实现的方式
CB2000 每日加载 PCRM
数据
数据仓库
银行卡 数据集市
用卡行为月报
Hale Waihona Puke Web 展现工具21.11.2019
10
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在36-45，46-55的客户的存款利润最高，其中， 36-45岁的客户的存款利润最高，因为这类人群中， 理财风格保守，存款倾向性强者较多。
21.11.2019
(精编)河北省工行数据仓库方案
(精编)河北省工行数据仓库方案河北省工商银行数据仓库系统建设方案建议书北京世纪明日网络科技有限公司二零零零年三月河北省工商银行数据仓库系统建设方案目录第一章前言1.1数据仓库发展史1.2竞争日趋激烈的金融市场1.3中国专业银行面临的挑战1.4中国专业银行实施数据仓库的意义1.5中国专业银行实施数据仓库已具备的条件第二章数据仓库总体概述2.1数据仓库基础2.2数据仓库技术概述2.3一个可扩展数据仓库的基本框架2.4一个数据仓库实施流程第三章系统体系结构设计3.1系统设计指导思想3.2方案总体框架图3.3系统体系结构设计3.4系统方案的组成第四章银行数据仓库的建设4.1面向应用的OLTP系统和面向主题的OLAP系统4.2个性化服务的定义4.3业务探索/业务发掘4.4建立市场客户信息基础4.5利用数据仓库实现的基本模块4.6更高层次的开发应用4.7综合信息发布第五章方案实施建议5.1开发模式5.2组织机构5.3项目实施进程5.4项目进度计划第六章产品报价6.1软件产品报价6.2硬件产品报价6.3项目开发实施费用第一章前言1.1数据仓库发展史相对于许多行业而言，信息处理技术还是一门新兴的技术，但是其发展速度却几乎是最快的。
随着计算机硬件技术的飞速发展，软件技术也是日新月异。
许多企业和机构已经建立了相对完善的OLTP（联机事物处理）系统。
随着时间的推移，这些系统中积累了大量的历史数据，其中蕴含了许多重要的信息。
通过对这些历史数据的分析和综合处理，可以找到那些对企业发展至关重要的业务信息，从而帮助有关主管和业务部门作出更加合理的决策。
70年代中期出现的MIS（管理信息系统）实际上就是在这种背景下产生的。
但MIS具有极大的局限性。
首先，它是按预先定义好的流程对数据作相应的处理，因此只能对预先描述好的业务问题进行回答。
其次由于开发工具的限制，对它的修改也不大方便，特别是业务流程发生变化，模型需要调整，这种修改更加困难。
工商银行数据仓库总体设计demo共43页文档
谢谢！
工商银行数据仓库总体设计demo
16、人民应该为法律而战斗，就像为 了城墙 而战斗 一样。 ——赫 拉克利 特 17、人类对于不公正的行为加以指责 ，并非 因为他 们愿意 做出这 种行为 ，而是 惟恐自 己会成 为这种 行为的 牺牲者 。—— 柏拉图 18、制定法律法令，就是为了不让强 者做什 么事都 横行霸 道。— —奥维 德 19、法律是社会的习惯和思想的结晶 。—— 托·伍·威尔逊 20、人们嘴上挂着的法律，其真实含 义是财 富。— —爱献 生
ቤተ መጻሕፍቲ ባይዱ
61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
工行数据仓库
4. 汇总层
汇总层是在基础层数据的基础上聚合而来，数据的存放方式一般是按时间周期 存放快照。 汇总层数据一般粒度较粗，比较利于分析。另外，按时间存快照的方式，也比 较方便查询历史数据。 从基础层到汇总层的数据 ETL 过程，大约需要 10 小时。 汇总层是报表应用的一个数据源。 汇总层中还包括生成集市数据的一些中间表。
5. 集市层
集市层是为服务于特定报表应用需求而建立的，数据的存放方式也是按时间周 期存放快照。 集市层的数据主要是服务于当期报表，并且有生命周期管理机制，一般只保留 13 个月/32 天数据。 从基础层、汇总层到集市层的 ETL 过程，月结时超过 10 小时。 集市层是报表应用的主要数据源。
5
第四章 报表取数机制
3
图 3.3.1 工行数据仓库十大主题域 基础层模型按照第三范式来建设，下图是基础层模型的一个实例：
图 3.3.2 基础层模型实例 基础层数据很少冗余，并且大部分表都拉链化，这些都在很大程度上控制了 数据量。
4
基础层共有数据库表约 3000 张，其中较为常用的有大约 1000 张。 从临时区到基础层的数据 ETL 过程，大约需要 2-3 小时。 基础层是报表应用的一个数据源。
6
第五章 元数据和生命周期管理
1. 元数据管理
工行的元数据管理主要靠以下四张表: � 数据源表清单； � 下游依赖的表清单; � 数据源和临时区的对应关系清单； � 表的前驱后继关系清单；
2. 数据生命周期管理
工行的数据生命周期管理主要表现在以下几方面： � 临时区中的文件保留最近 7 天，逾期自动清理； � ODS 层的数据只有当前快照； � 集市层数据只保留 13 月/32 天，逾期自动清理；
2. ODS 层
某银行数据仓库建设方案设计
据提取来源不明确、统计方法不一致等问题。基于以上问题，亟需建立一套统一的数据
Data Lab与敏捷分析
• Data Lab 是一项敏捷分析技术，可以让用户导入外部数据，进行灵活的组合分析
Data Lab 内涵 Enterprise Data Warehouse
Production
Reference Data
ORDER IT EM B ACKORDE RE D QUA NT IT Y CUS TOMER CUS TOMER CUS TOMER CUS TOMER CUS TOMER CUS TOMER CUS TOMER CUS TOMER CUS TOMER NUMBE R NA ME CIT Y POS T ST ADDR PHONE FA X
•知识获取 •知识编辑 •知识分享
分析成果固化
• 数据分析平台将实现对有价值的分析成果，以前端应用的形式固化下来 固化范围
•只有需重复进行，且经过验证过的有价 值的分析成果，才需要进行IT固化
固化方式
•按照不同的业务目的与应用场景，选择 合适的固化方式与展现形式
常规的重复性的分析需求
数据 报表
•以数据属性的形式固化客 户偏好与知识 •以分析报表的形式固化常 用分析内容 •以挖掘模型的形式固化复 杂分析并定期执行 •以数据接口的形式固化信 息推送过程，或者通过第三 方分析工具实现灵活查询分 析
经过验证有业务价值的成果
模型
业务部门有强烈使用需求
商业银行数据仓库报表设计
商业银行数据仓库报表设计摘要随着商业银行业务的持续扩张和金融科技的发展，数据在银行行业中的重要性日益凸显。
数据仓库作为商业银行存储、管理和分析数据的核心基础设施，发挥着至关重要的作用。
本文将深入探讨商业银行数据仓库报表设计的关键要点，包括报表设计的目的、报表设计的原则和方法、报表的内容和结构等方面，以期为商业银行数据仓库报表设计提供参考和指导。
1. 报表设计的目的商业银行数据仓库报表设计的首要目的是为了帮助银行管理层和业务部门更好地把握业务状况、制定决策和优化业务流程。
通过精准、直观地展示银行的关键业务数据，报表设计可以帮助管理层及时监控业务运营情况，识别问题和机会，为商业银行的发展提供有力支持。
2. 报表设计的原则和方法商业银行数据仓库报表设计应遵循以下原则和方法： - 明确需求：在设计报表之前，需充分了解报表使用者的需求，确保报表设计符合用户的实际需求。
- 简洁清晰：报表设计应尽量简洁明了，避免信息过载，确保用户轻松获取所需信息。
- 一致性：报表设计中应保持一致性，包括数据展示、指标定义等方面，以确保报表易于比较和理解。
- 可扩展性：报表设计应具备良好的可扩展性，能够根据业务需求灵活调整和扩展数据展示内容。
- 数据质量保证：报表设计的数据来源应可靠，数据准确性和一致性是报表设计的基础。
3. 报表的内容和结构商业银行数据仓库报表的内容和结构应充分反映银行的业务特点和管理需求，一般可包括以下几个方面： - 关键指标展示：报表应突出展示商业银行的关键指标，如业务规模、盈利能力、风险状况等。
- 业务分析报表：报表可包括不同业务线的业务分析报表，帮助管理层了解各项业务的表现情况。
- 风险管理报表：针对风险管理需求，报表可包括风险指标、资产负债表结构等报表内容。
- 趋势分析报表：报表可包括历史演变趋势分析，帮助管理层了解业务走势和变化规律。
结论商业银行数据仓库报表设计是商业银行数据管理和决策的关键环节，合理设计的报表能够帮助商业银行管理层更好地把握业务状况，提高管理水平和决策效率。
某银行数据仓库建设方案设计
Data Lab 价值
SAS data
Data Labs
•为不同用户设定一定的Data Lab空间与 计算能力
ORDER
csv data
ORDER NUMBE R ORDER DAT E S TA TUS
ORDER IT EM S HIP PE D QUA NT IT Y S HIP DA T E IT EM IT EM NUMBE R QUA NT IT Y DES CRIP TION
系统建设目标
内容提要
建设背景和当前现状 系统建设目标 数据分析平台的定位 系统架构和功能设计 数据模型设计
数据分析平台定位
• 数据分析平台将实现对分析相关的数据、能力、过程与成果进行一站式管理与支撑
数据管理平台
分析能力提供平台
过程支撑平台
成果应用平台
数据管控平台
数据分析所 需业务数据 的管理平台
指标库提供给各省（区、市）数据分析团队使用。
当前现状
现有客管系统数据不能完全支持数据分析的需要：包括数据的历史时长不够、数据质量 问题、数据缺失问题（基于风险、客户行为、财务管理等数据缺失比较严重）等 没有统一的分析平台：各支持厂商和总行自主分析团队的分析环境比较零乱，没有统一 的系统分析平台与环境，不能对开发效率、质量、流程等形成统一的管理 不能有效的对分析需求、分析过程进行集中管控、分析结果展现等 各期的专题分析成果没能发挥其持续业务效益，没有形成有效的知识库管理 对各省分行数据分析团队支持效率务中心、风险管
保障数据安全
数据分析平台在为不同业务部门与机构提供数 据分析服务的同时，必须确保数据的安全，如 隐私数据加密、数据权限管理等
分析能力提供平台内涵
商业银行企业级数据仓库系统架构设计书
商业银行企业数据仓库系统系统架构设计书目录1 概述 (1)1.1背景 (1)1.2目的 (1)1.3适用对象 (1)1.4范围 (1)1.5叁考文档 (2)2 概念性体系构架 (3)2.1数据源 (3)2.2数据仓库 (3)2.3分析 (3)2.4交互参考功能 (3)3 参考体系架构 (4)4 技术体系架构 (5)4.1源数据与数据接口 (6)4.1.1 数据源 (6)4.1.1.1 数据源范围 (6)4.1.2 文件缓冲区 (7)4.1.3 接口文件区 (7)4.2数据架构与存储 (10)4.2.1 接口文件区 (10)4.2.2 数据仓库 (10)4.2.2.1 细节数据暂存区SSA（SOR Staging Area） (10)4.2.2.2 细节数据SOR（System Of Record） (11)4.2.2.3 汇总数据区Summary (12)4.2.2.4 反馈数据区（Feedback Area） (12)4.2.2.5 元数据存储MDR（Meta Data Repository） (12)4.2.3 数据集市与多维立方体 (14)4.2.3.1 多维数据存储 (14)4.2.3.2 OLAP与多维立方体 (15)4.2.4 数据仓库应用 (17)4.2.5 实现中的一些特别因素 (17)4.2.5.1 参照表 (17)4.2.5.2 MQT的应用 (17)4.2.5.3 表与列的命名规则 (19)4.2.5.4 代理键的使用 (21)4.2.5.5 历史数据的处理 (21)4.3ETL处理架构 (22)4.3.1 ETL调度 (23)4.3.2 ETL监控 (23)4.3.3 数据质量控制 (24)4.3.4 ETL任务 (24)4.3.4.1 ETL0－数据抽取 (24)4.3.4.2 ETL1－处理接口文件 (25)4.3.4.3 ETL2－生成SOR (25)4.3.4.4 ETL3－数据汇总 (28)4.3.4.5 ETL4－生成数据集市 (28)4.3.4.6 ETL5－计算KPI (28)4.3.5 ETL规范 (28)4.3.5.1 SQL规范 (28)4.3.5.2 可重运行 (29)4.3.5.3 DB2 RUNSTATS (29)4.3.5.4 ETL工作流程 (30)4.4应用架构 (31)4.4.1 访问途径 (31)4.4.1.1 网络浏览器 (31)4.4.2 展示内容 (31)4.4.2.1 BST分析主题 (31)4.4.2.2 1104报表 (31)4.4.2.3 绩效考核 (31)4.4.2.4 输出服务 (31)4.5软硬件架构 (32)4.6系统管理 (33)4.6.1 备份恢复 (33)4.6.1.1 数据仓库的备份恢复 (33)4.6.1.2 接口文件的备份恢复 (35)4.6.1.3 开发环境的备份恢复 (35)4.6.2 配置管理 (35)4.6.3 安全与保密 (36)4.6.3.1 数据安全 (36)1概述1.1背景企业数据仓库系统是以业务支撑应用系统的数据以及其他相关数据作为基础数据源，采用科学的数据抽取、整理、存储等方法，建立企业级数据仓库；然后通过丰富的数据分析与挖掘方法找出这些数据内部蕴藏的大量有用信息，对客户、业务、市场、收益、服务、等各方面情况进行科学的分析，从而为市场决策管理者与市场经营工作提供及时、准确、科学的辅助决策依据。
数仓设计文档模版
数仓设计文档模版数仓设计文档模版1. 引言：数仓设计文档旨在提供一个全面、一致、可靠的指导，用于规划、设计和实施一个高效的数据仓库解决方案。
本文档将详细阐述数据仓库的结构、组件和运作方式，并提供一系列最佳实践和建议，以帮助项目团队成功地建立和管理数据仓库。
2. 背景：本章节介绍项目的背景和目标，阐述为什么需要建立一个数据仓库，以及数据仓库所期望达到的业务和技术目标。
3. 数据需求分析：在本章节中，对业务需求进行详细的分析和梳理。
首先，列出项目中所涉及的所有业务部门和相关业务过程。
然后，对每个业务过程进行进一步的分解，识别需要收集和分析的数据。
4. 数据模型设计：在本章节中，描述数据仓库的逻辑和物理结构。
首先，设计维度模型，识别业务事实和维度，构造星型或雪花模型。
然后，定义事实表和维度表之间的关联关系和层级结构。
5. 数据抽取和转换设计：本章节详细描述数据仓库的数据抽取、清洗和转换过程。
首先，定义数据抽取的来源和频率，选择适当的数据抽取工具和技术。
然后，设计数据清洗和转换规则，确保数据的一致性和完整性。
6. 数据加载和管理：在本章节中，描述数据从数据源到数据仓库的加载和管理过程。
包括数据加载的时间频率、增量加载和全量加载的策略。
还需要定义数据质量的标准和度量，并实施数据监控和校验机制。
7. 数据访问和报表设计：本章节介绍数据仓库的数据访问和报表设计。
首先，定义用户需求和访问权限。
然后，设计适当的报表和分析工具，满足用户需求。
8. 项目计划和风险管理：本章节详细描述项目的计划和风险管理。
包括项目的时间安排、资源分配和沟通策略。
还需要评估项目的风险，并提供相应的风险处理计划。
9. 总结和建议：本章节对整个设计文档进行总结，并提供进一步的建议和指导。
需要强调数据仓库的重要性和潜在的业务价值，并提供后续维护和优化的建议。
总结：本文档提供了一个全面、一致、可靠的指导，用于规划、设计和实施数据仓库解决方案。
通过遵循本文档中的最佳实践和建议，项目团队可以成功地建立和管理一个高效的数据仓库，为业务决策提供有力支持。
某银行数据仓库建设情况汇报.pptx
2020/8/28
20
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 应用的竞争力
2020/8/28
4
日程安排
开发进度 最终应用展现 数据仓库架构
2020/8/28
5
1.8 主要应用
➢个人客户关系管理（PCRM） ➢业绩价值管理（PVMS） ➢信贷台帐报表（CMIS-REPT） ➢管理信息综合统计报表 ➢法人客户关系管理（CCRM） ➢开放式基金绩效分析
2020/8/28
透支利息 在 年龄段 上的分布
2020/8/28
14
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高， 因为这类人群中，理财风格前卫，消费旺盛者居多。
消费回佣 在 年龄段 上的分布
2020/8/28
15
1.10 PCRM应用主题——深层分析
利用数据挖掘自动筛选优质客户， 针对优质客户提供个性化服务——
直邮用卡行为月报
2020/8/28
18
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 解决的问题
▪对优质客户提供详细的行为分析，帮 助客户更好掌握自己的用卡行为
▪针对客户用卡的具体情形提供促销性 建议，使优质客户感受到工商银行卡 部的人性化关注
2020/8/28
3
2.1 开发进展——个人客户关系管理（PCRM）
▪需求分析
2001/10/11-2001/10/31
▪总体方案
2002/11/01-2002/02/28
▪原型开发
2001/11/15-2001/12/31
商业银行数据仓库报表设计
**商业银行数据仓库报表设计版本：1.05/6/2020目录1.报表系统 (3)1.1.业务分析 (3)1.2.财务分析报表系统 (3)1.2.1.资产业务分析（月） (3)1.2.1.1.资产规模增长情况分析 (4)1.2.1.2.资产增量变化情况分析 (4)1.2.1.3.资产结构变化情况分析 (4)1.2.1.4.贷款资产专项统计 (5)1.2.2.负债业务分析 (5)1.2.2.1.负债规模增长情况分析表 (5)1.2.2.2.负债增量变动情况分析表 (5)1.2.2.3.负债结构变化情况分析表 (6)1.2.2.4.存款负债专项统计 (6)1.2.3.所有者权益分析 (6)1.2.3.1.所有者权益增长情况分析 (6)1.2.3.2.所有者权益增量变动情况分析 (7)1.2.3.3.所有者权益结构变化情况分析 (7)1.2.4.财务收支分析 (7)1.2.4.1.收支规模增长情况分析 (7)1.2.4.2.收支增量变动情况分析 (8)1.2.4.3.当期收支情况分析 (8)1.2.4.4.财务收支结构变动情况分析 (8)1.2.4.5.财务收支计划完成情况分析 (8)1.2.5.财务比率分析 (9)1.2.5.1.各项财务比率分析表 (9)1.3.资金计划业务需求 (10)1.3.1.资金头寸统计 (10)1.3.2.资金负债管理指标 (10)1.3.3.现金管理 (10)1.3.3.1.结算备付金统计 (10)1.3.3.2.库存现金统计 (11)1.3.3.2.1.即时余额统计 (11)1.3.3.2.2.日均余额统计 (11)1.3.3.3.业务量统计 (11)1.3.4.票据贴现业务统计 (12)1.4.综合统计分析 (12)1.4.1.存款统计 (12)1.4.1.1.存款结构统计 (12)1.4.1.1.1.日均存款统计 (12)1.4.1.1.2.存款即时余额统计 (12)1.4.1.1.3.储蓄业务统计 (13)1.4.1.2.存款明细统计 (13)1.4.2.贷款统计 (13)1.4.2.1.贷款结构统计 (13)1.4.2.1.1.贷款日均统计 (13)1.4.2.1.2.贷款即时余额统计 (14)1.4.2.2.贷款明细统计 (14)1.4.3.业务量统计 (14)1.4.3.1.会计综合业务量统计 (14)1.4.3.2.现金收付量统计 (14)1.5.安全性 (15)1.5.1.安全控制逻辑 (15)2.客户经理服务系统(ASS) (15)2.1.总体分析 (15)2.1.1.分析角度 (15)2.1.2.分析指标 (15)2.2.安全性 (15)1.报表系统1.1. 业务分析业务分析的方法主要是多维分析法，根据业务决策的需要，可进行各种分析。
(数据仓)数据仓库总体设计报告
（数据仓）数据仓库总体设计报告数据仓库系统总体设计文档作者：__ ____日期：2001/12/20 项目经理：__ ____日期：2001/12/28 部门经理：__ __ 日期：2002/01/08 总工办：__ ____日期：2002/01/08目录1概述 (7)1.1背景 (7)1.1.1 待开发的软件系统名称 (8)1.1.2 系统的基本概念 (8)1.1.3 项目组名称 (8)1.1.4 项目代号 (8)1.2术语和缩写词 (8)1.3设计目标 (9)2系统设计 (9)2.1设计原则 (9)2.2系统结构 (11)2.2.1 子系统划分 (11)2.3系统数据结构 (17)2.3.1 逻辑结构 (12)2.3.2 层次结构 (13)2.3.3 网络拓扑结构 (14)2.3.4 网络层次结构 (16)2.4行业特殊需求 (17)2.5底层数据库（仓库）设计 (19)2.5.1 设计原则 (19)2.5.3 数据存储整体规划 (21)2.6ETL系统 (24)2.6.1 需求规定 (24)2.6.2 运行环境 (24)2.6.3 设计思想 (24)2.6.4 结构说明 (25)2.6.5 处理流程 (26)2.7系统管理 (27)2.7.1 需求规定 (27)2.7.2 运行环境 (28)2.7.3 设计思想 (28)2.7.4 结构说明 (28)2.7.5 处理流程 (29)2.8数据展现 (30)2.8.1 需求规定 (30)2.8.2 运行环境 (32)2.8.3 设计思想 (32)2.8.4 结构说明 (32)2.8.5 处理流程 (34)2.9界面设计 (34)2.9.1 需求规定 (34)2.9.3 主要页面设计 (35)2.10接口设计 (38)2.10.1 外部接口 (38)2.10.2 内部接口 (39)2.11安全设计 (39)2.11.1 网络安全 (39)2.11.2 数据库安全 (42)2.12系统可靠性设计 (43)2.12.1 可靠性 (43)2.12.2 可维护性 (43)2.12.3 可扩展性 (44)2.12.4 健壮性 (44)2.12.5 性能保证 (44)2.12.6 出错处理 (45)2.12.7 备份与恢复 (45)2.13运行设计 (46)2.14相关工具选择 (46)2.14.1 数据库选择 (47)2.14.2 WEB服务器和应用服务器 (47)2.14.3 数据库建模工具 (48)2.14.4 分析型工具 (48)2.14.6 ORACLE公司OLAP介绍 (50)2.15开发环境 (51)2.15.1 硬件环境 (51)2.15.2 操作系统 (51)2.15.3 开发语言 (52)2.15.4 数据库系统 (52)2.15.5 中间件系统 (52)2.15.6 应用系统 (53)3系统调试和测试 (53)3.1目的 (53)3.2基本要求 (54)3.2.1 测试计划 (54)3.2.2 测试说明 (54)3.2.3 测试环境建立 (54)3.2.4 测试报告 (54)3.3应遵循的原则 (54)3.4测试方法 (55)3.5测试重点 (55)4项目进度 (56)4.1项目资源计划 (56)4.1.1 项目组 (56)4.1.2 数据仓库领导小组办公室 (56)4.2项目工期计划 (56)4.3时间进度计划 (56)4.3.1 数据仓库系统需求调查与两会系统 (57)4.4第一期开发主题 (57)4.5第二期开发主题 (57)4.6工作量分配计划 (57)5小结 (58)6参考文献 (60)7附录 (61)7.1Oracle性能评估报告 (61)7.2主流WEB服务器比较 (65)7.3IBM小型机性能评估报告 (76)7.4详细网络拓扑图及设备清单 (78)7.5在多层体系结构下建立数据仓库 (83)摘要数据仓库系统的建立可以解决传统数据库不能很好提供分析决策功能的问题，可以发掘历史数据中隐含的大量有价值的信息，为国民经济的发展和宏观决策提供大量有效的参考信息。
数据仓库分析系统整体设计方案
数据仓库分析系统整体设计方案一、引言数据仓库分析系统（Data Warehouse Analytics System）是指通过对企业数据仓库中的数据进行提取、清洗、转化和加载（ETL）等处理，为企业提供分析和决策支持的系统。
本文将对数据仓库分析系统的整体设计方案进行详细阐述。
二、系统架构设计1.数据提取：数据提取模块负责从企业各个数据源（如ERP系统、CRM系统等）中抽取数据。
根据不同的数据源，可以采用适当的技术，如数据库连接、API调用等，将数据提取到数据仓库中。
2.数据清洗：数据清洗模块负责对提取的数据进行清洗和处理，以确保数据的准确性和完整性。
此模块包括数据去重、数据格式化、数据校验等功能，可以使用数据质量工具和ETL工具来实现。
3.数据转化：数据转化模块负责将清洗后的数据进行转化和整合，使其符合企业分析和决策的需求。
此模块可以进行数据的聚合、计算衍生指标、数据分割等操作，以便进行更深入的数据分析。
4.数据加载：数据加载模块负责将转化后的数据加载到数据仓库中，以供后续的分析和决策支持。
此模块可以使用数据加载工具或者自定义的脚本来实现。
三、系统功能设计1.数据管理：系统支持数据源的管理和配置，可以添加、修改和删除数据源的连接信息和抽取规则。
同时，还提供数据仓库的管理功能，包括数据仓库的创建、维护和备份等。
2.数据分析：系统提供多种数据分析功能，如数据的查询、统计、趋势分析和关联分析等。
用户可以根据需要进行自定义的数据查询和分析操作，以满足不同业务需求。
3. 报表生成：系统支持报表的生成和导出，用户可以选择不同的报表模板，根据自己的需求进行报表设计和配置，并将报表导出为常见的格式，如Excel、PDF等。
四、系统技术选型在系统设计过程中，需要选择合适的技术和工具来支持系统的功能实现。
以下是一些常用的技术和工具：1. 数据库：选择适合大规模数据处理的数据库，如Oracle、MySQL 等。
根据实际情况，可以考虑采用分布式数据库或者数据仓库专用数据库。
银行数据库设计
银行数据库的数据需求
初始的用户需求规格说明可以基于数据库用户的交流以及设计者自己对银行业务的 分析。这个设计阶段中的需求描述是制定数据库的概念结构的基础。以下是银行企 业的主要特征：
1.银行有多个支行。每个支行位于某个城市，由唯一的名字标识。银行监控每 个支行的资产
2.银行客户通过其customer_id值标识，银行存储了每位客户的姓名及其居住 的城市和街道。客户可以有账户，并且可以贷款。一个客户可能和某个银行员 工发生联系，该员工作为此客户的贷款负责人或私人助理
具有描述性属性的联系集7.17--53 Nhomakorabea角色
参与一个联系集的实体集可以相同 标签 “manager” 和 “worker” 称为角色； 表示实体在联系中的作用 角色在E-R图中用连接菱形和矩形的线段上的标签指明 角色标签是可选的，用于解释联系的语义
7.18--53
One-To-Many 联系
One-to-many 联系borrower ： a loan is associated with at most one customer via borrower, a customer is associated with several (including 0) loans via borrower
7.2--53
建模
数据库建模如下： 一组实体的集合 一组实体集间联系的集合
实体：是现实世界中可区别于其他对象的“事物”或“对象”。
例如：企业中的每个人都是一个实体，一个人的person_id性质可以
唯一地标识这个人；贷款也可以被看作实体，通过贷款号唯一地标识 某个贷款实体。 每个实体有一组性质（或属性） 例如：people have names and addresses 实体集：是相同类型——即具有相同性质（或属性）——的实体集合。 例如：某个银行的所有客户的集合可被定义为实体集customer。类似 地，实体集loan表示某个银行所发放的所有贷款的集合。 实体集不必互不相交。例如，可以定义银行所有员工的实体集 employee和所有客户的实体集customer。而一个person实体可以是 employee实体，可以是customer实体，可以既是employee实体又是 customer实体，也可以都不是。
某某银行数据仓库建设项目方案说明
XX 银行EDW/ 数据仓库项目方案目录第一章系统总体架构 (5)1.1总体架构设计概述 (5)1.1.1 总体架构的设计框架 (5)1.1.2总体架构的设计原则 (6)1.1.3总体架构的设计特点 (7)1.2 EDW执行架构 (7)1.2.1执行架构概述 (8)1.2.2执行架构设计原则 (8)1.2.3执行架构框架 (9)1.3 EDW逻辑架构............................................ 1 81.3.1逻辑架构框架.......................................... 1 81.3.2数据处理流程......................................... 2 71.4 EDW运维架构............................................ 2 71.4.1 运维架构概述 (27)1.4.2 运维架构的逻辑框架 (29)1.5 EDW数据架构............................................ 3 61.5.1数据架构设计原则...................................... 3 61.5.2数据架构分层设计....................................... 3 81.6 EDW应用架构............................................. 4 11.6.1应用架构设计原则....................................... 4 11.6.2数据服务............................................... 4 21.6.3 应用服务 (43)第二章ETL体系建设 ........................................... 4 42.1 ETL架构概述.............................................. 4 42.2 ETL设计方案.............................................. 4 62.3 ETL关键设计环节......................................... 4 62.3.1 接口层设计策略 (46)2.3.2 Staging Area 设计策略................................. 4 7 2.3.3 数据加载策略 . (48)2.3.4增量ETL设计策略..................................... 4 8 2.3.5异常处理............................................... 5 1 2.3.6作业调度和监控......................................... 5 1 2.3.7 元数据管理 (52)2.3.8 ETL模块设计......................................... 5 2 2.3.9 ETL流程设计......................................... 5 52.3.10动态资源分配 ........................................... 5 8 2.3.11数据接口设计 ............................................ 6 0第一章系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
19
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 应用的竞争力
利用数据挖掘进行优质客户自动筛选 提高平均筛选精度，提高优质
客户促销的投资建效率 降低筛选成本，提高筛选速度， 迎接他行的竞争（如交行的500 元个人理财报告）
2018/10/15
20
6
1.10 PCRM应用主题
银行卡应用：按照需求开发 个人金融应用 住房信贷应用 深层分析：原有需求之外的考虑
2018/10/15
7
1.10 PCRM应用主题 ——银行卡应用
银行卡应用：按照需求开发 重点客户分析： 基本信息查询、存款余额分析、 用卡行为分析、贡献度分析、 透支分析（透支余额、单笔透支余额、 单次透支金额、 还贷周期）。 客户群分析：
2018/10/15
18
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 解决的问题
对优质客户提供详细的行为分析，帮
助客户更好掌握自己的用卡行为 针对客户用卡的具体情形提供促销性 建议，使优质客户感受到工商银行卡 部的人性化关注 工商银行卡部可以更便捷地跟踪优质 客户的信息
CB2000 每日加载 数据
银行卡 数据集市
用卡行为月报
筛选优质客户数据挖掘
银行 卡部
2018/10/15
直邮
优质客户 25
1.10 PCRM应用主题——深层分析
ICBC PCRM 数据仓库管理界面
2018/10/15
26
1.10 PCRM应用主题——深层分析
数据仓库处理过程管理
2018/10/15
银行卡客户贡献度：初步结果
对于银行卡客户发展的辅助作用
工行牡丹卡的客户中，25-55的年龄段为高贡献度 主流年龄段，其中，如果关注当前直接贡献度， 36-45岁的客户是最好的人群，如果关注发展潜力 以及对新产品、新消费渠道的接受程度，25-35岁的 客户是重点人群。
2018/10/15
16
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
优质客户排名靠前的客户中，消费场所的分布 怎样
金融、证券等交易机构有较大金额占比， 饭店、旅游业其次，零售、百货等居于中游。 可以根据这个结果制定相应的消费场所促销策略
20ห้องสมุดไป่ตู้8/10/15
17
1.10 PCRM应用主题——深层分析
深层分析:原有需求之外的考虑
PCRM数据仓库应用对银行卡部的用户 有什么直接的帮助？ 利用数据挖掘自动筛选优质客户， 针对优质客户提供个性化服务—— 直邮用卡行为月报
36
日程安排
开发进度 最终应用展现 数据仓库架构
2018/10/15
37
1.4 逻辑结构
应用层
面向用户实现各类应用。
如：个人客户关系管理子系统、业绩价值管理 子系统等。
数据仓库层
应用层
数据集市层
面向主题应用，按特定数据模型存贮的数据集合； 模型：星型结构； 存储：多维数据库。 数据来源取自数据仓库基本数据层。 数据集市层
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在36-45，46-55的客户的存款利润最高，其中， 36-45岁的客户的存款利润最高，因为这类人群中， 理财风格保守，存款倾向性强者较多。 存款利润 在 年龄段 上的分布
2018/10/15
12
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
数据端
2018/10/15
DW模型设计
DM模型设计
应用展现 展现端
39
1.6 物理结构
2018/10/15
40
2018/10/15
45
2018/10/15
22
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 实现的方式
PCRM 数据仓库 Web 展现工具
CB2000 每日加载 数据
银行卡 数据集市
用卡行为月报
筛选优质客户数据挖掘
银行 卡部
2018/10/15
直邮
优质客户 23
1.10 PCRM应用主题——深层分析
2018/10/15
3
2.1 开发进展——个人客户关系管理（PCRM）
需求分析 总体方案 原型开发 原型评估 银行卡设计开发 个人金融： 个人金融：贷款类设计开发 其他个人金融及住房信贷设计开发 银行卡应用集成测试和试运行
存款类（综合帐户和个人理财等）设计开发
2001/10/11-2001/10/31 2002/11/01-2002/02/28 2001/11/15-2001/12/31 2001/12/24-2002/02/09 2002/01/04-2002/04/30 2002/02/01-2002/05/31 2002/05/05-2002/07/31 2002/04/01-2002/08/31 2002/05/31-2002/06/30
中国工商银行 数据仓库建设 情况汇报
数据仓库项目组
2018/10/15
1
日程安排
开发进度 最终应用展现 数据仓库架构
2018/10/15
2
二、 开发进展
2.1 2.2 2.3 2.4
个人客户关系管理（PCRM） 业绩价值管理（PVMS） 信贷台帐报表（CMIS-REPT） 管理信息综合统计报表
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高， 因为这类人群中，理财风格前卫，消费旺盛者居多。
2018/10/15
13
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高， 因为这类人群中，理财风格前卫，消费旺盛者居多。
2018/10/15
10
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在36-45，46-55的客户的存款利润最高，其中， 36-45岁的客户的存款利润最高，因为这类人群中， 理财风格保守，存款倾向性强者较多。
2018/10/15
11
1.10 PCRM应用主题——深层分析
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 应用的竞争力
利用web展现工具输出报告，可以进
行网上直邮
2018/10/15
21
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 体现的概念
工商银行卡部在客户关系管理方案上
领先业界的尝试 工商银行卡用户体验到自动的个性化 分析服务 IT部门开发产生直接的市场效益： 有先进的客户关系管理系统支持 的牡丹卡
27
1.10 PCRM应用主题——深层分析
优质客户筛选：数据挖掘
2018/10/15
28
1.10 PCRM应用主题——深层分析
数据挖掘：模型评估
2018/10/15
29
1.10 PCRM应用主题——深层分析
抽样分析：SAS EG
2018/10/15
30
1.10 PCRM应用主题——深层分析
分布分析：SAS EG
深层分析:直邮用卡行为月报原型 实现的方式
PCRM 数据仓库 Web 展现工具
CB2000 每日加载 数据
银行卡 数据集市
用卡行为月报
筛选优质客户数据挖掘
银行 卡部
2018/10/15
直邮
优质客户 24
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型 实现的方式
PCRM 数据仓库 Web 展现工具
外部数据 CMIS
加 工
数据处理 企业级 数据存贮 数据 集市
展现
数据挖掘 信息展现
预处理
批处理 数据 转送 抽取 缓存 整合 批处理 校验 抽取
分类
多维 分析 图示 展现
转换
关系型数据库、 多维数据存贮
转换
统计
报表制作 加载 加载
分析
计财数据 CB2000
译码 数据 转送
报告生成
备份与 老化处理
ETL
2018/10/15
31
1.10 PCRM应用主题——深层分析
图形展示：SAS EG
2018/10/15
32
1.10 PCRM应用主题——深层分析
图形展示：SAS EG
2018/10/15
33
1.10 PCRM应用主题——深层分析
图形分析：SAS EG
2018/10/15
34
1.10 PCRM应用主题 ——银行卡应用
优质客户排名分析、卡业务存款分析、 用卡行为分析、 贡献度分析、 卡申领情况分析、 卡业务风险分析。
2018/10/15
8
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
按照现有的贡献度指标体系， 什么样的客户对银行卡的贡献度最高
年龄在25-35，36-45的客户对银行卡的贡献度最高， 其中，36-45岁的客户的贡献度最高，因为这类人群 中稳定、高收入或高积蓄者较多。
2018/10/15
4
日程安排
开发进度 最终应用展现 数据仓库架构
2018/10/15
5
1.8
主要应用
个人客户关系管理（PCRM）