总体架构设计介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.以当天增量数据，更新增量记录的积数; 2.积数的计算公式:
数据更新效率低），因此需要在模型设计过程中重点考虑积数的计算过程.
3.对于均值的计算过程，需要首先计算截止当天为止的累计积数，然后再除以实际 天数；因此在计算月底快照表中，需要采用积数的计算公式对账户的积数进行统计 后再进行均值计算； 4.在每年1月1号需要对积数进行清零.
标准化原则
针对源业务系统中,部分共性且代码相对固定、表达意义一致的代码种类，以
及一些关键的统计纬度编码,需要进行编码标准化,比如:币种、性别、借贷别 、证件类型、余额分段等. 便于索引编码含义.
标准码分为三级编码形式,标准化后的代码在系统中是唯一的,不发生重复.也
例如:‚账户状态‛中‚正常‛ =‚1002(账户)0012(账户状态)00001(正常)‛
范围：FDM层关键模型，如账户、客户.
保留周期见‚平台数据清理策略‛部分.
使用方法
如取‚20080131‛日状态语句Select * from table_his where start_date <= ‘20080131’ and end_date > '20080131'
31
数据架构:关键点—月底快照表设计
33
数据架构:关键点—数据清理策略
目标
为控制UDSF系统数据容量，保证数据使用效率，在数据存储一定周期后
需要对其进行备份再从UDSF系统中清理掉.
清理的数据范围主要包括流水、历史拉链、快照、周期性统计数据等。 账户、客户等关键信息表永久保留全量数据.
数据存储周期策略
增量文件层 2个月 ODM 13个月 FDM 13个月 ADM 1~3年 MDM 3年以上
数据整合
中间业务 国际结算 财务 前置 ……
总账
产品
金融经理 考核 报表类应 用
渠道
交易
公共
应用供数
前置 系统数据 …… 系统数据
数据加载 数据整合
6-推送数据 监管报送 系统数据 短信平台 指标数据 数据分发文 件
4-ADM 贷款 …… 经营 ……
补录数据区 补录信息
加工
应用供数
数据转换 数据应用
内部账
数据源范围
核心
17
数据架构:FDM—总账主题关键点
总账
整合日总账(网点),日总账(汇总)两张总账模型.
将总账按月存储,将竖表转为横表以减少数据量(约30倍).
计算余额均值类指标.
内部账
计算余额积数. 建立月底快照,历史变动拉链模型.
18
数据架构:FDM—总账主题建设示例
待确认:
未来我行用户使用哪个网段访 问应用系统?
3
物理架构:服务器配置
应用服务器软硬件配置(推荐)
物理服务器 逻辑服务器 服务器1 DB Server 服务器2 ETL Server FILE Server WEB Server
Report Server
硬件配置 型号： CPU：8个 内存：16G-32G 网卡：1kM Ethernet 型号：PC SERVER CPU：4个 内存：8G 网卡：2*1kM Ethernet
指标字段.
范围：FDM层账户主题存储余额以及积数类的数据模型. 保留周期见‚平台数据清理策略‛部分.
32
数据架构:关键点—积数运算
目标
基于现有所了解的业务需求看，账户的日均、积数等信息是日常报表经常
统计的指标之一。通常积数的计算公式如下.
而在计算积数的过程中，采用全量更新账户积数的方式却不太现实（海量
.
34
数据架构:关键点—数据备份策略
目标
需要日常备份的文件包含三类，UDSF数据库、数据采集平台每日采集的
源系统增量文件以及UDSF卸载至推送平台的推送文件。采集源文件以及 推送文件都以文本文件形式存储，UDSF系统每日会建立单独目录存放可 以直接将其拷贝到备机或磁带中完成备份.
备份策略
二级主题
存款
贷款 银行卡 债券.
数据源范围
核心(存款/贷款/债券） 信贷（贷款）
农贷（贷款）
微贷.（贷款）
11
数据架构:FDM—账户主题关键点
存款
存款静态表—拆分对公对私，添加计算账户余额、积数.
账户款项关系表—拆分对公对私，添加了关系的变动日期.
规划范围
数据库分区，用户结构. 表空间、索引空间、日志空间规划. 数据容量评估，清理，备份策略. 数据库优化策略.
26
数据架构:FDM—公共主题建设示例
27
数据架构:ADM
建设思路
采用循序渐进、分期、分阶段建设原则，避免设计空洞、不实用. 本期重点建设两个主题模型——经营分析指标库、贷款分析模型. 重点从目前需建设的应用系统需求中的提炼共性需求. ADM数据层设计不宜过‚厚‛，以免统计口径不一致或粒度不符合业务
J2EE技术体系
宇诚EMP
润乾报表
ETL监控
数据定制
数据补录
报表开发
图表开发
报表展示
5
技术架构:后端应用技术
UDSF
C/S技术体系架构
数据采集
ETL
总控
SHELL
PROCEDURE
C
宇诚WFT
6
数据架构:数据源范围
本期哈尔滨银行数据应用平台整合数据源范围如下： 核心系统: 信贷系统: 农贷系统: 微贷系统: 中间业务系统: 国际业务系统: 卡前置(银联): 140张 23张 10张 20张 26张 13张 2张
数据源范围
核心
20
数据架构:FDM—交易主题建设示例
21
数据架构:FDM—渠道主题
主题说明
存放我行各类渠道以及设备的详细信息.
二级主题
实柜员信息
虚柜员信息
数据源范围
核心 卡前臵
22
数据架构:FDM—渠道主题建设示例
23
数据架构:FDM—产品主题
主题说明
12
数据架构:FDM—账户主题建设示例
13
数据架构:FDM—客户主题
主题说明
客户主题存放经过UDSF平台整合后客户详细信息.
二级主题
公共信息
个人客户 对公客户 补充信息
数据源范围
核心 信贷
农贷
微贷 国际结算
14
数据架构:FDM—客户主题关键点
双机热备 双机冷备 单机备磁带
.
35
数据架构:关键点—数据库规划
目标
数据库是哈尔滨银行UDSF系统的核心，它的设计直接关系系统执行的效
率和系统的稳定性。因此在系统开发中，数据库设计应遵循必要的数据库 范式理论，以减少冗余、保证数据的完整性与正确性。只有在合适的数据 库产品上设计出合理的数据库模型，才能降低整个系统的编程和维护难度 ，提高系统的实际运行效率.
需求而重复开发.
28
数据架构:关键点—模型设计规范
包含内容
表命名规范. 字段命名规范. 表空间及数据文件命名规范. 建模工具规范.
29
数据架构:关键点—平台标准码
目标
建立平台统一标准代码屏蔽我行各数据源的编码差异. 为未来平台整合新的数据源提供编码参考以及编码整合方法.
存放我行发行的各类产品属性信息.
二级主题
公共信息
详细信息
数据源范围
核心 中间业务
24
数据架构:FDM—产品主题建设示例
25
数据架构:FDM—公共主题
主题说明
存放机构、员工、参数纬表等公用信息.
二级主题
统计纬
平台标准码
数据源范围
核心 中间业务 信贷 ……
UDSF系统总体架构
总体架构
物理架构 技术架构
数据架构
总体架构
本期哈尔滨银行数据应 用平台建设架构规划如 下： 数据采集平台： T+1 数据采集、缺失数据 补录 数据整合平台：基础 数据层模型和加工数 据层模型，ETL管理 数据推送平台：数据 定制下载,数据接口 文件推送 通用展现平台：平台 管理功能,经营分析 系统,金融经理考核 系统,报表开发功能
客户Fra Baidu bibliotek联关系
建立平台客户编码与源系统客户编码关系索引. 建立平台客户编码与各类账户的关联关系索引.
另外为各客户主题模型建立了历史变动拉链模型.
15
数据架构:FDM—客户主题建设示例
16
数据架构:FDM—总账主题
主题说明
存放的内容包括核心系统总账与内部账信息.
二级主题
总账
8
数据架构:数据层次说明
源数据层(ODM)
分为增量源数据(1日) /全量源数据两部分. 结构严格贴源,按系统划分主题. 完成统一编码标准化.
基础数据层(FDM)
对数据源中的关键模型按逻辑主题进行重组. 完成对不同系统数据模型的信息整合与计算,如客户信息整合、账户均值等. 为关键模型建立历史变动拉链与月底快照模型.
核心 信贷
国际结算
UDSF 中间业务 农贷
卡前置
微贷
7
数据架构:数据分层
1-源系统数 据落地区 2-源数据层
2-ODM 3-FDM 5-MDM 综合经营 分析 客户 账户
应用供数
3-基础数据层 4-共性加工层
5-应用集市层 6-推送数据落地区
核心 信贷
核心 系统数据 信贷 系统数据 中间业务 系统数据 国际结算 系统数据 财务 系统数据
存储：2T
软件配置 操作系统：AIX 数据库：DB2
存储：500G
操作系统：REDHAT LINUX App Server：IBM WebSphere 其它：宇诚WFT,润乾报表
备注
各逻辑服务器未来可以根据规划需要进行物理分 离
4
技术架构:前端应用技术
平台管理
金融经理考核
经营分析
通用展现平台
宇诚应用门户
客户信息整合
对于分布在不同源系统中的客户信息进行整合.
区分对公对私客户信息.
同类信息的系统优先顺序为:信贷->核心->微贷->农贷->国结.
客户合并
外围系统客户向核心对照识别同一客户,无法识别的生成新的客户编码. 个人客户识别规则:证件类型+证件号码+姓名. 对公客户识别规则:营业执照号+名称. 兼顾核心系统客户合并处理.
19
数据架构:FDM—交易主题
主题说明
存放我行发生各类业务的交易事件信息.
主要处理说明
整合核心系统多张流水表的渠道交易信息
外围交易登记簿—渠道交易 交易流水—柜面交易 柜员业务量—柜面交易（不记入交易流水类的） 批量业务流水—批量业务 通过以上流水汇总满足对渠道交易量,柜员交易量的统计分析
加工数据层(ADM)
应用汇总指标计算,如经营分析指标库等.
划分主题的共性指标分析, 贷款汇总统计模型等
应用集市层(MDM)
贴近应用使用的数据模型,一般对应前端一张报表.
9
数据架构:FDM主题划分
10
数据架构:FDM—账户主题
主题说明
账户主题存放内容为客户持有我行产品所对应的各类账户信息.
活期/定期动态表—拆分对公对私，计算余额年/月积数.
贷款
贷款静态表,动态表—信息整合（农贷）,拆分对公对私,计算积数,利息. 整合了分布在各个信贷系统中的账户属性信息,如五级分类,四级分类等.
银行卡
计算了对应账户的余额,积数.
债券
计算了债券账户的余额积数.
另外为账户主题的各模型建立了历史变动拉链,月底快照模型.
哈尔滨银行数据应用总体架构
2
物理架构:网络拓扑图
物理架构应用服务器: 1)服务器
DB SERVER
哈尔滨银行数据应用物理架构
2)服务器
ETL SERVER FILE SERVER WEB SERVER REPORT SERVER 说明:
ETL,WEB,FILE,REPORT目前 使用同一台服务器,但其在逻辑 上是分离的,未来可以根据规划 需要进行物理分离.
目标
由于客户/账户的余额、利率、账户状态等经常发生变动，同时结合实际业
务需求，通常业务应用会频繁使用月底数据作为报表需求的数据源，为了 提高系统的响应速度，并且提高数据的可操作性，建议对某些客户/账户的 状态信息表进行月底快照保存策略.
设计原则
增加统计日期字段，每月底批量保存快照信息， 只保留源表关键指标字段以便分析使用，如机构号，帐户状态等。 对于账户的快照增加计算出的月日均余额、年日均余额、统计积数等统计
30
数据架构:关键点—历史变动拉链表设计
目标
拉链算法是目前数据仓库领域使用比较广泛的算法之一，其通常用于记录数
据量很大且记录之间存在一种历史延续性，通过拉链算法可以方便快捷得到 历史时点的状态，同时以最低的数据存储方式保留历史记录.
设计原则
保留源表所有字段,添加开始日期、结束日期, 采用‚左闭右开‛的方式. 最新状态记录结束时间为定值‘2099-12-31’.
数据更新效率低），因此需要在模型设计过程中重点考虑积数的计算过程.
3.对于均值的计算过程，需要首先计算截止当天为止的累计积数，然后再除以实际 天数；因此在计算月底快照表中，需要采用积数的计算公式对账户的积数进行统计 后再进行均值计算； 4.在每年1月1号需要对积数进行清零.
标准化原则
针对源业务系统中,部分共性且代码相对固定、表达意义一致的代码种类，以
及一些关键的统计纬度编码,需要进行编码标准化,比如:币种、性别、借贷别 、证件类型、余额分段等. 便于索引编码含义.
标准码分为三级编码形式,标准化后的代码在系统中是唯一的,不发生重复.也
例如:‚账户状态‛中‚正常‛ =‚1002(账户)0012(账户状态)00001(正常)‛
范围：FDM层关键模型，如账户、客户.
保留周期见‚平台数据清理策略‛部分.
使用方法
如取‚20080131‛日状态语句Select * from table_his where start_date <= ‘20080131’ and end_date > '20080131'
31
数据架构:关键点—月底快照表设计
33
数据架构:关键点—数据清理策略
目标
为控制UDSF系统数据容量，保证数据使用效率，在数据存储一定周期后
需要对其进行备份再从UDSF系统中清理掉.
清理的数据范围主要包括流水、历史拉链、快照、周期性统计数据等。 账户、客户等关键信息表永久保留全量数据.
数据存储周期策略
增量文件层 2个月 ODM 13个月 FDM 13个月 ADM 1~3年 MDM 3年以上
数据整合
中间业务 国际结算 财务 前置 ……
总账
产品
金融经理 考核 报表类应 用
渠道
交易
公共
应用供数
前置 系统数据 …… 系统数据
数据加载 数据整合
6-推送数据 监管报送 系统数据 短信平台 指标数据 数据分发文 件
4-ADM 贷款 …… 经营 ……
补录数据区 补录信息
加工
应用供数
数据转换 数据应用
内部账
数据源范围
核心
17
数据架构:FDM—总账主题关键点
总账
整合日总账(网点),日总账(汇总)两张总账模型.
将总账按月存储,将竖表转为横表以减少数据量(约30倍).
计算余额均值类指标.
内部账
计算余额积数. 建立月底快照,历史变动拉链模型.
18
数据架构:FDM—总账主题建设示例
待确认:
未来我行用户使用哪个网段访 问应用系统?
3
物理架构:服务器配置
应用服务器软硬件配置(推荐)
物理服务器 逻辑服务器 服务器1 DB Server 服务器2 ETL Server FILE Server WEB Server
Report Server
硬件配置 型号： CPU：8个 内存：16G-32G 网卡：1kM Ethernet 型号：PC SERVER CPU：4个 内存：8G 网卡：2*1kM Ethernet
指标字段.
范围：FDM层账户主题存储余额以及积数类的数据模型. 保留周期见‚平台数据清理策略‛部分.
32
数据架构:关键点—积数运算
目标
基于现有所了解的业务需求看，账户的日均、积数等信息是日常报表经常
统计的指标之一。通常积数的计算公式如下.
而在计算积数的过程中，采用全量更新账户积数的方式却不太现实（海量
.
34
数据架构:关键点—数据备份策略
目标
需要日常备份的文件包含三类，UDSF数据库、数据采集平台每日采集的
源系统增量文件以及UDSF卸载至推送平台的推送文件。采集源文件以及 推送文件都以文本文件形式存储，UDSF系统每日会建立单独目录存放可 以直接将其拷贝到备机或磁带中完成备份.
备份策略
二级主题
存款
贷款 银行卡 债券.
数据源范围
核心(存款/贷款/债券） 信贷（贷款）
农贷（贷款）
微贷.（贷款）
11
数据架构:FDM—账户主题关键点
存款
存款静态表—拆分对公对私，添加计算账户余额、积数.
账户款项关系表—拆分对公对私，添加了关系的变动日期.
规划范围
数据库分区，用户结构. 表空间、索引空间、日志空间规划. 数据容量评估，清理，备份策略. 数据库优化策略.
26
数据架构:FDM—公共主题建设示例
27
数据架构:ADM
建设思路
采用循序渐进、分期、分阶段建设原则，避免设计空洞、不实用. 本期重点建设两个主题模型——经营分析指标库、贷款分析模型. 重点从目前需建设的应用系统需求中的提炼共性需求. ADM数据层设计不宜过‚厚‛，以免统计口径不一致或粒度不符合业务
J2EE技术体系
宇诚EMP
润乾报表
ETL监控
数据定制
数据补录
报表开发
图表开发
报表展示
5
技术架构:后端应用技术
UDSF
C/S技术体系架构
数据采集
ETL
总控
SHELL
PROCEDURE
C
宇诚WFT
6
数据架构:数据源范围
本期哈尔滨银行数据应用平台整合数据源范围如下： 核心系统: 信贷系统: 农贷系统: 微贷系统: 中间业务系统: 国际业务系统: 卡前置(银联): 140张 23张 10张 20张 26张 13张 2张
数据源范围
核心
20
数据架构:FDM—交易主题建设示例
21
数据架构:FDM—渠道主题
主题说明
存放我行各类渠道以及设备的详细信息.
二级主题
实柜员信息
虚柜员信息
数据源范围
核心 卡前臵
22
数据架构:FDM—渠道主题建设示例
23
数据架构:FDM—产品主题
主题说明
12
数据架构:FDM—账户主题建设示例
13
数据架构:FDM—客户主题
主题说明
客户主题存放经过UDSF平台整合后客户详细信息.
二级主题
公共信息
个人客户 对公客户 补充信息
数据源范围
核心 信贷
农贷
微贷 国际结算
14
数据架构:FDM—客户主题关键点
双机热备 双机冷备 单机备磁带
.
35
数据架构:关键点—数据库规划
目标
数据库是哈尔滨银行UDSF系统的核心，它的设计直接关系系统执行的效
率和系统的稳定性。因此在系统开发中，数据库设计应遵循必要的数据库 范式理论，以减少冗余、保证数据的完整性与正确性。只有在合适的数据 库产品上设计出合理的数据库模型，才能降低整个系统的编程和维护难度 ，提高系统的实际运行效率.
需求而重复开发.
28
数据架构:关键点—模型设计规范
包含内容
表命名规范. 字段命名规范. 表空间及数据文件命名规范. 建模工具规范.
29
数据架构:关键点—平台标准码
目标
建立平台统一标准代码屏蔽我行各数据源的编码差异. 为未来平台整合新的数据源提供编码参考以及编码整合方法.
存放我行发行的各类产品属性信息.
二级主题
公共信息
详细信息
数据源范围
核心 中间业务
24
数据架构:FDM—产品主题建设示例
25
数据架构:FDM—公共主题
主题说明
存放机构、员工、参数纬表等公用信息.
二级主题
统计纬
平台标准码
数据源范围
核心 中间业务 信贷 ……
UDSF系统总体架构
总体架构
物理架构 技术架构
数据架构
总体架构
本期哈尔滨银行数据应 用平台建设架构规划如 下： 数据采集平台： T+1 数据采集、缺失数据 补录 数据整合平台：基础 数据层模型和加工数 据层模型，ETL管理 数据推送平台：数据 定制下载,数据接口 文件推送 通用展现平台：平台 管理功能,经营分析 系统,金融经理考核 系统,报表开发功能
客户Fra Baidu bibliotek联关系
建立平台客户编码与源系统客户编码关系索引. 建立平台客户编码与各类账户的关联关系索引.
另外为各客户主题模型建立了历史变动拉链模型.
15
数据架构:FDM—客户主题建设示例
16
数据架构:FDM—总账主题
主题说明
存放的内容包括核心系统总账与内部账信息.
二级主题
总账
8
数据架构:数据层次说明
源数据层(ODM)
分为增量源数据(1日) /全量源数据两部分. 结构严格贴源,按系统划分主题. 完成统一编码标准化.
基础数据层(FDM)
对数据源中的关键模型按逻辑主题进行重组. 完成对不同系统数据模型的信息整合与计算,如客户信息整合、账户均值等. 为关键模型建立历史变动拉链与月底快照模型.
核心 信贷
国际结算
UDSF 中间业务 农贷
卡前置
微贷
7
数据架构:数据分层
1-源系统数 据落地区 2-源数据层
2-ODM 3-FDM 5-MDM 综合经营 分析 客户 账户
应用供数
3-基础数据层 4-共性加工层
5-应用集市层 6-推送数据落地区
核心 信贷
核心 系统数据 信贷 系统数据 中间业务 系统数据 国际结算 系统数据 财务 系统数据
存储：2T
软件配置 操作系统：AIX 数据库：DB2
存储：500G
操作系统：REDHAT LINUX App Server：IBM WebSphere 其它：宇诚WFT,润乾报表
备注
各逻辑服务器未来可以根据规划需要进行物理分 离
4
技术架构:前端应用技术
平台管理
金融经理考核
经营分析
通用展现平台
宇诚应用门户
客户信息整合
对于分布在不同源系统中的客户信息进行整合.
区分对公对私客户信息.
同类信息的系统优先顺序为:信贷->核心->微贷->农贷->国结.
客户合并
外围系统客户向核心对照识别同一客户,无法识别的生成新的客户编码. 个人客户识别规则:证件类型+证件号码+姓名. 对公客户识别规则:营业执照号+名称. 兼顾核心系统客户合并处理.
19
数据架构:FDM—交易主题
主题说明
存放我行发生各类业务的交易事件信息.
主要处理说明
整合核心系统多张流水表的渠道交易信息
外围交易登记簿—渠道交易 交易流水—柜面交易 柜员业务量—柜面交易（不记入交易流水类的） 批量业务流水—批量业务 通过以上流水汇总满足对渠道交易量,柜员交易量的统计分析
加工数据层(ADM)
应用汇总指标计算,如经营分析指标库等.
划分主题的共性指标分析, 贷款汇总统计模型等
应用集市层(MDM)
贴近应用使用的数据模型,一般对应前端一张报表.
9
数据架构:FDM主题划分
10
数据架构:FDM—账户主题
主题说明
账户主题存放内容为客户持有我行产品所对应的各类账户信息.
活期/定期动态表—拆分对公对私，计算余额年/月积数.
贷款
贷款静态表,动态表—信息整合（农贷）,拆分对公对私,计算积数,利息. 整合了分布在各个信贷系统中的账户属性信息,如五级分类,四级分类等.
银行卡
计算了对应账户的余额,积数.
债券
计算了债券账户的余额积数.
另外为账户主题的各模型建立了历史变动拉链,月底快照模型.
哈尔滨银行数据应用总体架构
2
物理架构:网络拓扑图
物理架构应用服务器: 1)服务器
DB SERVER
哈尔滨银行数据应用物理架构
2)服务器
ETL SERVER FILE SERVER WEB SERVER REPORT SERVER 说明:
ETL,WEB,FILE,REPORT目前 使用同一台服务器,但其在逻辑 上是分离的,未来可以根据规划 需要进行物理分离.
目标
由于客户/账户的余额、利率、账户状态等经常发生变动，同时结合实际业
务需求，通常业务应用会频繁使用月底数据作为报表需求的数据源，为了 提高系统的响应速度，并且提高数据的可操作性，建议对某些客户/账户的 状态信息表进行月底快照保存策略.
设计原则
增加统计日期字段，每月底批量保存快照信息， 只保留源表关键指标字段以便分析使用，如机构号，帐户状态等。 对于账户的快照增加计算出的月日均余额、年日均余额、统计积数等统计
30
数据架构:关键点—历史变动拉链表设计
目标
拉链算法是目前数据仓库领域使用比较广泛的算法之一，其通常用于记录数
据量很大且记录之间存在一种历史延续性，通过拉链算法可以方便快捷得到 历史时点的状态，同时以最低的数据存储方式保留历史记录.
设计原则
保留源表所有字段,添加开始日期、结束日期, 采用‚左闭右开‛的方式. 最新状态记录结束时间为定值‘2099-12-31’.