数据模型培训
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据模型培训
2009年07月
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
• 总结
什么是数据模型？
逻辑数据模型(Logical Data Model)是：
•
利用图形方式，通过数据和关系反映业务的 一个过程；
•
定义需要追踪和管理的各种重要实体、属性 和关系；
主题域 逻辑数据模型 Subject Area Logical Data Model
主题域 逻辑数据模型 Subject Area Logical Data Model
主题域 逻辑数据模型 Subject Area Logical Data Model
DW主题域 逻辑数据模型 DW Subject Area Logical Data Model
– 从分户账、总账、交易信息，等等，任何一个角度进行统计，结果一致
数据管理体系
数据管理体系
组织、活动、交付、职责、技术
数据提供者
核心 国结 资金 信贷 理财 中间业务 其他 外部数据 ETL 处 理 ETL 处 理
数据服务工厂
抽取、清洗、转换、加载
数据使用者
业务报表
Credit
ALM
GL CRM MA 数 据 访 问 和 发 布
地域
当事人 当事人地域用法 地址 地域
当事人角色
当事人角色地域用法 货币 场所 行政地域货币用法 地理地域 地理区域包含 行政地域
行政地域地址
虚拟地域地址
虚拟地域
地理区域
通讯
通讯事件记录关系 执行交易 通讯事件生命周期状态 财务记录 通讯事件记录 通讯事件记录凭证 通讯事件记录地址用法 通讯服务 凭证 通讯服务中的格式/协议用法 地址 格式/协议规则 通讯目地
目标市场产品可用性
产品-定义
产品-特性
产品-分类
协议
业务约定条款 业务约定 买主 交易合同 产品交付协议 交易产品 适销产品 财务记录 买主产品使用
产品交付交易
执行交易
交易
执行交易的当事人角色 当事人角色 业务约定 执行交易
金融资产 货币 财务交易 财务分录
产品交付交易 客户产品交易 适销产品 执行交易类型 会计交易 财务记录
DW主题域 逻辑数据模型 DW Subject Area Logical Data Model
应用系统逻辑模型 Application Logic Models
细节和专门的 分析要求
数据集市逻辑模型 Data Mart Logical Model
应用系统 物理数据模型 Application Physical Data Models
证
当事人
股权 亲属关系 雇佣关系 管理控制 成员 法律识别 信托关系
当事人关系
当事人
当事人角色
组织机构
法律实体
政治实体
群体
个体
分类方案
业务单元
法律单元
金融工具 参与者
基础设施 提供者
金融服务 提供者
银行职员
客户
目标市场
适销产品
买主
债务人
信用客户
产品及协议
产品等级级别
产品等级
业务约定条款
产品分类方案
交易系统
交易系统
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
• 总结
通用数据模型
主题划分
金融数据模型 当事人和当事人角色 法人实体 组织机构 客户 产品 分类方案 协议 交易 财务记录 地域 通讯 凭证 时间表 金融资产 资源项 (Recourse Item) 营销活动 资产 地点 (Location) 产品 (Product) 分类 (Classification) 合约 (Arrangement) 事件 (Event) 产品 渠道 合约 事件 财务 区域 机构 IBM FSDM NCR 7.0 当事人 参与者 (Involved Party)
凭证
当事人角色 适销产品 金融资产 凭证当事人角色 适销产品凭证用法 金融资产凭证用法 凭证 财务记录凭证用法 业务约定凭证用法 财务记录 执行交易凭证用法 业务约定 执行交易 存储区域 凭证区域 凭证生命周期 凭证关系 通讯事件记录凭证 通讯事件记录
时间表
金融资产
产品交付交易
金融资产
结算
有形资产
产品特性
简单产品
业务约定 客户 适销产品
复合产品 交易合同
业务单元
产品交付协议
金融资产
产品交付交易 有形资产 金融工具 执行交易类型 供应约定 信贷协议
执行交易
抵押协议
交易
转帐
存入
支取
结算
计息
回收
发放
业务约定
产品交付交易
执行交易
适销产品 通 时 间 表 讯
凭
金融资产
会计分录规则
证
客户产品记录 银行内部帐户 财务账目 信贷协议记录 抵押品记录
会计分录
财务交易
财 务 交 易 规 则 客户产品交易
财务记录
记 帐 规 则
银行内部交易 会计交易 信用交易 抵押品交易
财务头寸
当事人-定义及分类
当事人关系 当事人角色 当事人
法律单元 客户角色
法律实体
债务人 业务单元 监管者 ModelBank组织单元
组织单元
政治实体 个体
银行职员
ModelBank个体
•
是进行各种数据管理、分析和交流的重要手 段；
•
是IT和业务人员沟通的桥梁；
数据模型作用
• 为复杂的业务系统实施提供了规范和基础结构－蓝图 • 促进业务部门用户和IT分析人员之间的有效沟通，提高了IT 系统开发的效率 – 明确业务需求 – 解决业务问题 • 形成对重要业务定义和术语的统一认识，有助于业务的积累 • 具备跨部门、中性的特征，能够表达所有的业务 • 业务具有一定的稳定性，可以减少项目实施的风险 • 借鉴行业实践检验，提供成熟、可扩展的方案
指标维护-指标性质
第一位: 1:本期 2:上期 3:年初 4:同期 5:比较
第二位: 1:实际值 2:增减值 3:增减百分比
指标维护-计算方式代码
+ / * 0
加 减 除 乘 不计算
指标结构
Item_Id Upper__Item_Id Start_Date Item_Mode End_Date Caulate_Seq Caculate_Mode_Cd Caculate_Level COEF_Caculate_Mode_Cd COEF_Amt Target_Value 指标标识 上层指标标识 开始日期 指标性质 结束日期 计算顺序 计算方式代码 计算层次 系数计算方式代码 系数值 目标值 CHAR(10) CHAR(10) DATE CHAR(2) DATE INTEGER CHAR(2) INTEGER CHAR(2) DECIMAL(18,10) DECIMAL(18,10)
数据平台的安全、协调运行
• 具有良好的拓展性，满足银行不断推出的新业务、新服务的要求
– 制定FSD管理流程，保证FSD与数据平台产品的同步升级 – 建立FSD数据管理方法论，保证新增数据与数据模型、历史数据的有效衔接 – 协助银行，制定有效的数据管理制度
•
从任何角度统计，在业务逻辑一致的情况下，结果相同
• 总结
FSD（Financial Service Datastore）的目标
• 面向银行业，满足银行业务、管理、监管要求
– 通过多家银行的报表需求，不断完善FSD元数据内容
– 通过对报表需求的分析，不断完善元数据定义的标准 – 通过多家银行的项目实施经验，不断完善数据采集的管理、调度机制，实现外部业务系统、
财务记录（账户）
财务记录(账户)
会计分录 金融资产 财务头寸 财务记录 财务交易
财务头寸类型
业务约定 记帐规则 汇总金额条目 财务记录类型 帐套
财务记录集
业务单元
协议-交易-账户的关系 • 当事人（具有银行指定的客户角色）与银行进行某种业 务时，必然针对银行的某种产品，其产品自身的特点及 交易属性决定了在交易时必须遵循一定的规则，即双方 必须遵守的业务约定（协议）。 • 在业务约定的前提下，在一定的时间和地点双方实现业 务约定的内容，即进行交易，交易过程中会伴随有相应 的金额数量和币种等信息。 • 交易发生时，银行会记录与这笔交易有关的财务信息， 即影响银行财务增加或减少的财务记录（账户）。
数据模型的基本组成
数据模型由实体、属性和关系组成：
• 实体是具有公共性质的可区别的现实世界对象的集合，诸如人、地点、事件或概念等 任何要保留信息的事务，如客户、产品等。包括基本实体、子类型实体、属性实体、 关联实体四种类型。
•
属性是描述实体或者联系的性质的数据项，是实体的特征，每个属性都代表实体的单 个特征信息，如客户ID、客户名称等，其中主键用于唯一标识实体，外键存在于父子 关系的一对实体间。
指标维护-指标关系历史
Item_Id Upper__Item_Id Start_Date Item_Mode End_Date Caulate_Seq Caculate_Mode_Cd Caculate_Level COEF_Caculate_Mode_Cd COEF_Amt Target_Value 指标标识 上层指标标识 开始日期 指标性质 结束日期 计算顺序 计算方式代码 计算层次 系数计算方式代码 系数值 目标值 CHAR(10) CHAR(10) DATE CHAR(2) DATE INTEGER CHAR(2) INTEGER CHAR(2) DECIMAL(18,10) DECIMAL(18,10)
数据集市物理模型 Data Mart Physical Models
企业数据仓库 物理模型 Enterprise Data Warehouse Physical Data Model
应用数据库 I
应用数据库 II
数据集市 I
数据集市 II
企业数据仓库
应用数据库 III
数据集市 III
数据建模技术
企业级数据模型
保险政策
日用品 商品 不动产 工具外部标识 工具关系 工具默认结算指令 金融工具 工具生命周期状态 市场工具 货币工具 双边工具
分类
分类方案 分类等级级别
国家分类方案 产品分类方案
产品等级级别 客户等级级别
产品分类方案中的产品 客户分类方案
适销产品
客户角色构造
客户分类方案中的客户
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
存款 贷款 客户
主题域模型
……
存款业务 贷款业务
业务数据模型
逻辑数据模型 贷款业务 （核心系统） 贷款业务 （信贷系统）
物理数据模型
建立逻辑模型策略
根据数据建模小组的业务知识和行业建模经 验建立实体水平逻辑模型，被称为“自顶 向下”的建模方式，或模型A。
业务知识 企业级数据模型
从物理数据库如：核心、CRM、信贷、资产 负债等系统开始进行反向工程。建立逻辑 模型，被称为“自底向上”的建模方式， 或模型B。
条wenku.baidu.com (Condition)
业务方针 (Business Direction)
当事人关系
当事人
当事人角色
产品特性
银行组织机构
法律实体
个体
分类方案
金融 数据 模型 总览
业务单元
作业
客户
产品
地 通
时 间 表 条 目
协议
金融资产
域 讯
时 间 表
交易规则 交易 执行交易
凭
财务头寸 财务记录 记帐规则
财务交易 会计分录
指标维护-指标性质
第一位: 1:本期 2:上期 3:年初 4:同期 5:比较
第二位: 1:实际值 2:增减值 3:增减百分比
指标维护-计算方式代码
+ / * 0
加 减 除 乘 不计算
数据模型关系
额外的分析数 据要求 企业逻辑数据模型 Enterprise Logic Data Model 派生 企业分析逻辑模型 Enterprise Analytic Logical Data Model
群体
当事人-法律实体
法律实体地址 法律实体事件 法律实体 法人实体行业分类 管理控制 法人实体
股权 代表实体
会计主体
分支机构
当事人-组织机构
当事人角色 业务单元中成员职能 当事人 业务单元 组织机构
作业使用的工作类型
作业 工作类型 业务单元范围
ModelBank组织单元
管理维度
当事人-客户
客户操作 客户角色 客户分类方案中的客户 客户分类方案 行业信用客户 信用客户 债务人 买主 营销对象 买主产品用法 适销产品 法律实体 目标市场
关系是表示实体之间的关联、连接等。关系有一对一、一对多、或者多对多。关系有 基数、可选性、标识联系、非标识联系等特性。
•
范式化
• 第1范式：属性依赖于键 • 第2范式：属性依赖于全键 • 第3范式：属性只依赖于键 总结：所有属性必须依赖键且为全键，并且只能依赖于键 讨论：
范式化与逆范式化（通俗的说法：窄表、宽表） 数据模型与数据结构
2009年07月
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
• 总结
什么是数据模型？
逻辑数据模型(Logical Data Model)是：
•
利用图形方式，通过数据和关系反映业务的 一个过程；
•
定义需要追踪和管理的各种重要实体、属性 和关系；
主题域 逻辑数据模型 Subject Area Logical Data Model
主题域 逻辑数据模型 Subject Area Logical Data Model
主题域 逻辑数据模型 Subject Area Logical Data Model
DW主题域 逻辑数据模型 DW Subject Area Logical Data Model
– 从分户账、总账、交易信息，等等，任何一个角度进行统计，结果一致
数据管理体系
数据管理体系
组织、活动、交付、职责、技术
数据提供者
核心 国结 资金 信贷 理财 中间业务 其他 外部数据 ETL 处 理 ETL 处 理
数据服务工厂
抽取、清洗、转换、加载
数据使用者
业务报表
Credit
ALM
GL CRM MA 数 据 访 问 和 发 布
地域
当事人 当事人地域用法 地址 地域
当事人角色
当事人角色地域用法 货币 场所 行政地域货币用法 地理地域 地理区域包含 行政地域
行政地域地址
虚拟地域地址
虚拟地域
地理区域
通讯
通讯事件记录关系 执行交易 通讯事件生命周期状态 财务记录 通讯事件记录 通讯事件记录凭证 通讯事件记录地址用法 通讯服务 凭证 通讯服务中的格式/协议用法 地址 格式/协议规则 通讯目地
目标市场产品可用性
产品-定义
产品-特性
产品-分类
协议
业务约定条款 业务约定 买主 交易合同 产品交付协议 交易产品 适销产品 财务记录 买主产品使用
产品交付交易
执行交易
交易
执行交易的当事人角色 当事人角色 业务约定 执行交易
金融资产 货币 财务交易 财务分录
产品交付交易 客户产品交易 适销产品 执行交易类型 会计交易 财务记录
DW主题域 逻辑数据模型 DW Subject Area Logical Data Model
应用系统逻辑模型 Application Logic Models
细节和专门的 分析要求
数据集市逻辑模型 Data Mart Logical Model
应用系统 物理数据模型 Application Physical Data Models
证
当事人
股权 亲属关系 雇佣关系 管理控制 成员 法律识别 信托关系
当事人关系
当事人
当事人角色
组织机构
法律实体
政治实体
群体
个体
分类方案
业务单元
法律单元
金融工具 参与者
基础设施 提供者
金融服务 提供者
银行职员
客户
目标市场
适销产品
买主
债务人
信用客户
产品及协议
产品等级级别
产品等级
业务约定条款
产品分类方案
交易系统
交易系统
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
• 总结
通用数据模型
主题划分
金融数据模型 当事人和当事人角色 法人实体 组织机构 客户 产品 分类方案 协议 交易 财务记录 地域 通讯 凭证 时间表 金融资产 资源项 (Recourse Item) 营销活动 资产 地点 (Location) 产品 (Product) 分类 (Classification) 合约 (Arrangement) 事件 (Event) 产品 渠道 合约 事件 财务 区域 机构 IBM FSDM NCR 7.0 当事人 参与者 (Involved Party)
凭证
当事人角色 适销产品 金融资产 凭证当事人角色 适销产品凭证用法 金融资产凭证用法 凭证 财务记录凭证用法 业务约定凭证用法 财务记录 执行交易凭证用法 业务约定 执行交易 存储区域 凭证区域 凭证生命周期 凭证关系 通讯事件记录凭证 通讯事件记录
时间表
金融资产
产品交付交易
金融资产
结算
有形资产
产品特性
简单产品
业务约定 客户 适销产品
复合产品 交易合同
业务单元
产品交付协议
金融资产
产品交付交易 有形资产 金融工具 执行交易类型 供应约定 信贷协议
执行交易
抵押协议
交易
转帐
存入
支取
结算
计息
回收
发放
业务约定
产品交付交易
执行交易
适销产品 通 时 间 表 讯
凭
金融资产
会计分录规则
证
客户产品记录 银行内部帐户 财务账目 信贷协议记录 抵押品记录
会计分录
财务交易
财 务 交 易 规 则 客户产品交易
财务记录
记 帐 规 则
银行内部交易 会计交易 信用交易 抵押品交易
财务头寸
当事人-定义及分类
当事人关系 当事人角色 当事人
法律单元 客户角色
法律实体
债务人 业务单元 监管者 ModelBank组织单元
组织单元
政治实体 个体
银行职员
ModelBank个体
•
是进行各种数据管理、分析和交流的重要手 段；
•
是IT和业务人员沟通的桥梁；
数据模型作用
• 为复杂的业务系统实施提供了规范和基础结构－蓝图 • 促进业务部门用户和IT分析人员之间的有效沟通，提高了IT 系统开发的效率 – 明确业务需求 – 解决业务问题 • 形成对重要业务定义和术语的统一认识，有助于业务的积累 • 具备跨部门、中性的特征，能够表达所有的业务 • 业务具有一定的稳定性，可以减少项目实施的风险 • 借鉴行业实践检验，提供成熟、可扩展的方案
指标维护-指标性质
第一位: 1:本期 2:上期 3:年初 4:同期 5:比较
第二位: 1:实际值 2:增减值 3:增减百分比
指标维护-计算方式代码
+ / * 0
加 减 除 乘 不计算
指标结构
Item_Id Upper__Item_Id Start_Date Item_Mode End_Date Caulate_Seq Caculate_Mode_Cd Caculate_Level COEF_Caculate_Mode_Cd COEF_Amt Target_Value 指标标识 上层指标标识 开始日期 指标性质 结束日期 计算顺序 计算方式代码 计算层次 系数计算方式代码 系数值 目标值 CHAR(10) CHAR(10) DATE CHAR(2) DATE INTEGER CHAR(2) INTEGER CHAR(2) DECIMAL(18,10) DECIMAL(18,10)
数据平台的安全、协调运行
• 具有良好的拓展性，满足银行不断推出的新业务、新服务的要求
– 制定FSD管理流程，保证FSD与数据平台产品的同步升级 – 建立FSD数据管理方法论，保证新增数据与数据模型、历史数据的有效衔接 – 协助银行，制定有效的数据管理制度
•
从任何角度统计，在业务逻辑一致的情况下，结果相同
• 总结
FSD（Financial Service Datastore）的目标
• 面向银行业，满足银行业务、管理、监管要求
– 通过多家银行的报表需求，不断完善FSD元数据内容
– 通过对报表需求的分析，不断完善元数据定义的标准 – 通过多家银行的项目实施经验，不断完善数据采集的管理、调度机制，实现外部业务系统、
财务记录（账户）
财务记录(账户)
会计分录 金融资产 财务头寸 财务记录 财务交易
财务头寸类型
业务约定 记帐规则 汇总金额条目 财务记录类型 帐套
财务记录集
业务单元
协议-交易-账户的关系 • 当事人（具有银行指定的客户角色）与银行进行某种业 务时，必然针对银行的某种产品，其产品自身的特点及 交易属性决定了在交易时必须遵循一定的规则，即双方 必须遵守的业务约定（协议）。 • 在业务约定的前提下，在一定的时间和地点双方实现业 务约定的内容，即进行交易，交易过程中会伴随有相应 的金额数量和币种等信息。 • 交易发生时，银行会记录与这笔交易有关的财务信息， 即影响银行财务增加或减少的财务记录（账户）。
数据模型的基本组成
数据模型由实体、属性和关系组成：
• 实体是具有公共性质的可区别的现实世界对象的集合，诸如人、地点、事件或概念等 任何要保留信息的事务，如客户、产品等。包括基本实体、子类型实体、属性实体、 关联实体四种类型。
•
属性是描述实体或者联系的性质的数据项，是实体的特征，每个属性都代表实体的单 个特征信息，如客户ID、客户名称等，其中主键用于唯一标识实体，外键存在于父子 关系的一对实体间。
指标维护-指标关系历史
Item_Id Upper__Item_Id Start_Date Item_Mode End_Date Caulate_Seq Caculate_Mode_Cd Caculate_Level COEF_Caculate_Mode_Cd COEF_Amt Target_Value 指标标识 上层指标标识 开始日期 指标性质 结束日期 计算顺序 计算方式代码 计算层次 系数计算方式代码 系数值 目标值 CHAR(10) CHAR(10) DATE CHAR(2) DATE INTEGER CHAR(2) INTEGER CHAR(2) DECIMAL(18,10) DECIMAL(18,10)
数据集市物理模型 Data Mart Physical Models
企业数据仓库 物理模型 Enterprise Data Warehouse Physical Data Model
应用数据库 I
应用数据库 II
数据集市 I
数据集市 II
企业数据仓库
应用数据库 III
数据集市 III
数据建模技术
企业级数据模型
保险政策
日用品 商品 不动产 工具外部标识 工具关系 工具默认结算指令 金融工具 工具生命周期状态 市场工具 货币工具 双边工具
分类
分类方案 分类等级级别
国家分类方案 产品分类方案
产品等级级别 客户等级级别
产品分类方案中的产品 客户分类方案
适销产品
客户角色构造
客户分类方案中的客户
目录
• 数据模型的概念 • 主题域模型介绍 • FSD数据模型总体介绍 • FSD数据模型应用 • 数据仓库建模基础
存款 贷款 客户
主题域模型
……
存款业务 贷款业务
业务数据模型
逻辑数据模型 贷款业务 （核心系统） 贷款业务 （信贷系统）
物理数据模型
建立逻辑模型策略
根据数据建模小组的业务知识和行业建模经 验建立实体水平逻辑模型，被称为“自顶 向下”的建模方式，或模型A。
业务知识 企业级数据模型
从物理数据库如：核心、CRM、信贷、资产 负债等系统开始进行反向工程。建立逻辑 模型，被称为“自底向上”的建模方式， 或模型B。
条wenku.baidu.com (Condition)
业务方针 (Business Direction)
当事人关系
当事人
当事人角色
产品特性
银行组织机构
法律实体
个体
分类方案
金融 数据 模型 总览
业务单元
作业
客户
产品
地 通
时 间 表 条 目
协议
金融资产
域 讯
时 间 表
交易规则 交易 执行交易
凭
财务头寸 财务记录 记帐规则
财务交易 会计分录
指标维护-指标性质
第一位: 1:本期 2:上期 3:年初 4:同期 5:比较
第二位: 1:实际值 2:增减值 3:增减百分比
指标维护-计算方式代码
+ / * 0
加 减 除 乘 不计算
数据模型关系
额外的分析数 据要求 企业逻辑数据模型 Enterprise Logic Data Model 派生 企业分析逻辑模型 Enterprise Analytic Logical Data Model
群体
当事人-法律实体
法律实体地址 法律实体事件 法律实体 法人实体行业分类 管理控制 法人实体
股权 代表实体
会计主体
分支机构
当事人-组织机构
当事人角色 业务单元中成员职能 当事人 业务单元 组织机构
作业使用的工作类型
作业 工作类型 业务单元范围
ModelBank组织单元
管理维度
当事人-客户
客户操作 客户角色 客户分类方案中的客户 客户分类方案 行业信用客户 信用客户 债务人 买主 营销对象 买主产品用法 适销产品 法律实体 目标市场
关系是表示实体之间的关联、连接等。关系有一对一、一对多、或者多对多。关系有 基数、可选性、标识联系、非标识联系等特性。
•
范式化
• 第1范式：属性依赖于键 • 第2范式：属性依赖于全键 • 第3范式：属性只依赖于键 总结：所有属性必须依赖键且为全键，并且只能依赖于键 讨论：
范式化与逆范式化（通俗的说法：窄表、宽表） 数据模型与数据结构