EDW_(DM数据仓库数据建模)模型设计

Oracle DB2
运营型业务系统
数据仓库
数据集市
报表 分析型应用
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
1.逻辑模型 2.物理模型 3 逻辑物理数据元 素对照表
设计文档： 1.Mapping流程图 2.数据元素Mapping 文档
1.目前的报表 2.想做的报表 3.想做的功能
A：数据源报告： 1.主要功能 2.历史数据情况 3.与其它系统关系 4.联系人 B：数据质量报告： 1.数据类型 2.值分布 3.关联情况
CP R 204
3
Party 041
Place Label
823
P Label CP R 927
P Name CP R 926
Party Name 366
映射
数据集市
财务报表数据集市 中介绩效分析数据集市
健康险盈利性管理数据集市
营销管理快速入门 潜在客户管理
客户细分和管理
保险盈利性分析
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM for P&C 模型设计说明
Product | Application | Solution | Professional Services | Business Consulting | Outsourcing
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
需求划分 多维建模 使用模型、产生报表
数据筛选
客户提供需求
字段映射
数据质量分析
需求整理
Mapping程序开 发测试 数据加载
代码整理
产出： 原则：
需求文档：
1.报表需求 2.功能需求 3. 非功能需求
1.数据筛选清单 2.数据源报告： 3.数据质量分析报告 4.代码清单
Mapping文档： 源-模型对应关系
A筛选：
去掉ETL需要而模型 不需要的字段
1.多维模型设计文 档： 维度 指标 派生指标 2.需求-模型映射文 档 3.报表样张 4.操作说明
B映射：
1.映射到EM 2.结合性能考虑 3.结合实现考虑
数据筛选： 1.表一级筛选 2.字段级筛选
数据筛选： 1.程序控制,计算,通讯,安全控制配置,日志 2.汇总类结果一般不要 数据筛选： 3.可以由其它字段算出的字段一般不要 1.模型的数据筛选 4.从其它系统导入的数据不要. 2.ETL映射数据筛选 5.代码表不要。 6.单纯的险种定义信息不要，但是具体保单中涉及的险种定义信息可以要。 © 2007 FEnet Software Co., Ltd. All Rights Reserved.

底层数据模型主题域说明：

Agreement：保单、批单申请及管理；
Claim：理赔
Financial Transaction：应收应付、实收实付以及交易关联 Party：当事方，包括当事方的组织结构、角色结构及类型 Money Provision：资金管理 Specification And Product：规范及产品管理 Place：地点 Code：标准代码 Activity：活动管理 Physical Object：实物、标的管理
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Hash code


问题的提出:

进行增量加载时无法快速判断对表的原有记录是否新插入。例如：
解决方案：
|
模型总体结构－EM & DataMarts
需求模型
指标要素
业务数据模型
企业模型
核心原子数据
Object 028 4 Object Place R 218 Place 007 1 Contact Point 203 Party Place R 214
导出
事实表和维度
Place R 238
Place-CP R 208 2

1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变

使用示例：

使用增量的比较字段生成 Hash code。在对表进行增量加载时，对增量文件中的每一条记录生成 Hash code 将生成完的 Hash code 与原表中同一anchor id并且最新的记录的 Hash code 进行比较 如果一致的话，即不动作；如果不一致的话，即新插入。 在 individual agreement 表中使用各个需要保留历史信息的字段生成 hash code。 在增量加载时，使用业务增量文件中的字段生成 hash code。 与 Individual agreement 表中同一agreement id的最新记录的hash code 进行比较。
|
Hash code字段组成规则

带anchor的实体


带status表的实体（Commercial agreement、Group agreement、Individual agreement、 Claim folder、Elementary claim） 不带status表的实体

除表的主键、type id、Partition key、Status、Status date、Status reason、 Valid from date、Valid to date、 Effective from date、Effective to date、 Population timestamp之外的所有字段 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
日程
包含全部历史的核心数据
一致的事实表和维度
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
BAM 业务分析模型
BSA 业务模版应用
XML File Flat File
Informix SQL
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Physical Object
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型

使用示例：表 A 与表 B 进行关联时，如下进行 select A.column1, B.column2 from A, B where A.foreign_key=B.Primary_key
and A.partition_key in (select Storage partition from
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Partition key

问题的提出:

在进行多表关联时，所涉及的关联表行数巨大，关联速度达不到要求。

解决方案：在所有大表中建立 Partition key, 按照该键的键值对表进行
物理分 区。Partition key 从Partition config 表中获得。分区策略是 按照分公司进行分区。
DWM 数据模型逻辑结构
当事人
个人或团体及其基 本信息和相关信息
组织
营销和沟通
为增加客户、保留客户 、拓展业务而进行的策 略、规划或促销事件
分支机构、部门和 职员的信息
保险标的
协议
被保险的标的物及标 的物的相关信息
和客户之间为某种 产品或服务而设定 的协议信息
产品
任何市场化的产品
或服务
交易
与客户之间资金或非 资金活动的信息
为什么需要模型
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW体系架构
源系统层
手工数据
ETL层
Hale Waihona Puke Baidu
数据仓库层
ETL层
数据集市层
应用层 企业统一分析平台
展现层
数据仓库
业务量分析 数据集市
aCRM 报告 aCRM 引擎 随机查询 多维分析
大客户分析管理系统
企
运营报表 仪表盘
业
信
息 门 户 数据挖 掘引擎 数据挖 掘应用
保险数据模型
数据集市
元数据库
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
为什么需要企业模型？
数据集市之间数据一致性
如果一致，即不动作 如果不一致，则插入新记录。


备注：

relationship表是要根据业务去判断是否关系已经存在，然后，如果有其他属性（如：Role player - Physical object Rlship.Usage），才需要用hashcode判别是否重复。
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
模型的组织结构
模型实施方法 模型设计策略 Q
&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW具体实施流程 流程： 需求收集 步骤：
提供需求及模版
数据分析
数据调查
模型映射
数据建模
ETL
Mapping设计
前端
表级映射
SA建模 实体、属性建模 关联、属性建模



不带anchor的实体

关联实体
原则上不需要保留历史，一般执行Update操作。如果有需要的，ETL Mapping特别指明 对于需要保留历史的关联类型，除Identifier、Partition key、Nature id、 Left anchor identifier、 Right anchor identifier、 Left entity identifier、Left entity type id、Right entity identifier、Right entity type id、Valid from date、Valid to date、Effective from date、 Effective to date、Population timestamp之外的所有字段
车险承保分析 通用承保分析
核心业务 财务系统 再保险系统 人意险系统 精算系统 aCRM 数据集市 客户关系 管理OCRM ALM 客户讯息 ECIF 财务分析 数据集市 外部数据 财务分析 应用 ALM应用 业务持续性 分析数据集市 风险管理 应用
监管报表
管理报表
“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim
地理位置
地理区域，物理的 或电子的地址信息
渠道
与客户交易或接触 的渠道信息
理赔
与理赔相关的活动 及各理赔环节
事件
与当事人或协议相 关的一系列事件
资源
保险公司的有形资 产和无形资产信息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM for P&C