EDW (DM数据仓库数据建模)模型设计

渠道
与客户交易或接触 的渠道信息
理赔
与理赔相关的活动 及各理赔环节
事件
与当事人或协议相 关的一系列事件
资源
保险公司的有形资 产和无形资产信息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM for P&C
底层数据模型主题域说明：
监管报表 管理报表
“数据和信息集成平台” 数据和信息集成平台” “统一的分析平台” 统一的分析平台” “唯一的信息出口” 唯一的信息出口”
aCRM 报告 aCRM 引擎 随机查询 多维分析
大客户分析管理系统
企
运营报表 仪表盘
业 信 息 门 户
数据挖 掘引擎
数据挖 掘应用
保险数据模型
数据集市
元数据库
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Physical Object
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q&A
|
Hash code字段组成规则
带anchor的实体
带status表的实体（Commercial agreement、Group agreement、Individual agreement、 Claim folder、Elementary claim） 不带status表的实体
除表的主键、type id、Partition key、Status、Status date、Status reason、 Valid from date、Valid to date、 Effective from date、Effective to date、 Population timestamp之外的所有字段 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段
备注： 备注：
如果一致，即不动作 如果不一致，则插入新记录。
relationship表是要根据业务去判断是否关系已经存在，然后，如果有其他属性（如：Role player - Physical object Rlship.Usage），才需要用hashcode判别是否重复。
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
Place 007 1
Contact Point 203
Party Place R 214
Place R 238
Place-CP R 208 2
CP R 204
3
Party 041
包含全部历史的核心数据 包包包包包 包一包包数数
Place Label 823
P Label CP R 927
P Name CP R 926
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW具体实施流程 流程： 需求收集 步骤：
提供需求及模版
数据分析
数据调查
模型映射
数据建模
ETL
Mapping设计 设计
前端
表级映射
SA建模 建模 实体、 实体、属性建模 关联、 关联、属性建模
Place R 238
Place-CP R 208 2
CP R 204
3
Party 041
COMMUNICATION MEDIUM
ADVERTISING CHANNEL
CHANNEL ROLE
Place Label 823
P Label CP R 927
P Name CP R 926
Party Name 366
映射
数据集市
财务报表数据集市 健康险盈利性管理数据集市 营销管理快速入门 潜在客户管理 中介绩效分析数据集市 客户细分和管理 保险盈利性分析
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
DWM 数据模型逻辑结构
当事人
个人或团体及其基 本信息和相关信息
数据筛选： 1.程序控制,计算,通讯,安全控制配置,日志 2.汇总类结果一般不要 数据筛选： 3.可以由其它字段算出的字段一般不要 1.模型的数据筛选 4.从其它系统导入的数据不要. 2.ETL映射数据筛选 5.代码表不要。 6.单纯的险种定义信息不要，但是具体保单中涉及的险种定义信息可以要。 © 2007 FEnet Software Co., Ltd. All Rights Reserved.
使用增量的比较字段生成 Hash code。在对表进行增量加载时，对增量文件中的每一条记录生成 Hash code 将生成完的 Hash code 与原表中同一anchor id并且最新的记录的 Hash code 进行比较 如果一致的话，即不动作；如果不一致的话，即新插入。 在 individual agreement 表中使用各个需要保留历史信息的字段生成 hash code。 在增量加载时，使用业务增量文件中的字段生成 hash code。 与 Individual agreement 表中同一agreement id的最新记录的hash code 进行比较。
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
模型总体结构－EM & DataMarts
需求模型
指标要素
业务数据模型
企业模型
核心原子数据
Object 028 4 Object Place R 218 Place 007 1
MARKET SEGMENT
1.逻辑模型 2.物理模型 3 逻辑物理数据元 素对照表
设计文档： 设计文档 1.Mapping流程图 2.数据元素Mapping 文档
1.目前的报表 2.想做的报表 3.想做的功能
A：数据源报告： 1.主要功能 2.历史数据情况 3.与其它系统关系 4.联系人
A筛选： 筛选： 筛选
去掉ETL需要而模型 不需要的字段
导出
Party Place R 214
RESPONSE CODE
事实表和维度
CALENDAR MONTH CALENDAR DAY CALENDAR QUARTER CALENDAR YEAR
Contact Point 203
CAMPAIGN RESPONSES FACT
CAMPAIGN STEP CAMPAIGN CELL CAMPAIGN (Marketing program) OTHER ACTIVITY
组织 营销和沟通
为增加客户、保留客户 、拓展业务而进行的策 略、规划或促销事件
分支机构、部门和 职员的信息
保险标的 协议
被保险的标的物及标 的物的相关信息 和客户之间为某种 产品或服务而设定 的协议信息
产品
任何市场化的产品 或服务
交易
与客户之间资金或非 资金活动的信息
地理位置
地理区域，物理的 或电子的地址信息
需求划分 多维建模 使用模型、 使用模型、产生报表
数据筛选
客户提供需求 字段映射
数据质量分析
需求整理
Mapping程序开 程序开 发测试 数据加载
代码整理
产出： 原则：
需求文档：
1.报表需求 2.功能需求 3. 非功能需求
1.数据筛选清单 2.数据源报告： 3.数据质量分析报告 4.代码清单
Mapping文档： 源-模型对应关系
1.多维模型设计文 多维模型设计文 档： 维度 指标 派生指标 2.需求 模型映射文 需求-模型映射文 需求 档 3.报表样张 报表样张 4.操作说明 操作说明
B映射： 映射： 映射
B：数据质量报告： 1.数据类型 2.值分布 3.关联情况
数据筛选： 1.表一级筛选 2.字段级筛选
1.映射到EM 2.结合性能考虑 3.结合实现考虑
为什么Baidu Nhomakorabea要企业模型？
CM data mart
Enterprise data warehouse
PIPE
Segmentation data mart
PAM data mart CPO data mart
数据集市之间数据一致性 数数数数数数数数数数数
Object 028 4 Object Place R 218
Party Name 366
CALENDAR MONTH RESPONSE CODE CALENDAR DAY
CALENDAR QUARTER
CALENDAR YEAR
CAMPAIGN RESPONSES FACT
MARKET SEGMENT
CAMPAIGN STEP CAMPAIGN CELL CAMPAIGN (Marketing program) OTHER ACTIVITY
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q&A
Agreement：保单、批单申请及管理； Claim：理赔 Financial Transaction：应收应付、实收实付以及交易关联 Party：当事方，包括当事方的组织结构、角色结构及类型 Money Provision：资金管理 Specification And Product：规范及产品管理 Place：地点 Code：标准代码 Activity：活动管理 Physical Object：实物、标的管理
BI.Insurance i.DWM for P&C 模型设计说明
张海彪
Product | Application | Solution | Professional Services | Business Consulting | Outsourcing
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BAM 业务分析模型
BSA 业务模版应用
XML File Flat File
Informix SQL
Oracle DB2
运营型业务系统
数据仓库
数据集市
报表 分析型应用
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q&A
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q&A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
Hash code
问题的提出:
进行增量加载时无法快速判断对表的原有记录是否新插入。例如：
解决方案： 使用示例：
1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW体系架构
源系统层
手工数据
ETL层 层
数据仓库层
ETL层 层
数据集市层
应用层 企业统一分析平台
展现层
数据仓库
业务量分析 数据集市
车险承保分析 通用承保分析
核心业务 财务系统 再保险系统 人意险系统 精算系统 aCRM 数据集市 客户关系 管理OCRM 管理 ALM 客户讯息 ECIF 财务分析 数据集市 外部数据 财务分析 应用 ALM应用 应用 业务持续性 分析数据集市 风险管理 应用
COMMUNICATION MEDIUM
一致的事实表和维度 数 数一一一一一 一一
ADVERTISING CHANNEL
CHANNEL ROLE
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim