数据仓库系统的设计及开发
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2) 当上层业务发生变化时，通过数据模型， 底层技术实现可以较为轻松的完成业务的变 动，从而达到整个数据仓库系统的灵活性
4.加快数据仓库系统的建设
1) 开发人员和业务人员能够很容易达成系统建 设范围的边界的界定
2) 能够使整个项目组明确当前的任务，加快整 个系统建设的速度
2020/11/8
版权所有：天津市易普际科技发展有限公司
2020/11/8
版权所有：天津市易普际科技发展有限公司
6
什么是数据模型
• 业务建模，生成业务模型，主要解决业务层面的分解和程 序化。
• 领域建模，生成概念模型，主要是对业务模型进行抽象处 理，生成领域概念模型。
• 逻辑建模，生成逻辑模型，主要是将领域模型的概念实体 以及实体之间的关系进行数据库层次的逻辑化。
版权所有：天津市易普际科技发展有限公司
15
案例学习： 新业务客户服务业务流程—新业务查询流程
2020/11/8
版权所有：天津市易普际科技发展有限公司
16
业务流程可以代替业务建模吗
• 在业务流程的背后，有一个更加根本的因素——商业需求。商业需求 才是真正的业务模型，业务流程只是一种实现手段而已。
例：新用户入网业务流程： • 1：首先把SIM卡和号码在交换网络上做对应关系的注册； • 2：市场部把SIM卡存入一定的金额，发给销售商，收取销售商的货款； • 3：销售商把卡卖给用户，用户填写入网合同，SIM装入手机可以立即
数据仓库的设计及开发
2020/11/8
版权所有：天津市易普际科技发展有限公司
1
日程安排
数据仓库设计—数据建模 数据仓库设计—ETL设计 2数. 据仓库设计—建模过程 数据仓库设计—界面设计 3数. 据仓库的开发应用过程 最佳实践—构建高性能的数据仓库
2020/11/8
版权所有：天津市易普际科技发展有限公司
• 物理建模，生成物理模型，主要解决，逻辑模型针对不同 关系型数据库的物理化以及性能等一些具体的技术问题。
2020/11/8
版权所有：天津市易普际科技发展有限公司
7
思考
•需求建模与业务建模
•需求建模与业务建模谁先谁后？
•软件开发过程是否应该是：业务调研，业务建模 (业务分析)，(业务模型分析)需求调研（这时，已 经有一部分需求可从业务模型中获得）, 需求建模， 需求分析……
通话； • 4：销售商把入网合同交给市场部，市场部资料录入人员将用户的资料
录入系统； • 5：计费系统按照用户选择的资费对话单进行计费； • 6、市场部按照用户的消费情况给销售商计算佣金和返利。
思考：真正的业务模型(需求)是什么？
2020/11/8
版权所有：天津市易普际科技发展有限公司
17
从业务流程中提取概念和逻辑模型
•（1）原有流程的分析。 •（2）业务流程的优化。 •（3）确定新的业务流程 •（4）新系统的人机界面。
2020/11/8
版权所有：天津市易普际科技发展有限公司
14
业务流程分析的步骤
•1.系统环境调查 •2. 组织机构和职责的调查 •3.功能体系的调查与分析 •4.管理业务流程的调查与分析
2020/11/8
1 兼顾效率与数据粒度的需要 2 支持需求的变化 3 避免对业务运营系统造成影响 4 满足不同用户的需要 5 考虑末来的可扩展性
2020/11/8
版权所有：天津市易普际科技发展有限公司
20
数据仓库建模的三个阶段
• 概念模型设计(Concept Data Modeling)：
这一阶段之前的首要工作是通过需求分析，明确需求所涵盖的业务范围。然后再 对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进 行归类，即划分主题域。
3
数据仓库建模人员所需的技能和能力
• 分析能力
见树又见林 模拟 论证
• 学习能力
抽象 综合
• 交流能力
组交互 演示 调查访谈
• 原型设计能力
• 企业体系架构
2020/11/8
来自百度文库
版权所有：天津市易普际科技发展有限公司
4
数据仓库设计建模的要点和原则
建模原则 •选择创建什么模型对如何动手解决问题和如何解决
版权所有：天津市易普际科技发展有限公司
10
例：三大运营商的组织架构调整
2020/11/8
版权所有：天津市易普际科技发展有限公司
11
业务建模—业务流程分析
2020/11/8
版权所有：天津市易普际科技发展有限公司
12
什么是业务流程
2020/11/8
版权所有：天津市易普际科技发展有限公司
13
业务流程分析的内容
方案有深远影响 •每一种模型可以在不同的精度级别上表示 •最好的模型是与现实相联系 •单个模型不充分，需要一组模型去处理
建模的要点
•正确认识建模方法论
2020/11/8
版权所有：天津市易普际科技发展有限公司
5
利用图形来建立数据模型
•图形具有直观性、简单性以及可理解性等优点 •图形能自然地表达客观世界 •理解图中路径探索
概念模型的设计是为逻辑模型的设计做准备，它没有统一的标准，主要根据设计 者的经验。
• 逻辑模型设计(Logical Data Modeling)：
分别对概念模型的各个主题域进行细化，根据业务定义、分类和规则，定义其中的实体并描 述实体之间的关系，并产生实体关系图（ERD），然后遵照规范化思想在实体关系的基础上明 确各个实体的属性。实体产生于中国移动开展的业务、服务及其涉及的对象（如客户、帐户、 员工、机构、资源），实体间的对应、约束关系则来自于各业务过程中的规则。可以说，这
2020/11/8
版权所有：天津市易普际科技发展有限公司
8
业务建模—组织结构分析
2020/11/8
版权所有：天津市易普际科技发展有限公司
9
组织结构,用户及权限的分析
客户组织结构的分析
公司组织机构 区域位置 集团/省/地市
用户的分析
用户 组 角色
权限的分析
功能权限分析 数据权限分析
2020/11/8
2
为什么需要数据模型
1.业务核理改善业务流程
1) 能够全面了解业务系统的业务架构图和整 个业务运行情况
2) 能够将业务按照特定的规律进行分门别类 和程序化
2.解决信息孤岛及数据差异
1) 建立全方法的数据视角； 2) 保证整个企业的数据的一致性； 3) 消除各个部门之间的信息孤岛；
3.灵活性
1) 能够很好的分离出底层技术的实现和上层业 务的展现
• 心得体会： • 看到背后的商业需求，你会发现模型原来非常稳定 • 不需要急于知道所有的细节性的需求，只要了解比较重要的20％的需求
2020/11/8
版权所有：天津市易普际科技发展有限公司
18
数据仓库数据模型星型模型与雪花模型
2020/11/8
版权所有：天津市易普际科技发展有限公司
19
数据仓库建模的原则
4.加快数据仓库系统的建设
1) 开发人员和业务人员能够很容易达成系统建 设范围的边界的界定
2) 能够使整个项目组明确当前的任务，加快整 个系统建设的速度
2020/11/8
版权所有：天津市易普际科技发展有限公司
2020/11/8
版权所有：天津市易普际科技发展有限公司
6
什么是数据模型
• 业务建模，生成业务模型，主要解决业务层面的分解和程 序化。
• 领域建模，生成概念模型，主要是对业务模型进行抽象处 理，生成领域概念模型。
• 逻辑建模，生成逻辑模型，主要是将领域模型的概念实体 以及实体之间的关系进行数据库层次的逻辑化。
版权所有：天津市易普际科技发展有限公司
15
案例学习： 新业务客户服务业务流程—新业务查询流程
2020/11/8
版权所有：天津市易普际科技发展有限公司
16
业务流程可以代替业务建模吗
• 在业务流程的背后，有一个更加根本的因素——商业需求。商业需求 才是真正的业务模型，业务流程只是一种实现手段而已。
例：新用户入网业务流程： • 1：首先把SIM卡和号码在交换网络上做对应关系的注册； • 2：市场部把SIM卡存入一定的金额，发给销售商，收取销售商的货款； • 3：销售商把卡卖给用户，用户填写入网合同，SIM装入手机可以立即
数据仓库的设计及开发
2020/11/8
版权所有：天津市易普际科技发展有限公司
1
日程安排
数据仓库设计—数据建模 数据仓库设计—ETL设计 2数. 据仓库设计—建模过程 数据仓库设计—界面设计 3数. 据仓库的开发应用过程 最佳实践—构建高性能的数据仓库
2020/11/8
版权所有：天津市易普际科技发展有限公司
• 物理建模，生成物理模型，主要解决，逻辑模型针对不同 关系型数据库的物理化以及性能等一些具体的技术问题。
2020/11/8
版权所有：天津市易普际科技发展有限公司
7
思考
•需求建模与业务建模
•需求建模与业务建模谁先谁后？
•软件开发过程是否应该是：业务调研，业务建模 (业务分析)，(业务模型分析)需求调研（这时，已 经有一部分需求可从业务模型中获得）, 需求建模， 需求分析……
通话； • 4：销售商把入网合同交给市场部，市场部资料录入人员将用户的资料
录入系统； • 5：计费系统按照用户选择的资费对话单进行计费； • 6、市场部按照用户的消费情况给销售商计算佣金和返利。
思考：真正的业务模型(需求)是什么？
2020/11/8
版权所有：天津市易普际科技发展有限公司
17
从业务流程中提取概念和逻辑模型
•（1）原有流程的分析。 •（2）业务流程的优化。 •（3）确定新的业务流程 •（4）新系统的人机界面。
2020/11/8
版权所有：天津市易普际科技发展有限公司
14
业务流程分析的步骤
•1.系统环境调查 •2. 组织机构和职责的调查 •3.功能体系的调查与分析 •4.管理业务流程的调查与分析
2020/11/8
1 兼顾效率与数据粒度的需要 2 支持需求的变化 3 避免对业务运营系统造成影响 4 满足不同用户的需要 5 考虑末来的可扩展性
2020/11/8
版权所有：天津市易普际科技发展有限公司
20
数据仓库建模的三个阶段
• 概念模型设计(Concept Data Modeling)：
这一阶段之前的首要工作是通过需求分析，明确需求所涵盖的业务范围。然后再 对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进 行归类，即划分主题域。
3
数据仓库建模人员所需的技能和能力
• 分析能力
见树又见林 模拟 论证
• 学习能力
抽象 综合
• 交流能力
组交互 演示 调查访谈
• 原型设计能力
• 企业体系架构
2020/11/8
来自百度文库
版权所有：天津市易普际科技发展有限公司
4
数据仓库设计建模的要点和原则
建模原则 •选择创建什么模型对如何动手解决问题和如何解决
版权所有：天津市易普际科技发展有限公司
10
例：三大运营商的组织架构调整
2020/11/8
版权所有：天津市易普际科技发展有限公司
11
业务建模—业务流程分析
2020/11/8
版权所有：天津市易普际科技发展有限公司
12
什么是业务流程
2020/11/8
版权所有：天津市易普际科技发展有限公司
13
业务流程分析的内容
方案有深远影响 •每一种模型可以在不同的精度级别上表示 •最好的模型是与现实相联系 •单个模型不充分，需要一组模型去处理
建模的要点
•正确认识建模方法论
2020/11/8
版权所有：天津市易普际科技发展有限公司
5
利用图形来建立数据模型
•图形具有直观性、简单性以及可理解性等优点 •图形能自然地表达客观世界 •理解图中路径探索
概念模型的设计是为逻辑模型的设计做准备，它没有统一的标准，主要根据设计 者的经验。
• 逻辑模型设计(Logical Data Modeling)：
分别对概念模型的各个主题域进行细化，根据业务定义、分类和规则，定义其中的实体并描 述实体之间的关系，并产生实体关系图（ERD），然后遵照规范化思想在实体关系的基础上明 确各个实体的属性。实体产生于中国移动开展的业务、服务及其涉及的对象（如客户、帐户、 员工、机构、资源），实体间的对应、约束关系则来自于各业务过程中的规则。可以说，这
2020/11/8
版权所有：天津市易普际科技发展有限公司
8
业务建模—组织结构分析
2020/11/8
版权所有：天津市易普际科技发展有限公司
9
组织结构,用户及权限的分析
客户组织结构的分析
公司组织机构 区域位置 集团/省/地市
用户的分析
用户 组 角色
权限的分析
功能权限分析 数据权限分析
2020/11/8
2
为什么需要数据模型
1.业务核理改善业务流程
1) 能够全面了解业务系统的业务架构图和整 个业务运行情况
2) 能够将业务按照特定的规律进行分门别类 和程序化
2.解决信息孤岛及数据差异
1) 建立全方法的数据视角； 2) 保证整个企业的数据的一致性； 3) 消除各个部门之间的信息孤岛；
3.灵活性
1) 能够很好的分离出底层技术的实现和上层业 务的展现
• 心得体会： • 看到背后的商业需求，你会发现模型原来非常稳定 • 不需要急于知道所有的细节性的需求，只要了解比较重要的20％的需求
2020/11/8
版权所有：天津市易普际科技发展有限公司
18
数据仓库数据模型星型模型与雪花模型
2020/11/8
版权所有：天津市易普际科技发展有限公司
19
数据仓库建模的原则