数据仓库开发实例共35页
数据仓库系统的设计及开发PPT课件
建模的要点
•正确认识建模方法论
2021/1/24
版权所有：天津市易普际科技发展有限公司
5
利用图形来建立数据模型
•图形具有直观性、简单性以及可理解性等优点 •图形能自然地表达客观世界 •理解图中路径探索
2
为什么需要数据模型
1.业务核理改善业务流程
1) 能够全面了解业务系统的业务架构图和整 个业务运行情况
2) 能够将业务按照特定的规律进行分门别类 和程序化
2.解决信息孤岛及数据差异
1) 建立全方法的数据视角； 2) 保证整个企业的数据的一致性； 3) 消除各个部门之间的信息孤岛；
3.灵活性
1) 能够很好的分离出底层技术的实现和上层业 务的展现
1 兼顾效率与数据粒度的需要 2 支持需求的变化 3 避免对业务运营系统造成影响 4 满足不同用户的需要 5 考虑末来的可扩展性
2021/1/24
版权所有：天津市易普际科技发展有限公司
20
数据仓库建模的三个阶段
• 概念模型设计(Concept Data Modeling)：
这一阶段之前的首要工作是通过需求分析，明确需求所涵盖的业务范围。然后再 对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进 行归类，即划分主题域。
• 物理建模，生成物理模型，主要解决，逻辑模型针对不同 关系型数据库的物理化以及性能等一些具体的技术问题。
2021/1/24
版权所有：天津市易普际科技发展有限公司
7
思考
•需求建模与业务建模
•需求建模与业务建模谁先谁后？
数据仓库的设计与开发PPT教案
定注意使事实表尽可能的小，因为过大的事实
表在表的处理、备份和恢复、用户查询等方面
要用较长的时间。具体方法主要有：
减少列的数量；
日期关键字 产品关键字
降低每列的大小；
商场关键字
把历史数据存档；
促销关键字
➢ 例如，零售营销事实表设计如下： POS 事务编号
销售量销售额
成本金额
毛利润金额
第25页/共54页
逻辑模型设计——星形模型
第21页/共54页
逻辑模型设计——星形模型
➢ 事实表 主要包含了描述特定商业事件的数据，即某些特定 商业事件的度量值。 一般情况下，事实表中的数据不允许修改，新的数 据只是简单地添加进事实表中，
➢ 维度表主要包含了存储在事实表中数据的特征数据。 每一个维度表利用维度关键字通过事实表中的外键 约束于事实表中的某一行 要求事实表中的外键不能为空，这与一般数据库中 外键允许为空是不同的。
2）DW使用的需求不能在开发初期完全明确
在数据仓库环境中，并不存在固定的且较确切的物流、数据流、 和信息流，
数据分析处理的需求更加灵活，更没有固定的模式， 甚至用户自己也对所要进行的分析处理不能事先全部确定
3）数据仓库的开发是一个不断循环的过程，是启发式的开 发
一方面DW的数据内容、结构、力度、分割以及其他物理设计 应该根据用户所返回的信息不断的调整和完善，以提高系统的 效率和性能；
门店维表
门店编号 地区编号 门店名称
地区维表
地区编号 地区名称 地区备注
商品维表
商品编号 细分编号 商品名称
颜色
商品细分表
细分编号 小分类编号 细分名称
销售事实表
交易日期 商品编号 客户编号 门店编号 地区编号
数据仓库开发实例共35页
超市营销数据仓库事实表模型
• 超市管理者还可能对商品销售的利润率感兴趣， 该数据可以用商品销售利润除以销售额获得， 该数据不是一个可加数据。将比率或百分数的 数据进行相加，所获得的数据是没有什么意义 的。管理人员在了解某一时期某些商品的利润 率时，完全可以利用该时期该商品利润和销售 额获得。
• 因此，事实表中确定度量数据为商品销售量、 商品销售额、商品成本和商品销售利润。
• 分析超市高层管理人员通过那些角度，即需要 通过那些维度来考察、选择营销方案。一般情 况下，在确定超市营销策划时，超市管理人员 需要通过日期、商品、分店、促销和客户五个 维度对促销方案进行分析，了解促销方案的可 用性和效果
超市营销数据仓库事实表模型
日期维 日期关 键字
分店维 分店关 键字
超市营销主题 日期关键字 分店关键字 客户关键字 商品关键字 促销关键字 商品销售编号 商品销售量 商品销售额 商品成本 商品销售利润
客户维 客户关键 字
商品维 商品关 键字
促销维 促销关 键字
超市营销数据仓库事实表模型
• 从销售系统中可直接获取商品销售量、销售单价、商品成本。 但管理人员考察超市的营销策略时，需要考虑营销策略和相应 的商品销售利润。商品销售利润可以直接通过商品销售量、销 售单价和商品成本计算获得，但商品销售利润具有良好的可加 性，管理人员又经常需要查看。将利润数据存放在事实表中可 大大减少数据仓库工作时的工作量，还可以保证所有用户在使 用商品销售利润这一重要数据时的一致性。
超市销售数据仓库的需求分析
• 3超市商品采购分析
• 超市在商品采购工作中需要分析哪些商品是热销的商 品，尽可能采购销售热销商品。热销商品往往是加快 企业资金流动的动力，快速流动的资金可以使企业在 一定的时间内取得比其他企业更多的利润。而且超市 营销管理人员在了解热销商品后，可以大量采购热销 商品，重新安排热销商品的货架，向更多的客户推销 热销商品，便于更多客户的购买，以进一步加快企业 资金的流动。
数据库开发示例文档
数据库开发示例——图书管理系统1 系统需求分析当今社会，仓储物资管理系统以规范的物资管理流程和采购价格系数分析为核心,通过对物资出入库信息的过程控制,实现物资管理的规范化和程序化,从而降低物资采购价格,提高工作效率。
目前，很多企业都在进行企业信息化建设，而这种信息化建设不仅仅是计算机技术的革新，而是一种管理创新、思想创新，也就是说在企业信息化建设的同时，对企业的的各项管理业务及活动的处理过程进行改造，即业务流程再造（BPR--Bussiness Process Reengineering），为何要把业务流程再造提到这样一个高度，因为，业务流程的合理化是信息系统发挥作用的前提；计划和市场是业务流程设计的出发点；价值链是衡量业务流程的尺度；增加效益是业务流程合理化的目的。
物资管理是企业管理非常重要的一环。
由于物资材料储备量大、管理种类繁多，供应渠道复杂，使得物资供应和管理变得十分复杂和困难。
只有建立完善的计算机物资管理系统才能有效管理物资的供、管、用三方面的工作，达到保障供应，降低库存，加速资金周转，加强物资使用监管，提高物资管理劳动生产率，促进企业可持续的发展。
物资管理水平的高低直接影响到整个企业的生产管理水平。
采用计算机仓储物资管理系统，具有以下优点：（1）及时掌握企业经营信息，提高管理水平，提升企业的分析、决策能力。
（2）可以减轻工作人员工作量，将其从大量的繁琐工作中解放出来，全力提高工作效益和工作质量，提高工作效率。
（3）有效管理库存，合理控制资金占用，加快资金周转，提高经济效益。
（4）通过对材料消耗的控制，降低生产成本。
（5）信息准确及时，克服了人为造成的遗漏和损失。
1.1系统功能需求如何描述一个业务过程是仓储物资管理系统的基础，首先，抽象出企业有哪些业务过程，哪些业务过程适合于仓储物资管理，然后，对业务过程进行分析描述。
对业务流程的描述主要包括：每一个业务过程的流程如何？是否规范？哪些环节可完全用计算机实现？哪些不能？哪些只能辅助实现？若用计算机实现，需输入哪些数据？需进行哪些处理？需输出什么？相关数据的入口在哪里？数据的所有者是谁？其他人员和这些数据的关系是什么？通过这几个方面的描述来唯一确定一个业务过程。
数据仓库成功案例2-2019年文档
数据仓库成功案例2-2019年文档-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII数据仓库成功案例２Teradata数据仓库在航空运输业的解决方案１．Teradata 简介２．航空业中数据仓库的应用背景２．１背景综述２．２国外航空公司提供的主要信息服务３．NCR的航空运输业数据仓库解决方案3．1 总体构成３．２结构模型3．3 应用的基本阶段3.3.1第一阶段订票模型的分析及预测3.3.2第二阶段航空公司收益管理及代理人管理3.3.3第三阶段常旅客计划和客户关系管理４．Teradata 在国外航空业的成功案例－QANTAS航空公司4．１公司简介4．２公司面临的挑战４．３QANTAS航空公司的数据仓库解决方案４．３．１简介４．３．２其数据仓库建立的指导原则４．３．３QANTAS航空公司数据仓库的实现４．４数据仓库平台框架４．４．１硬件平台４．４．２软件平台４．４．３专业服务４．５数据仓库的架设４．５．１主要的两个部分４．５．２数据采集和管理４．６数据仓库应用- WorldNet４．６．１产生背景４．６．２WorldNet的目标４．６．３WorldNet的现状４．７QANTAS航空公司实施数据仓库解决方案后的收益５．Teradata 在国内航空业的应用案例－中国航信（资料待查）６．参考文档１．Teradata 简介Teradata，是NCR公司的一个事业部，中文名称为数据仓库事业部，提供功能强大的分析型解决方案以帮助企事业单位驱动增长，Teradata解决方案包括以Teradata数据库软件为核心的分析型应用，有客户关系管理、运营和财务管理、经营效益管理和电子企业解决方案等。
２．航空业中数据仓库的应用背景２．１背景综述在先进国家航空市场已经完全开放，市场竞争异常激烈。
利用数据仓库技术了解航空公司的业务经营状况，提高管理水平和增加业务收入，是被验证过的有效技术手段。
数据仓库成功案例2
数据仓库成功案例２Teradata数据仓库在航空运输业的解决方案１．Teradata 简介２．航空业中数据仓库的应用背景２．１背景综述２．２国外航空公司提供的要紧信息效劳３．NCR的航空运输业数据仓库解决方案3．1 整体组成３．２结构模型3．3 应用的大体时期3.3.1第一时期订票模型的分析及预测3.3.2第二时期航空公司收益治理及代理人治理3.3.3第三时期常旅客打算和客户关系治理４．Teradata 在国外航空业的成功案例－QANTAS航空公司4．１公司简介4．２公司面临的挑战４．３QANTAS航空公司的数据仓库解决方案４．３．１简介４．３．２其数据仓库成立的指导原那么４．３．３QANTAS航空公司数据仓库的实现４．４数据仓库平台框架４．４．１硬件平台４．４．２软件平台４．４．３专业效劳４．５数据仓库的架设４．５．１要紧的两个部份４．５．２数据搜集和治理４．６数据仓库应用- WorldNet４．６．１产生背景４．６．２WorldNet的目标４．６．３WorldNet的现状４．７QANTAS航空公司实施数据仓库解决方案后的收益５．Teradata 在国内航空业的应用案例－中国航信（资料待查）６．参考文档１．Teradata 简介Teradata，是NCR公司的一个事业部，中文名称为数据仓库事业部，提供功能壮大的分析型解决方案以帮忙企事业单位驱动增加，Teradata解决方案包括以Teradata数据库软件为核心的分析型应用，有客户关系治理、运营和财务治理、经营效益治理和电子企业解决方案等。
２．航空业中数据仓库的应用背景２．１背景综述在先进国家航空市场已经完全开放，市场竞争异样猛烈。
利用数据仓库技术了解航空公司的业务经营状况，提高治理水平和增加业务收入，是被验证过的有效技术手腕。
在数据仓库的基础上进行各类面向主题的应用，如订票分析、航班计划、市场推行活动、常旅客打算、客户关系治理、飞机零备件的保护治理、收益预测和分析等各类决策支持应用系统，在国际航空市场上居领先地位的航空公司都已付诸实施。
数据仓库的开发流程PPT课件
原型法
第8页/共53页
数据仓库的开发流程
规划 与确定 需求
开发 概念 模型
开发 逻辑 模型
规划分析阶段
设计 体系 结构
数据库 与元数
据设计
数据 仓库 评价
数据仓库 使用维 开发过程 护阶段
设计实施
阶段
确定 数据源
抽取
数据
仓库 维护
数据 仓库
填充与 测试数
开发 中间件
应用
据仓库
第9页/共53页
第52页/共53页
数据仓库的开发流程
数据仓库系统的开发是一个经过不断循环、 反馈而使系统不断增长与完善的过程，这 也是原型法区别于系统生命周期法的主要 特点。
第10页/共53页
数据仓库的设计步骤
概念模型设计 技术准备工作 逻辑模型设计 物理模型设计 数据仓库生成 数据仓库使用与维护
第11页/共53页
数据仓库的设计步骤
第43页/共53页
举例
零售个性化系统。 在系统中，客户阅读到由零售商编制的目录或 宣传广告后促使他有了购买的念头，或者至少 想查询一下目录，结果是给零售商打电话。
第44页/共53页
举例
第45页/共53页
举例
当客户定货或咨询情况时，零售商代表查出一 些与此有关的其他信息，如： 客户上次购物的时间； 上次购物的类型； 客户所属的市场地段。
帮助得到目标系统明确而严格的需求，促进客 户和各阶段系统人员之间的相互有效的信息交 流，并以此为基础进行需求分析和系统设计。
从本质上看，原型是未来目标系统的一个模型。
第6页/共53页
原型法
原型不是系统开发的最终产品，而是在某 个开发阶段中为达到一定的目的所生成的 系统简化模拟版本；
医院数据仓库案例ppt课件
务数据以及多个维度表的键值，这些键的组合构成事实表的 主键。 – 维度表存放了维的键值及描述键值的其它非健属性。
17
模型构建
• 构造多维数据模型（星型模式，病人分布主题为例）
时间维 *时间代码 时间（年、季度、 月、周、日）
• 基于HIS的医院数据仓库体系结构
门诊管理 系统
药房管理 系统
数据抽取、净 化、载入
住院管理 系统
数据文件交换 调度控制／日志 ETL过程 数据质量检查 出错处理回溯
元数据 PDM
元数据管理
备份与恢复
数据仓库监控／运行／管理
医院数据仓库体系结 构
客户端数据展现 客户端分析报表
和报告 客户端信息发布
– 根据这些信息，医院管理者可以分析病人差异对医院收益的 影响，帮助医院进行市场定位、确定营销策略，从而使医院 的经营活动更具主动性和目的性。
34
医院数据仓库应用
• 资金流动分析
– 针对医院的资金流动状况，按不同的时间维度(包括按年综合、 按旬综合、按月综合、按日综合)对医院的各种资金流动情况 进行分析，进行资金的同期对比动态分析，门诊和住院收入 因素分析，并以各种专业报表、查询结果的形式反映给决策 者。
27
联机分析处理
• 数据切块
– 查询结果显示2003年第二季度消化内科的各职业病人分布情 况。若对更多的维进行切块，则在WHERE后面的条件中增加 维设置，从而完成更复杂的查询需求。
28
联机分析处理
• 数据钻取和数据聚合
– 维度是具有层次性的，如时间维度层次结构的顶层可以是年， 下一层是季度，然后是月、周，最后位于层次结构底层的是 日。
数据仓库实例课件
2.需求分析
◦ AdventureWorks数据库设计的方面很多，但是我们的目标 很简单，只有以下三个：
需要分析不同类别的产品通过直销在不同地区、不同时间段 内销售的业绩。
生成分析结果的报表。 分析影响客户所有车的数量的因素。
数据仓库实例课件
◦ 通过目标可以发现分析销售业绩基于的维度有三个：产品、客户和 时间，事实数据则为反映销售业绩的订单。
设计包的方法是从工具箱中将需要使用的容器、任务、可执行体等 工具拖拽到包的SSIS设计器窗口中，再对这些对象进行设计。
由于主要执行的是数据抽取工作，因此数据流任务是我们主要设置 的任务。
数据仓库实例课件
分析服务(Analysis Services) SQL Server 分析服务（SSAS）是一个用于分析数据仓库中数据的工
具，它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中，Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来，经过预先的聚集运算，加入到多维立方体中（即建立立方体）， 然后对复杂的分析型访问做出迅速的回答。
◦ 对于事实数据，我们只会关心订单中产品的价格、折扣、数量和总 价的情况。
◦ 可以得到如下需求分析模型：
数据仓库实例课件
◦ 分析模型的事实表、维度表关系
数据仓库实例课件
3.数据转换和抽取（建立数据仓库） ◦ (1)首先使用Microsoft SQL Server Management Studio新建一个 数据库Sales_DW作为数据抽取的目标数据库，AdventureWorks作为 源数据库。 ◦ (2)新建Integration Services 项目Integration Sales，并在此 项目中新建一个SSIS包Integration Sales.dtsx，在此包中进行数 据的抽取，整合等操作。
数据仓库案例
4. 数据展现:使用目前流行和易用的前 端分析和展现产品，实现数据的展现和 分析。并且提供基于www服务器/浏览器 的配置方式及基于客户/服务器形式的 配置方式。展现工具必须为用户提供一 个完整的智能化电子商务软件解决方案 的工具包，其中包括查询、生成报表、 在线分析处理、成套分析、时间序列分 析和数据钻取功能，还提供了管理工具， 使信息技术人员能在企业内建立和配置 产品。使用户可以在Internet上进
不过，上海社保卡现有的多个系统主要是业务系
统，虽然在业务管理工作中发挥着不可缺少的重要作 用，但数据具有一定的分散性和独立性，如何保证业 务功能的完备和统一，处理流程的规范与合理，信息 交换的通畅和一致，以及信息处理和信息服务的层次 化和个性化成为下一步发展的关键。因此在业务系统 完善和成熟以后，作为最重要的一个发展方向就是以 数据仓库为基础的决策支持系统建设，它包括信息资 源的有效采集和管理、合理衍生和使用、充分挖掘和 利用，实现联机事务处理(功能支持)和联机分析处理 (信息支持) 的合理隔离和有机统一，从而实现对各种 业务及其管理的强有力支持。
3. 为管理人员提供因突发性和临时性的需求，而需要 生成报表的界面。要求反复评测与比较后，上海
市社会保障卡中心最终选择了全球领先的企 业及移动基础架构供应商Sybase公司。之 所以选择Sybase，上海市社会保障卡中心 表示，首先，在数据仓库领域Sybase具有 的崇高知名度及显而易见的强大的实力，给 予了我们极大的信心。其次在具体的沟通过 程中，Sybase提供的方案完全满足了我们 提出的各种要求。Sybase最终赢得我们这 个项目可以说是水到渠成的表现。
行特殊查询、生成报表和数据分 析，并且具有分布式的结构，核 心的功能在服务器上，基于Java 的程序在桌面上运行，使每个用 户的个人终端无需安装和维护应 用程序软件和数据库中间件，这 样机构的成本可以更有效的用来 配置商业智能软件功能，并且通 过外联网将此益处传递给供应商、 合作者和客户。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
谢谢
11、越是没有本领的就越加自命不凡。——邓拓 12、越是无能的人，越喜欢挑剔别人的错儿。——爱尔兰 13、知人者智，自知者明。胜人者有力，自胜者强。——老子 14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。——歌德 15、最具挑战性的挑战莫过于提升自我。——迈克尔人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的。——伯克