第4章数据仓库中的维度与粒度
数据仓库设计与建模的维度属性处理技巧(八)
数据仓库设计与建模的维度属性处理技巧导言：在当今数字化时代，数据成为企业决策制定的重要依据。
数据仓库作为数据集成和分析的核心工具，扮演着至关重要的角色。
而数据仓库的维度属性处理技巧则直接影响到数据仓库的质量和分析结果的准确性。
本文将从多个角度论述数据仓库设计与建模的维度属性处理技巧。
一、属性的粒度粒度是指数据仓库中不同维度属性的具体层次。
在设计和建模过程中，需要对维度属性的粒度进行合理划分。
较粗的粒度可以提供更加宏观的数据分析，但可能丧失一些细节信息。
而较细的粒度则可以提供更加详细的数据分析，但可能增加了查询和存储的复杂度。
因此，在确定维度属性的粒度时，需要权衡数据分析的深度和细节需求。
二、属性的层次结构属性的层次结构是数据仓库中维度属性之间的关系。
在数据建模时，需要考虑如何设计和表示属性之间的层次结构。
例如，地理维度可以按照国家、省份、城市等层次进行划分。
通过定义合理的层次结构，可以在数据仓库中实现多维分析和钻取的功能，使得数据分析更加灵活和准确。
三、属性的命名规范属性的命名规范是数据仓库设计中容易被忽视的细节之一。
合理的命名规范可以使得数据在使用和维护过程中更加清晰和易懂。
建议在命名属性时采用具有业务含义的名称，避免使用过于简单或过于复杂的术语。
此外，属性的命名应该具备一致性，以避免混淆和误解。
四、属性的变化处理在数据仓库中，维度属性可能会发生变化。
例如，客户的姓名、地址、电话等信息可能会随着时间而发生变动。
在建模时，需要考虑如何处理这些属性的变化。
一种常见的处理方式是使用Slowly Changing Dimension（SCD）技术，将属性的变化记录在不同的表中，以便跟踪历史数据和分析趋势。
五、属性的标识符属性的标识符是数据建模中非常关键的一部分。
属性的标识符可以用于唯一标识维度中的不同属性值，在数据查询和关联过程中起到重要作用。
通常情况下，建议使用单一属性作为标识符，避免使用复合属性，以简化数据查询和处理的复杂度。
数据仓库设计与建模的维度层级与维度关联的维度属性分割与聚集的维度属性设计与处理方法(二)
数据仓库设计与建模的维度层级与维度关联的维度属性分割与聚集的维度属性设计与处理方法随着信息时代的到来，数据的重要性越来越被人们所认识到。
对于企业而言，数据的有效管理与利用，对于决策以及业务的发展至关重要。
数据仓库作为一个专门用来存储企业数据的系统，其设计与建模是数据管理的核心。
本文将探讨数据仓库设计与建模中的维度层级、维度关联、维度属性分割与聚集以及维度属性设计与处理的方法。
一、维度层级与维度关联在数据仓库中，维度是有机构成的，维度层级是维度中数据的按照某种层次结构组织起来的方式。
维度层级可以帮助用户更好地理解和分析数据。
例如，时间维度可以按年、季度、月份、日期进行分层。
通过不同的维度层级，数据仓库可以提供从总体到细节的分析视图。
维度关联是指在数据仓库中，多个维度之间的关联关系。
维度之间的关联是通过共享一个或多个维度属性来建立的。
例如，在一个销售数据仓库中，时间维度和产品维度可以通过共享的属性“销售日期”进行关联。
维度关联可以帮助用户在多个维度之间进行灵活的数据分析与查询。
二、维度属性分割与聚集在数据仓库中，维度属性是指描述某个维度的各种特征和属性。
维度属性的数量和种类多样，有时会导致数据的冗余和维度层级的复杂性。
为了提高数据仓库的查询性能和减小存储空间的占用，可以对维度属性进行分割与聚集的处理。
维度属性分割是指将一个具有多个属性的维度划分为多个子维度，每个子维度包含部分属性。
这种分割可以减小维度的复杂性，提高查询性能。
例如，在一个用户维度中，可以根据用户的地域属性将其分割为多个子维度，例如按照国家、省份和城市进行分割。
这样可以减少存储空间的占用，并且在查询时可以只选择需要的子维度。
维度属性聚集是指将具有相同属性的维度合并为一个维度。
这种聚集可以减少数据仓库中的冗余数据，提高查询性能。
例如，在一个销售数据仓库中，可以将多个具有相同品牌的产品属性聚集为一个维度。
这样可以节省存储空间，并且在进行品牌相关的分析时可以减少数据的复杂性。
数据仓库设计与建模的事实表与维度表设计原则(四)
数据仓库设计与建模的事实表与维度表设计原则随着信息技术的发展，数据的规模越来越大，对于企业来说，如何更好地管理和利用这些数据成为了一个重要的课题。
数据仓库作为一种专门用于存储和分析大量数据的系统，扮演着关键角色。
而数据仓库的设计与建模则是构建一个高效、可靠的数据仓库的核心。
一、事实表的设计原则事实表是数据仓库中存储实际事务和业务过程中的重要信息的表格。
在设计事实表时，需要考虑以下原则：1. 粒度：事实表的粒度应该是我们分析的最小维度，也就是不可再分割的最小数据单元。
例如，如果我们要统计一个商店的每日销售额，那么事实表的粒度就是每日，而不是每小时或每分钟。
2. 正交性：不同的事实应该是正交的，也就是说，一个事实在不同的维度下应该是独立的。
例如，在一个销售事实表中，销售额和销售数量是两个正交的事实，它们可以在不同的维度下进行分析。
3. 简洁性：事实表应该是简洁的，不应该包含重复的数据。
重复的数据会增加存储空间和查询时间，并降低数据仓库的性能。
4. 可测量性：事实表的数据应该是可测量的，也就是说，我们应该能够对事实表中的数据进行加、减、乘、除等运算，以便进行更复杂的分析。
二、维度表的设计原则维度表用于描述事实表中的各种维度，例如时间、地点、产品等。
在设计维度表时，需要考虑以下原则：1. 唯一性：维度表中的每个维度应该是唯一的，并且应该具有明确的标识符。
例如，在一个时间维度表中，每个日期应该有唯一的标识符，并且可以通过这个标识符进行关联。
2. 层级性：维度表中的维度应该具有层级结构。
例如，在一个地点维度表中，可以有国家、省份、城市等不同的层级。
3. 描述性：维度表中的维度应该具有足够的描述性信息，以便于用户理解和分析数据。
例如，在一个产品维度表中，可以包含产品名称、产品描述、产品类别等信息。
4. 可变性：维度表中的维度数据应该是可变的，可以根据业务需求进行更新。
例如，如果一个产品的价格发生变化，我们应该能够更新维度表中的价格信息。
数据仓库的设计和构建
数据仓库的设计和构建数据仓库（Data Warehouse）是指将组织机构内部各种分散的、异构的数据整合起来，形成一个共享的、一致的、易于查询和分析的数据环境。
数据仓库的设计和构建是数据管理和分析的重要环节。
本文将结合实践经验，介绍数据仓库的设计与构建过程。
一、需求分析数据仓库的设计与构建首先需要进行需求分析。
在需求分析阶段，我们需要明确以下几个问题：1. 数据来源：确定数据仓库所需要的数据来源，包括内部系统和外部数据源。
2. 数据维度：确定数据仓库中需要关注的维度，如时间、地理位置、产品等。
3. 数据粒度：确定数据仓库中的数据粒度，即需要对数据进行何种程度的聚合。
4. 数据可用性：确定数据仓库中数据的更新频率和可用性要求。
5. 分析需求：明确数据仓库所需满足的分析需求，如报表查询、数据挖掘等。
二、数据模型设计在数据仓库设计过程中，数据模型的设计尤为重要。
常用的数据模型包括维度建模和星型模型。
维度建模是基于事实表和维度表构建的，通过定义事实和维度之间的关系，建立多维数据结构。
星型模型则将事实表和各个维度表之间的关系表示为星型结构，有助于提高查询效率。
根据具体需求和数据特点，选择合适的数据模型进行设计。
三、数据抽取与转换数据仓库的构建过程中，需要从各个数据源中抽取数据，并进行清洗和转换。
数据抽取常用的方法包括全量抽取和增量抽取。
全量抽取是指将数据源中的全部数据抽取到数据仓库中，适用于数据量较小或变动频率较低的情况。
增量抽取则是在全量抽取的基础上，只抽取发生变动的数据，提高了数据抽取的效率。
数据在抽取到数据仓库之前还需要进行清洗和转换。
清洗的目标是去除数据中的错误、冗余和不一致之处，保证数据的准确性和完整性。
转换的目标是将数据格式进行统一，并进行必要的计算和整合，以满足数据仓库的需求。
四、数据加载与存储数据加载是指将抽取、清洗和转换后的数据加载到数据仓库中的过程。
数据加载的方式可以分为批量加载和实时加载。
数据仓库设计与建模的维度层级与维度属性的设计方法(三)
数据仓库（Data Warehouse）是一种用来集成、存储和管理企业各个业务系统数据的中央库，提供高效的数据访问和分析能力。
而数据仓库的设计与建模则是数据仓库项目的关键一环。
本文将重点探讨数据仓库设计与建模中维度层级与维度属性的设计方法，来帮助读者更好地理解和应用数据仓库领域的相关知识。
一、维度层级的设计方法在数据仓库中，维度层级是指一个维度中不同层次之间的关系。
比如，在一个销售数据仓库中，时间维度可以按照不同的层级划分，如年、季度、月份、天等。
设计好的维度层级能够提供更多的数据分析和查询灵活性。
以下是一些常见的维度层级设计方法：1. 原始粒度：维度表的最低层级，包含最详细的数据信息。
在销售数据仓库中，原始粒度可以是每笔订单的具体日期，例如2022年1月1日。
2. 汇总层级：将原始粒度的数据进行聚合，以提供更高层次的数据分析。
例如，将销售数据按季度进行汇总，得到2022年第一季度的销售额。
3. 展开层级：将某个层级的数据展开到更低的层级上。
例如，将销售数据按年展开到月份，得到2022年1月、2月、3月等各月份的销售额。
4. 聚集层级：将某个层级的数据聚合到更高的层级上。
例如，将每日销售数据聚集到月份，得到每个月的销售额。
设计维度层级时需要综合考虑业务需求、查询分析的效率和数据存储的容量等因素。
合理的维度层级设计可以提高数据查询和分析效率，同时还能节省存储空间。
二、维度属性的设计方法维度属性是维度表中描述某个维度特性的列，如商品维度中的商品编号、商品名称、商品分类等。
维度属性的设计应当具备一定的一致性、完整性和可扩展性。
以下是一些常见的维度属性设计方法：1. 一致性：维度属性的命名应当具备一致性。
例如，在商品维度中将商品名称定义为"product_name"，那么在其他相关的维度表中也应遵循相同的规范。
2. 完整性：维度属性的设计应当充分考虑业务的需求，确保维度表中包含所有必要的属性。
数据仓库维度建模ppt课件
• 例如，零售营销事实表设计如下： POS 事务编号
销售量销售额
成本金额
.
毛利润金额
3.星形模型设计
(3) 维表的设计。 • 维表的属性必须具有以下特征：
– 可用文字描述； – 离散值； – 有规定的约束； – 在分析时可提供行标题。
.
3.星形模型设计
例：零售业营销分析的星型模型图。
时间维
时间键 星期几 月份 年份
.
3.星形模型设计
(2) 事实表的设计方法。
• 事实表是数据仓库中最大的表，在设计时，一定 注意使事实表尽可能的小，因为过大的事实表在 表的处理、备份和恢复、用户查询等方面要用较
长的时间。具体方法主要有：
– 减少列的数量；
日期关键字
– 降低每列的大小；
产品关键字
– 把历史数据存档；
商场关键字 促销关键字
• 在这种模式中，维度表除了具有星形模型中维度 表的功能外，还连接对事实表进行详细描述的详 细类别表，详细类别表通过对事实表在有关维上 的详细描述达到了缩小事实表和提高查询效率的 目的。
.
4.基本雪花模型设计
• 在该模型中，将地理层次国家、区域和分区域嵌 入到销售员维度，这样，公司的管理者想按照国 家、区域、分区域和分区域内的销售员的层次关 系来查看公司的销售情况。
商品维
商店键 商店标识号 商店名称 地址 地区 楼层类型
零售营销
时间键 产品键 商店键 客户键 促销键 销售额 成本金额
促销维
促销键 待定促销 属性
.
产品维
产品键 描述 品牌 类别 包装类型 尺寸
客户维
客户键 客户姓名 购买介绍 信用概况 统计类型 地址
4.雪花模型设计
维度建模粒度的概念
维度建模粒度的概念
维度建模是一种数据建模的方法，主要用于数据仓库的构建。
在维度建模中，粒度是一个重要的概念，它决定了数据仓库中数据的细化程度。
粒度是指数据仓库的数据单位中保存数据的细化程度的级别。
简单来说，粒度是指事实表中存储的数据的汇总程度。
如果事实表中存储的是具体的每一笔销售记录，则粒度较小；如果存储的是每种商品的日销售总额的记录，则粒度较大。
选择合适的粒度，可以决定数据仓库的规模，并影响分析查询的计算量。
在数据仓库构建中，通常会分为两层：一层是操作数据存储（ODS），存储粒度较小的细节数据；另一层是数据仓库，在ODS的基础上，存储粒度较大
的汇总数据。
因此，粒度是维度建模中一个重要的概念，它决定了数据仓库中数据的详细程度和汇总程度，进而影响数据分析和查询的效果。
如需更多关于“维度建模粒度”的信息，建议咨询统计学专家或查阅统计学相关书籍。
数据仓库与数据挖掘教程(第2版)课后习题答案 第四章
第四章作业1.数据仓库的需求分析的任务是什么？P67需求分析的任务是通过详细调查现实世界要处理的对象（企业、部门用户等），充分了解源系统工作概况，明确用户的各种需求，为设计数据仓库服务。
概括地说，需求分析要明确用那些数据经过分析来实现用户的决策支持需求。
2.数据仓库系统需要确定的问题有哪些？P67、、（1）确定主题域a)明确对于决策分析最有价值的主题领域有哪些b)每个主题域的商业维度是那些？每个维度的粒度层次有哪些？c)制定决策的商业分区是什么？d)不同地区需要哪些信息来制定决策？e)对那个区域提供特定的商品和服务？（2）支持决策的数据来源a)那些源数据与商品的主题有关？b)在已有的报表和在线查询（OLTP）中得到什么样的信息？c)提供决策支持的细节程度是怎么样的？（3）数据仓库的成功标准和关键性指标a)衡量数据仓库成功的标准是什么？b)有哪些关键的性能指标？如何监控？c)对数据仓库的期望是什么？d)对数据仓库的预期用途有哪些？e)对计划中的数据仓库的考虑要点是什么？（4）数据量与更新频率a)数据仓库的总数据量有多少？b)决策支持所需的数据更新频率是多少？时间间隔是多长？c)每种决策分析与不同时间的标准对比如何？d)数据仓库中的信息需求的时间界限是什么？3.实现决策支持所需要的数据包括哪些内容？P68（1）源数据（2）数据转换（3）数据存储（4）决策分析4．概念：将需求分析过程中得到的用户需求抽象为计算机表示的信息结构，叫做概念模型。
特点：（1）能真实反映现实世界，能满足用户对数据的分析，达到决策支持的要求，它是现实世界的一个真实模型。
（2）易于理解，便利和用户交换意见，在用户的参与下，能有效地完成对数据仓库的成功设计。
（3）易于更改，当用户需求发生变化时，容易对概念模型修改和扩充。
（4）易于向数据仓库的数据模型（星型模型）转换。
5．用长方形表示实体，在数据仓库中就表示主题，椭圆形表示主题的属性，并用无向边把主题与其属性连接起来；用菱形表示主题之间的联系，用无向边把菱形分别与有关的主题连接；若主题之间的联系也具有属性，则把属性和菱形也用无向边连接上。
第四章 数据仓库中的粒度
4.2 规划过程的输入
估计出的行数和DASD数就成了规划过程的输入。进行估计 时，结果只要达到数量级就行了，更精确的准确度只不过 是浪费时间。如图4-2
为了提高性能，降低查询代价，强力建议数据体系结构设 计人员要保证存储于海量备用存储器中的于海量备用存储器的数据。 一种简单的方法是当数据达到一段时间（如24个月）才将 它们存放到海量备用存储器中。另一种方法是将某些类型 的数据存储在海量备用存储器中，而将其他类型的数据存 储于磁盘存储器中。
4.4 确定粒度的级别
确定粒度的级别，有事需要一些常识和直觉。在很低的粒 度级别上建立基于磁盘的数据仓库是没有意义，因为处理 这些数据需要太多的资源。而在太高的粒度级别上建立基 于磁盘的数据仓库，则意味着许多分析必须依靠溢出存储 器中的数据进行。因此，确定适当的粒度级别要做的第一 件事就是进行一次合理的推测。 对于轻度综合的数据，为了确定合适的粒度级别，唯一可 行的方法是将数据放到最终用户的面前。只有当最终用户 看到了数据之后，才能做出确定的回答。图 4-6 说明了必 须进行的反馈循环。
数据仓库环境中有一个非常重要的反馈循环。建造数据仓库的第一次循环设 计完成后，数据体系结构设计人员认真聆听最终用户的反馈意见，并根据这些意 见作出调整。
要考虑的另一个重要问题是需要从数据仓库中获取数据的不同体系结构实体 所需的粒度级别。当数据转移到溢出存储器时，即从磁盘转移到海量备用存储器 时，粒度可以与期望的一样低。如果不使用溢出存储器，当存在大量的数据时， 设计人员对粒度级别的选择就会受到约束。
数据仓库-维度处理-读书笔记（四）
数据仓库-维度处理-读书笔记（四）一致性维度1，当不同的维度表的属性具有相同的列名和领域内容时候，称为维度具有一致性2，有利于不同事实表的合并到同一报表中去3，在一致性维度的前提下，可以被所有事实表复用4，可以保证分析结果的一致性且减少开销缩减维度场景一：当构建聚集事实表需要缩减上卷维度场景二：商业过程自然的获取粒度级别较高的数据场景三：两个维度具有同样粒度级别的细节数据，但是其中一个仅表示行的部分子集跨表钻取1，当两个表包含相同的一致性属性时候，使不同的查询能够针对两个或者更多的事实表进行查询价值链1，区分与组织中主要业务过程的自然流程。
是对商业活动过程的重新整合和组装。
同一组织下的同一个业务过程，对于不同的角色价值链不同，例如：销售商的价值链包括：购买、库存、零售额等；分类账价值链包括：预算编制、承付款项、付款等。
2，尽量为每个过程至少建立一个原子事实表企业数据仓库总线架构通过关注业务过程将DW／BI规划过程分解为可管理的模块，通过重用跨不同过程的标准化一致性维度发布实现集成企业数据仓库总线矩阵是用于设计并与企业数据仓库总线架构交互的基本工具。
矩阵的行代表业务过程，列表示维度，点表示维度与给定的业务过程是否存在关联关系。
总线矩阵总线矩阵实现细节是一个更加细粒度化的总线矩阵，其中扩展每个业务过程行以展示特定事实。
总线矩阵实现细节机会／利益相关方矩阵用于区分哪些业务过程分组应该与过程中心行相关数据仓库如何处理缓慢变化维度属性SCD全称：Slowly Changing DimensionSCD0：原样保留维度值属性不会发生变化，事实表以原始值分组。
例如：客户的原始的信用卡积分或者持久性标识符如身份证SCD1：重写原来的属性值被新值覆盖。
特点：1，总是反应最近的状态。
此技术破坏了历史情况。
2，易于实现且不需要建立额外的维度行，但是会影响聚集事实或者OLAP多维数据库重新计算SCD2：增加新行在维度表中增加新行，新行采用修改的属性址特点：1，维度表主键更具有一般性，不能是自然键或者是持久键2，增加新行时候，分配一个新的主代理键，作为所有事实表的外键，直到产生新的维度键SCD2缓慢变化维度处理3，通常我们还会有其余的设计方式去处理SCD2，但是图中的方式是管理、操作最简单的方式SCD3：增加新属性在维度上增加新属性以保存原来的值，新属性的变化通过SCD1方式处理增加新列，此种方式不太常用。
数仓中指标-标签，维度-度量，自然键-代理键等各名词术语深度解析
数仓中指标-标签，维度-度量，⾃然键-代理键等各名词术语深度解析作为⼀个数据⼈，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。
有些词虽然只有⼀字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的⼀些概念含义及它们之间的关系。
本⽂结构如下图所⽰：⼀、数仓中常见概念解析1.实体实体是指依附的主体，就是我们分析的⼀个对象，⽐如我们分析商品的销售情况，如华为⼿机近半年的销售量是多少，那华为⼿机就是⼀个实体；我们分析⽤户的活跃度，⽤户就是⼀个实体。
当然实体也可以现实中不存在的，⽐如虚拟的业务对象，活动，会员等都可看做⼀个实体。
实体的存在是为了业务分析，作为分析的⼀个筛选的维度，拥有描述⾃⼰的属性，本⾝具有可分析的价值。
2.维度维度就是看待问题的⾓度，分析业务数据，从什么⾓度分析，就建⽴什么样的维度。
所以维度就是要对数据进⾏分析时所⽤的⼀个量，⽐如你要分析产品销售情况，你可以选择按商品类别来进⾏分析，这就构成⼀个维度，把所有商品类别集合在⼀起，就构成了维度表。
3.度量度量是业务流程节点上的⼀个数值。
⽐如销量，价格，成本等等。
事实表中的度量可分为三类：完全可加，半可加，不可加。
1.完全可加的度量是最灵活，最有⽤的，⽐如说销量，销售额等，可进⾏任意维度汇总；2.半可加的度量可以对某些维度汇总，但不能对所有维度汇总，差额是常见的半可加度量，它除了时间维度外，可以跨所有维度进⾏加法操作；3.还有⼀种是完全不可加的，例如：⽐率。
对于这类⾮可加度量，⼀种好的⽅法是，尽可能存储⾮可加度量的完全可加分量，并在计算出最终的⾮可加事实前，将这些分量汇总到最终的结果集中。
4.粒度粒度就是业务流程中对度量的单位，⽐如商品是按件记录度量，还是按批记录度量。
在数仓建设中，我们说这是⽤户粒度的事实表，那么表中每⾏数据都是⼀个⽤户，⽆重复⽤户；例如还有销售粒度的表，那么表中每⾏都是⼀条销售记录。
选择合适的粒度级别是数据仓库建设好坏的重要关键内容，在设计数据粒度时，通常需重点考虑以下因素：1.要接受的分析类型、可接受的数据最低粒度和能存储的数据量；2.粒度的层次定义越⾼，就越不能在该仓库中进⾏更细致的分析；3.如果存储资源有⼀定的限制，就只能采⽤较⾼的数据粒度划分；4.数据粒度划分策略⼀定要保证：数据的粒度确实能够满⾜⽤户的决策分析需要，这是数据粒度划分策略中最重要的⼀个准则。
数据仓库的粒度
数据仓库的粒度(原创)博客分类：DataWarehouse概述粒度问题是设计数据仓库的一个最重要方面。
粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。
细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。
数据的粒度一直是一个设计问题。
数据仓库环境中粒度之所以是主要的设计问题，是因为它深深地影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答的查询类型。
粒度的大小需要数据仓库在设计时在数据量大小与查询的详细程度之间作出权衡。
粒度的双重级别很多时候，十分需要提高存储与访问数据的效率，以及非常详细地分析数据的能力。
当一个企业或组织的数据仓库中拥有大量数据时，在数据仓库的细节部分考虑双重(或多重)粒度级是很有意义的。
事实上，需要多个粒度级而不是一个粒度级的需求，是因为粒度级设计采用双重级别应该是几乎每个机构默认的选择。
下图表明了在数据仓库的细节级上的两种粒度级。
我们所称的双重粒度设计，在这个例中的数据仓库体现为两种类型数据：轻度综合数据和“真实档案”细节数据。
数据仓库中的数据能回溯十年。
从数据仓库中提取的数据是流向电话公司不同地区的“地区”数据，然后各地区独立地分析各自的数据。
在个体级上进行各自的启发式分析处理。
现在来回答两个问题，什么是轻度综合，什么是“真实档案”？轻度综合下图为轻度综合的实际例子当数据从操作型环境(存储3 0天的数据)载入时，它就被顾客综合成可能用于DSS分析的数据域。
J . J o n e s的记录显示她每月打电话的次数、每个电话的平均长度、长途电话的次数、接线员帮助呼叫的次数，等等。
在轻度综合数据库中的数据量比细节数据库中的数据量少得多。
当然，在轻度综合级数据库中，对能访问的细节级存在一定的限制。
真实档案数据仓库中数据的第二层—最低粒度级—存放在数据的真实档案层上，如下图所示在数据的真实档案层上，存储的所有的细节来自于操作型环境。
在这一层上确实有大量的数据。
数据仓库设计与建模的维度层级与维度属性的设计方法(五)
数据仓库设计与建模的维度层级与维度属性的设计方法引言：数据仓库作为企业决策支持系统的重要组成部分，其设计和建模对于企业的决策和运营具有重要意义。
在数据仓库的设计中，维度层级与维度属性的设计是关键环节。
本文将介绍数据仓库设计中维度层级与维度属性的设计方法以及相关注意事项。
一、维度层级的设计方法维度是数据仓库中描述业务事实的概念。
在维度中，维度层级是指将维度划分为不同的层次，每个层次代表了不同的细节程度。
维度层级的设计方法可以从以下几个方面考虑：层级的划分在进行维度层级的划分时，可以从业务的角度出发，按照业务的流程和层次划分维度层级。
同时，也可以结合数据仓库的查询需求，将层级划分为对查询具有重要意义的层次。
关系的建立在维度层级之间，往往存在着上下级的关系，应该在建立维度层级时，明确各层级之间的关系。
可以通过标识字段、父子关系等方法来表示。
命名的规范为了提高维度的可读性和可维护性，在设计维度层级时，应该制定一套命名规范。
可以采用公司统一的命名规则，也可以根据具体业务情况设计命名规则。
二、维度属性的设计方法维度属性是描述维度的特征以及与其相关的信息。
在维度属性的设计中，需要考虑以下几个方面：属性的分类在进行维度属性的设计时，可以根据属性的性质将其划分为不同的分类。
比如，可以将属性分为数值型属性、文本型属性、日期型属性等。
属性的完整性在设计维度属性时，应该保证属性的完整性。
即每个维度属性都应该具备唯一性，并且能够完整地描述维度特征。
属性的粒度属性的粒度是指属性所包含的信息的具体程度。
在设计维度属性时，应该根据业务需求和数据仓库的查询性能进行折中考虑。
如果属性粒度过细，可能导致查询效率低下；如果属性粒度过粗，可能无法满足查询需求。
三、维度层级与维度属性的设计注意事项在进行维度层级与维度属性的设计时，需要注意以下几点：灵活性数据仓库的查询需求经常发生变化，因此维度层级与维度属性的设计应该具备一定的灵活性。
在设计时，应该考虑到未来的扩展需求，避免过于僵化的设计。
数据仓库设计与建模的维度层级与维度属性的设计方法
数据仓库设计与建模的维度层级与维度属性的设计方法1. 引言数据仓库是以主题为导向、面向分析需求的决策支持系统。
在数据仓库的设计过程中，维度层级与维度属性的设计是非常重要的环节。
本文将探讨维度层级与维度属性的设计方法，以帮助读者更好地理解数据仓库设计与建模。
2. 维度层级的设计方法维度层级是对数据的层次化描述，能够提供更丰富的分析维度。
在设计维度层级时，有以下几个方法可以考虑。
聚合维度聚合维度是通过将底层维度中的属性进行汇总，形成高层次的维度层级。
例如，一个销售数据仓库中的时间维度可以从日级别聚合到月、季度、年级别。
聚合维度的设计可以减少数据冗余，提高查询性能。
分层维度分层维度是指在一个维度中定义多个层级，每个层级提供不同的维度粒度。
例如，在一个地理位置维度中，可以定义国家、省份、城市等多个层级。
分层维度的设计可以满足不同层次的分析需求，提供更灵活的数据浏览与查询方式。
虚拟维度虚拟维度是指通过计算或者关联多个维度属性来创建的一种新的维度层级。
例如，在一个销售数据仓库中，可以使用货品维度和时间维度关联计算出每个季度的销售额度。
虚拟维度的设计可以扩展维度的分析能力，提供更多的业务视角。
3. 维度属性的设计方法维度属性是对维度层级的进一步描述，提供更丰富的分析维度。
在设计维度属性时，需要考虑以下几个方法。
属性类型属性类型是指维度属性的数据类型，例如文本、数字、日期等。
在选择属性类型时，需要根据分析需求和具体数据进行权衡。
同时，还需要注意数据的格式一致性与合理性。
属性关联属性关联是指维度属性之间是否存在关联关系。
例如，在一个产品维度中，可以关联产品分类、品牌、规格等属性。
属性关联的设计可以提供更多的数据维度，扩展分析视角。
属性衍生属性衍生是指通过计算或者转换维度属性创建的新的属性。
例如，可以通过计算销售数据仓库中的销售金额和销售数量衍生出销售单价。
属性衍生的设计可以提供更多的分析指标，增强数据维度的分析能力。
软件学院-数据仓库-课程大纲
《数据仓库》课程大纲课程名称：数据仓库英文名称： Data Warehouse课程编号： 01507759学时学分： 36/2课程性质：选修课开课单位: 软件学院适用专业：计算机应用技术预修课程：数据库原理及应用、数据结构、软件工程大纲执笔人：宋旭东开课学期：春教学方式：主讲（多媒体教室）、上机、研讨考核方式：开卷、上机操作一、课程目的与要求本课程的目的主要是让学生在硕士学习期间掌握建立数据仓库的原理和方法,从理论上掌握数据仓库、OLAP联机分析的基本概念、原理、主要算法及应用系统解决方案，通过本课程的学习，可以充分了解智能信息处理的核心思想、掌握数据仓库应用系统分析与设计的方法和实现规律。
本课程的重点是按循序渐进的方法如何建立自己的数据仓库，并运用到实际中。
重点掌握制定数据仓库策略，规划数据仓库项目，评估规划的完整性，设计数据仓库，数据仓库建模，选择适当的结构架构，构造一个有实用价值的数据仓库。
二、教学内容及学时安排第一章数据仓库的概念2学时一、数据仓库的定义二、数据仓库的特点三、数据集市及其特点四、数据仓库的应用第二章数据仓库的架构8学时一、数据仓库的体系架构二、数据仓库的功能模块三、数据提取四、数据转换五、数据清理六、数据加载七、数据运算八、数据呈现第三章 OLAP与多维数据库设计8学时一、什么OLAP二、OLAP的特点三、OLAP的分类四、多维数据库特点五、维度六、度量七、层次八、关系第四章数据仓库建模8学时一、颗粒与粒度二、数据仓库中的数据类型三、临时表、汇总表、当前表、历史表四、维表五、事实表六、星型结构七、雪花型结构第五章数据仓库项目管理4学时一、数据仓库项目的特点二、建立数据仓库的当前困惑三、数据仓库项目失败的原因分析四、数据仓库项目成功的关键因素五、数据仓库项目的角色配置六、数据仓库项目的开发模式第六章数据仓库实例与设计练习6学时一、需求与业务分析二、多维数据模型设计三、数据仓库数据模型设计三、教材及主要参考书1、Harjingder S.GILL著，王仲谋等译，《数据仓库—客户服务器计算指南》,清华大学出版社，19972、W.H.Inmon著，王志海译，《数据仓库》，机械工业出版社，20003、Michael J.Corey著, 陈越等译，《Oracle8数据仓库分析、构建实用指南》,机械工业出版社，20004、Eric Sperley著，陈武等译，《企业数据仓库：规划、建立与实现》，人民邮电出版社，20005、W.H.Inmon著，王天佑译，《数据仓库管理》，机械工业出版社，20026、Joyce Bischoff著，成栋译，《数据仓库技术》，电子工业出版社，20017、飞思科技产品研发中心编著，《Oracle 9i 数据仓库构建技术》，电子工业出版社，20038、王珊著，《数据仓库技术与联机分析处理》，清华大学出版社，20029、史忠植著，《知识发现》，清华大学出版社，200210、陈京民编著，《数据仓库与数据挖掘技术》，电子工业出版社，2002。
数据仓库中数据粒度
数据仓库中数据粒度版权声明：本⽂为博主原创⽂章，未经博主同意不得转载。
https:///lu930124/article/details/35779363粒度问题是设计数据仓库的⼀个最重要⽅⾯。
粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。
细化程度越⾼，粒度级就越⼩；相反，细化程度越低，粒度级就越⼤。
确定粒度是数据仓库开发⼈员须要⾯对的⼀个重要的设计问题。
假设数据仓库的粒度确定合理。
设计和实现中的其余⽅⾯就能够很顺畅地进⾏；反之，假设粒度确定的不合理就会是其它全部⽅⾯都很难进⾏。
粒度对于数据仓库体系结构设计⼈员来说，很重要。
由于粒度会影响到那些依赖于从中获取数据的数据仓库的全部环境。
粒度的主要问题是使其处于⼀个合适的级别，粒度的级别既不能太⾼也不能太低。
低的粒度级别能提供详尽的数据。
但要占⽤较多的存储空间和须要较长的查询时间。
⾼的粒度级别能⾼速⽅便的进⾏查询。
但不能提供过细的数据。
在选择合适粒度级别的过程中。
要结合业务的特点。
分析的类型、依据的总的存储空间的等因素综合考虑。
数据仓库中的粒度模型所谓粒度，指的是数据仓库中数据单元的细节程度或综合程度的级别。
在数据仓库中记录数据或对数据进⾏综合时所使⽤的时间段參数（《数据仓库和数据挖掘》）。
它决定了数据仓库中所存储的数据单元在时间上的具体程度和级别。
粒度可分为两种形式，第⼀种形式的粒度是对数据仓库中数据综合程度⾼低的⼀个度量，它及影响到数据仓库中数据量的多少。
也能影响到数据仓库所能回答的讯问的种类。
粒度越⼩，则具体程度越⾼，综合程度就越低。
回答讯问的种类越多；相反，粒度越⼤，则向此程度越低，综合程度越⾼，回答讯问的种类也就越少。
还有⼀种形式的粒度是样本数据库粒度。
与同城意义下的粒度不同。
样本数据库粒度界别不是依据综合层序的不同来划分的，⽽是依据採样率的⾼低来划分的。
採样粒度不同的样本数据库能够具有同样的综合级别。
样本数据库通常是以⼀定的样本率从细节档案数据或轻度综合数据中抽取的⼀个⾃⼰。
数据仓库设计与建模的维度层级与维度属性的多对多关系的设计方法(四)
数据仓库设计与建模的维度层级与维度属性的多对多关系的设计方法随着数据量的不断增长和各种数据源的广泛应用，数据仓库在实现企业数据分析和决策支持方面扮演着重要角色。
而数据仓库的设计与建模过程中，维度层级和维度属性的多对多关系的设计方法成为一个重要问题。
本文将从维度层级和维度属性的定义和关系入手，探讨在数据仓库设计和建模过程中处理多对多关系的方法。
一、维度层级和维度属性的定义和关系维度层级是指维度表中的属性之间存在的一种层次结构关系，它反映了维度属性之间的层级关系。
维度属性是指维度表中的具体信息，例如时间维度的年、季度、月份等。
维度层级和维度属性之间存在着一种多对一的关系，即一个维度属性可能对应多个维度层级。
二、处理维度层级和维度属性的多对多关系的方法在设计和建模过程中，为了处理维度层级和维度属性的多对多关系，可以采取以下方法：1. 增加附属维度表在设计维度表时，可以考虑增加附属维度表来处理多对多关系。
附属维度表能够扩展原有的维度表，为维度属性提供额外的信息。
通过在附属维度表中引入新的维度属性和层级，可以更好地表示多对多关系。
2. 使用虚拟维度虚拟维度是一种特殊的维度，它不直接对应事实表中的数据，而是通过连接多个维度表来得到期望的数据。
在处理多对多关系时，可以使用虚拟维度作为桥梁，连接多个维度表，实现数据的汇总和分析。
3. 使用多个维度表对于复杂的多对多关系，可以考虑使用多个维度表来表示。
每个维度表可以单独表示一个维度层级和相关属性信息。
通过在事实表中关联这些维度表，可以建立多对多的关系。
4. 使用多值属性在某些情况下，一个维度属性可能对应多个值，例如一个员工可能有多个职位。
在处理这种情况时，可以将多个值存储在同一个属性中，使用逗号或其他特定符号进行分隔。
在数据分析时，可以将多值属性展开，以实现对多对多关系的处理。
三、维度层级和维度属性的多对多关系设计的注意事项在设计和建模过程中，需要注意以下几点：1. 确定维度的层级关系在设计维度层级时，需要明确各个层级之间的关系。
举例 维度和粒度 度量
举例维度和粒度度量维度和粒度是数据分析中常用的概念，用于描述数据的不同属性和精度级别。
维度是指数据分析中用于描述事物特征的属性，而粒度是指数据分析中数据的精细程度。
下面将分别举例说明维度和粒度的概念。
1. 维度的例子：a. 在销售数据分析中，维度可以是产品类别、销售地区、销售时间等。
例如，可以通过产品类别维度分析不同产品的销售情况，通过销售地区维度分析不同地区的销售额。
b. 在客户数据分析中，维度可以是客户类型、客户等级、客户地域等。
例如，可以通过客户类型维度分析不同类型客户的购买行为，通过客户地域维度分析不同地区客户的消费习惯。
2. 粒度的例子：a. 在销售数据分析中，粒度可以是每天、每周、每月的销售数据。
例如，可以通过每天的销售数据分析销售额的日变化趋势，通过每月的销售数据分析销售额的季节性特征。
b. 在客户数据分析中，粒度可以是每个客户的购买记录、每个订单的明细数据。
例如，可以通过每个客户的购买记录分析客户的购买偏好，通过每个订单的明细数据分析订单的产品组合情况。
3. 维度和粒度的关系：a. 维度和粒度是相互关联的，不同维度可以有不同的粒度。
例如，在销售数据分析中，可以通过产品类别维度分析每个产品的销售情况，也可以通过销售时间维度分析每天的销售情况。
b. 维度和粒度的选择取决于具体的分析目的和需求。
不同的维度和粒度可以帮助我们从不同的角度来理解数据，发现数据中的规律和趋势。
4. 维度和粒度的应用：a. 在市场营销中，可以通过不同维度和粒度的分析，了解产品的市场表现、目标客户群体的特征，从而制定更有效的营销策略。
b. 在供应链管理中，可以通过不同维度和粒度的分析，了解产品的库存情况、供应商的供货能力，从而优化供应链的运作效率。
c. 在金融风控中，可以通过不同维度和粒度的分析，了解客户的信用状况、交易行为，从而评估风险并制定相应的风控策略。
维度和粒度在数据分析中起着重要的作用，通过选择合适的维度和粒度，可以更好地理解和挖掘数据中的信息，为决策提供支持。
举例 维度和粒度 度量
举例维度和粒度度量维度和粒度是数据分析中的两个重要概念，在数据分析过程中，维度和粒度的选择直接影响到分析结果的准确性和可靠性。
本文将从不同领域的例子出发，具体说明维度和粒度的概念和应用。
1. 销售数据分析：维度：时间、地区、产品类别、客户类型粒度：按月、按季度、按年、按地区、按产品类别、按客户类型进行数据分析。
例如，可以根据产品类别分析不同类别的销售额，或者根据地区分析不同地区的销售额。
2. 股票市场分析：维度：股票代码、交易时间、交易类型粒度：按天、按小时、按分钟进行数据分析。
例如，可以根据股票代码和交易时间粒度，分析某只股票在不同时间段的交易情况。
3. 客户行为分析：维度：用户ID、行为类型、行为时间粒度：按天、按周、按月进行数据分析。
例如，可以根据用户ID和行为类型分析某个用户在一周内的行为次数。
4. 物流运输分析：维度：运输方式、货物类型、运输路线粒度：按小时、按天、按月进行数据分析。
例如，可以根据运输方式和货物类型分析不同运输方式在一天内的运输量。
5. 社交媒体分析：维度：用户ID、发布时间、内容类型粒度：按小时、按天、按周进行数据分析。
例如，可以根据用户ID和发布时间粒度，分析某个用户在一周内不同时间段发布的内容类型。
6. 学生成绩分析：维度：学生ID、科目、考试时间粒度：按学期、按学年进行数据分析。
例如，可以根据学生ID 和科目分析某个学生在一个学期内的考试成绩。
7. 网站流量分析：维度：网页URL、访问时间、访问来源粒度：按小时、按天、按月进行数据分析。
例如，可以根据网页URL和访问时间粒度，分析某个网页在一天内不同时间段的访问量。
8. 餐饮销售分析：维度：菜品类型、销售时间、门店位置粒度：按小时、按天、按月进行数据分析。
例如，可以根据菜品类型和销售时间粒度，分析某个菜品在一天内的销售情况。
9. 人力资源分析：维度：员工ID、部门、入职时间粒度：按月、按季度、按年进行数据分析。
例如，可以根据部门和入职时间粒度，分析某个部门在一年内的员工流动情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
产品:包裹大小与品牌
非规范化
很多维度变化很缓慢 多级层次结构 维度表通常有多种多级层次结构
维度中的文本与数字
维度应当是文本和离散的 尽量使用详细的文本信息取代编码
数字属性放入维度表还是事实表应当看
它是一个含有许多取值并参与运算的度 量（应放入事实表），还是变化不多并 参与约束条件的离散取值（应放入维度 表）
商品 商品键 商品名 部门号 部门名 商品类号 商品类名 级别号
修改后的星型模型
产品维度表
产品关键字（PK）、产品描述、商标描
述、分类描述、部门描述、包装类型、 包装尺寸、重量、储藏类型、货架类型、 货架高度、货架深度。。。。。。 产品维度表每行都有与产品相关的商标 与分类，有冗余但易于使用
产品尺寸------维度表
产品生产成本------事实表
事实表的内容
事实表的主键是所有维度表主键的组合键 主要是数字属性 表很长，但不宽 稀疏的数据 假期记录可能为空
退化的维度 既不是事实也不是维属性的数据元素 如发票号、订单号等
粒度设计
原子数据应成为每个事实表设计的基础 好处：可以只通过添加维度，满足新的
m 1 1
m
m
商品类
1 商品类号 商品类名 部门号 m 商品 商品号 商品名 商品类号
存货 星期 商店号 商品号 数量
E-R图向多维表的转换 该问题的多维表模型中，商品维包括部门、商
品和商品大类，地点维包括地区和商店，忽略 存货，而只注意销售事实。在E-R图中不出现 的时间，在多维模型中增加时间维。 在多维模型中，实体与维之间建立映射关系， 联系多个实体的实体就成为事实，此处销售实 体作为事实，其他实体作为维。然后用维关键 字将它转换为星型模型，如图所示。
级别的数据可能需要分解到低粒度级别。 而对于一些低粒度级的数据，如生产过程控制、网络 环境中产生的点击流数据等，必须对数据进行编辑、 重新排序和汇总等处理。
4.6 填充数据集市
数据粒度需要考虑的另一重要因素：
用于填充数据集市
数据仓库中的数据粒度必须是任何数
据集市所需要数据中的最小粒度。
在各维中，只有部门，商品类，地区，
商店的编号没有具体的说明。
为了打印报表将增加这些编号的名称说
明，即部门名、商店名等，在维表中增 加这些说明，即修改该星型模型
时间 时间键 时间说明 日期 星期 月 年 级别号 销售事实 时间键 地理位置键 商品键 销售数量 销售单位
地区 地理位置键 地理位置名 地区号 地区名 商店号 商店名 级别号
查询要求
商场的最佳维度应是POS事务的单列项 促销效果、限时打折都需要低粒度数据
事实表设计
毛利润=销售-成本；在已有销售和成本
字段的情况下，是否应物理存储毛利润 字段？ 应存储
减少用户出错
便于生成报表
例：业务数据的E-R图
地区 地区号 地区名 1 1 m 商店 商店号 商店名 地址 城市 省 邮编 地区号 1 m 销售 销售日期 商店号 商品号 销售数量 销售单位
精品课件！
精品课件！
日期维度：日期关键字、日期描述、星期、年
历月、年历周、年历日、月编号、周编号、日 编号、财政日、财政月、周末指示符、节假日 指示符、销售旺季、重点事件。。。。。。 商场维度：商场关键字、名称、街道、城市、 省、邮编、面积、开业时间。。。。。。 促销维度：促销关键字、名称、类型、媒体、 广告、优惠卷、促销价、开始时间、结束时 间。。。。。。
4.4 确定粒度级别
一方面，合理推测粒度级别 确定粒度还需要通过一定量的反复分析，根据用户反馈不断 改进 另一方面，预测不同体系结构的需求 数据仓库中的数据需要处于最低的公共细节水平
4.5 反馈技巧
提高数据粒度的方法： 数据进入数据仓库时，进行汇总 数据进入数据仓库时，求平均值 数据集的最大/最小值放入数据仓库 只放入显然需要的数据 用条件逻辑选择需要的数据 系统需求了解到50%左右时即可以开始建造数据仓库 当正常的业务事务记录准备放入数据仓库时，高粒度
E-R图向多维模型的转换
商品维
地区维
时间维
部门 商品大类
地区 Байду номын сангаас店
年 月 周
日
商品
销售事实
时间 时间键 时间说明 日期 星期 月 年 级别号
销售事实 时间键 地理位置键 商品键 销售数量 销售单位
地区 地理位置键 地理位置名 地区号 商店号 级别号
商品 商品键 商品名 部门号 商品类号 级别号
利用维关键字制定的星型模型
4.3 溢出存储器
应该考虑五年后如下因素：
有更多的技术管理大量数据 硬件费用下降 功能更强大的软件工具 最终用户更加专业化
4.3 溢出存储器
历史数据与细节数据造成了数据的显著增长 根据数据使用频率，可将数据分为二类： 经常使用的数据 不经常使用的数据（睡眠数据） 解决方案： 睡眠数据转移至海量备用存储器或近线存储器 常用的溢出存储器可分为： 低性能的磁盘存储器 近线存储器 串行磁带 ……
维度设计
维度表
维度表是事实表不可分割的伴侣 维度表倾向于将行数做得相当少（通常
<100万行），而将列数做得特别大 数据仓库的能力与维度的质量和深度成 正比
一个用户要按星期与商标来查看销售额，星
期与商标就必须是可的维度属性
维度内容
维度属性是查询的约束条件、分组与报表标签
生成的基本来源 每个维度用单一的主关键字进行定义，主关键 字是确保与之相连的事实表存在完整性的基础。 非直接相关属性