数据仓库多维数据模型的设计

1、数据仓库基本概念

1.1、主题（Subject）

主题就是指我们所要分析的具体方面。例如：某年某月某地区某机型某款App的安装情况。主题有两个元素：一是各个分析角度（维度），如时间位置；二是要分析的具体量度，该量度一般通过数值体现，如App安装量。

1.2、维（Dimension）

维是用于从不同角度描述事物特征的，一般维都会有多层（Level：级别），每个Level 都会包含一些共有的或特有的属性（Attribute），可以用下图来展示下维的结构和组成：以时间维为例，时间维一般会包含年、季、月、日这几个Level，每个Level一般都会有ID、NAME、DESCRIPTION这几个公共属性，这几个公共属性不仅适用于时间维，也同样表现在其它各种不同类型的维。

1.3、分层（Hierarchy）

OLAP需要基于有层级的自上而下的钻取，或者自下而上地聚合。所以我们一般会在维的基础上再次进行分层，维、分层、层级的关系如下图：

每一级之间可能是附属关系（如市属于省、省属于国家），也可能是顺序关系（如天周年），如下图所示：

1.4、量度

量度就是我们要分析的具体的技术指标，诸如年销售额之类。它们一般为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。

1.5、粒度

数据的细分层度，例如按天分按小时分。

1.6、事实表和维表

事实表是用来记录分析的内容的全量信息的，包含了每个事件的具体要素，以及具体发

生的事情。事实表中存储数字型ID以及度量信息。

维表则是对事实表中事件的要素的描述信息，就是你观察该事务的角度，是从哪个角度去观察这个内容的。

事实表和维表通过ID相关联，如图所示：

1.7、星形/雪花形/事实星座

这三者就是数据仓库多维数据模型建模的模式

上图所示就是一个标准的星形模型。

雪花形就是在维度下面又细分出维度，这样切分是为了使表结构更加规范化。雪花模式可以减少冗余，但是减少的那点空间和事实表的容量相比实在是微不足道，而且多个表联结操作会降低性能，所以一般不用雪花模式设计数据仓库。

事实星座模式就是星形模式的集合，包含星形模式，也就包含多个事实表。

1.8、企业级数据仓库/数据集市

企业级数据仓库：突出大而全，不论是细致数据和聚合数据它全都有，设计时使用事实星座模式

数据集市：可以看做是企业级数据仓库的一个子集，它是针对某一方面的数据设计的数据仓库，例如为公司的支付业务设计一个单独的数据集市。由于数据集市没有进行企业级的设计和规划，所以长期来看，它本身的集成将会极其复杂。其数据来源有两种，一种是直接从原生数据源得到，另一种是从企业数据仓库得到。设计时使用星形模型

2、数据仓库设计步骤

2.1、确定主题

主题与业务密切相关，所以设计数仓之前应当充分了解业务有哪些方面的需求，据此确定主题。

2.2、确定量度

在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额之类。量度是要统计的指标，必须事先选择恰当，基于不同的量度将直接产生不同的决策结果。

2.3、确定数据粒度

考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小。例如如果知道某些数据细分到天就好了，那么设置其粒度到天；但是如果不确定的话，就将粒度设置为最小，即毫秒级别的。

2.4、确定维度

设计各个维度的主键、层次、层级，尽量减少冗余。

2.5、创建事实表

事实表中将存在维度代理键和各量度，而不应该存在描述性信息，即符合“瘦高原则”，即要求事实表数据条数尽量多(粒度最小)，而描述性信息尽量少。

3、数据仓库-全量表

全量表：保存用户所有的数据（包括新增与历史数据）

增量表：只保留当前新增的数据

快照表：按日分区，记录截止数据日期的全量数据

切片表：切片表根据基础表，往往只反映某一个维度的相应数据。其表结构与基础表结构相同，但数据往往只有某一维度，或者某一个事实条件的数据

3.1、更新插入算法

更新插入(主表)算法适用于保留最新状态表的处理。

案例：银行账户余额表，全表表大约8000万，非结息日每日变动100万，结息日变动2000万。

非结息日：它是指根据主键(或指定字段)进行数据对比，如果增量表存在记录，则更新原全量表，否则插入数据。

ETL更新的优化？Merge?

结息日：新建空表，它是指根据主键(或指定字段)进行数据对比，首先插入原全量表与增量表无法匹配的非变更数据，再次插入可以匹配的增量表数据，最后补齐增量表与全量表无法匹配的增量数据。

3.2、直接追加算法

直接追加算法是指增量数据直接追加到目标表中，此算法适合流水、交易、事件、话单等增量且不修改的数据。

由于历史信息表数据量过于庞大，往往在数据库设计中将引入分区表的逻辑来处理，具体实现逻辑自查。

3.3、全量历史表算法

拉链表。

4、数据仓库-拉链表

拉链表：数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

我们先看一个示例，这就是一张拉链表，存储的是用户的最基本信息以及每条记录的生命周期。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。

在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：

1、有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G（在HDFS使用双备份或者三备份的话就更大一些）。

2、表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等等。

3、需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。

4、表中的记录变化的比例和频率不是很大，比如，总共有10亿的用户，每天新增和发生变化的有200万左右，变化的比例占的很小。

那么对于这种表我该如何设计呢?下面有几种方案可选：

方案一：每天只留最新的一份（比如我们每天用Sqoop抽取最新的一份全量数据到Hive 中）。

方案二：每天保留一份全量的切片数据。

方案三：使用拉链表。