数据仓库逻辑模型介绍
数据仓库的逻辑模型
数据仓库的逻辑模型介绍
数据仓库是一种面向主题的、集成的、稳定的、不同时间的数据集合，用于支持管理决策过程。
逻辑模型是数据仓库的核心，它描述了数据仓库中数据的组织和存储方式，以及数据仓库的结构和功能。
本文将介绍数据仓库的逻辑模型，包括数据仓库的数据源、数据存储、数据集市和数据访问。
一、数据源
数据仓库的数据源可以是多种类型的，包括关系数据库、OLAP 数据库、文件系统、外部数据源等。
不同的数据源具有不同的特点和优势，需要根据实际情况选择合适的数据源。
二、数据存储
数据仓库的数据存储是指将数据源中的数据加载到数据仓库中，并对数据进行处理和转换，以满足数据仓库的需求。
数据存储通常采用分布式存储架构，以支持大量数据的存储和查询。
三、数据集市
数据集市是数据仓库中面向特定主题的数据集合，它将数据仓库中的数据按照业务需求进行分类和组织。
数据集市通常包括多个表，每个表代表一个主题，例如销售、客户、产品等。
数据集市中的数据可以根据业务需求进行查询和分析。
四、数据访问
数据访问是指数据仓库中的数据如何被访问和使用。
数据仓库的数据访问通常采用OLAP（联机分析处理）和数据挖掘技术。
OLAP技术支持用户对数据仓库中的数据进行快速查询和分析，数据挖掘技术则可以帮助用户从大量数据中发现有价值的信息和规律。
总之，数据仓库的逻辑模型是数据仓库的核心，它描述了数据仓
库中数据的组织和存储方式，以及数据仓库的结构和功能。
数据仓库的数据源、数据存储、数据集市和数据访问是数据仓库逻辑模型的重要组成部分，它们共同构成了一个完整的数据仓库系统。
数据库逻辑模型和物理模型
数据库逻辑模型和物理模型数据库是一个组织数据的集合，可以用来存储和处理各种类型的数据。
在数据库设计过程中，逻辑模型和物理模型是非常重要的概念。
本文将详细介绍数据库逻辑模型和物理模型的定义、区别和应用。
一、数据库逻辑模型数据库逻辑模型是指数据库设计人员在数据库设计过程中所采用的一种抽象模型，用来描述数据之间的逻辑关系。
逻辑模型通常是由实体、属性、关系和约束条件组成。
其中，实体是指现实世界中的一个独立存在的事物，属性是指实体的特征或者属性，关系是指实体之间的联系，约束条件是指对数据的限制和要求。
常见的逻辑模型有层次模型、网状模型、关系模型等。
其中，关系模型是最常用的逻辑模型。
在关系模型中，数据被组织成表格的形式，每个表格代表一个实体，表格中的每一行代表实体的一个实例，每一列代表实体的一个属性。
逻辑模型的优点是可以清晰地描述数据之间的逻辑关系，方便数据库设计人员进行数据库设计和维护。
但是，逻辑模型并不考虑数据的存储方式和物理结构，因此在实际应用中，需要将逻辑模型转换为物理模型。
二、数据库物理模型数据库物理模型是指数据库设计人员在数据库设计过程中所采用的一种具体的模型，用来描述数据在计算机硬件中的存储方式和物理结构。
物理模型通常是由数据块、文件、索引和存储结构组成。
在物理模型中，数据被组织成数据块的形式，数据块是物理存储单元的最小粒度。
数据块可以被组织成文件的形式，文件是一组数据块的集合。
为了提高检索效率，需要对文件进行索引，索引是一种数据结构，可以加速数据的检索速度。
物理模型的优点是可以直接反映数据在计算机硬件中的存储方式和物理结构，方便数据库管理员进行数据库的管理和维护。
但是，物理模型并不考虑数据之间的逻辑关系，因此需要在设计过程中保持逻辑模型和物理模型的一致性。
三、逻辑模型和物理模型的区别逻辑模型和物理模型是两个不同的概念，其主要区别如下：1.定义不同：逻辑模型是用来描述数据之间的逻辑关系的一种抽象模型，而物理模型是用来描述数据在计算机硬件中的存储方式和物理结构的具体模型。
3-3数据仓库设计-逻辑模型
……
… …
……
……
数据概括表与事实表对应关系
概括表表.列 名 是否 导出 事实表.列 名 SPGYB.SP 商品编号 _ID SPGYB.G YS_ID 供应商编号 备注 SPGKB.SP_I 否 D SPGKB.GYS _ID SPGKB.SPG YZSL SPGKB.SPG YZJE …… 否 是 是
商 品
商品号
销 售 客 户
销售单号
客户号
数据仓库的实体定义
实体 容量 更新频率 每月对客户情况进行一次分析，更 新频率也为每月一次 大约有500种商品，商品的更新是每 月一次，数据更新也照此。 Customer 中等容量，有100个重点客户， 2000个跟踪客户 Product 小容量，500种商品
确定粒度的循环和反复
提高粒度的方法
当源数据置入数据仓库时，对它进行汇总。 当源数据置入数据仓库时，对它求平均或进行 计算。 把最大/最小的设定值置入数据仓库。 只把显然需要的数据置入数据仓库。 用条件逻辑选取记录的一个子集置入数据仓库。 对于数据怎样轻度汇总是没有限制的(限制只 存在于设计者的脑海里)。
Windows/Acces RSGL s …… ……
数据源抽取规则表
表.列名 过滤与连接 条件 比较值 50000 500 ‘AB’ …… 复合条件 AND AND OR …… 备注 采购商品数量 小于50000 采购商品数量 大于500 商品前两位 非’AB’ …… KHCG.CGSL < KHCG.CGSL > SPQK.SPID …… ≠ ……
第一次作业题目
请详细描述数据库应用系统与数据仓库 之间的区别。（越详细越好，越全面越 好） 下星期三以前交。
数据仓库设计——逻辑模型内Leabharlann 提要数据仓库的逻辑模型设计
金融业逻辑数据模型-数仓十大主题-LDM_当事人主题
金融业逻辑数据模型FS-LDM 当事人PARTY主题1 定义/准入原则当事人（Party）是指银行所服务的任意对象和感兴趣进行分析的各种对象。
如：个人或公司客户、同业客户、潜在客户、代理机构、雇员、分行、部门等，一个当事人可以同时是这当中的许多角色。
当事人是一个独立的人或者一组人组成的机构、团体等，可分为个人、机构和家庭，他们是和银行有往来或者出于市场营销、分析管理等各种需要而希望关心和分析的个体或人群。
从数据仓库模型角度考虑，可以包括以下当事人信息：⏹在银行登记注册开立账户的单位/企业客户⏹在银行登记注册开立账户的个人普通客户⏹和银行有业务往来的其他金融机构（如国内同业、海外代理行等）⏹登记注册使用某项特殊服务的客户（如基金注册登记机构、基金交易客户、银行卡特约单位、联名认同单位、电子银行缴费单位/个人、网银集团客户/贵宾企业/商户/学校、航空公司等）⏹机构的内部组织（如分支机构、部门、团队等）⏹机构的员工（如柜员、客户经理等）⏹外部机构提供清单（如人行征信系统、国家统计局等）上银行感兴趣的各种对象⏹为银行提供某项专业服务的当事人（如咨询公司、设备提供商、法律顾问等）2 唯一标识当事人的唯一标识是“当事人编号”，该字段可以直接取自原业务系统中的唯一客户编号（可能需要加工，区分对公、个人和机构等），也可以由数据仓库系统按照一定的规则自行编制一个唯一编号。
3 当事人分类当事人分为个人当事人、机构当事人、家庭三类，机构当事人又分为内部机构和外部机构，外部机构又细分成“商业组织机构（企业）”和“非盈利组织机构（协会）”。
此外，“当事人”实体还可以通过“潜在客户标志”、“提供商标志”等字段实现其他口径不排他的分类。
⏹提供商信息：记录提供商的信息，如法律顾问、咨询家、财务顾问等和银行往来的历史记录等；⏹潜在客户信息：该实体记录银行所感兴趣的各种潜在客户的信息；⏹机构名称历史：记录机构的名称的变更历史，包括过去的、现在的正式名称、简称等。
制造业数据仓库 逻辑模型
制造业数据仓库逻辑模型制造业数据仓库逻辑模型数据仓库是指将不同来源的数据进行整合、清洗和转换，以支持企业的决策分析和业务运营。
在制造业中，数据仓库的建立可以帮助企业更好地管理和分析生产过程中所涉及的各种数据，从而提高生产效率、降低成本、优化产品质量和增强市场竞争力。
制造业数据仓库的逻辑模型是指在数据仓库建设过程中，对于制造业特定的数据进行建模和设计的过程。
逻辑模型是数据仓库的核心，它定义了数据仓库中各个数据表之间的关系和属性，为数据仓库的实际构建提供了指导和依据。
1. 数据仓库的维度建模在制造业数据仓库的逻辑模型中，维度建模是非常重要的一部分。
维度是描述业务过程中的各个方面的属性，例如产品、时间、地点、客户等。
在制造业数据仓库中，常见的维度包括产品维度、时间维度、地点维度、客户维度、供应商维度等。
通过对这些维度进行建模，可以更好地了解制造业中各个环节的情况，从而进行决策分析和业务优化。
2. 事实表的设计事实表是制造业数据仓库逻辑模型中的另一个关键部分。
事实表是描述业务过程中所发生事件的表，例如销售订单、生产计划、库存变动等。
在制造业数据仓库中，常见的事实表包括销售事实表、生产事实表、库存事实表等。
事实表中的每一行代表一个特定的事件，行中的各个字段记录了该事件的属性和指标信息。
通过对事实表的设计，可以方便地进行各种分析和查询，从而帮助企业更好地了解和掌握制造过程中的各个环节和指标。
3. 星型模型和雪花模型星型模型和雪花模型是制造业数据仓库逻辑模型的两种常见的建模方法。
星型模型是一种简单的建模方式，其中只包含一个事实表和多个维度表，事实表和维度表之间通过外键进行关联。
星型模型的优点是结构简单、易于理解和查询。
雪花模型在星型模型的基础上进行了扩展，将维度表进一步细化，形成了多层级的关系。
雪花模型的优点是可以更好地表示业务过程中的复杂关系和层次结构。
4. 数据粒度的确定在制造业数据仓库的逻辑模型中，数据粒度的确定是非常重要的一步。
数据库逻辑模型
数据库逻辑模型数据库逻辑模型，又叫做逻辑数据模型，是数据库技术中一种重要的基本模型。
它处于物理数据存储和用户使用之间，它表示数据库信息和关系模型之间的映射。
它支持用户定义更通用的视图，可以分解成较低级别的视图，来支持与特定数据库之间的映射，从而扩展应用程序的功能，它可以使应用程序开发者更充分地表达自己的需求，以实现更丰富的应用。
数据库逻辑模型的构建是一种结构的设计，它是一种用于描述数据之间的关系以及如何从数据库中获取和整理信息的技术。
它包含了定义系统的属性，以及确定数据之间的关系的规则。
逻辑模型的最大特点在于它将数据从物理存储中分离出来，因此，在模型中可以实现复杂的关系，并可以更有效地持久化数据，并将其存储在指定的数据库中。
数据库逻辑模型分为三个基本结构，分别为实体，关系和属性。
实体表示一个可以创建或改变的独立的物理对象，它可以包括一个或多个概念或元素，以及可以定义实体之间的关系。
关系是一种映射关系，它定义了不同实体之间的联系，这样，数据库就可以实现数据之间的连接和查询。
最后，属性是实体的描述，可以定义实体的特性和特征，以及特定实体所具有的属性。
在实际应用中，数据库逻辑模型有很多优点。
它极大地提升了灵活性，可以大大降低维护成本，因为可以拆分数据，从而使其可以更容易地更新和维护，可以节省存储空间，减少重复存储的数据，并可以有效提高关系数据库的性能。
在数据库技术中，数据库逻辑模型是一种非常重要的模型，它把数据从物理存储中分离出来，提供了一种方便的方式来实现复杂的关系，有效利用存储空间，提高性能，降低维护成本，从而给企业应用和管理带来更大的便利，可以有效地支持企业更好地进行管控，降低企业的日常管理成本，产生更大的价值。
3-3数据仓库设计-逻辑模型
数据的行数 数据所占存储设备空间 数据所需要的索引空间
只能做数据级上的估算 从一方或多方收集信息进行合理估算
粗略估算数据量算法
双重粒度和单一粒度
表的行数是影响粒度划分主要的因素 将数据库的总行数与下表进行比较
确定粒度的循环和反复
选择合适的粒度级别是体系结构设计环境成功 的关键。 选择粒度级别的一般方法，是利用常识，建立 数据仓库的一小部分，并让用户去访问这些数 据。然后仔细聆听用户的意见，根据他们的反 馈意见适当调整粒度的级别。 最坏的想法是想要事先设计好所有的粒度级别， 再进行数据仓库的建造。 即使在最好的情况下，能使设计的5 0 %是正 确的就已经很不错的了。数据仓库环境的特点 就是只有当决策支持系统分析员实际看到了报 告之后，才能想像哪些是真正需要的。
……
… …
……
……
数据概括表与事实表对应关系
概括表表.列 名 是否 导出 事实表.列 名 SPGYB.SP 商品编号 _ID SPGYB.G YS_ID 供应商编号 备注 SPGKB.SP_I 否 D SPGKB.GYS _ID SPGKB.SPG YZSL SPGKB.SPG YZJE …… 否 是 是
例： 银 行 粒 度 设 计
例： 银 行 粒 度 设 计
数据分割
数据分片概念
水平分片 垂直分片 混合分片 导出分片
按时间进行数据分割是最普遍的 分割标准
数据量 数据分析处理的实际情况 简单易行 粒度划分策略
数据仓库的数据抽取模型
F2 KHCG F3 SPQK F4 ZGYJ
F1 数据抽取规则
确定粒度的循环和反复
提高粒度的方法
当源数据置入数据仓库时，对它进行汇总。 当源数据置入数据仓库时，对它求平均或进行 计算。 把最大/最小的设定值置入数据仓库。 只把显然需要的数据置入数据仓库。 用条件逻辑选取记录的一个子集置入数据仓库。 对于数据怎样轻度汇总是没有限制的(限制只 存在于设计者的脑海里)。
数据库建模：概念模型,逻辑模型和物理模型
数据库建模：概念模型,逻辑模型和物理模型概念模型设计 , 逻辑模型设计 , 物理模型设计是数据库及数据仓库模型设计的三个主要步骤1. 概念模型概念模型就是在了解了⽤户的需求 , ⽤户的业务领域⼯作情况以后 , 经过分析和总结 , 提炼出来的⽤以描述⽤户业务需求的⼀些概念的东西 ;如销售业务中的客户和定单 , 还有就是商品 , 业务员 , ⽤ USE CASE 来描述就是 : 业务员与客户就购买商品之事签定下定单 , 概念模型使⽤ E-R 图表⽰ , E-R 图主要是由实体 , 属性和联系三个要素构成的 , 该阶段需完成 :1. 该系统的商业⽬的是什么 , 要解决何种业务场景2. 该业务场景中 , 有哪些⼈或组织参与 , ⾓⾊分别是什么3. 该业务场景中 , 有哪些物件参与 ,4. 此外需要具备相关⾏业经验 , 如核⼼业务流程 , 组织架构 , ⾏业术语5. 5w1h , who , what , when , where , why, how2. 逻辑模型逻辑模型是将概念模型转化为具体的数据模型的过程 , 即按照概念结构设计阶段建⽴的基本 E-R 图 , 按选定的管理系统软件⽀持的数据模型(层次/⽹状/关系/⾯向对象) , 转换成相应的逻辑模型 , 这种转换要符合关系数据模型的原则 ;还以销售业务为例 : 客户信息基本上要包括 : 单位名称 , 联系⼈ , 联系电话 , 地址等属性商品信息基本上要包括 : 名称 , 类型 , 规格 , 单价等属性定单信息基本上要包括 : ⽇期和时间属性 ; 并且定单要与客户 , 业务员和商品明细关联 , 该阶段需完成 :1. 分多少个主题 , 每个主题包含的实体2. 每个实体的属性都有什么3. 各个实体之间的关系是什么4. 各个实体间是否有关系约束3. 物理模型物理模型就是针对上述逻辑模型所说的内容 , 在具体的物理介质上实现出来 , 系统需要建⽴⼏个数据表 : 业务员信息表 , 客户信息表 , 商品信息表 , 定单表 ; 系统要包括⼏个功能 : 业务员信息维护 , 客户信息维护 , 商品信息维护 , 建⽴销售定单 ; 表 , 视图 , 字段 , 数据类型 , 长度 , 主键, 外键 , 索引 , 约束 , 是否可为空 , 默认值 , 该阶段需完成 :1. 类型与长度的定义2. 字段的其他详细定义 , ⾮空 , 默认值3. 却准详细的定义 , 枚举类型字段 , 各枚举值具体含义4. 约束的定义 , 主键 , 外键这三个过程 , 就是实现⼀个数据库设计的三个关键的步骤 , 是⼀个从抽象到具体的⼀个不断细化完善的分析 , 设计和开发的过程 ;。
数据库逻辑模型
数据库逻辑模型数据库是一个存放和管理信息的系统，由于计算机技术发展，数据库应用变得越来越广泛，被大量使用。
这就需要一个更为完善的模型来支撑数据库应用，这就是数据库逻辑模型。
数据库逻辑模型是一种结构性体系，它以复杂的数据组织形式来表示现实世界的结构和实体，并且能够把细节的数据的表示转换成更加合理的数据结构。
数据库逻辑模型通常分为三种不同的基本模型，它们分别是关系模型、网状模型和层次模型。
三种基本模型的定义及它们之间的联系如下：关系模型：关系模型把信息作为表格表示，把相互关联的关系以表格的形式表达出来，每个表有几个列来表示信息，每一行表示一条记录，每一列表示一个属性。
网状模型：网状模型用网络元素表示信息，形成网络模型，并且实现程序开发以及数据管理。
网状模型包含两个概念：节点和链接。
节点是数据的物理存储单元，用节点的集合表示数据的物理结构，链接用来表示数据之间的逻辑关系。
层次模型：层次模型是由父子层构成的数据结构，描述了信息中联系关系和隶属关系，树形结构也是层次模型的一种特殊表示方式。
层次模型因为它的易用性，而被广泛的使用。
数据库的物理机构可能不同，但是它们的逻辑结构是相同的，因此需要数据库逻辑模型。
数据库逻辑模型的最终目的是确保数据的一致性，实现数据的有效管理。
相较于其它模型，数据库逻辑模型有很多优点。
首先它可以把细节的数据表示转换成更加完善的数据库模型，其次它可以实现数据的有效管理以及更高效的处理，最后它也能够有效支撑现实世界的复杂数据组织。
数据库逻辑模型被广泛的使用在许多不同的领域，它可以用于客户关系管理，可以用于网上购物，也可以用于媒体，教育等等。
其实数据库逻辑模型正成为一种不可或缺的部分，它对各种不同领域的数据库应用起到越来越重要的作用。
总之，数据库逻辑模型是一种高效、灵活、实用的模型，它已经成为今天不同领域数据库应用的重要组成部分，未来它也将发挥更加重要的作用。
胖子哥的大数据之路（9）-数据仓库金融行业数据逻辑模型FS-LDM
胖⼦哥的⼤数据之路（9）-数据仓库⾦融⾏业数据逻辑模型FS-LDM引⾔： ⼤数据不是海市蜃楼，万丈⾼楼平地起只是意淫，⼤数据发展还要从点滴做起，基于⼤数据构建国家级、⾏业级数据中⼼的项⽬会越来越多，⼤数据只是技术，⽽⾮解决⽅案，同样⾯临数据组织模式，数据逻辑模式的问题。
它⼭之⽯可以攻⽟，本⽂就数据仓库领域数据逻辑模型建设最负盛名的FS-LDM进⾏介绍，旨在抛砖引⽟，希望能够给⼤家以启迪。
参与交流请加群：347018601⼀、概述（1）什么是LDM 逻辑数据模型LDM是数据仓库的数据建设阶段为解决业务需求⽽定义的数据仓库模型解决⽅案，它是指导数据仓库进⾏数据存放、数据组织、以及如何⽀持应⽤的蓝图，定义需要追踪和管理的各种重要实体、属性、关系。
（2）为什么需要LDM 操作型数据库和数据仓库都需要的数据组织模式； LDM是构建DW的第⼀步，是建⽴BI的基础框架，是提供价值数据分析的重要基础，为复杂的DW系统实施提供了规范和基础结构的蓝图； LDM促进业务部门和IT分析⼈员之间的有效沟通，形成对重要业务定义和术语的统⼀认识。
具备跨部门、中性的特征，能够表达所有的业务；（3）主流LDM有哪些 Teradata FS-LDM(⾦融服务逻辑数据模型)：是预先构建的LDM，利⽤它可以直接开始数据仓库模型设计，它是⼀个成熟的产品； IBM有BDWM(Banking Data Warehouse Model)；⼆、FS-LDM ⾦融11个主题模型1.团体 PARTY是指银⾏作为⼀个⾦融机构所服务的任意对象和感兴趣进⾏分析的各种对象。
如个⼈、公司客户、潜在客户、代理机构、合作伙伴、雇员、分⾏、部门等。
⼀个团体可以同时是这当中许多种⾓⾊。
借助团体主题的建⽴可以实现基于客户基本信息的分析，是实现以客户为中⼼的各种分析应⽤的重要基础。
2.资产 ASSET⽤于描述团体的资产，资产主题包含两⼤类的资产，客户资产和建⾏⾃有资产。
数据仓库的数据模型
业务驱动任何需求均来源于业务,业务决定了需求,需求分析的正确与否是关系到项目成败的关键所在,从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的.但是数据仓库不同于日常的信息系统开发,除了遵循其他系统开发的需求,分析,设计,测试等通常的软件声明周期之外;他还涉及到企业信息数据的集成,大容量数据的阶段处理和分层存储,数据仓库的模式选择等等,因此数据仓库的物理模型异常重要,这也是关系到数据仓库项目成败的关键.数据仓库的结构总的来说是采用了三级数据模型的方式:概念模型: 也就是业务模型,由企业决策者,商务领域知识专家和IT专家共同企业级地跨领域业务系统需求分析的结果.逻辑模型：用来构建数据仓库的数据库逻辑模型。
根据分析系统的实际需求决策构建数据库逻辑关系模型,定义数据库物体结构及其关系。
他关联着数据仓库的逻辑模型和物理模型这两头.物理模型：构建数据仓库的物理分布模型,主要包含数据仓库的软硬件配置,资源情况以及数据仓库模式。
如上图所示,在数据仓库项目中,物理模型设计和业务模型设计象两个轮子一样有力的支撑着数据仓库的实施,两者并行不悖,缺一不可.实际上,我有意的扩大了物理模型和业务模型的内涵和外延.在这里物理模型不仅仅是数据的存储,而且也包含了数据仓库项目实施的方法论,资源,以及软硬件选型等等;而业务模型不仅仅是主题模型的确立,也包含了企业的发展战略,行业模本等等.一个优秀的项目必定会兼顾业务需求和行业的标准两个方面,业务需求即包括用户提出的实际需求,也要客观分析它隐含的更深层次的需求,但是往往用户的需求是不明确的,需要加以提炼甚至在商务知识专家引导下加以引导升华,和用户一起进行需求分析工作;不能满足用户的需求,项目也就失去原本的意义了.物理模型就像大厦的基础架构,就是通用的业界标准,无论是一座摩天大厦也好,还是茅草房也好,在架构师的眼里,他只是一所建筑,地基->层层建筑->封顶,这样的工序一样也不能少,关系到住户的安全,房屋的建筑质量也必须得以保证,唯一的区别是建筑的材料,地基是采用钢筋水泥还是石头,墙壁采用木质还是钢筋水泥或是砖头;当然材料和建筑细节还是会有区别的,视用户给出的成本而定;还有不可忽视的一点是,数据仓库的数据从几百GB到几十TB不等,即使支撑这些数据的RDBMS无论有多么强大,仍不可避免的要考虑到数据库的物理设计.接下来,将详细阐述数据仓库概念模型(业务模型),逻辑模型,物理模型的意义.概念模型设计进行概念模型设计所要完成的工作是:界定系统边界确定主要的主题域及其内容确定主题域的关系概念模型设计是，在原有的业务数据库的基础上建立了一个较为稳固的概念模型。
数仓模型层说明书
数仓模型层说明书一、简介数据仓库模型层，也称为数仓模型层，是数据仓库架构中的核心组成部分。
它负责将原始数据转化为有组织、有意义的信息，以便进行数据分析和业务决策。
本说明书将详细描述数仓模型层的构成、功能和设计原则。
二、数仓模型层构成数仓模型层通常由以下三个层次构成：1. 物理层：这一层主要负责存储和管理原始数据。
它包括各种数据源（如数据库、数据文件等）和数据存储介质（如硬盘、SSD等）。
2. 逻辑层：这一层是数仓模型的核心，负责将物理层的数据转化为逻辑视图。
它包括数据模型（如星型模型、雪花模型等）和元数据（描述数据的数据）。
3. 应用层：这一层提供数据服务，支持各种数据分析和业务应用。
它包括报表、仪表盘、数据挖掘工具等。
三、数仓模型层功能数仓模型层的主要功能包括：1. 数据整合：将来自不同数据源的数据整合到一个统一的数据仓库中，消除数据冗余和冲突。
2. 数据清洗：对数据进行清洗和转换，确保数据的准确性和一致性。
3. 数据建模：通过建立逻辑模型，将数据组织成有意义的结构，便于分析和查询。
4. 数据安全：提供数据访问控制和安全保障，确保数据的机密性和完整性。
5. 数据服务：提供各种数据服务和应用，支持业务分析和决策。
四、数仓模型层设计原则在进行数仓模型层设计时，应遵循以下原则：1. 面向主题：设计时应以业务需求为导向，将数据按照主题进行组织，如销售、库存等。
2. 层次分明：物理层、逻辑层和应用层应层次分明，避免数据的冗余和冲突。
3. 灵活性：设计时应考虑未来的业务变化和扩展，保持模型的灵活性和可扩展性。
4. 性能优化：通过对数据的合理组织和索引，优化查询性能，提高数据处理效率。
5. 安全性：确保数据的安全性和隐私保护，控制对数据的访问和操作。
6. 标准化：遵循统一的数据标准和规范，保证数据的准确性和一致性。
7. 可维护性：设计时应考虑维护的便利性，降低维护成本。
8. 最佳实践：参考业界最佳实践，不断优化和完善数仓模型层的设计。
UML的数据仓库逻辑建模研究分析
UML的数据仓库逻辑建模研究分析数据仓库逻辑建模是指通过UML（Unified Modeling Language）来对数据仓库系统进行分析和研究的过程。
在这个过程中，我们使用UML的视图、图和图表等工具来描述数据仓库系统的逻辑结构和行为。
首先，我们可以使用UML的用例图来描述数据仓库系统的功能和用户需求。
用例图可以帮助我们识别数据仓库系统的主要功能和主要用户，并定义各个功能之间的关系和交互。
例如，我们可以定义数据仓库系统的主要用例，如数据导入、数据查询、数据分析等，并通过用例之间的关系和依赖来描述它们之间的交互。
接下来，我们可以使用UML的类图来描述数据仓库系统中的实体和类之间的关系和结构。
类图可以帮助我们识别数据仓库系统中的实体、属性和关系，并定义它们之间的依赖和关联。
例如，我们可以定义数据仓库系统的主要实体类，如数据表、维度表、事实表等，并通过类之间的关联和依赖来描述它们之间的关系和结构。
此外，我们还可以使用UML的时序图来描述数据仓库系统中的事件和过程。
时序图可以帮助我们分析数据仓库系统中各个过程之间的时序关系和消息交互。
例如，我们可以通过时序图来描述数据仓库系统的数据导入过程，包括数据的来源、转换和加载等，以及数据查询和分析的过程，包括用户的请求、系统的处理和返回结果等。
最后，我们可以使用UML的活动图来描述数据仓库系统中的工作流程和业务逻辑。
活动图可以帮助我们分析数据仓库系统的业务流程和系统行为，并定义各个活动之间的控制流程和动作。
例如，我们可以通过活动图来描述数据仓库系统的数据清洗过程，包括数据的筛选、清洗和转换等，以及数据分析的过程，包括数据的统计、聚合和挖掘等。
综上所述，通过使用UML的视图、图和图表等工具，我们可以对数据仓库系统进行逻辑建模的研究和分析。
通过这些模型和图表，我们可以更好地理解数据仓库系统的结构和行为，并优化系统的设计和实现。
数据仓库逻辑建模是一个复杂而又关键的过程，它涉及到对数据仓库系统的需求分析、系统结构设计和系统行为分析等方面。
数据仓库建模三模型
数据仓库建模三模型1)三范式(3NF)的原子层+数据集市这样的数据仓库架构最大的倡导者就是数据仓库之父Inmon，而他的企业信息工厂(Corporate Information System)就是典型的代表。
这样的架构也称之为企业数据仓库(Enterprise Data Warehouse，EDW)。
企业信息工厂的实现方式是，首先进行全企业的数据整合，建立企业信息模型，即EDW。
对于各种分析需求再建立相应的数据集市或者探索仓库，其数据来源于EDW。
三范式的原子层给建立OLAP带来一定的复杂性，但是对于建立更复杂的应用，如挖掘仓库、探索仓库提供了更好的支持。
这类架构的建设周期比较长，相应的成本也比较高。
2)星型结构(Star Schema)的原子层+HOLAP星型结构最大的倡导者是Kimall，他的总线架构是该类架构的典型代表。
总线架构实现方式是，首先在数据准备区中建立一致性维度、建立一致性事实的计算方法；其次在一致性维度、一致性事实的基础上逐步建立数据集市。
每次增加数据集市，都会在数据准备区整合一致性维度，并将整合好的一致性维度同步更新到所有的数据集市。
这样，建立的所有数据集市合在一起就是一个整合好的数据仓库。
正是因为总线架构这个可以逐步建立的特点，它的开发周期比其他架构方式的开发周期要短，相应的成本也要低。
在星型结构的原子层上可以直接建立聚集，也可以建立HOLAP。
笔者比较倾向于Kimball的星型结构的原子层架构，在这种架构中的经验也比较多。
3)三范式(3NF)的原子层+ROLAP这样的数据仓库架构也称为集中式架构(Centralized Architecture)，思路是在三范式的原子层上直接建立ROLAP，做的比较出色的就是MicroStrategy。
在三范式的原子层上定义ROLAP比在星型结构的原子层上定义ROLAP要复杂很多。
采用这种架构需要在定义ROLAP是多下些功夫，而且ROLAP的元数据不一定是通用的格式，所以对ROLAP做展现很可能会受到工具的局限。
数据库逻辑模型和物理模型
数据库逻辑模型和物理模型数据库逻辑模型和物理模型数据库中逻辑模型和物理模型是两个不同的概念，它们在数据结构和功能上有着本质的差异，在理解数据库时，需要考虑这两种模型的概念。
一、数据库逻辑模型数据库逻辑模型是一种抽象的数据模型，它将数据表示成实体和实体之间的关系。
它涵盖了数据库所涉及的实体、实体的属性、实体之间的关系以及实体之间的属性联系等概念。
数据库逻辑模型主要有三种：关系模型、网状模型和对象模型。
关系模型是最常用的数据库逻辑模型，它将实体和实体之间的关系视为表格，表格的每一行列出一个实体，每一列列出一个属性，经过关联后形成一张表格。
网状模型视实体和实体之间的关系为网状，它将实体当作点，将实体之间的关系当作边，将实体和实体之间的属性当作节点，将实体的某一特定属性值当作实体节点的值来表示实体，经过关联后形成一个网状结构。
对象模型将实体和实体之间的关系看做是一个对象，它将实体当作对象，实体之间的关系当作对象的属性，实体的某一特定属性值当作对象属性的值，经过关联后形成一个对象结构。
数据库逻辑模型不仅可以用来表示数据库的概念，而且还可以用来提高数据库的可用性和可理解性。
二、数据库物理模型数据库物理模型是一种描述数据库物理结构和存储结构的模型，它将物理存储空间和文件结构等内容进行建模。
常用的数据库物理模型有哈希模型、索引模型、树模型和网状模型等。
哈希模型是一种数据库物理模型的简单形式，它将数据表示成为哈希表，其中每条数据都有一个唯一的地址，每条数据都有一个相应的哈希值，通过哈希函数来定位数据，它可以提高数据库的存取效率。
索引模型是一种考虑空间利用率的物理模型，它将数据表示成索引表，使数据可以通过索引访问，可以提高检索效率。
树模型是一种考虑空间利用率和存取效率的物理模型，它将数据表示成树形结构，以便在查询时可以更快地找到搜索结果。
网状模型用于描述存储空间的物理特性，它将存储空间中的数据表示成网状结构，使得数据能够更有效地存储和检索。
数据仓库中的星型模型设计
数据仓库中的星型模型设计在现代企业中，通过数据分析和预测实现商业决策的重要性越来越受到重视。
在此背景下，数据仓库作为一个储存企业数据，支持分析和决策的重要平台，也十分重要。
而数据仓库的核心，就是数据模型。
在数据仓库中，星型模型是一种常见的建模方式，其灵活性和高效性在实践中被证明。
本文将围绕星型模型的设计进行讨论，包括定义、设计原则、实施过程等方面。
一、星型模型在数据仓库中，模型是指数据的逻辑结构，星型模型是一种建模方式，用来描述数据实体之间的关系。
在星型模型中，中心是事实表（Fact Table），周围是多个维度表（Dimension Table）。
通过将数据的基本单位划分为“事实”和“维度”，并确定它们的关系，可以形成一个高效的、逻辑清晰的数据结构，支持对数据分析和挖掘。
二、星型模型的设计原则在设计星型模型时，应遵循以下原则：1.确定事实在数据仓库中，事实是最基本的数据单位，即数据中记录的特定业务事件。
在设计星型模型时，需要确定主要的事实，以及每个事实与其他数据实体的关系。
2.确定维度维度是描述事实的附加属性，例如时间、地点、产品等。
在设计星型模型时，需确定每个维度，并为每个维度创建相应的表，以便精确地描述该维度的属性。
3.确定关系在星型模型中，事实和维度之间的关系十分重要。
在确定关系时，需要考虑事实表和维度表之间的关系。
例如，如果一个事实表包括销售业务和日期、产品和地点等维度，就需要确保这些维度表都与事实表有正确的关系。
4.处理缺失值在数据仓库中，有些数据可能是缺失的。
对于缺失值，应采取正确的处理策略。
如果一个事实表中有一些值缺失，可以考虑在维度表中添加缺失维度来处理。
5.保持简洁在星型模型的设计过程中，应保持简洁、高效。
为了确保模型的效率和灵活性，需要准确地挑选所需的维度和事实，并最小化表的数量。
三、星型模型的实施过程在实施星型模型时，可以采用以下步骤：1.定义业务需求在开始设计前，需要明确业务需求，确定需要分析的数据以及相关的数据源。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据集市
数据来源 OLTP 系统、外部数据 数据仓库
范围
企业级
部门级或工作组级
主题
企业主题
部门或特殊的分析主题
数据粒度 最细的粒度
较粗的粒度
数据结构 规范化结构（第 3范式）星型模式、雪花模式、或 两者混合
历史数据 大量的历史数据
适度的历史数据
优化
处理海量数据、数据 便于访问和分析、快速查
探索
询
8
一、概念 -3
11
一、概念 -5 ? (5)元数据
? 业务元数据从业务的角度描述了数据仓库中的数据。它提供 了介于使用者和实际系统之间的语义层，使得不懂计算机技 术的业务人员也能够“读懂”数据仓库中的数据。使用者的 业务术语所表达的数据模型、对象名和属性名；访问数据的 原则和数据的来源；系统所提供的分析方法以及公式和报表 的信息。
13
一、概念 -7
? (7)OLAP 及其相关
? OLAP 、维度、事实、度量值 ? 切片、切块、上钻、下钻、旋转 ? 星型模型、雪花模型
14
二、数据仓库实施方法论 -1
? (1)实施流程
?
需求分析
系统设计
系统开发
上线与维护
项目 前期 准备
业务调研(BD)
应用开发
业务 访谈
业务 需求 编写
业务 需求 分析
17
二、数据仓库实施方法论 -3
? (3)逻辑数据模型设计
? 了解业务流程 ? 分析源数据 ? 建立实体模型 ? 建立实体间依赖关系 ? 填写并完善实体属性
18
应用 概要 开发
应用 详细 设计
应用 模型
应用 开发
开发
数
据
挖
掘
服
逻辑 物理 系统
务
信息调研(ID)
数据 模型
数据 体系 ETL 模型 结构 开发
设计 设计 设计
系
元 数 据 管
理
统 软 件 硬 件 设 备 安
系 统 管 理 与 维
护
系 统 测 试 与 验
收
装
项目 结束 回顾
项目管理 (Project Management)
? 数据仓库是面向主题的、集成的、稳定的 (不可更新 )、反映 历史变化（不同时间）的数据集合，用以支持经营管理中的 决策制定过程。 (Inmon,1991)
? 数据集市也可叫做“小数据仓库”。如果说数据仓库是建立 在企业级的数据模型之上的话。那么数据集市就是企业级数 据仓库的一个子集，他主要面向部门级业务，并且只面向某 个特定的主题。数据集市可以在一定程度上缓解访问数据仓 库的瓶颈。
数据 ) 、计算和汇总指标数据。
9
一、概念 -4
? (4)数据加载策略
? 更新(Upsert 、delete/insert) ? 拉链(时间拉链 /自拉链, 历史) ? 追加(直接insert ，防止重复加载先 delete 当天) ? 当前表、历史表、流水表
10
一、概念 -5 ? (5)元数据
? 元数据为访问数据仓库提供了一个信息目录（ information directory ），这个目录全面描述了数据仓库中都有什么数据、 这些数据怎么得到的、和怎么访问这些数据。它是数据仓库 运行和维护的中心，数据仓库服务器利用他来存贮和更新数 据，用户通过他来了解和访问数据。
12
一、概念 -6
? (6)数据粒度
一、概念 -1
? (1)为什么要建设数据仓库?
? 统一数据源 ? 统一数据标准
5
一、概念 -2
? (2) ODS、数据仓库、数据集市
? 操作数据存储 (Operational Data Store) 是一个面向主题的、 集成的、可变的、当前的细节数据集合，用于支持企业对于 即时性的、操作性的、集成的全体信息的需求。常常被作为 数据仓库的过渡，也是数据仓库项目的可选项之一。
? 粒度是指数据仓库的数据单位中保存数据的细化或综合程度 的级别（详细程度 ）。细化程度越高，粒度级就越小；相反， 细化程度越低，粒度级就越大。
? 取决于：数据量大小 、存储设备的容量、查询分析的需要 ? 一定的时间窗内存放细的粒度数据，超过一定的时期，只提
供粗粒度的汇总数据，从而在性能与需求上达到一种平衡。
? (3)ETL
? ETL 是数据抽取（ Extract ）、转换（ Transform ）、清洗 （Cleansing ）、装载（ Load ）的过程。
? 是构建数据仓库的重要一环，用户从数据源抽取出所需的数 据，经过数据清洗 ,最终按照预先定义好的数据仓库模型，将 数据加载到数据仓库中去。
? ETL 主要解决各源数据的异构性和低质量 (标准化、清除噪声
? 元数据：是描述数据仓库内数据的结构和建立方法的数据。 可将其按用途的不同分为两类，技术元数据和商业元数据。
? 技术元数据是数据仓库的设计和管理人员用于开发和日常管 理数据仓库时用的数据。包括：数据源信息；数据转换的描 述；数据仓库内对象和数据结构的定义；数据清理和数据更 新时用的规则；源数据到目标的数据映射；用户访问权限， 数据备份历史记录，数据导入历史记录，信息发布历史记录 等。
6
一、概念 -2
? ODS与数据仓库
? 共同点：面向主题的和集成的，需要进行转换、加工处理 ? 区别：主要体现数据的可变性和当前性上
ODS 实时的、可动态刷新的 当前运行系统的数据
明细数据
数据仓库 非实时的、静态的
除了保存当前数据，还需 要保存大量的历史数据 保存明细和汇总数据
7
一、概念 -2
数据仓库
15
二、数据仓库实施方法论 -2
? (2)信息调研
? 源系统调研 ? 数据源分析 ? 数据质量分析 ? 数据缺口分析 ? 数据更新周期及更新方式分析 ? 用户需求分析
内部培训 源系统介绍 数据字典整理 样本数据分析 表级和字段级分析
16
二、数据仓库实施方法论 -3
? (3)逻辑数据模型设计
? 基于概念数据模型 (CDM) ? 由一系列表和实体详细描述组成 ? 通用的业务语言 ? 便于业务与业务之间的功能理解 ? 集成当前和未来数据的蓝图 ? 独立于技术 ? 为物理数据库设计作准备 ? 是IT人员和业务人员沟通的工具
数据仓库逻辑模型介绍
数据仓库逻辑模型介绍
Tony 2010-3-15
内容
? 相关概念介绍 ? 数据仓库实施方法论 ? LDM介绍 ? 学习经验分享
2
一、概念 -1
? (1)为什么要建设数据仓库?
? 蜘蛛网问题
? 数据缺乏可信性 ? 数据处理效率低下 ? 难以将数据转化为信息
3
图1 蜘蛛网现象 4