数据仓库建模方法论 2018-3-29
数据仓库建模详解和建模技巧
一、构建企业级数据仓库五步法(一)、确定主题即确定数据分析或前端展现的主题。
例如：我们希望分析某年某月某一地区的啤酒销售情况，这就是一个主题。
主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系，确定主题时要综合考虑。
我们可以形象的将一个主题想象为一颗星星：统计数值型数据(量度)存在于星星中间的事实表;分析角度(维度)是星星的各个角;我们将通过维度的组合，来考察量度。
那么，“某年某月某一地区的啤酒销售情况”这样一个主题，就要求我们通过时间和地区两个维度的组合，来考察销售情况这个量度。
从而，不同的主题来源于数据仓库中的不同子集，我们可以称之为数据集市。
数据集市体现了数据仓库某一方面的信息，多个数据集市构成了数据仓库。
(二)、确定量度在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额之类。
它们一般为数值型数据。
我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。
量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。
(三)、确定事实数据粒度在确定了量度之后，我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况。
考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小。
例如：假设目前的数据最小记录到秒，即数据库中记录了每一秒的交易额。
那么，如果我们可以确认，在将来的分析需求中，时间只需要精确到天就可以的话，我们就可以在ETL处理过程中，按天来汇总数据，此时，数据仓库中量度的粒度就是“天”;反过来，如果我们不能确认将来的分析需求在时间上是否需要精确到秒，那么，我们就需要遵循“最小粒度原则”，在数据仓库的事实表中保留每一秒的数据，以便日后对“秒”进行分析。
在采用“最小粒度原则”的同时，我们不必担心海量数据所带来的汇总分析效率问题，因为在后续建立多维分析模型(CUBE)的时候，我们会对数据提前进行汇总，从而保障产生分析结果的效率。
数据仓库建模教程
Oracle Warehouse Builder 10gOracle Warehouse Builder 10g是一种用来设计和部署商务智能应用程序、数据仓库和数据集市的工具。
用户可以利用 Warehouse Builder 从始至终设计他们自己的商务智能应用程序。
维设计、ETL 过程设计、从不同的数据源系统进行提取、广泛的元数据报表以及与Oracle Discoverer、Oracle Workflow 和 Oracle 企业管理器集成，这些特性提供了一个以Warehouse Builder 为核心的集成的商务智能解决方案。
建立商务智能系统的模型Oracle Warehouse Builder 不仅仅是一个 ETL（提取、转换、加载）工具，还可以帮助用户设计他们的ETL 过程、目标仓库、中间存储区域和最终用户访问层。
任何商务智能解决方案中的主要组件均包含商务智能系统进行报告所依据的数据源系统。
Warehouse builder 为开发人员提供了一种轻松的、向导驱动的方式来获取数据源系统的元数据。
可以通过读取数据字典或 Oracle Designer 信息库来捕获元数据，同时还支持行业标准的通用仓库元模型 (CWM) 定义。
Warehouse Builder 10g引入了一个合作伙伴解决方案，它支持由第三方供应商（如 CA Erwin、PowerDesigner 和 Business Objects）提供的 40 多个元数据文件。
在捕获该信息后，开发人员可以使用数据源的元数据表示来建立提取过程的模型。
所支持的数据源系统包括：q Oracle 数据库q平面文件q SAP R/3q DB2、Sybase、Informix、SQL Server 以及其他文件（通过 Oracle 透明网关）q ODBCq主机Warehouse Builder 还能够检测这些数据源中的更改，并根据最新发现的信息来更新它的信息库。
数据仓库建模
数据仓库建模数据仓库建模是指根据业务需求和数据特点，将原始数据转化为适合数据仓库存储和查询的结构化数据模型的过程。
通过数据仓库建模，可以实现数据的高效存储、快速查询和灵活分析，为企业决策提供可靠的数据支持。
数据仓库建模的标准格式文本如下：一、背景介绍数据仓库是一个用于集成、存储和管理企业各类数据的系统，它将来自不同业务系统的数据进行整合，提供一致、准确、可信的数据供应给企业决策层。
数据仓库建模是数据仓库构建的基础，通过对数据进行逻辑建模和物理建模，实现对数据的整合和优化。
二、数据仓库建模的目标1. 数据整合：将来自不同业务系统的数据进行整合，消除数据冗余和不一致性，确保数据的一致性和准确性。
2. 数据优化：通过适当的数据结构设计和索引优化，提高数据仓库的查询性能，加快数据检索速度。
3. 数据可扩展性：设计灵活的数据模型，支持数据仓库的扩展和变化，满足企业日益增长的数据需求。
4. 数据可理解性：通过合理的命名规范和注释，使数据模型易于理解和维护，减少数据仓库的维护成本。
三、数据仓库建模的过程1. 需求分析：明确业务需求，了解数据来源和数据质量要求，确定数据仓库的范围和目标。
2. 逻辑建模：根据需求分析，进行概念设计，建立逻辑数据模型，包括实体、属性、关系等，以及定义业务规则和约束。
3. 物理建模：将逻辑模型转化为物理模型，确定数据表的结构、字段、数据类型、索引等，进行性能优化和存储空间规划。
4. 数据抽取和转换：根据数据源的不同格式和结构，进行数据抽取、清洗和转换，将数据导入数据仓库。
5. 数据加载和刷新：将清洗和转换后的数据加载到数据仓库中，并定期进行数据刷新和更新，确保数据的实时性和准确性。
6. 数据查询和分析：通过数据仓库中的数据模型，进行复杂的查询和分析操作，生成报表和可视化图表，为企业决策提供支持。
四、数据仓库建模的最佳实践1. 选择合适的建模方法：根据企业业务需求和数据特点，选择合适的建模方法，如维度建模、星型模型、雪花模型等。
数仓建设方法论
数仓建设方法论随着大数据时代的到来，数据成为企业发展的重要资源。
为了更好地利用和管理数据，数仓建设成为企业信息化建设的重要环节。
数仓建设方法论是指在数仓建设过程中所采用的一系列方法和原则，旨在帮助企业高效、有序地构建数据仓库，实现数据价值最大化。
一、需求分析阶段在数仓建设的初期阶段，需求分析是关键的一步。
通过与业务部门的沟通和理解，明确企业的业务需求和数据需求，确定数仓的建设目标和规划。
在需求分析阶段，应注重以下几点：1. 充分了解业务需求：与业务部门进行深入交流，了解业务流程、数据来源和数据需求，明确业务指标和分析要求。
2. 定义数据模型：根据业务需求和数据特点，设计合适的数据模型，包括维度模型和事实模型。
数据模型的设计应符合规范，保证数据的准确性和一致性。
3. 制定数据采集计划：根据数据来源和数据质量要求，制定数据采集计划，明确数据的提取、清洗和转换等步骤，确保数据的完整性和可用性。
二、数据建模阶段数据建模是数仓建设的核心环节，它是将业务需求转化为数据模型的过程。
在数据建模阶段，应注意以下几点：1. 建立维度模型：根据需求分析阶段定义的数据模型，建立维度模型，包括维度表和事实表。
维度模型的设计应具有层次清晰、灵活性强的特点，方便后续的数据分析和查询。
2. 选择合适的ETL工具：ETL（Extract-Transform-Load）是将数据从源系统抽取、清洗和加载到数仓中的过程。
在选择ETL工具时，应根据数据量、数据质量和业务需求等因素进行评估，选择适合的工具。
3. 设计数据质量控制策略：数据质量是数仓建设的关键问题，对数据的准确性和一致性要求较高。
因此，在数据建模阶段应设计数据质量控制策略，包括数据清洗、数据校验和数据修复等措施，确保数据质量达到要求。
三、数据加载和存储阶段在数据建模完成后，需要将清洗好的数据加载到数仓中，并选择合适的存储方式进行数据存储。
在数据加载和存储阶段，应注意以下几点：1. 选择合适的存储方式：根据数据量、查询性能和成本等因素，选择合适的存储方式，包括关系型数据库、列式数据库和分布式存储等。
数据仓库设计与建模的流程与方法
数据仓库设计与建模的流程与方法数据仓库是一个用于集中存储、管理和分析企业中各类数据的系统。
它旨在帮助企业更好地理解和利用自己的数据资源，支持决策和战略制定。
数据仓库的设计与建模是数据仓库开发的关键步骤之一。
本文将介绍数据仓库设计与建模的流程与方法。
数据仓库设计与建模流程数据仓库设计与建模是一个迭代的过程，包括以下主要步骤：1.需求收集和分析在数据仓库设计与建模之前，首先需要与业务用户和决策者进行充分的沟通和需求收集。
了解用户的需求和业务流程对于数据仓库的设计和建模至关重要。
通过与用户的交流，收集到的需求可以被细化和明确以指导后续的工作。
2.数据源选择和数据抽取确定需要从哪些数据源抽取数据，并选择合适的数据抽取工具或技术。
根据需求收集和分析的结果，进行数据抽取和转换，将源系统的数据导入到数据仓库中。
这个步骤是数据仓库设计与建模中的重要部分，关系到数据质量和数据一致性。
3.物理数据模型设计在物理数据模型设计阶段，将逻辑数据模型转化为物理数据模型。
物理数据模型设计包括确定表、字段、索引、分区等物理数据库对象的详细定义。
需要考虑到性能和存储方面的因素，并根据数据仓库的查询需求进行优化设计。
4.维度建模维度建模是数据仓库设计与建模的核心技术之一。
它通过标识和定义业务过程中的关键业务概念，如事实表、维度表和维度属性，来描述业务应用中的事实和维度关系。
维度建模的目标是提供用户友好的数据表示，支持灵活且高效的数据查询和分析。
5.粒度定义和聚合设计决定数据仓库的数据粒度是数据仓库设计与建模的一个重要决策。
粗粒度数据更适合用于高层次的分析和决策，而细粒度数据则支持更详细的数据分析。
聚合设计是为了提高数据仓库的性能和查询响应时间而进行的，它通过预计算和存储汇总数据来减少复杂查询的计算量。
6.元数据管理元数据是指描述数据的数据，是数据仓库设计与建模过程中不可忽视的一部分。
元数据管理包括收集、维护和管理数据仓库中的元数据信息，为数据仓库开发、运维和使用提供支持。
数据仓库建模
数据仓库建模引言概述：数据仓库建模是指在数据仓库设计和构建过程中，对数据进行组织、整理和优化，以便于数据分析和决策支持。
数据仓库建模的目标是提供一个统一、一致、可靠的数据源，帮助企业进行全面的数据分析和决策。
正文内容：一、数据仓库建模的基本概念1.1 数据仓库数据仓库是指将来自不同数据源、不同业务系统的数据进行集成、整理和存储的一个中心化的数据存储库。
数据仓库具有面向主题、集成性、稳定性和可查询性等特点，可以支持企业的决策分析需求。
1.2 数据仓库建模数据仓库建模是指对数据仓库中的数据进行组织和优化的过程。
它包括对数据进行抽取、转换和加载（ETL），以及对数据进行维度建模和事实建模等步骤。
数据仓库建模的目标是提供一个可靠、高效的数据结构，以支持数据仓库的查询和分析。
1.3 维度建模和事实建模维度建模是指对数据仓库中的维度进行建模和设计。
维度是描述业务过程的属性，如时间、地点、产品等。
维度建模通过定义维度表和维度属性，将维度的层次结构和关系进行建模，以支持多维分析和查询。
事实建模是指对数据仓库中的事实进行建模和设计。
事实是描述业务过程中的事件或度量，如销售额、库存量等。
事实建模通过定义事实表和事实属性，将事实的度量和关系进行建模，以支持数据仓库的查询和分析。
二、数据仓库建模的步骤2.1 数据需求分析在数据仓库建模过程中，首先需要进行数据需求分析，明确业务用户的数据分析和查询需求。
通过与业务用户的沟通和需求调研，确定数据仓库的主题域和维度、事实的粒度，以及数据仓库的查询和分析要求。
2.2 ETL过程ETL（抽取、转换和加载）是数据仓库建模的重要步骤。
在ETL过程中，需要从不同的数据源中抽取数据，并进行数据清洗、转换和集成，以满足数据仓库的数据质量和一致性要求。
最后，将经过处理的数据加载到数据仓库中。
2.3 维度建模维度建模是数据仓库建模的核心环节。
在维度建模过程中，需要定义维度表和维度属性，并建立维度之间的关系和层次结构。
数据仓库建模
数据仓库建模数据仓库建模是指将企业的各类数据按照一定的规则和结构进行整理和组织，以便于数据分析和决策支持。
在数据仓库建模过程中，需要进行数据抽取、转换和加载（ETL），以及数据模型设计和数据集成等步骤。
数据仓库建模的标准格式文本可以按照以下内容编写：一、背景介绍数据仓库建模是为了满足企业对大规模数据分析和决策支持的需求而进行的一项重要工作。
通过将企业的各类数据整合到一个统一的数据仓库中，并按照一定的结构和规则进行建模，可以提供给企业更加准确和全面的数据分析和决策支持。
二、数据仓库建模的目标1. 数据整合：将企业各个部门和业务系统中的数据整合到一个统一的数据仓库中，消除数据孤岛，实现数据的一致性和准确性。
2. 数据分析：通过建立合理的数据模型，对数据进行分析，发现数据中的潜在规律和关联，为企业决策提供有力的支持。
3. 决策支持：基于数据仓库建模的结果，为企业提供准确和及时的决策支持，帮助企业优化业务流程和提升竞争力。
三、数据仓库建模的步骤1. 数据抽取、转换和加载（ETL）：从各个数据源中抽取数据，并进行清洗、转换和加载到数据仓库中。
这一步骤包括数据清洗、数据转换和数据加载三个环节，确保数据的质量和完整性。
2. 数据模型设计：根据企业的业务需求和数据特点，设计合适的数据模型。
常用的数据模型包括星型模型、雪花模型和事实表/维度表模型等。
在设计数据模型时，需要考虑数据的粒度、维度和度量等因素。
3. 数据集成：将不同数据源中的数据进行集成，消除数据冗余和不一致性。
通过数据集成，可以实现数据的一致性和准确性，提高数据分析的效果。
4. 数据质量管理：对数据进行质量管理，包括数据清洗、数据验证和数据监控等。
通过数据质量管理，可以提高数据的准确性和可信度。
四、数据仓库建模的关键技术1. 数据建模：根据业务需求和数据特点，选择合适的数据模型进行建模。
常用的数据模型包括星型模型、雪花模型和事实表/维度表模型等。
2. 数据抽取、转换和加载（ETL）：通过ETL工具实现数据的抽取、转换和加载，确保数据的质量和完整性。
数据仓库建模
数据仓库建模数据仓库建模是指在数据仓库设计和构建过程中，对数据进行组织、整合和转换的过程。
通过数据仓库建模，可以将来自不同数据源的数据整合到一个统一的数据模型中，为企业决策提供准确、一致和可靠的数据支持。
数据仓库建模的标准格式文本如下：一、背景介绍数据仓库是一个面向主题的、集成的、稳定的、随时间变化的数据集合，用于支持企业决策。
数据仓库建模是数据仓库构建的重要环节，通过对数据进行组织和整合，构建出适合企业需求的数据模型，为数据分析和决策提供基础。
二、数据仓库建模的目标1. 数据一致性：通过数据仓库建模，将来自不同数据源的数据进行整合和转换，保证数据在仓库中的一致性，避免数据冗余和数据不一致的问题。
2. 数据可靠性：建立合理的数据模型，确保数据的准确性和可靠性，提高数据分析和决策的可信度。
3. 数据可用性：为企业用户提供易于使用和理解的数据模型，使其能够方便地进行数据分析和查询，支持决策需求。
4. 数据扩展性：设计灵活的数据模型，支持数据的扩展和变化，适应企业发展和需求变化的要求。
三、数据仓库建模的步骤1. 需求分析：明确企业的决策需求，确定数据仓库的主题和范围，收集相关业务规则和数据要求。
2. 数据源分析：对企业现有的数据源进行分析，了解数据的结构、格式和质量，确定需要整合的数据源。
3. 数据建模：根据需求分析的结果和数据源分析的结果，设计数据仓库的逻辑模型，包括维度模型和事实模型。
- 维度模型：定义业务主题的维度和层次结构，描述业务事实的上下文和关系。
- 事实模型：定义业务事实的度量和度量的粒度，描述业务事实的详细信息。
4. 数据抽取和转换：根据数据建模的结果，设计数据抽取和转换的流程，将数据从源系统抽取到数据仓库，并进行清洗、转换和整合。
5. 数据加载和维护：将经过抽取和转换的数据加载到数据仓库中，建立数据仓库的物理模型，定期维护和更新数据。
6. 数据查询和分析：为用户提供数据查询和分析的接口和工具，支持用户对数据仓库中的数据进行灵活的查询和分析。
数据仓库建模方法
数据仓库建模方法每个行业有自己的模型，但是不同行业的数据模型，在数据建模的方法上，却都有着共通的基本特点。
什么是数据模型数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。
在这里，数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体的业务关系。
数据仓库模型是数据模型中针对特定的数据仓库应用系统的一种特定的数据模型，一般的来说，我们数据仓库模型分为几下几个层次。
图 2. 数据仓库模型通过上面的图形，我们能够很容易的看出在整个数据仓库得建模过程中，我们需要经历一般四个过程： ?业务建模，生成业务模型，主要解决业务层面的分解和程序化。
?领域建模，生成领域模型，主要是对业务模型进行抽象处理，生成领域概念模型。
?逻辑建模，生成逻辑模型，主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。
?物理建模，生成物理模型，主要解决，逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。
因此，在整个数据仓库的模型的设计和架构中，既涉及到业务知识，也涉及到了具体的技术，我们既需要了解丰富的行业经验，同时，也需要一定的信息技术来帮助我们实现我们的数据模型，最重要的是，我们还需要一个非常适用的方法论，来指导我们自己针对我们的业务进行抽象，处理，生成各个阶段的模型。
为什么需要数据模型在数据仓库的建设中，我们一再强调需要数据模型，那么数据模型究竟为什么这么重要呢？首先我们需要了解整个数据仓库的建设的发展史。
数据仓库的发展大致经历了这样的三个过程：?简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，?以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。
这个阶段的大部分表现形式为数据库和前端报表工具。
?数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现，能够提供对特定业务指导的数据，并且能够提供特定的领导决策数据。
数据仓库的建模方法
数据仓库的建模方法
数据仓库的建模方法一般可以分为以下几种：
1. 维度建模：维度建模是一种基于维度模型的建模方法。
它以事实表和维度表为核心，通过定义维度和事实之间的关系来描述数据仓库中的数据。
维度建模的优点是简单直观，易于理解和使用，适合一些小到中等规模的数据仓库。
2. 基于实体关系模型的建模方法：这种建模方法将数据仓库建模看作是一个基于实体关系模型的数据库设计问题。
它使用实体、关系和属性等概念来描述数据仓库中的数据，通过规范化、反规范化等技术来优化数据模型。
这种建模方法适用于复杂的数据仓库，具有很强的灵活性和扩展性。
3. 模式化设计方法：模式化设计是一种基于模式的建模方法，它将数据仓库中的数据分为不同的模式或层次，每个模式或层次都有特定的功能和目的。
模式化设计方法可以使数据仓库更加灵活和可扩展，能够更好地满足用户的需求。
4. 主题建模：主题建模是将数据仓库建模看作是一种主题导向的建模方法。
它以业务主题为核心，将数据仓库中的数据组织成一系列的主题模型，每个主题模型都包含与该主题相关的事实和维度。
主题建模的优点是能够更好地满足用户的查询需求，提供更准确、可理解和可用的数据。
不同的建模方法适用于不同的情况和需求，选择合适的建模方法对于数据仓库的
成功实施和运营非常重要。
数据仓库建模方法
数据仓库建模方法数据仓库建模方法是为了满足企业对大量数据的分析和决策需求而设计的一种数据架构。
数据仓库建模方法包括了维度建模和实体关系建模两种主要方法。
本文将详细介绍这两种建模方法的特点和优势。
维度建模是一种面向主题的建模方法，它将业务问题划分为不同的主题，并通过维度表和事实表来描述和表达这些主题。
维度表是描述业务过程的属性，例如时间、地点、产品等，而事实表则是记录与这些维度相关的数值型数据。
维度建模的主要特点是简单、直观且易于理解，能够提供非常灵活和高效的数据分析能力。
此外，维度建模还可实现多维数据分析，应对复杂和多级层次的业务需求。
在维度建模中，事实表和维度表之间通过主键、外键和关联关系进行连接。
维度表用于描述和分析事实表中的数据，维度表之间可以形成维度层次结构。
通过层次结构，用户可以从高层次的概念逐渐细化到低层次的细节，以满足不同的数据分析需求。
同时，维度建模还支持多维分析的功能，用户可以根据不同的维度来进行数据切片、钻取、旋转和透视等操作，以发现数据之间的关联和趋势。
相比之下，实体关系建模是一种面向过程的建模方法，它采用实体和关系来描述和表达业务过程。
实体关系建模将业务过程划分为不同的实体和关系，通过实体之间的关系来描述业务过程的逻辑顺序和依赖关系。
实体关系建模的主要特点是严谨、规范和结构化，能够满足复杂和具体的业务需求。
该方法适用于业务过程较为复杂、涉及多个环节和多个实体的场景。
在实体关系建模中，实体表示业务过程中的具体对象，实体之间通过关系描述它们之间的联系。
关系包括一对一、一对多和多对多三种类型。
通过实体和关系的组合，可以构建一个完整的数据模型，从而在数据仓库中实现具体的业务过程。
实体关系建模相对于维度建模更加直接和具体，用户可以根据实体和关系进行数据分析和决策。
虽然维度建模和实体关系建模有不同的特点和优势，但在实际应用中，两种方法常常结合使用。
在数据仓库中，可以采用维度建模来描述和分析主题和维度之间的关系，同时使用实体关系建模来描述和规划业务过程之间的关系。
数据仓库建模方法与工具的比较分析
数据仓库建模方法与工具的比较分析数据仓库是企业中存储大量数据、支持数据分析和决策的重要组成部分。
为了构建一个高效的数据仓库，数据建模方法和工具的选择至关重要。
不同的方法和工具具有不同的特点和功能，本文将对几种常见的数据仓库建模方法和工具进行比较分析。
一、建模方法比较分析1. 维度建模：维度建模是一种常见且常用的数据仓库建模方法。
它通过将数据组织为事实表和维度表的形式，以明确定义数据的度量和上下文。
维度建模简单直观，易于理解和使用，适用于大多数数据仓库场景。
同时，由于维度建模遵循星型或雪花模式的结构，查询性能较高，适用于在线分析处理（OLAP）。
2. 实体关系建模：实体关系建模是一种传统的数据库建模方法，也可以应用于数据仓库建模。
它通过标识实体和定义实体之间的关系来描述数据，并使用E-R图进行可视化。
实体关系建模具有严谨的定义，能够完整地表示不同实体和关系之间的结构和约束。
然而，实体关系建模难以处理多对多关系和大型数据集，对数据仓库建模的复杂度和可维护性要求较高。
3. 模式设计建模：模式设计建模是一种面向对象的数据建模方法，适合复杂的数据仓库场景。
它以概念上的类和类之间的继承、关联关系来组织数据，并使用类图进行可视化。
模式设计建模具有高度灵活性和可扩展性，能够处理复杂的数据关系和多层次的数据组织结构。
然而，模式设计建模的学习曲线较陡峭，对于非技术人员而言可能较为复杂。
二、工具比较分析1. PowerDesigner：PowerDesigner是一款全面的数据建模和架构设计工具。
它支持多种建模方法，包括维度建模、实体关系建模和模式设计建模等，能够满足不同数据仓库建模需求。
PowerDesigner提供了直观的用户界面和强大的功能，可以帮助用户进行数据建模、数据分析和数据管理等工作。
但是，PowerDesigner的学习和使用成本相对较高。
2. ER/Studio：ER/Studio是一款专业的实体关系建模工具，被广泛应用于数据仓库建模领域。
数据仓库建模方法论PPT课件( 48页)
多的数据，重建将会带来严重后果
理且快速地进行重建
灵活性
多维设计是很多业务过程聚集在一起的结果。当 处理请求发生变化时，多维数据库的设计未必能 够适度地变化。
数据仓库模型存放数据粒度级别为原子级别，原子级别可以任意组合。故可以支持将来未 知需求。
复杂性
数据集市模型易于业务人员理解。可以很容易构 建数据集市，然而，当一个一个地建立数据集市 时，由于数据的企业视图的复杂性，对于这种结 构，完成更新时相当复杂的。
易失性
聚集数据集市：当业务过程发生变化，为了消除 数据仓库模型是与过程无关的，它摒弃了由于处理过程影响而带来的变化
或减少对事实表重建，需要增加新的维或改变维。 数据仓库模型的设计依赖于企业的业务规则，而不依赖与在其上将运行什么查询。
原子数据集市：由于事实表可能包含几亿甚至更 如果一个已经建好的数据集市需要改变或加强，可以根据存储在数据仓库中的细节数据合
法》
Bill Inmon
数据仓库之父，数据仓库概念的创始人 理论： Corporate Information Factory(CIF) 主要著作：《数据仓库》、《企业信息工厂》
企业数据仓库EDW
企业数据仓库定义：
数据仓库中的细节数据是与处理过程无关的，因此数据仓库的数据模型使得数据不一致的 风险最小。
功能性
为多维处理提供了理想环境，切片和切块、上钻 和下钻等查询提供良好的性能
持续维护
支持数据挖掘、统计分析和即席查询
总体目标是防止由于环境的后续构建、调整和优化而产生的高昂的代价。一个良好的数据 仓库模型将为企业提供长久的服务，将提供如下回报： 整个环境端到端一致性和集成性 易于建立新的数据集市 加强现有数据集市 数据仓库和有关数据集市的维护和可持续发展
数据仓库建设方法论
数据仓库建设方法论数据仓库建设方法论是指在建设数据仓库时所遵循的一系列方法和规范，它是数据仓库建设过程中的重要指导原则。
数据仓库建设的目的是将企业中分散的数据集成到一个统一的、易于分析的数据仓库中，从而为企业决策和业务发展提供有力支撑。
如何有效地建设数据仓库，提高数据质量和数据分析效率是每个企业都需要思考和解决的问题。
下面是数据仓库建设方法论的几个要点：1.需求分析：数据仓库建设的第一步是明确业务部门对数据仓库的需求，包括数据种类、数据来源、数据处理方式等。
在需求分析阶段，需要与业务部门进行沟通，确保数据仓库能够满足业务需求。
2.数据建模：数据建模是数据仓库建设的核心环节，它涉及到数据仓库的结构设计和数据抽取、转换和加载（ETL）过程中的数据映射。
在数据建模阶段，需要根据需求分析的结果，设计数据仓库的物理模型和逻辑模型，确定数据仓库中的事实表和维度表，并将业务数据进行适当的转换，以便更好地服务于企业的业务需求。
3.数据抽取和转换：数据抽取和转换（ETL）是数据仓库建设中的重要环节，它负责将数据从各个业务系统中提取出来，并按照数据模型的设计进行转换和加载。
在ETL过程中，需要考虑数据的质量和完整性，并采取适当的转换策略，以确保数据仓库中的数据是准确、完整、一致的。
4.数据质量管理：数据质量管理是数据仓库建设中的重要环节，它负责确保数据仓库中的数据质量。
在数据质量管理过程中，需要对数据进行清洗、去重、校验、修复等处理操作，以提高数据的准确性和完整性。
同时也需要确保数据仓库中的数据与业务实际情况相符合。
5.数据安全管理：数据安全管理是数据仓库建设中不可忽略的环节，它负责确保数据的安全性。
在数据安全管理过程中，需要采取相应的措施，包括数据加密、访问控制、数据备份等，以确保数据仓库中的数据不受损失和泄露。
综上所述，数据仓库建设方法论是数据仓库建设过程中的重要指导原则，它涉及到需求分析、数据建模、数据抽取和转换、数据质量管理和数据安全管理等方面。
论数据仓库建模与设计方法
论数据仓库建模与设计方法数据仓库建模与设计方法是数据仓库项目中至关重要的环节，其决定了数据仓库在后续业务应用中的使用效果。
本文将就数据仓库建模与设计方法进行探讨。
一、需求分析在数据仓库建模与设计的初期，需求分析是一个不可或缺的环节。
数据仓库设计的目的是为用户提供决策支持，因此，需求分析就是从业务角度出发，确定业务数模型，明确用户的需求。
需求分析需要清晰的业务数据处理流程和决策场景，为数据仓库镜像出业务相关的核心模型，将原先复杂业务流程化繁为简，便于数据仓库设计规划：1.业务领域的梳理：需要对业务领域进行详细分析，找出所有关联的业务数据对象，对数据元素和数据关系进行定义，构建出业务对象模型。
2.建立数据仓库生成流程图：从整个业务流程入手，对业务流程进行剖析，严格模拟系统输出，使数据仓库模型与业务流程相对照，真实且准确反映业务过程。
3.需求文档：从操作人员的操作与数据入口出发，对所有数据和数据元素进行全面梳理，避免重复，标准化处理，完备需求文档同时具让开发人员明确的功能列表，静态数据结构和非静态数据结构等。
二、数据模型设计数据仓库的设计依赖于数据模型，数据模型就是对实际对象的数据表示方式的抽象。
因此，数据模型设计是数据仓库设计的核心，是数据仓库设计的重要内容。
在数据仓库设计中，数据模型设计的目标是将现实世界的数据抽象成为易于使用和管理的一种数据结构。
具体设计中，分为以下几个方面：1.业务对象的定义：业务对象中的数据元素包含了业务对象中所有的数据元素。
在建立业务对象模型的同时，就确定了业务数据元素和其之间的关系，这对于后续的数据仓库建模具有重要意义。
2.数据仓库结构：一种良好的数据仓库结构设计要充分考虑数据的组织和分布特点，同时需要涵盖整个数据仓库，包括数据仓库提供的各种应用需求和数据交互规则等。
3.数据对应性：数据仓库的设计必须要根据数据仓库在企业业务中所扮演的角色，对各种数据类型进行规范的对应，从而达到后续的规范化开发。
数据仓库建模方法论
>不针对特定应用（Application neutral）
>无冗余（Non redundant）
>用于报表和决策支持（Reporting and decision making）
最详细的数据和信息（Detailed Data）
确定范围
通过形象地表达主题域和他们的业务规则，我们能够更容易地识别出将要分析的模型的范围。
指引方向
主题域模型能够提供全景视图，可以帮助我们确定：计划中的应用程序和现有的应用程序将怎样共存。下一步，企业将需要什么样新功能。主题域模型提供方向和指南。
建立对业务的高层次理解，为逻辑数据分析和建模打下基础
性能好，响应速度快
数据转载计算速度快
数据转载速度慢
存储空间耗费小，维数没有限制
需要进行预计算，可能导致数据爆炸，
维数有限，无法支持维的动态变化
借助rdbms对数据存储，无文件大小限
制
受操作系统平台文件大小限制，难以达
到tb级
可以通过sql语句实现详细数据和概要数
缺乏数据模型和数据访问的标准
据的存储
不支持预计算的读写操作
债券投资
公司信贷
汇总层
Enterprise Date Warehouse
ODS
第十七页，共46页。
数据挖掘
模型
风
险
计
量
结
果
返
回
O
DS
风险数据集市建设目标
第十八页，共46页。
主题
数据仓库概念
数据仓库模型
逻辑数据模型
数据模型标准化工艺流程
数据仓库建模方法论 2018-3-29
数据仓库建模方法论通过上一篇数据仓库建设的全局概览，我们认识了数据仓库，也明确了数据建模在仓库建设中的核心地位，数据仓库模型是整个大厦的基石，也是个难点。
1什么是数据模型数据模型是抽象描述现实世界的一种方法，是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射。
数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。
由下图四部分内容组成：●业务建模，主要解决业务层面的分解和程序化。
●领域建模，主要对业务模型进行抽象处理，生成领域概念模型。
●逻辑建模，主要将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。
●物理建模，主要解决逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。
2数据仓库数据模型架构数据仓库模型由五部分组成，如下图：系统记录域：数据仓库业务数据存储区，模型保证了数据的一致性。
（继续使用Oracle？）内部管理域：也就是元数据模型的存储管理。
（工具待定）汇总域：系统记录域的汇总数据，数据模型保证的主题分析的性能，满足部分报表查询。
分析域：用于各个业务部分的具体的主题分析。
也就是数据集市。
反馈域：针对前端反馈的数据，根据业务需求而定。
3数据模型的作用●进行全面的业务梳理，改进业务流程。
●建立全方位的数据视角，打通信息孤岛，去除数据差异。
●解决业务的变动，提高数据仓库灵活性。
●帮助数据仓库系统本身的建设。
4如何创建数据仓库模型4.1数据仓库建模四个阶段4.1.1业务建模●划分整个企业的业务，一般按部门划分，进行各个部分之间业务工作的界定，理清各业务部门之间的关系。
●深入了解各业务部门工作流程的方法。
●提出修改和改进业务部门工作流程的方法。
●数据建模的范围界定，确定数据仓库项目的目标和阶段划分。
4.1.2领域概念建模●抽取关键业务概念，并抽象化。
●将业务概念分组，按业务主线聚合类似的分组概念。
●细化分组概述，理清分组概念内的精力流程并抽象化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据仓库建模方法论通过上一篇数据仓库建设的全局概览，我们认识了数据仓库，也明确了数据建模在仓库建设中的核心地位，数据仓库模型是整个大厦的基石，也是个难点。
1什么是数据模型数据模型是抽象描述现实世界的一种方法，是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射。
数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。
由下图四部分内容组成：●业务建模，主要解决业务层面的分解和程序化。
●领域建模，主要对业务模型进行抽象处理，生成领域概念模型。
●逻辑建模，主要将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。
●物理建模，主要解决逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。
2数据仓库数据模型架构数据仓库模型由五部分组成，如下图：系统记录域：数据仓库业务数据存储区，模型保证了数据的一致性。
（继续使用Oracle？）内部管理域：也就是元数据模型的存储管理。
（工具待定）汇总域：系统记录域的汇总数据，数据模型保证的主题分析的性能，满足部分报表查询。
分析域：用于各个业务部分的具体的主题分析。
也就是数据集市。
反馈域：针对前端反馈的数据，根据业务需求而定。
3数据模型的作用●进行全面的业务梳理，改进业务流程。
●建立全方位的数据视角，打通信息孤岛，去除数据差异。
●解决业务的变动，提高数据仓库灵活性。
●帮助数据仓库系统本身的建设。
4如何创建数据仓库模型4.1数据仓库建模四个阶段4.1.1业务建模●划分整个企业的业务，一般按部门划分，进行各个部分之间业务工作的界定，理清各业务部门之间的关系。
●深入了解各业务部门工作流程的方法。
●提出修改和改进业务部门工作流程的方法。
●数据建模的范围界定，确定数据仓库项目的目标和阶段划分。
4.1.2领域概念建模●抽取关键业务概念，并抽象化。
●将业务概念分组，按业务主线聚合类似的分组概念。
●细化分组概述，理清分组概念内的精力流程并抽象化。
●理清分组概念之间的关联，形成完整的领域概念模型。
4.1.3逻辑建模业务概念实体化、事实实体化、说明实体化，并考虑其属性内容。
4.1.4物理建模●针对特定物理平台做出相应的技术调整●针对模型的性能考虑，结合特定平台做出相应调整●生成执行脚本，并完善。
4.2数据仓库建模的方法数据仓库建模方法种类较多，常见的三种是范式建模、维度建模、实体建模，每种方法本质上都是从不同的角度解决业务中的问题。
4.2.1范式建模Inmon所提倡的范式建模就是关系数据库用的三范式建模方法，数据仓库模型的建设方法和业务系统的数据模型类似。
有一些区别就是：1)数据仓库的域模型应该包含业务数据模型到域模型之间的关系，以及各主题域定义，数据仓库的域模型概念比业务系统的主题域模型范围更广。
2)在数据仓库的逻辑模型需要从业务系统的逻辑模型中抽象实体、实体的属性、实体的子类、实体关系等。
●优点：从关系型数据库角度出发，结合了业务系统的数据模型，方便实现数据仓库的建模。
●缺点：某些时候限制了整个数据仓库的灵活性、性能等。
特别在底层数据向数据集市汇总时需要进行在量的数据处理工作。
4.2.2维度建模Kimball主张维度建模法，就是按维度表、事实表来构建数据仓库、数据集市。
维度建模有星形、雪花型两种常见类型。
●优点：维度模型可极大提升数据仓库的处理能力；紧紧围绕业务模型，直观的反映业务问题。
●缺点：构建模型之前需要进行大量的数据预处理，当业务变化后需要重新定义维度时，需要重新进行维度数据的预处理；很难提供一个完整地描述真实业务实体之间复杂关系的抽象方法。
●辩解：对于这些缺点，都是片面的，因为数据仓库总线架构和维度处理方法能很好解决以上问题。
以下对维度建模深入介绍一下：4.2.2.1维度建模的四个步骤1)选择业务过程（比如：用户管理、账户管理、产品交易等）2)声明粒度（确定数据单位的综合程度）3)识别维度（粒度已经确定了一个基本的维度集合，根据需要再添加其他相关的维度）4)识别事实（选择适合业务过程的指标）4.2.2.2企业数据仓库总线数据仓库建模的争议点：从建立一个集中式的、规划好的架构角度为整个企业建立数据仓库，还是为每个具体的部门建立小型的独立解决方案。
当然这两种都不是很有效。
前者需要在设计之前将所有数据、所有业务完全掌握清楚，并对数据清洗等了解清楚，这个很难办到，后者由于是单独的创建集市，导致各集市互不兼容，无法形成企业级的全局的数据仓库。
如何解决这一难题，首先需要迅速简洁地定义整个企业数仓系统的数据架构，收集业务需求生成企业数据仓库总线矩阵，矩阵每行对应一个业务过程，每列都是一个业务维度。
逐个收集业务过程，并使用一致性维度确保系统的综合集成。
这样每个业务过程的实现都对整个架构进行了增量扩展，迭代地建立成一个集成的数据仓库。
基于一致性维度的架构将一组业务过程紧密的联系到一起形成了企业数据仓库。
企业数据仓库的总线其实就是共享的一致性维度。
另外：一致性维度需要得到高层的支持，因为要做到统一其实是牵扯很多业务系统的事情，有很多是非技术问题。
4.2.2.3深入讨论维度重点进行全面深入的对维度建模上的各个关键点进行阐述。
4.2.2.3.1日期维在数据仓库中占有特殊的地位，几乎每个事实都是一个观测序列，没有时间，讨论一切将没有意义。
但日期在各系统中的格式有差异，长短也许不一致，使用代理键可以解决这个问题。
但在使用时间戳时，不需要使用代理键。
4.2.2.3.2退化维诸如订单号、发票编号、提货单编号等都是事实表的成员，属于主键值，但其没有单独的维度表，所以称之为退化维。
它在分析中可用于分组。
4.2.2.3.3缓慢变化维有些维度的属性是会发生变化的，比如姓名、地名等会变，这样会对产生的事实结果造成影响，可以用以下方法解决：●覆盖维度属性直接覆盖的方式将会丢掉历史信息，所以适用于修正错误，也可在旧值对业务来说没有意义时使用。
（很少用）●添加一行新维在维度变化时插入一个有新代理主键的行来反映新的属性值，并且需要生效日期、失效日期、当前状态来辅助查询。
比如某人身份证号不变，但名字发生变化，就需要将旧名字设置为失效，并加上有效区间。
（主要解决方法）●添加一个新的维度属性向维度表中添加新列，原属性值放入先前的属性列中，新属性值覆盖现有列。
（使用较少）4.2.2.3.4杂项维在确定了明显的业务维度之后，还会有许多杂乱的标记和文本属性无法归纳进去，将事实表用到的这些属性组合成一个维度表并设置代理键，也就是将事实表中这些非维度属性抽取到新的维度表中，这些属性组成了杂项维。
4.2.2.3.5雪花型当对维度表进行范式建模时，会产生多层的引用，这样就将星形变成雪花型了，雪花型（冗余低）因为引用层级较多，看起来眼花缭乱不易理解，还造成查询速度大大降低，特殊需要是可以创建，但层级一定不要太深。
4.2.2.3.6使用桥接表的多值维以上分析的全是事实表与维度表1对N的关系，在有些情况下，每个事实度量都可以和多个维度值相关，这样就产生了多对多的关系，那么事实表的一个维度值怎么变成多个值？这就需要加入桥接表，这个表将这个维度的所有值进行组合，每种组成生成桥接表的新行，然后在事实表中使用这个桥接表的代理键即可。
4.2.2.4三种事实表所有度量事件都可以转化成事务、周期快照、累积快照。
事实表共享了一致性维度，由于粒度不同，产生三种类型的事实表。
4.2.2.4.1事务事实表大多事实表都是面向事务的，粒度是每行对应一个事务，或者一行对应事务中的一个条目上。
可以查询所有细节数据，就是容易会非常大。
可汇总到集市去。
4.2.2.4.2周期快照事实表是按定义好的时间间隔保存业务过程信息，也就时间粒度变大，维度也随之会变少，但查询会快很多。
4.2.2.4.3累积快照事实表用于描述业务过程中某个不确定时间跨度里的活动（比如一次购物流程，从下单到给差评）。
与上两种最大的不同是它的事实行是需要更新的，也会失去一些维度细节。
一般情况前两种就足够用了。
4.2.2.5有关维度的误区将关注点集中到部门报表和分析结果上，而没有集中到度量过程上。
四步曲的第一步就是确定业务过程。
如：建立维度模型是为了提交一份具体的业务报表，维度模型是部门解决方案，需要重建星形模型或独立事实表才能合并新数据源。
●在事实表中放置用于约束与分组操作的文字型属性（应在维度表里）●在维度表中为节省空间而不使用详细的描述属性（划不来，现在机器很强悍）●将系统与体系层次分解成多个维度。
（比如把地区分成多个维不合适，不能省、市、县、村各来一个维度，应该是层级的而非独立）●忽视跟踪维度变化的需要（在变化维一节有说明）●使用原数据表主键做为维度表主键（应用代理键）●忽视事实表粒度的定义与使用（意思是辈分不能乱）4.2.2.6设计维度模型识别数据源-》了解候选数据源-》数据探查和数据源的选定-》确立一致性维度-》确定事实-》出设计文档。
4.2.3实体建模利用面向对象的思想，将整个业务划分为一个个的实体，每个实体之间的关系以及针对这些关系的说明就是建模要做的事。
将业务过程分成实体、事件、说明。
●实体：指领域模型中待定的概念主体，指发生业务关系的对象。
●事件：指概念主体之间完成一次业务流程的过程，指特定业务过程。
●说明：对实体和事件的说明，实体建模法能轻松的实现业务模型的划分，但它只是一种客观世界的抽象，所以只能用于业务建模和领域建模阶段。