数据仓库系统的体系结构
数据仓库的架构方式及其比较
数据仓库的架构方式及其比较数据仓库的架构方式及其比较传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。
关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。
数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。
下面解析由这些要素构成的数据仓库的架构方式。
1．星形架构星形模型是最常用的数据仓库设计结构的实现模式，它使数据仓库形成了一个集成系统，为最终用户提供报表服务，为用户提供分析服务对象。
星形模式通过使用一个包含主题的事实表和多个包含事实的非正规化描述的维度表来支持各种决策查询。
星形模型可以采用关系型数据库结构，模型的核心是事实表，围绕事实表的是维度表。
通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。
维度表中的对象通过事实表与另一维度表中的对象相关联这样就能建立各个维度表对象之间的联系。
每一个维度表通过一个主键与事实表进行连接，如图3-10所示。
图3-10 星形架构示意图事实表主要包含了描述特定商业事件的数据，即某些特定商业事件的度量值。
一般情况下，事实表中的数据不允许修改，新的数据只是简单地添加进事实表中，维度表主要包含了存储在事实表中数据的特征数据。
每一个维度表利用维度关键字通过事实表中的外键约束于事实表中的某一行，实现与事实表的关联，这就要求事实表中的外键不能为空，这与一般数据库中外键允许为空是不同的。
这种结构使用户能够很容易地从维度表中的数据分析开始，获得维度关键字，以便连接到中心的事实表，进行查询，这样就可以减少在事实表中扫描的数据量，以提高查询性能。
在AdventureWorksDW数据仓库中，若以网络销售数据为事实表，把与网络销售相关的多个商业角度（如产品、时间、顾客、销售区域和促销手段等）作为维度来衡量销售状况，则这些表在数据仓库中的构成如图3-11所示，可见这几个表在数据仓库中是以星形模型来架构的。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库体系结构
数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
数据仓库的概念和体系结构概述
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
数据仓库的基本架构
数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业数据的系统。
它提供了一个可靠的数据源，用于支持企业的决策制定、分析和报告。
数据仓库的基本架构包括以下几个关键组件和层次：1. 数据提取层（Extraction Layer）：数据仓库的第一步是从各个源系统中提取数据。
这些源系统可以是企业内部的业务系统、关系数据库、日志文件等。
数据提取层负责从这些源系统中抽取数据，并将其转换成适合数据仓库的格式。
2. 数据转换层（Transformation Layer）：在数据提取层之后，数据需要经过一系列的转换和清洗操作，以确保数据的一致性和准确性。
数据转换层包括数据清洗、数据集成、数据转换和数据加载等过程。
在这个层次上，数据被转换成适合数据仓库的结构和格式。
3. 数据存储层（Storage Layer）：数据存储层是数据仓库的核心组件，用于存储经过转换的数据。
数据存储层通常采用多维数据模型，如星型模型或雪花模型，以支持复杂的查询和分析操作。
在数据存储层中，数据被组织成事实表和维度表的形式。
4. 数据访问层（Access Layer）：数据访问层提供了对数据仓库的查询和分析功能。
用户可以使用各种工具和技术，如SQL查询、OLAP（联机分析处理）工具和数据挖掘工具，来访问和分析数据仓库中的数据。
数据访问层还可以提供数据报表、数据可视化和仪表板等功能。
5. 元数据管理层（Metadata Management Layer）：元数据是描述数据仓库中数据的数据。
元数据管理层负责管理和维护数据仓库的元数据，包括数据定义、数据质量、数据血缘等信息。
元数据管理层可以帮助用户理解和使用数据仓库中的数据。
6. 安全和权限层（Security and Authorization Layer）：安全和权限层用于保护数据仓库中的数据免受未经授权的访问和滥用。
这个层次上，可以实施各种安全措施，如用户认证、访问控制和数据加密等。
7. 数据质量管理层（Data Quality Management Layer）：数据质量管理层用于监控和管理数据仓库中数据的质量。
空间数据仓库体系结构框架的概念模型
空间数据仓库体系结构框架的概念模型随着信息技术的不断发展和应用，数据已成为现代社会中最重要的资源之一。
在各行各业中，数据的收集、存储、处理和应用都已成为必不可少的工作。
而在地理信息领域中，空间数据的重要性更是不言而喻。
空间数据是指与地理位置相关的数据，包括地理位置、地物、地形、地貌等信息。
这些数据的收集、管理和应用对于地理信息系统的开发和应用具有重要的作用。
随着空间数据的增多和应用需求的不断增加，空间数据仓库的开发和应用也变得越来越重要。
空间数据仓库是指将空间数据集成到一个统一的数据库中，通过数据仓库技术实现数据的快速查询、分析和应用的一种方式。
空间数据仓库的开发和应用可以帮助用户更加方便地获取和利用空间数据，提高工作效率和数据应用的质量。
在空间数据仓库的开发和应用中，数据仓库体系结构框架的概念模型是一个非常重要的工具。
数据仓库体系结构框架是指数据仓库系统中各个组成部分之间的关系模型，包括数据仓库的数据模型、数据存储、数据访问和数据应用等方面。
数据仓库体系结构框架的概念模型可以帮助用户更好地理解和应用数据仓库系统，提高数据仓库的开发和应用效率。
在空间数据仓库体系结构框架的概念模型中，数据仓库的数据模型是非常重要的一部分。
数据模型是指数据仓库系统中数据的组织和存储方式，包括维度模型和事实模型。
维度模型是指以业务过程和业务实体为基础的数据模型，用于描述数据之间的关系和属性。
事实模型是指描述事实和关系的数据模型，用于描述数据之间的关系和属性。
在空间数据仓库中，数据模型应该以地理位置为基础，将空间数据与其他数据进行关联和分析，实现空间数据的快速查询和分析。
数据存储是数据仓库体系结构框架的概念模型中的另一个重要组成部分。
数据存储是指数据仓库中数据的物理存储方式，包括数据仓库的数据结构、数据仓库的存储介质和数据仓库的备份和恢复等方面。
在空间数据仓库中，数据存储应该采用高效的存储技术，如多维数组、索引和压缩等技术，以提高数据的存储和查询效率。
数据仓库系统的体系结构
体系结构数据源是数据仓库系统的基础,是整个系统的数据源泉;通常包括企业内部信息和外部信息;内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据;外部信息包括各类法律法规、市场信息和竞争对手的信息等等；数据的存储与管理是整个数据仓库系统的核心;数据仓库的真正关键是数据的存储和管理;数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式;要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析;针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织;数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库通常称为数据集市;OLAP联机分析处理服务器对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势;其具体实现可以分为：ROLAP关系型在线分析处理、MOLAP多维在线分析处理和HOLAP混合型线上分析处理;ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中;数据仓库系统的体系结构数据仓库系统通常是对多个异构数据源的有效集成,集成后按照主题进行重组,包含历史数据;存放在数据仓库中的数据通常不再修改,用于做进一步的分析型数据处理;数据仓库系统的建立和开发是以企事业单位的现有业务系统和大量业务数据的积累为基础的;数据仓库不是一个静态的概念,只有把信息适时的交给需要这些信息的使用者,供他们做出改善业务经营的决策,信息才能发挥作用,信息才有意义;因此,把信息加以整理和重组,并及时提供给相应的管理决策人员是数据仓库的根本任务;数据仓库的开发是全生命周期的,通常是一个循环迭代的开发过程; 一个典型的数据仓库系统通常包含数据源、数据存储和管理、OLAP服务器以及前端工具与应用四个部分;1、数据源数据源是数据仓库系统的基础,即系统的数据来源,通常包含企业或事业单位的各种内部信息和外部信息;内部信息,例如存于操作型数据库中的各种业务数据和办公自动化系统中包含的各类文档数据；外部数据,例如各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及其它有关文档等;2、数据的存储与管理数据的存储与管理是整个数据仓库系统的核心;在现有各业务系统的基础上,对数据进行抽取、清理、并有效集成,按照主题进行重新组织,最终确定数据仓库的物理存储结构,同时组织存储数据仓库的元数据包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息;按照数据的覆盖范围和存储规模,数据仓库可以分为企业级数据仓库和部门级数据仓库;对数据仓库系统的管理也就是对其相应数据库系统的管理,通常包括数据的安全、归档、备份、维护和恢复等工作;3、 OLAP服务器OLAP服务器对需要分析的数据按照多维数据模型进行重组,以支持用户随时从多角度、多层次来分析数据,发现数据规律与趋势;如前所述,OLAP服务器通常有如下3种实现方式：1 ROLAP基本数据和聚合数据均存放在RDBMS之中2 MOLAP基本数据和聚合数据存放于多维数据集中3 HOLAP是ROLAP与MOLAP的综合,基本数据存放于RDBMS之中,聚合数据存放于多维数据集中;4、前端工具与应用前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用;其中,数据分析工具主要针对OLAP服务器；报表工具、数据挖掘工具既可以用于数据仓库,也可针对OLAP服务器;数据仓库系统的体系结构根据应用需求的不同,可以分为以下4种类型：1、两层架构generic two-level architecture2、独立型数据集市independent data mart3、依赖型数据集市和操作型数据存储dependent data mart and operational data store4、逻辑型数据集市和实时数据仓库logical data mart and real-time data warehouse独立的数据仓库体系结构通常的数据仓库是两层体系结构,如图所示,构造这种体系结构需要以下4个基本步骤：1、数据是从各种内外部的源系统文件或数据库中抽取得到;在一个大的组织中,可能有几十个甚至几百个这样的文件和数据库系统2、不同源系统中的数据在加载到数据仓库之前需要被转换和集成;甚至可能需要发送一些事务信息到源系统中,以纠正在数据分段传输中发现的错误;3、建立为决策支持服务的数据库,即数据仓库,它通常会同时包括详细的和概括的数据4、用户通常SQL查询语言谨分析工具访问数据仓库,其结果又会反馈到数据仓库和操作型数据库中;数据仓库环境最重要的三个环节包括：抽取extract、转换transform、加载load,把数据从源数据库系统加载到数据仓库,即ETL过程;抽取和加载通常是定期的,即每天、每星期或每个月;因此,数据仓库常常没有或者说不需要当前的数据;数据仓库不支持操作型事务处理,虽然它含有事务型数据但更多的是事务的概括和变量状态的快照,如帐户余额和库存级别;对大多数数据仓库应用来说,用户寻找的不是对个别事务的反应,而是寻求包括在整个数据仓库中的一个特定的子集上的企业或其它组织状态的趋势和模式;例如,通常会有5个季度以上的财务数据保存在数据仓库中,以便识别趋势和模式;太陈旧的数据,如果确定对决策分析已没有意义,也可被清除或者存档;基于独立的数据集市的数据仓库的体系结构一些企业或事业组织由于其特殊的业务需求或历史原因,刚开始时并没有建立数据仓库,而是创建了许多分离的数据集市;其实,每一个数据集市都是基于数据仓库技术的,而不是基于事务处理的数据库技术;数据集市是范围受限的小型数据仓库,常适用于特定终端用户群决策应用;在这种情况下,每个独立数据集市的内容都来自于独立的ETL处理过程;数据集市被设计用来优化定义明确的和可预测的使用性能,通常包括单个或一组针对某特殊应用的查询功能,如市场数据集市、财务数据集市、供应链数据集市等; 相对于其它数据仓库体系结构,独立型数据集市策略的一个明显的特征是：当需要访问分离的数据集市的中的数据时,对终端用户来说具有相对的复杂性;这个复杂性不仅来自于从分离的数据集市数据库访问数据,而且可能来自于不一致的数据系统产生的数据集市;如果有一个元数据集合跨越所有的数据集市,且数据集市上的数据通过数据分段传输时保存一致即数据分段传输中拥有“一致维”,那么,对用户来说复杂性就减小了;另一方面是其ETL处理的复杂性,因为需要为每一个独立的数据集市创建一个抽取、转换、加载过程;因为一个企业或事业组织集中于一系列的短期的业务目的,独立的数据集市经常被建立;有限的短期目标同需要相对较低成本来实现更加独立的数据集市相兼容;然而,从数据仓库体系结构的角度来说,围绕一些不同的短期目标来设计整个数据仓库环境,意味着失去了应用长期目标及业务环境变化的能力和灵活性;而这种应对能力对决策支持来说是至关重要的;采用这种体系结构的优点是其方便性,可快速启动,这种数据仓库架构可通过一系列的小项目来实现;在一个大的企业或事业单位中,相对于使所有的下属组织在一个中心数据仓库中形成一致视图来说,在组织上,政策上更容易拥有独立的,小型数据仓库;另外,一些数据仓库技术在它们支持的数据仓库大小上有一定的局限性或称为可扩展性,但是,如果在理解数据仓库业务需求之前就把自己局限在特定的数据仓库技术上,则是由技术决定的数据仓库体系结构,而通常的情况是业务需求才是最关键的技术架构决定因素;独立型数据集市架构的局限性包括如下方面：1 为每一个数据集市开发一个独立的ETL过程,它可能产生高代价的冗余数据和重处理工作2 数据集市可能是不一致的,因为它们常常是用不同的技术来开发的;因此,不能提供一个清晰的企业数据视图,而这样的数据视图可能涉及到重要的主题,如客户、供应商和产品等;3 没有能力下钻到更小的细节或其它数据集市有关的事实或共享的数据信息库,因此分析是有局限性的;要想获得全面数据,则需要在不同数据集市的分离平台上做连接,但跨数据集市的数据关联任务要由数据集市的外部系统来执行;4 规模扩大的成本高,因为每一个新的应用创建了一个分离的数据集市,都要重复所有的抽取和加载步骤;通常情况下,对批数据抽取来说,操作型系统有有限的时间窗口如每天的0~5点;如果想让分离的数据集市一致,成本将会更高;基于依赖型数据集市和操作型数据存储的数据仓库体系结构解决独立数据集市架构局限性的方法之是是使用基于依赖型数据集市dependent data mart和操作型数据存储operational data store,ODS的数据仓库的的体系结构;通过企业级数据仓库Enterprise data warehouse,EWD中加载依赖型数据集市,在整个体系架构中只使用单一的ETL过程,确保了ETL的效率和数据集市数据的一致性;企业级数据仓库是一个集中的、集成的数据仓库,它拥有一致的数据版本,并可以对数据作统一控制,对终端用户的决策支持也是可用的;依赖型数据集市的主要目标就是提供一个简单、高性能的数据环境,用户群可以访问数据集市、当需要访问其它数据时,也可以访问企业数据仓库;另外,跨依赖型数据集市的冗余在控制之内,且冗余的数据是一致的;因为每一个数据集市都是从一个共同的源数据以一种同步的方式加载而来的;基于依赖型数据集市和操作型数据存储的数据仓库体系架构常常被称为“中心和辐射”架构,其中企业级数据仓库是中心,源数据系统和数据集市在输入和输出的两端;这种体系结构也被称为合作信息工厂corporate information factory,CIF;在支持所有用户的数据需求中,它被认为是一个全面的企业级的数据视图;相对于一般的两层体系结构而言,依赖型数据集市的的优势是它们可以处理各个用户群的需求,甚至是探索性数据仓库的需求;探索性数据仓库是一种专门的数据仓库版本,它使用先进的统计学、数学模型和可视化工具来优化,通常用于数据挖掘和商业智能等业务模型应用的探索;独立型数据集市的主要优点是可以采用分段方法业开发数据仓库;事实上,分段方法也可以在基于依赖型数据集市和操作型数据存储的体系结构中实现;ODS为所有的业务数据提供了一个集成的数据源,同时也解决了独立数据集市架构不能下钻到更小细节的问题;ODS实际上是一个集成的、面向主题的、可更新的、当前值的但是可“挥发”的企业级的、详细的数据库,也叫运营数据存储; 一个ODS是一个典型的关系数据库,像在务系统中的数据库一样被规范化,但它是面向决策支持应用系统的,因此,如索引等其它关系数据库设计理念都是面向检索大量数据的,而不是面向事务处理或者查询个别记录的情况;因为ODS有易变的、当前的数据,在ODS下的相同查询在不同的时间很有可能会产生不同的结果,这也称为ODS可“挥发性”;一个ODS一般不包括历史数据,而EWD而保存了企业或事业组织状态的历史快照;一个ODS可能来自于一个ERP应用数据库,也可能来自其它业务数据库,因此,ODS通常是区别于ERP数据库的;ODS同样作为分段传输区域,为将数据加载到EWD提供服务;ODS可能立即接收数据或者有一定的延迟,无论哪一种情况它的决策支持需求都是可行的和可接受的;ODS存储的逻辑结构是企事业组织范围内所有相关业务系统的数据以全面、统一的关系型实体来体现的；ODS中的数据是基于分析主题进行组织,而不是基于业务系统的功能进行组织；ODS只是存储了当前的数据且数据是挥发性的,因此其数据的刷新很快,过期的数据将要被挥发掉;因此,ODS的存储量取决于业务接口数据的抽取和刷新频率,取决于企业的服务客户的数量;从ODS的作用和实现来说,ODS将各个孤立业务系统的运营数据集成起来,实现企业的统一数据视图,同时也实现了ODS的数据共享;ODS扮演的是用于数据稽核与交互的角色,它反映了在一个时间切片瞬间;数据仓库系统和外围业务系统相互交换数据的集合,可用于数据仓库及其分析系统与外围业务系统之间关键数据的一致性校验,以及分析系统对外围业务系统的决策支持数据的反馈如以客户扩展属性为主体的详细资料等反馈信息;ODS数据稽核功能是根据ODS参与工作的实际情况建立相应的ODS,并控制其权限;ODS数据稽核主要涵盖下面的内容：界定关键数据稽核的项别与内容、获取数据稽核所需数据、稽核据所需数据的完整性、数据稽核报告的存储和稽核数据的更正等过程;ODS数据交互的价值体现在数据仓库及其分析系统的高度综合数据向外围业务系统的回流;如果从安全上考虑,回流数据的格式可以采用文本的方式,用户只需要登录到分析系统,进入ODS数据交互应用,下载文本即可;ODS数据交互程序会自动在指定周期,把预定义的内容上传到指定路径;但如果从实现的方便、快捷、可维护性考虑,可以采用数据库方式,即外围业务系统与分析系统之间相互约定好数据格式,由外围系统连到分析系统ODS数据库,直接把ODS的高度综合数据导入到自己的数据库系统；也可以选择由ODS数据交互调度模块自动在指定周期,把预定义的内容通过事先建立的数据库连接,直接导入到外围数据库;基于逻辑型数据集市和实时数据仓库的体系结构逻辑型数据集市logical data mart和实时数据仓库体系结构实际上只用于一些特定环境的数据仓库系统,或使用一些高性能的数据仓库技术时,例如NCR Teradata系统;这种系统结构具有如下特征：1 逻辑数据集市并不是物理上分离的数据库,而是在同一个物理数据库里的,稍微有些不规范的关系数据仓库的不同关系视图2 数据被放到数据仓库而不是分离的分段传输区域中,利用数据仓库技术的高性能计算能力来执行清洗和转换步骤3 新的数据集市可以非常快的创建,因为不需要创建或获得获得物理数据库或数据库技术,且不需要书写加载驱动程序4 数据集市总是最新的,因为涉及到某个视图时,视图中的数据将被建立,如果用户有一系列的查询和分析来清理数据集市中相同的实例,视图可以被物化;实时的数据仓库也叫动态数据仓库active data warehouse,它意味着源数据系统,决策支持服务和数据仓库之间以一相接近实时的速度交换数据和业务规则;事实上,有许多的分析系统需要快速响应系统当前的、全面的组织状况的描述;例如,一些分析型CRM系统特别是呼叫中心的回答问题和日志记录问题,会需要客户最近的销售信息、欠账和付款事务信息、维护活动和订单的有关信息描述;一个重要事件,如输入一个新的产品订单,可以立即对客户和客户所在组织的最新状况有一个全面了了解;一个有关客户的实时数据仓库分析系统可能的需求目标包括：1 在一个业务事件发生什么中获取客户数据,减少从事件到行为的延迟2 分析客户行为为什么会发生并且预言客户的可能行为及其反应将发生什么3 制定规则来优化客户的交互,规则包括适当的反应和达到最好的结果的途径4 为了使期望的结果发生,在适当的时间点对客户立即采取行动,当确定了决策规则时,适当的行动时间点是基于对客户的最佳反应实时的数据仓库系统还包括如下一些应用领域：1 运输;及时的运输是基于最新的存货水平2 电子商务;例如在用户下线之前,一个取消的购物车能引起电子邮件信息的增加3 信用卡交易的欺骗检测;一个特殊的交易类型可能会使销售员或在线购物车程序警惕以采取额外的预防措施这样的应用常被在线用户一天24小时、一周7天、一年365天访问,用户可能是雇员、客户或商业伙伴;随着高性能计算机和实时数据仓库技术的出现,ODS和EWD在这种情况下事实上是一个系统,这样在解决一系列问题的过程中,对用户来说上钻和下钻都比较容易;逻辑或物理的数据集市和数据仓库在数据仓库技术环境中起着不同的作用,其主要区别如下表所示：对比内容数据仓库数据集市范围应用独立特定的DSS系统集中式的、企业级可能用户域的离散化规划的可能是临时组织的无规划数据历史的、详细的和概括的一些历史的、详细的和概括的轻微不规范化高席不规范化主题多个主题用户关心的某一个主题源多个内部和外部源很少的内部和外部源其它特征灵活的严格的面向数据面向工程长期短期大开始小,逐渐变大单一的复杂结构多、半复杂性结构、合并复杂虽然数据集市的范围有限,但数据集市可能也并不小,因此,可扩展技术对数据仓库系统是致关重要的;当用户需要在几个物理上分离的数据集市上集成数据时如果这是可能的,负载和代价就会分担给用户;因此,逻辑型数据集市和实时数据仓库的体系结构不失为建立数据仓库的一种较佳的有效方法,特别是在硬件性能不断提高,成本不断下降的条件下;。
数据仓库 Chapter 7 体系结构及其组成部分
复杂分析和快速响应
OLTP中用户往往进行的是孤立的短暂的查询，在OLAP 中用户则是长时间的多方位的储蓄的查询，可能会进行 Drill Down，Drill Up和切片的查询 查询结果必须能够以不同的输出方式得到结果。 数据仓库必须提供分析工具和足够的信息使用户能对问 题做出快速的反应，使制定战略决策更加快速和容易
监控所有正在进行的操作 出错的时候解决问题并恢复工作
目前市场上只有少数几种维数据仓库管理装专门设计的工具。数 据仓库管理者通过使用数据仓库数据管理系统的工具执行管理和 控制模块的功能。
Chapter Seven 体系结构及其组成部分
Contents 掌握数据仓库的体系结构 区别于其他结构的特点 体系结构的框架 技术体系结构
功能和服务
技术体系结构
信息传递
这个区域涉及很多向用户传递信息的不同的方法。 数据仓库体系结构的强大力量主要集中在信息传递部分的健壮性 和灵活性上。 基本数据仓库向MDDB载入数据，这些数据以多维信息立方体的 方式保存，供用户OLAP。 数据流
DW－》DataMarts DataMarts－》DW DW－》EIS、DM、OLAP多维数据库 功能和服务
区别于其他结构的特点
灵活性和动态性
在数据仓库设计和开发阶段并不能收集到所有的商业需求， 没有设计到的需求会在用户开始使用数据仓库后显现出来。 必须保证数据仓库体系结构足够灵活以适应额外的需求。 商业条件本身的变化也要求在数据仓库中加入新的、额外 的商业需求。
区别于其他结构的特点
元数据驱动
数据仓库的基本架构
数据仓库的基本架构数据仓库是一个用于存储和管理大量结构化和非结构化的数据的系统。
它旨在支持企业决策制定过程，提供准确、一致且易于访问的数据。
数据仓库的基本架构包括以下几个主要组件：数据源、数据抽取、数据转换、数据加载、数据存储和数据访问。
1. 数据源数据源是指数据仓库所需的原始数据的来源。
数据源可以是企业内部的各种业务系统，如销售系统、财务系统、人力资源系统等，也可以是外部数据源，如市场调研数据、社交媒体数据等。
数据源可以是关系型数据库、文件、API接口等形式。
2. 数据抽取数据抽取是指从数据源中提取数据并将其导入到数据仓库的过程。
数据抽取可以通过各种方式进行，如全量抽取、增量抽取、定时抽取等。
在数据抽取过程中，需要考虑数据的完整性、一致性和准确性。
3. 数据转换数据转换是指将从数据源中提取的数据进行清洗、整合和转换的过程。
在数据转换过程中，可以对数据进行去重、过滤、格式化、计算等操作，以确保数据的质量和一致性。
数据转换可以使用ETL（抽取、转换和加载）工具来实现。
4. 数据加载数据加载是指将经过转换的数据加载到数据仓库中的过程。
数据加载可以采用批量加载或者实时加载的方式进行。
批量加载是指将数据按批次导入到数据仓库中，适合于数据量较大的情况；实时加载是指将数据实时地导入到数据仓库中，适合于需要及时分析的场景。
5. 数据存储数据存储是指数据仓库中数据的物理存储方式。
数据存储可以采用关系型数据库、列式数据库、分布式文件系统等形式。
关系型数据库适合存储结构化数据，列式数据库适合存储大规模数据，分布式文件系统适合存储非结构化数据。
6. 数据访问数据访问是指用户通过查询和分析工具来访问数据仓库中的数据。
数据访问可以通过SQL查询、OLAP（联机分析处理）、数据挖掘等方式进行。
数据访问工具可以提供丰富的数据可视化和分析功能，匡助用户更好地理解和利用数据。
总结：数据仓库的基本架构包括数据源、数据抽取、数据转换、数据加载、数据存储和数据访问六个主要组件。
数据仓库技术
⑦InfoPrintBusinessIntelligenceSolution
⑧GlobalServicesBIOffering ⑨InsuranceUnderwritingProfitabilityAnalysis
• 2. Oracle数据仓库解决方案
1) Oracle数据仓库包含了一整套的产品和服务，覆盖了数据仓库定义， 设计和实施的整个过程。
• 1）建立DSS应用 • 2）理解需求，改善和完善系统，维护数据仓库
DSS应用开发的大致步骤
• 1）确定所需的数据。 • 2）编程抽取数据。 • 3）合并数据。 • 4）分析数据。 • 5）回答问题。 • 6）例行化、一次分析处理的最后、我们要决定是否将
在上面已经建立的分析处理例行化。
1.6 数据仓库的解决方案及工具介绍
三、面向对象数据模型
• 面向对象数据仓库系统包括一个面向对象的数据仓库 和各种面向对象的数据源。有两种面向对象的数据仓 库模型:未压缩模型和压缩模型。未压缩模型在面向对 象模型中保持了数据Q的原始结构。当数据源中的数据 改变时，数据仓库中的数据相应地跟着改变。这种模 型易于维护实例之间的关系，并能保持数据的完整性， 但查询性能不高。压缩模型，又叫棍合模型，把由视 图定义的各种类的属性联合起来，形成一个新类。根 据这个新的类产生新的实例，并存储到数据仓库中。 这种模型的查询性能大大提高。面向对象的数据模型 也有许多改进模式。
随时间变化的特点
• 特点： • 1）数据仓库随时间变化不断增加新的数据内容。 • 2）数据仓库也会随时间定期删除旧的数据。 • 3）数据仓库中包含大量的综合数据，这些综合数据中
很多跟时间有关，如数据经常按照时间段进行综合。随 时间的变化，这些综合数据可能需要被重新处理和在更 高层次上被综合。
数据仓库的基本架构
数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业中各种数据的系统。
它提供了一个统一的视图，使得企业可以更好地理解和分析自己的数据。
数据仓库的基本架构是构建和维护一个可靠、高效的数据存储和处理环境，以支持数据仓库的功能和需求。
下面将详细介绍数据仓库的基本架构。
1. 数据采集层数据采集层是数据仓库的起点，它负责从各种源系统中提取数据。
这些源系统可以是企业内部的各个业务系统，也可以是外部的数据供应商。
数据采集层的主要任务是将数据从源系统中提取出来，并进行清洗和转换，以适应数据仓库的需求。
常用的数据采集工具包括ETL（Extract, Transform, Load）工具，它可以自动化地完成数据提取、清洗和转换的过程。
2. 数据存储层数据存储层是数据仓库的核心组成部份，它负责存储和管理从数据采集层获取的数据。
数据存储层通常采用关系数据库管理系统（RDBMS）来存储数据，例如Oracle、SQL Server等。
在数据存储层中，数据被组织成一系列的表，每一个表代表一个实体或者一个主题。
为了提高查询性能，数据存储层通常会进行数据分区和索引的设计。
3. 数据管理层数据管理层是数据仓库的管理和控制中心，它负责数据仓库的元数据管理、数据质量管理和安全管理等任务。
元数据是描述数据的数据，它包含了数据的定义、结构、关系和使用方式等信息。
数据管理层通过维护和管理元数据，使得数据仓库的数据能够被准确地理解和使用。
数据质量管理是保证数据仓库数据质量的过程，它包括数据清洗、数据校验和数据修复等操作。
安全管理是保护数据仓库数据安全的过程，它包括用户权限管理、数据加密和访问控制等措施。
4. 数据访问层数据访问层是数据仓库的用户接口，它负责向用户提供数据查询、分析和报表等功能。
数据访问层可以通过各种方式来实现，例如使用SQL查询语言、OLAP （Online Analytical Processing）工具或者BI（Business Intelligence）工具。
数仓分层标准
数仓分层标准
一、数据源层
数据源层是整个数据仓库的起点，包含了所有需要的数据源。
这些数据源可能来自不同的地方，例如数据库、文件、API等。
数据源层的目标是确保所有数据都能被正确、完整地获取。
二、整合层
整合层的主要任务是对从数据源层获取的数据进行清洗、整合和转换，以满足后续数据模型的需要。
在这一层，数据可能会进行一些基本的处理，例如去重、填充缺失值、数据类型转换等。
三、公共维度模型层
公共维度模型层（CDM）是数据仓库的核心部分，它提供了对数据的公共视图。
在这一层，数据会被组织成公共的维度和度量，以便进行多维分析。
常见的维度包括时间、地域、产品等。
四、汇总层
汇总层是在CDM的基础上，对数据进行进一步的汇总和聚合。
这一层的目的是为了提高数据的查询效率，同时减少在应用层进行复杂计算的需要。
五、应用层
应用层是数据仓库的最顶层，它包含了可以直接提供给最终用户使用的数据。
这些数据通常是已经经过处理和格式化的，可以直接用于报表、仪表板或其他分析工具。
六、元数据层
元数据层包含了关于数据仓库中所有数据对象的描述信息。
这些描述信息有助于理解数据的来源、结构、关系和含义。
元数据对于维护数据仓库的完整性和准确性至关重要。
七、数据安全层
数据安全层关注的是如何确保数据的安全和隐私。
在这一层，会设置各种安全措施，例如访问控制、加密、审计等，以确保只有经过授权的人员才能访问特定的数据，同时防止数据的滥用或泄露。
数据仓库的基本架构
数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业各种类型数据的系统，它提供了一个统一的视图，用于支持企业决策和分析。
数据仓库的基本架构是指数据仓库系统中各个组件的组织结构和相互关系。
下面将详细介绍数据仓库的基本架构。
1. 数据源数据源是数据仓库的起点，它包括各种数据来源，如企业内部的业务系统、外部数据提供商、互联网等。
数据源可以是结构化的数据，如关系数据库中的表，也可以是非结构化的数据，如日志文件、文档等。
数据源通过ETL（抽取、转换和加载）过程将数据提取、清洗、转换和加载到数据仓库中。
2. 数据抽取数据抽取是将数据从数据源中提取到数据仓库的过程。
数据抽取可以基于时间、事件或者条件触发，也可以定期进行。
数据抽取的方式包括全量抽取和增量抽取。
全量抽取是将数据源中的所有数据都抽取到数据仓库中，而增量抽取只抽取发生变化的数据。
数据抽取通常使用ETL工具来完成。
3. 数据转换数据转换是将抽取的数据进行清洗、加工和转换，以适应数据仓库的结构和需求。
数据转换包括数据清洗、数据整合、数据规范化、数据加工等过程。
数据清洗用于去除重复数据、缺失数据和错误数据；数据整适合于将多个数据源的数据进行合并；数据规范化用于统一数据的格式和命名规则；数据加工用于计算指标、生成派生数据等。
4. 数据加载数据加载是将经过转换的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载。
全量加载是将所有的转换数据加载到数据仓库中，而增量加载只加载发生变化的数据。
数据加载通常使用ETL工具来完成。
5. 数据存储数据存储是数据仓库中存储数据的组件。
数据存储可以是关系数据库、列式数据库、多维数据库等。
关系数据库适合存储结构化数据，而列式数据库适合存储大量的列数据。
多维数据库适合存储多维数据，如OLAP（联机分析处理）数据。
数据存储需要根据数据仓库的需求进行选择。
6. 元数据管理元数据是描述数据的数据，它包括数据的定义、结构、关系、来源等信息。
数据仓库(Teradata)
服务使用的财务信息 / 财务记录产品的成本和付款
OFFER （服务）
产品产生事件 / 事件包括产品类
定位网络/ 网络支持的位置
NETWORK （网络）
服务通过网络实现 / 网络支持服务
网络产生事件 / 事件包括网络类
广告针对特定产品 /
产品通过广告实现营销
cLDM – 核心主题
ETL服务器
AT&T
中央数据库
Fload Mload Fexport TPump Access Module
End Users
Teradata电信业cLDM的商业价值
使你能够轻松回答下列业务问题…
▪ 谁是我们最有价值的客户… ▪ 按在网时间、消费金额、收入、年龄、地域、业务规模... ▪ 按产品使用情况 (国内、国际、接线员服务、呼叫卡、全部)
▪ 在我们最好的客户中，谁最有可能流失？ ▪ 我们的基站有问题吗？ 我们可以将流失模式与用户的家庭关系或一个呼叫
Teradata数据仓库
Dr. Zhang Jian Senior Technical Consultant TD China, Apr., 2009
公司介绍
NCR公司介绍
▪ 创建于1884年，120年历史 ▪ 包括三大部门
– 数据仓库事业部 / Teradata – 金融服务 / ATM – 零售服务 / POS
•LDM逻辑数据模型 •详细交易数据 •面向主题 •3NF
•数据清洗／转换／加载 •文本文件
结算
•数据转换／压缩/传输 •文本文件 •标准数据接口
•面向业务流程 其他 •3NF
Teradata电信业cLDM
ADVERTISEMENT （广告）
第1章数据仓库的概念与体系结构
2020/11/26
数据仓库与数据挖掘
2
背景2
基于web的应用越来越普及，各种网站积累了大量的 点击流数据
访问者的访问时间、IP地址、经常访问的页面和内容、 在网页上停留的时间等；
客户的交易、付款、产品利润、查询等数据
数据仓库与数据挖掘
第1章 数据仓库的概 念与体系结构
2020/11/26
1
背景1
企业信息化程度越来越高，产生的历史数据越来越多 常用的数据处理方法：
将已失效的历史数据简单删除，减少磁盘空间占用 对历史数据通过介质进行备份后删除，可按需查看 建立一个数据仓库系统，对业务系统及其他档案系统中
技术元数据：DW设计和管理人员使用，包括：数据源信息、数 据转换的描述、DW内对象和数据结构的定义、数据清理和数据 更新时使用的规则；源数据到目的数据映射表、用户访问权限、 数据备份和导入、信息发布历史记录
业务元数据：从单位业务的角度描述DW的元数据，如业务主题 描述，即业务主题包含的数据、查询和报表等信息
✓ DW中数据应使用一致的命名规则、格式、 编码结构和相关特性来定义
2020/11/26
数据仓库与数据挖掘
6
1.1 数据仓库的概念、特点与组成
数据仓库的特点：
面向主题； 集成的； 相对稳定的； 反映历史变化。
✓ 操作型数据库中的数据通常实时更新
✓ DW中数据主要用于决策分析，对数据的操 作主要是数据查询和少量定期更新
14
1.3 数据仓库的技术、方法与产品
数据仓库技术是为了有效的把操作型数据集成到统一的环境中， 以提供决策性数据访问的各种技术和模型的总称。
数据挖掘考试习题汇总
第一章1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合;2、元数据是描述数据仓库内数据的结构和建立方法的数据,它为访问数据仓库提供了一个信息目录,根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类;3、数据处理通常分成两大类：联机事务处理和联机分析处理;4、多维分析是指以“维”形式组织起来的数据多维数据集采取切片、切块、钻取和旋转等各种分析动作,以求剖析数据,使拥护能从不同角度、不同侧面观察数据仓库中的数据,从而深入理解多维数据集中的信息;5、ROLAP是基于关系数据库的OLAP实现,而MOLAP是基于多维数据结构组织的OLAP实现;6、数据仓库按照其开发过程,其关键环节包括数据抽取、数据存储与管理和数据表现等;7、数据仓库系统的体系结构根据应用需求的不同,可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库;8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的但是可“挥发”的、企业级的、详细的数据库,也叫运营数据存储;9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则;10、从应用的角度看,数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主;第二章1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据;2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源;因此,我们要求ETL过程产生的数据即调和数据层是详细的、历史的、规范的、可理解的、即时的和质量可控制的;3、数据抽取的两个常见类型是静态抽取和增量抽取;静态抽取用于最初填充数据仓库,增量抽取用于进行数据仓库的维护;4、粒度是对数据仓库中数据的综合程度高低的一个衡量;粒度越小,细节程度越高,综合程度越低,回答查询的种类越多;5、使用星型模式可以从一定程度上提高查询效率;因为星型模式中数据的组织已经经过预处理,主要数据都在庞大的事实表中;6、维度表一般又主键、分类层次和描述属性组成;对于主键可以选择两种方式：一种是采用自然键,另一种是采用代理键;7、雪花型模式是对星型模式维表的进一步层次化和规范化来消除冗余的数据;8、数据仓库中存在不同综合级别的数据;一般把数据分成4个级别：早期细节级、当前细节级、轻度综合级和高度综合级;第三章1、SQL Server SSAS提供了所有业务数据的同意整合试图,可以作为传统报表、在线分析处理、关键性能指示器记分卡和数据挖掘的基础;2、数据仓库的概念模型通常采用信息包图法来进行设计,要求将其5个组成部分包括名称、维度、类别、层次和度量全面地描述出来;3、数据仓库的逻辑模型通常采用星型图法来进行设计,要求将星型的各类逻辑实体完整地描述出来;4、按照事实表中度量的可加性情况,可以把事实表对应的事实分为4种类型：事务事实、快照事实、线性项目事实和事件事实;5、确定了数据仓库的粒度模型以后,为提高数据仓库的使用性能,还需要根据拥护需求设计聚合模型;6、在项目实施时,根据事实表的特点和拥护的查询需求,可以选用时间、业务类型、区域和下属组织等多种数据分割类型;7、当维表中的主键在事实表中没有与外键关联时,这样的维称为退化维;它于事实表并无关系,但有时在查询限制条件如订单号码、出货单编号等中需要用到;8、维度可以根据其变化快慢分为元变化维度、缓慢变化维度和剧烈变化维度三类;9、数据仓库的数据量通常较大,且数据一般很少更新,可以通过设计和优化索引结构来提高数据存取性能;10、数据仓库数据库常见的存储优化方法包括表的归并与簇文件、反向规范化引入冗余、表的物理分割分区;第四章1、关联规则的经典算法包括Apriori算法和FP-growth算法,其中FP-grownth算法的效率更高;2、如果L2={{a,b},{a,c},{a,d},{b,c},{b,d}},则连接产生的C3={{a,b,c},{a,b,d},{a,c,d},{b,c,d}}再经过修剪,C3={{a,b,c},{a,b,d}}3、设定supmin=50%,交易集如则L1={A},{B},{C} L2={A,C}T1 A B CT2 A CT3 A DT4 B E F第五章1、分类的过程包括获取数据、预处理、分类器设计和分类决策;2、分类器设计阶段包含三个过程：划分数据集、分类器构造和分类器测试;3、分类问题中常用的评价准则有精确度、查全率和查准率和集合均值;4、支持向量机中常用的核函数有多项式核函数、径向基核函数和S型核函数;第六章1、聚类分析包括连续型、二值离散型、多值离散型和混合类型4种类型描述属性的相似度计算方法;2、连续型属性的数据样本之间的距离有欧氏距离、曼哈顿距离和明考斯基距离;3、划分聚类方法对数据集进行聚类时包含三个要点：选种某种距离作为数据样本减的相似性度量、选择评价聚类性能的准则函数和选择某个初始分类,之后用迭代的方法得到聚类结果,使得评价聚类的准则函数取得最优值;4、层次聚类方法包括凝聚型和分解型两中层次聚类方法;填空题20分,简答题25分,计算题2个25分,综合题30分1、数据仓库的组成P2数据仓库数据库,数据抽取工具,元数据,访问工具,数据集市,数据仓库管理,信息发布系统2、数据挖掘技术对聚类分析的要求有哪几个方面P131可伸缩性；处理不同类型属性的能力；发现任意形状聚类的能力；减小对先验知识和用户自定义参数的依赖性；处理噪声数据的能力；可解释性和实用性3、数据仓库在存储和管理方面的特点与关键技术P7数据仓库面对的是大量数据的存储与管理并行处理针对决策支持查询的优化支持多维分析的查询模式4、常见的聚类算法可以分为几类P132基于划分的聚类算法,基于层次的聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法等;5、一个典型的数据仓库系统的组成P12数据源、数据存储与管理、OLAP 服务器、前端工具与应用6、 数据仓库常见的存储优化方法P717、 表的归并与簇文件；反向规范化,引入冗余；表的物理分割;8、 数据仓库发展演变的5个阶段P209、 以报表为主10、以分析为主11、以预测模型为主12、 以运行向导为主以实时数据仓库、自动决策应用为主13、 ID3算法主要存在的缺点P11614、1ID3算法在选择根结点和各内部结点中的分枝属性时,使用信息增益作为评价标准;信息增益的缺点是倾向于选择取值较多的属性,在有些情况下这类属性可能不会提供太多有价值的信息;15、 2ID3算法只能对描述属性为离散型属性的数据集构造决策树;16、 简述数据仓库ETL 软件的主要功能和对产生数据的目标要求;P3017、ETL 软件的主要功能:18、数据的抽取,数据的转换,数据的加载19、对产生数据的目标要求：20、 详细的、历史的、规范化的、可理解的、即时的、质量可控制的21、 简述分类器设计阶段包含的3个过程;★22、 划分数据集,分类器构造,分类器测试23、 什么是数据清洗P33★24、 数据清洗是一种使用模式识别和其他技术,在将原始数据转换和移到数据仓库之前来升级原始数据质量的技术;25、 支持度和置信度的计算公式及数据计算P9026、找出所有的规则X Y , 使支持度和置信度分别大于门限支持度： 事务中X 和Y 同时发生的比例,PX Y置信度：项集X 发生时,Y 同时发生的条件概率PY|X27、 Example:28、29、13、利用信息包图设计数据仓库概念模型需要确定的三方面内容;P57 确定指标,确定维度,确定类别14、K-近邻分类方法的操作步骤包括算法的输入和输出;P128 ()()()Support X Y c X Y Support X →=0.67) Beer(0.4,}Diaper ,Milk {⇒15、什么是技术元数据,主要包含的内容P29技术元数据是描述关于数据仓库技术细节的数据,应用于开发、管理和维护DW,包含：●DW结构的描述,如DW的模式、视图、维、层次结构和导出数据的定义,数据集市的位置和内容等●业务系统、DW和数据集市的体系结构和模式●汇总算法;包括度量和维定义算法,数据粒度、主题领域、聚合、汇总和预定义的查询和报告;●由操作型业务环境到数据仓库业务环境的映射;包括源数据和他们的内容、数据分割、数据提取、清洗、转换规则和数据刷新规则及安全用户授权和存取控制16、业务元数据主要包含的内容P29业务元数据：从业务角度描述了DW中的数据,提供了介于使用者和实际系统之间的语义层,主要包括：●使用者的业务属于所表达的数据模型、对象名和属性名●访问数据的原则和数据的来源●系统提供的分析方法及公式和报表的信息;17、K-means算法的基本操作步骤包括算法的输入和输出;P138★18、数据从集结区加载到数据仓库中的主要方法P36●SQL命令如Insert或Update●由DW供应商或第三方提供专门的加载工具●由DW管理员编写自定义程序19、多维数据模型中的基本概念：维,维类别,维属性,粒度P37●维：人们观察数据的特定角度,是考虑问题的一类属性,如时间维或产品维●维类别：也称维分层;即同一维度还可以存在细节程度不同的各个类别属性如时间维包括年、季度、月等●维属性：是维的一个取值,是数据线在某维中位置的描述;●粒度：DW中数据综合程度高低的一个衡量;粒度低,细节程度高,回答查询的种类多20、Apriori算法的基本操作步骤P93★Apriori使用一种称作逐层搜索的迭代方法,K项集用于探索K+1项集;该方法是基于候选的策略,降低候选数Apriori 剪枝原则：若任何项集是非频繁的,则其超集必然是非频繁的不用产生和测试超集该原则基于以下支持度的特性: ☜ 项集的支持度不会超过其子集☜ 支持度的反单调特性anti-monotone ：如果一个集合不能通过测试,则它的所有超集也都不能通过相同的测试;令 k=1产生长度为1的频繁项集 循环,直到无新的频繁项集产生☜ 从长度为k 的频繁项集产生长度为k+1的候选频繁项集☟连接步：项集的各项排序,前k-1个项相同 ☜ 若候选频繁子集包含长度为k 的非频繁子集,则剪枝☟ 剪枝步：利用支持度属性原则 ☜ 扫描数据库,计算每个候选频繁集的支持度☜ 删除非频繁项, 保留频繁项 )()()(:,Y s X s Y X Y X ≥⇒⊆∀。
数据仓库的概念与体系结构
数据仓库的概念与体系结构概念数据仓库是指集成了企业各个部门内部数据源以及外部数据源，并将这些数据进行整合、加工、清洗、归类后，存储到一个专门的数据库中，以支持企业数据决策分析的一种技术体系。
它是一个面向主题的、集成的、可变的、非易失的数据集合，支持企业决策制定者进行分析与决策。
数据仓库是将企业海量的数据以主题为维度进行归纳与整合，清洗过后的结构化数据，不仅包括内部的数据源，还可以包含外部数据源的合并，以便于管理与分析。
相对于传统的数据库，数据仓库更加注重主题分析和决策支持。
它以可视化、图表化的方式展示数据，帮助企业进行全面、深入的分析。
体系结构数据仓库的体系结构分为三层，分别是数据采集层、数据仓库层和数据应用层。
数据采集层数据采集层主要负责收集数据，并将数据送至数据仓库层进行处理和存储。
数据采集层对数据进行抽取、转换、加载等一系列预处理操作，以确保数据的质量和可靠性。
常用的数据采集技术包括ETL（抽取、转换、加载）、CDC（变更数据捕获）等。
数据仓库层数据仓库层是数据仓库体系结构中的核心层，主要用于存储、管理和加工数据。
数据仓库层主要由数据存储和数据管理两部分组成。
数据存储部分用于存储各种类型的数据，包括企业内部数据、外部数据和第三方数据。
数据管理部分则用于管理数据仓库中的数据，包括数据的分区、索引、备份等操作。
常见的数据仓库管理系统有Oracle、Teradata、Greenplum等。
数据应用层数据应用层主要用于支持企业的数据决策分析。
该层包括各种类型的分析工具和应用程序，如智能报表、数据挖掘、机器学习、数据可视化等，可以帮助企业进行复杂的数据分析和有效的决策制定。
常见的BI工具有PowerBI、Tableau、SAS、Cognos等。
数据仓库是一种用于支持企业数据决策分析的技术体系，是由数据采集层、数据仓库层、数据应用层三个主要部分组成的。
其中数据采集层负责数据的收集和处理，数据仓库层用于存储和管理数据，数据应用层则是为企业提供分析和决策支持的关键层。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
体系结构数据源是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等等；数据的存储与管理是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
OLAP(联机分析处理)服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP（多维在线分析处理）和HOLAP（混合型线上分析处理）。
ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
数据仓库系统的体系结构数据仓库系统通常是对多个异构数据源的有效集成，集成后按照主题进行重组，包含历史数据。
存放在数据仓库中的数据通常不再修改，用于做进一步的分析型数据处理。
数据仓库系统的建立和开发是以企事业单位的现有业务系统和大量业务数据的积累为基础的。
数据仓库不是一个静态的概念，只有把信息适时的交给需要这些信息的使用者，供他们做出改善业务经营的决策，信息才能发挥作用，信息才有意义。
因此，把信息加以整理和重组，并及时提供给相应的管理决策人员是数据仓库的根本任务。
数据仓库的开发是全生命周期的，通常是一个循环迭代的开发过程。
一个典型的数据仓库系统通常包含数据源、数据存储和管理、OLAP服务器以及前端工具与应用四个部分。
1、数据源数据源是数据仓库系统的基础，即系统的数据来源，通常包含企业（或事业单位）的各种内部信息和外部信息。
内部信息，例如存于操作型数据库中的各种业务数据和办公自动化系统中包含的各类文档数据；外部数据，例如各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及其它有关文档等。
数据的存储与管理2、数据的存储与管理是整个数据仓库系统的核心。
在现有各业务系统的基础上，对数据进行抽取、清理、并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库的元数据（包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）。
按照数据的覆盖范围和存储规模，数据仓库可以分为企业级数据仓库和部门级数据仓库。
对数据仓库系统的管理也就是对其相应数据库系统的管理，通常包括数据的安全、归档、备份、维护和恢复等工作。
服务器、 OLAP3多以支持用户随时从多角度、OLAP服务器对需要分析的数据按照多维数据模型进行重组，层次来分析数据，发现数据规律与趋势。
种实现方式：服务器通常有如下3如前所述，OLAP 之中基本数据和聚合数据均存放在RDBMS（1） ROLAP MOLAP基本数据和聚合数据存放于多维数据集中）（2之中，聚合数据存放于多的综合，基本数据存放于RDBMS 是ROLAP与MOLAP（3） HOLAP 维数据集中。
前端工具与应用4、前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。
服务器；报表工具、数据挖掘工具既可以用于数据仓其中，数据分析工具主要针对OLAP OLAP服务器。
库，也可针对种类型：数据仓库系统的体系结构根据应用需求的不同，可以分为以下4 ）两层架构（generic two-level architecture1、）独立型数据集市（independent data mart2、dependent data mart and operational data 依赖型数据集市和操作型数据存储（、 3 ）store逻辑型数据集市和实时数据仓库（logical data mart and real-time data warehouse4、）独立的数据仓库体系结构通常的数据仓库是两层体系结构，如图所示，构造这种体系结构需要以下4个基本步骤：1、数据是从各种内外部的源系统文件或数据库中抽取得到。
在一个大的组织中，可能有几十个甚至几百个这样的文件和数据库系统2、不同源系统中的数据在加载到数据仓库之前需要被转换和集成。
甚至可能需要发送一些事务信息到源系统中，以纠正在数据分段传输中发现的错误。
3、建立为决策支持服务的数据库，即数据仓库，它通常会同时包括详细的和概括的数据4、用户通常SQL查询语言谨分析工具访问数据仓库，其结果又会反馈到数据仓库和操作型数据库中。
数据仓库环境最重要的三个环节包括：抽取（extract）、转换（transform）、加载（load，把数据从源数据库系统加载到数据仓库），即ETL过程。
抽取和加载通常是定期的，即每天、每星期或每个月。
因此，数据仓库常常没有或者说不需要当前的数据。
数据仓库不支持操作型事务处理，虽然它含有事务型数据（但更多的是事务的概括和变量状态的快照，如帐户余额和库存级别）。
对大多数数据仓库应用来说，用户寻找的不是对个别事务的反应，而是寻求包括在整个数据仓库中的一个特定的子集上个季度以上的财务数据保存5的企业（或其它组织）状态的趋势和模式。
例如，通常会有在数据仓库中，以便识别趋势和模式。
太陈旧的数据，如果确定对决策分析已没有意义，也可被清除或者存档。
基于独立的数据集市的数据仓库的体系结构一些企业或事业组织由于其特殊的业务需求或历史原因，刚开始时并没有建立数据仓库，而是创建了许多分离的数据集市。
其实，每一个数据集市都是基于数据仓库技术的，而不是基于事务处理的数据库技术。
数据集市是范围受限的小型数据仓库，常适用于特定终端用户群决策应用。
处理过程。
数据集市被设计在这种情况下，每个独立数据集市的内容都来自于独立的ETL用来优化定义明确的和可预测的使用性能，通常包括单个或一组针对某特殊应用的查询功能，如市场数据集市、财务数据集市、供应链数据集市等。
，独立型数据集市策略的一个明显的特征是：当需要访问分数据仓库体系结构相对于其它离的数据集市的中的数据时，对终端用户来说具有相对的复杂性。
这个复杂性不仅来自于从分离的数据集市数据库访问数据，而且可能来自于不一致的数据系统产生的数据集市。
如果有一个元数据集合跨越所有的数据集市，且数据集市上的数据通过数据分段传输时保存一致（即数据分段传输中拥有“一致维”），那么，对用户来说复杂性就减小了。
另一处理的复杂性，因为需要为每一个独立的数据集市创建一个抽取、转换、加ETL方面是其载过程。
因为一个企业或事业组织集中于一系列的短期的业务目的，独立的数据集市经常被建立。
数据仓有限的短期目标同需要相对较低成本来实现更加独立的数据集市相兼容。
然而，从的角度来说，围绕一些不同的短期目标来设计整个数据仓库环境，意味着失去库体系结构了应用长期目标及业务环境变化的能力和灵活性。
而这种应对能力对决策支持来说是至关重要的。
采用这种体系结构的优点是其方便性，可快速启动，这种数据仓库架构可通过一系列的小项目来实现。
在一个大的企业或事业单位中，相对于使所有的下属组织在一个中心数据仓库中形成一致视图来说，在组织上，政策上更容易拥有独立的，小型数据仓库。
另外，一但是，，些数据仓库技术在它们支持的数据仓库大小上有一定的局限性（或称为可扩展性）如果在理解数据仓库业务需求之前就把自己局限在特定的数据仓库技术上，则是由技术决数据仓库体系结构，而通常的情况是业务需求才是最关键的技术架构决定因素。
定的独立型数据集市架构的局限性包括如下方面：过程，它可能产生高代价的冗余数据和重处ETL 1）为每一个数据集市开发一个独立的（理工作数据集市可能是不一致的，因为它们常常是用不同的技术来开发的。
因此，不能提（2）供一个清晰的企业数据视图，而这样的数据视图可能涉及到重要的主题，如客户、供应商和产品等。
没有能力下钻到更小的细节或其它数据集市有关的事实或共享的数据信息库，因此）3 （分析是有局限性的。
要想获得全面数据，则需要在不同数据集市的分离平台上做连接，但跨数据集市的数据关联任务要由数据集市的外部系统来执行。
规模扩大的成本高，因为每一个新的应用创建了一个分离的数据集市，都要重复所）（4（如操作型系统有有限的时间窗口有的抽取和加载步骤。
通常情况下，对批数据抽取来说，点）。
如果想让分离的数据集市一致，成本将会更高。
0~5 每天的基于依赖型数据集市和操作型数据存储的数据仓库体系结构解决独立数据集市架构局限性的方法之是是使用基于依赖型数据集市（dependent datamart）和操作型数据存储（operational data store,ODS）的数据仓库的的体系结构。
通）中加载依赖型数据集市，在整个Enterprise data warehouse,EWD过企业级数据仓库（．体系架构中只使用单一的ETL过程，确保了ETL的效率和数据集市数据的一致性。
企业级数据仓库是一个集中的、集成的数据仓库，它拥有一致的数据版本，并可以对数据作统一控制，对终端用户的决策支持也是可用的。
依赖型数据集市的主要目标就是提供一个简单、高性能的数据环境，用户群可以访问数据集市、当需要访问其它数据时，也可以访问企业数据仓库。
另外，跨依赖型数据集市的冗余在控制之内，且冗余的数据是一致的。
因为每一个数据集市都是从一个共同的源数据以一种同步的方式加载而来的。
基于依赖型数据集市和操作型数据存储的数据仓库体系架构常常被称为“中心和辐射”架构，其中企业级数据仓库是中心，源数据系统和数据集市在输入和输出的两端。
这种体系结构也被称为合作信息工厂（corporate information factory,CIF）。
在支持所有用户的数据需求中，它被认为是一个全面的企业级的数据视图。
相对于一般的两层体系结构而言，依赖型数据集市的的优势是它们可以处理各个用户群的需求，甚至是探索性数据仓库的需求。
探索性数据仓库是一种专门的数据仓库版本，它使用先进的统计学、数学模型和可视化工具来优化，通常用于数据挖掘和商业智能等业务模型应用的探索。
独立型数据集市的主要优点是可以采用分段方法业开发数据仓库。
事实上，分段方法也可以在基于依赖型数据集市和操作型数据存储的体系结构中实现。
ODS为所有的业务数据提供了一个集成的数据源，同时也解决了独立数据集市架构不能下钻到更小细节的问题。
ODS实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）企业级的、详细的数据库，也叫运营数据存储。