数据仓库与数据挖掘-数据模型与元数据
元数据和数据模型
元数据和数据模型元数据是描述数据的数据，它提供了对数据的定义、结构、特征和属性的描述。
在信息技术领域中，元数据被广泛应用于数据管理、数据集成和数据分析等方面。
数据模型则是对数据进行抽象和建模的过程，它定义了数据的结构和关系，使得数据能够被有效地组织和管理。
本文将从元数据和数据模型的角度，探讨它们在信息技术中的重要性和应用。
一、元数据的作用和重要性元数据是对数据的描述和定义，它提供了对数据的背景和上下文的理解。
元数据包括数据的结构、属性、关系、来源、质量、使用方式等信息，它可以帮助用户理解数据的含义和用途，为数据的管理和分析提供支持。
元数据的作用和重要性如下：1. 数据管理：元数据可以帮助用户了解数据的来源、传输方式、存储位置等信息，为数据的管理和维护提供支持。
通过元数据，用户可以快速找到需要的数据，减少数据的冗余和重复，提高数据的质量和可靠性。
2. 数据集成：在数据集成和数据共享的过程中，元数据起到了关键的作用。
通过元数据，用户可以了解不同数据源的结构和属性，从而进行数据的映射和转换。
元数据可以帮助用户实现不同数据源之间的数据集成和共享，提高数据的一致性和可用性。
3. 数据分析：元数据可以为数据分析提供支持。
通过元数据，用户可以了解数据的属性和关系，从而进行数据的探索和挖掘。
元数据可以帮助用户发现数据的潜在规律和趋势，为数据的分析和决策提供依据。
二、数据模型的概念和分类数据模型是对数据进行抽象和建模的过程，它定义了数据的结构和关系。
数据模型可以帮助用户理解数据的组织和关联，为数据的管理和分析提供支持。
数据模型根据抽象程度和表达能力的不同，可以分为以下几类：1. 概念数据模型：概念数据模型用来描述现实世界中的事物和概念，它与具体的数据库管理系统无关。
常见的概念数据模型包括实体-关系模型、层次模型和网络模型等。
概念数据模型可以帮助用户理解数据的结构和关系，为数据库的设计和管理提供支持。
2. 逻辑数据模型：逻辑数据模型用来描述数据库中的数据结构和关系，它与具体的数据库管理系统有关。
数据仓库与数据挖掘技术 第二章 数据仓库
第2章数据仓库2.1数据仓库的基本概念1. 数据仓库的数据是面向主题的数据仓库与数据挖掘技术图2-1主题间的重叠关系2. 数据仓库的数据是集成的3. 数据仓库的数据是不可更新的数据仓库与数据挖掘技术4. 数据仓库的数据是随时间不断变化的图2-2数据仓库体系结构2.2数据仓库的体系结构数据仓库与数据挖掘技术图2-3数据仓库数据组织结构2.2.1元数据1. 元数据在数据仓库中的作用2. 元数据的使用3. 元数据的分类4. 元数据的内容2.2.2粒度的概念1. 按时间段综合数据的粒度2. 样本数据库2.2.3分割问题1. 分割的优越性2. 数据分割的标准3. 分割的层次2.2.4数据仓库中的数据组织形式1. 简单堆积结构图2-4简单堆积结构数据组织形式2. 轮转综合结构数据仓库与数据挖掘技术图2-5轮转综合结构数据组织形式3. 简单直接结构图2-6简单直接结构数据组织形式4. 连续结构图2-7连续结构数据组织形式数据仓库与数据挖掘技术2.3数据仓库的数据模型2.3.1概念数据模型图2-8商品、顾客和供应商E-R图2.3.2逻辑数据模型2.3.3物理数据模型2.3.4高层数据模型、中间层数据模型和低层数据模型1. 高层数据模型2. 中间层数据模型3. 低层数据模型数据仓库与数据挖掘技术2.4数据仓库设计步骤图2-9数据仓库设计步骤2.4.1概念模型设计1. 界定系统边界2. 确定主要的主题域3. 实例2.4.2技术准备工作2.4.3逻辑模型设计1. 分析主题域2. 划分粒度层次3. 确定数据分割策略4. 定义关系模式5. 定义记录系统2.4.4物理模型设计1. 确定数据的存储结构数据仓库与数据挖掘技术2. 确定索引策略3. 确定数据存放位置4. 确定存储分配2.4.5数据仓库的生成1. 接口设计2. 数据装入2.4.6数据仓库的使用和维护1. 开发DSS应用图2-10DSS应用开发步骤2. 进一步理解需求，改善系统，维护数据仓库图2-11William H.Inmon数据仓库设计步骤数据仓库与数据挖掘技术2.5利用SQL Server 2005构建数据仓库图2-12使用Visual Studio 2005系统新建项目图2-13新建Analysis Services项目图2-14新建数据源数据仓库与数据挖掘技术图2-15新建数据源向导图2-16选择如何连接数据源图2-17连接管理器图2-18连接管理器连接测试成功窗口图2-19选择已经连接的数据库作为数据源图2-20选择连接数据源的凭证图2-21新建数据源向导完成图2-22右击新建数据源视图图2-23新建数据源视图向导图2-24选择视图的数据源图2-25选择表和视图图2-26完成新建数据源视图向导图2-27新建多维数据集图2-28多维数据集向导图2-29选择生成多维数据集的方法图2-30选择多维数据集的数据源视图图2-31检测事实数据表和维度表图2-32标示事实表和维度表图2-33选择度量值图2-34扫描维度图2-35查看维度结构图2-36完成多维数据集向导图2-37创建完成数据仓库界面习题21. 如何理解数据仓库是面向主题的、集成的、不可更改的和是随时间不断变化的。
终于把元数据、数据元、元模型、数据字典及数据模型的区别搞清楚了by傅一平
终于把元数据、数据元、元模型、数据字典及数据模型的区别搞清楚了by傅一平有读者问起元数据、数据元、数据字典、数据模型及元模型的区别，这些相似的概念估计会把不少人饶晕，这里我先给出一个图解的例子，然后再对这些概念作详细解读。
1、数据元就是”个人所得税记录表“中的字段，比如示例中的”个人所得税金额“，注意，数据元既有描述内容，也是数据的一部分，最小单元而已，图中蓝色虚框包含的部分就是数据元。
2、数据模型就是”个人所得税记录表“这张表本身，它是现实世界的一个抽象，见图中黑色虚框包含的部分。
3、”个人所得税金额“的元数据是对”个人所得税金额“这个字段的描述，见图中红色虚框部分，可见它不包含数据。
4、”个人所得税记录表“的元数据是对”个人所得税记录表“这张表的描述，见图中咖啡虚框部分。
5、数据字典就是针对表，字段等数据库对象元数据的一种重新组织形式，示意如上。
6、有了对数据模型的理解再看元模型，元模型是模型的模型，定义了描述某一模型的规范，具体来说就是组成模型的元素和元素之间的关系，如上图对实体和实体间的1:1依赖关系做了定义，对实体的属性做了name、field定义，元模型实例化就成了模型和元数据。
以下是我的辨析总结：数据元：是通过定义、标识、表示以及允许值等一系列属性描述的数据单元，数据元的相关信息也是元数据的一部分，数据元=单元数据+基本描述（元数据子集）元数据：关于数据的数据，但元数据无法涵盖理解数据元所要表示的数据所必需的所有信息，元数据=对于数据元有缺失的描述数据字典：用户可以访问的一种信息集合的目录，是元数据的子集和应用，数据字典=元数据的一种特殊应用数据模型：是数据特征的抽象，将若干具有相关性的数据元按一定的次序组成一个整体结构即为数据模型，数据模型=若干数据元组合元模型：对模型的元素和元素之间关系的规范，元模型=数据模型和元数据的抽象规范如果还想了解更多，可以继续往下读，共分为五个部分。
数据仓库与数据挖掘教程(第2版)课后习题答案 第二章
数据仓库与数据挖掘教程(第2版)课后习题答案第二章1. 什么是数据仓库？它与传统数据库有什么不同？答：数据仓库是一个面向主题、集成、稳定、可学习的数据集合，用于支持企业决策制定和决策支持系统。
与传统数据库相比，数据仓库更注重数据的整合和大数据的处理能力，以支持更高级别的数据分析和决策。
2. 什么是元数据？有哪些类型？答：元数据指描述数据仓库中数据的数据，用于描述数据的含义、格式、内容、质量、来源、使用和存储等方面的信息。
元数据有三种类型：技术元数据、业务元数据和操作元数据。
3. 数据仓库的架构有哪些组成部分？请简述各组成部分的作用。
答：数据仓库的架构主要包括数据源、数据抽取、清理和转换、存储和管理、元数据管理、查询和分析等几个组成部分。
- 数据源：指数据仓库的数据来源，可以是事务处理系统、外部数据源、第三方提供商等。
- 数据抽取、清理和转换：将数据从各种不同的来源抽取出来并转化为简单、标准的格式，以便进行加工和分析。
- 存储和管理：将经过抽取、转换和清洗后的数据存储在数据仓库中并进行管理，查找、更新和删除等操作。
- 元数据管理：对数据仓库中的元数据进行管理，并将其存储在元数据存储库中。
- 查询和分析：通过各种查询和分析工具来进行数据挖掘、分析和报告。
4. 请列出数据仓库中的三种主要数据类型。
答：数据仓库中的三种主要数据类型包括事实数据、维度数据和元数据。
5. 请列出数据仓库的三种不同的操作类型。
答：数据仓库的三种不同的操作类型包括基础操作、加工操作和查询操作。
6. 数据挖掘的定义是什么？答：数据挖掘是一种通过分析大量数据来发现有意义模式、趋势和关联的过程。
它是既包含统计学、机器学习和数据库技术的交叉学科，又包含更广泛的知识和业务领域。
7. 请列出数据挖掘中的四个主要任务。
答：数据挖掘中的四个主要任务包括描述性数据挖掘、预测性数据挖掘、关联数据挖掘和分类和聚类。
8. 数据仓库中经常使用OLAP分析方式，您了解OLAP是什么吗？答： OLAP是一种面向主题的数据分析方式，可以帮助用户对快速变化的数据进行多维分析和决策支持。
元数据和数据模型
元数据和数据模型元数据和数据模型元数据是指描述数据的数据，是对数据的描述和定义，包括数据的结构、属性、关系、语义等信息。
元数据是数据管理和数据分析的基础，它可以帮助我们更好地理解数据，更好地利用数据。
数据模型是对数据的抽象和描述，它是数据管理和数据分析的基础。
数据模型可以帮助我们更好地理解数据，更好地利用数据。
数据模型可以分为概念模型、逻辑模型和物理模型。
概念模型是对数据的概念和关系的描述，它是从用户的角度出发，描述数据的概念和关系。
概念模型通常使用实体-关系图（ER图）来表示，它包括实体、属性和关系三个要素。
实体是指具有独立存在和特定属性的事物，属性是指实体的特征或属性，关系是指实体之间的联系或关系。
逻辑模型是对数据的逻辑结构和关系的描述，它是从计算机系统的角度出发，描述数据的逻辑结构和关系。
逻辑模型通常使用关系模型（关系表）来表示，它包括表、字段和关系三个要素。
表是指具有相同属性的数据的集合，字段是指表中的属性，关系是指表之间的联系或关系。
物理模型是对数据的物理存储和访问的描述，它是从计算机系统的角度出发，描述数据的物理存储和访问。
物理模型通常使用数据库管理系统（DBMS）来实现，它包括表、字段、索引和存储结构等要素。
表、字段和关系与逻辑模型相同，索引是指对表中的字段建立索引，以提高数据的访问效率，存储结构是指数据在磁盘上的存储方式。
总之，元数据和数据模型是数据管理和数据分析的基础，它们可以帮助我们更好地理解数据，更好地利用数据。
在数据管理和数据分析的过程中，我们需要充分利用元数据和数据模型，以提高数据的质量和效率。
数据元与元数据、数据项区别
数据元与元数据、数据项区别引言概述：在数据管理领域，数据元、元数据以及数据项是三个重要的概念。
虽然它们之间有一定的联系，但是在定义和使用上却存在一些差异。
本文将从数据元与元数据、数据项的定义、特点和应用等方面进行详细比较和分析，以便更好地理解它们之间的区别。
一、数据元的定义、特点和应用：1.1 数据元的定义：数据元是数据的最小单位，是对现实世界中某个实体或属性的抽象表示。
它通常包含数据元名称、标识符、数据类型、长度等信息。
1.2 数据元的特点：数据元具有独立性、唯一性和不可再分性的特点。
它是数据管理的基本单位，可以被其他数据元组合成更复杂的数据结构。
1.3 数据元的应用：数据元在数据模型设计、数据库设计和数据标准化等方面起着重要作用。
通过对数据元的定义和管理，可以更好地组织和管理数据，提高数据的质量和可靠性。
二、元数据的定义、特点和应用：2.1 元数据的定义：元数据是描述数据的数据，是数据的补充信息。
它包括数据元的定义、属性、关系、来源等信息，用于描述数据的特性和结构。
2.2 元数据的特点：元数据具有描述性、管理性和可重用性的特点。
它可以帮助用户更好地理解数据的含义和用途，提高数据的可管理性和可维护性。
2.3 元数据的应用：元数据在数据仓库、数据集成、数据挖掘等领域中被广泛应用。
通过元数据的描述和管理，可以实现数据的共享和交换，提高数据的可用性和可访问性。
三、数据项的定义、特点和应用：3.1 数据项的定义：数据项是数据的基本单位，是对数据元的具体实例。
它包含具体的数值、文本或图像等信息，是数据的实际载体。
3.2 数据项的特点：数据项具有具体性、可变性和可操作性的特点。
它可以被用于数据的输入、输出、存储和处理等操作。
3.3 数据项的应用：数据项在数据交换、数据处理、数据分析等方面发挥着重要作用。
通过对数据项的定义和管理，可以实现数据的有效传递和利用，提高数据的效率和准确性。
四、数据元、元数据、数据项之间的联系和区别：4.1 数据元与元数据的联系：数据元是元数据的基本组成部分，元数据描述了数据元的属性和关系。
数据仓库与数据挖掘区别
数据仓库与数据挖掘区别随着数据的日益增长和应用需求的扩大，数据仓库和数据挖掘成为了越来越重要的领域。
这两个领域虽然有时被混淆在一起，但其实有很大的区别。
本文将深入探讨数据仓库和数据挖掘的区别。
一、数据仓库是什么首先我们来看数据仓库是什么。
数据仓库是一个专门存储企业级数据的系统。
它是一个集中管理和众多决策支持工具的数据中心，可以提供企业数据的历史标准记录和解决方案。
数据仓库包括一个或多个数据源、抽取转换加载程序、集成部分和元数据信息。
在数据仓库中，业务数据从各个操作性/事务型系统收集、清洗、集成并存储，为后期的分析使用提供了数据资源。
数据仓库通常能够支持复杂、高级、决策性的业务分析，而传统的操作数据系统通常只支持简单的查询和记录事务。
二、数据挖掘是什么接下来我们了解一下数据挖掘。
数据挖掘是一种从数据中发掘隐藏模式、关系和规律的过程，可以通过应用统计分析、机器学习、聚类分析以及其它相关技术进行自动化发现。
数据挖掘是在海量、复杂、异构、不确定的数据中获取有用知识的一种方法。
数据挖掘与统计学不同之处在于，统计学更加关注于数据分布、统计量以及推断。
而数据挖掘更加关心的是数据的预测建模、分类和聚类。
数据挖掘还可以探索数据，从而寻找实现业务目标的方案。
在数据挖掘中，数据不仅用于构建模型，还广泛应用于商业分析、客户关系管理、市场探测以及其它领域。
三、数据仓库和数据挖掘的区别数据仓库和数据挖掘经常被误解，认为是相同的领域。
然而，两者之间有很大的区别。
首先，数据仓库旨在存储和管理各种类型的数据。
而数据挖掘旨在从这些数据源中提取有用、有影响的业务信息。
因此，可以说数据仓库是数据挖掘的基础。
其次，数据仓库主要是为数据分析提供数据，而数据挖掘旨在构建更深入的分析和预测模型。
数据仓库会使业务分析师获得简单易懂的答案，而数据挖掘技术能发现隐藏的模式和规律，发掘数据中的未知信息。
另外，数据仓库主要是为企业的管理团队和商业分析师提供数据资源。
数据挖掘 - 知识点
数据库面向应用数据是详细的保持当前数据数据是可更新的对数据的操作是重复的操作需求是事先可知的一个操作存取一个记录数据非冗余操作比较频繁查询基本是原始数据事务处理需要的是当前数据很少有复杂的计算支持事务处理 联机事物处理(On Line Transaction Processing ，OLTP )是在网络环境下的事务处理工作，以快速的响应和频繁 的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。
OLAP数据仓库数据综合性数据历史数据不更新，但周期刷新响应时间合理用户数量相对较小面向决策人员，支持决策需要面向分析，分析驱动数据字典：是数据库中各类数据描述的集合，它在数据库设计中具有很重要的地位。
由：数据项；数据结构；数 据流；数据存储；处理过程 5 部份组成。
元数据(metadata )定义为关于数据的数据(data about data )，即元数据描述了数据仓库的数据和环境。
数据仓 库的元数据除对数据仓库中数据的描述 (数据仓库字典) 外，还有以下三类元数据 ：(1) 关于数据源的元数据(2) 关于抽取和转换的元数据(3) 关于最终用户的元数据数据仓库 面向主题数据是综合和历史的保存过去和现在的数据 数据不更新对数据的操作是启示式的 操作需求是暂时决定的一个操作存取一个集合数据时常冗余操作相对不频繁查询基本是经过加工的数据决策分析需要过去和现在的数据 有不少复杂的计算支持决策分析 OLTP数据库数据 细节性数据 当前数据 时常更新 对响应时间要求高 用户数量大 面向操作人员，支持日常操作 面向应用，事务驱动DB-->DW-->OLAP-->DM-->KDD-->DSS-->AI知识发现(KDD)：从数据中发现实用知识的整个过程。
数据挖掘(DM)：KDD 过程中的一个特定步骤，它用专门算法从数据中抽取知识。
(1)数据仓库与数据挖掘的区别：数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信息。
数据仓库的技术要求
数据仓库的技术要求
x
数据仓库的技术要求
一、基础技术
1、硬件要求：数据库存储服务器应采用高性能的服务器，具有足够的内存容量和IO性能；
2、存储层：采用磁盘阵列等存储技术，支持高容量的数据存储、高IO性能等；
3、数据库层：采用Oracle、MySQL等主流数据库，支持多用户访问；
4、数据交换技术：支持从关系型数据库、文件系统、外部数据源进行数据传输，以满足数据采集、清洗等功能的需要；
5、数据挖掘技术：支持关联规则挖掘、分类、回归、聚类等算法，帮助分析系统挖掘出数据仓库中隐藏的关联及模式；
二、数据仓库技术
1、数据模型：支持多维结构的数据模型，通过分层存储、元数据管理、维度管理等技术，实现高效的数据分析及查询；
2、数据集成技术：支持多数据源的集成，实现对不同数据源的快速访问，支持多种格式的数据转换及ETL技术；
3、查询及分析技术：支持OLAP、SQL等多种查询及分析技术，满足用户的复杂分析需要；
4、数据可视化技术：采用数据可视化技术，更直观的将复杂的
数据模型及分析结果展现出来，便于用户阅读；
5、安全技术：采用数据加密、数据审计、灾难恢复等技术保障数据安全，支持多级用户权限管理；
6、元数据管理：支持元数据的抽取分析，帮助用户更快的完成数据集成及元数据的管理。
数据仓库的源数据类型
数据仓库的源数据类型数据仓库是一个用于集成、存储和管理企业各种数据的系统。
为了构建一个高效的数据仓库，我们需要对源数据进行分类和标准化。
源数据类型是指数据仓库中所使用的数据源的种类和特征。
下面是对数据仓库的源数据类型的详细描述。
1. 结构化数据：结构化数据是指具有明确定义数据结构的数据，通常存储在关系型数据库中。
这些数据具有清晰的表结构和列定义，可以通过SQL查询进行访问和分析。
例如，客户订单、销售记录和员工信息等都属于结构化数据。
2. 半结构化数据：半结构化数据是指具有一定结构但不符合传统关系型数据库模式的数据。
这些数据通常以XML、JSON或HTML等格式存储，并且具有标签或标记来描述数据的结构和关系。
半结构化数据的例子包括日志文件、电子邮件和Web页面。
3. 非结构化数据：非结构化数据是指没有明确定义结构的数据，通常以文本形式存在。
这些数据没有明确的模式或格式，难以通过传统的关系型数据库进行存储和查询。
非结构化数据的例子包括文档、图像、音频和视频等。
4. 内部数据：内部数据是指由组织内部生成和收集的数据。
这些数据通常包括企业资源计划（ERP）系统、客户关系管理（CRM）系统和人力资源管理（HRM）系统等内部业务系统生成的数据。
内部数据对于企业的经营决策和业务分析非常重要。
5. 外部数据：外部数据是指从外部来源获取的数据，这些数据可以帮助企业了解市场趋势、竞争对手和行业动态等信息。
外部数据可以来自公共数据集、第三方数据供应商或互联网上的开放数据。
例如，市场调研数据、社交媒体数据和天气数据等都属于外部数据。
6. 实时数据：实时数据是指在发生事件或交易时立即生成的数据。
这些数据具有即时性和高频率性，需要实时地进行处理和分析。
实时数据的例子包括传感器数据、交易数据和网络日志等。
7. 历史数据：历史数据是指过去一段时间内生成的数据，用于回顾和分析过去的业务活动和趋势。
历史数据通常用于预测和决策支持。
浅谈数据仓库与数据挖掘
浅谈数据仓库与数据挖掘数据仓库与数据挖掘数据仓库和数据挖掘是现代信息技术领域中非常重要的概念，它们在数据管理和分析方面扮演着关键的角色。
本文将从数据仓库和数据挖掘的定义、特点、应用以及未来发展等方面进行浅谈。
一、数据仓库1. 定义数据仓库是一个用于集成、存储和管理企业中各种数据的系统。
它是一个面向主题的、集成的、稳定的、随时间变化的数据集合，用于支持企业决策的分析和报告。
2. 特点（1）面向主题：数据仓库以主题为中心，将企业中各个部门的数据按照主题进行集成和组织，方便用户进行分析和决策。
（2）集成性：数据仓库将来自不同数据源的数据进行整合，消除了数据冗余和不一致性，提供了一致的数据视图。
（3）稳定性：数据仓库中的数据是经过清洗、转换和整理的，保证了数据的准确性和一致性。
（4）随时间变化：数据仓库中的数据是根据时间进行组织和管理的，可以追溯历史数据，支持时间序列分析和趋势预测。
3. 应用数据仓库广泛应用于企业的决策支持系统、业务智能和数据分析等领域。
它可以帮助企业进行销售分析、市场调研、客户关系管理、供应链管理等，提供决策者需要的各种信息和报告。
二、数据挖掘1. 定义数据挖掘是从大量数据中发现有用的模式、规律和知识的过程。
它利用统计学、机器学习、人工智能等技术，通过对数据的分析和挖掘，揭示数据背后的隐藏信息和价值。
2. 特点（1）自动化：数据挖掘是一种自动化的过程，通过计算机算法和模型，对数据进行分析和挖掘，不需要人工干预。
（2）非显性：数据挖掘可以发现隐藏在数据中的非显性模式和规律，帮助人们发现新的知识和见解。
（3）综合性：数据挖掘可以结合多种技术和方法，如聚类、分类、关联规则挖掘等，对数据进行多维度的分析和挖掘。
（4）实时性：数据挖掘可以对实时数据进行分析和挖掘，帮助企业及时发现和应对问题。
3. 应用数据挖掘广泛应用于商业、金融、医疗、社交网络等领域。
它可以帮助企业进行市场分析、风险预测、用户行为分析、推荐系统等，提供决策支持和业务优化的建议。
《数据仓库与数据挖掘》教学大纲
《数据仓库与数据挖掘》教学大纲一、课程概述数据挖掘是一门新兴的交叉性学科，是在信息技术领域迅速兴起的决策支持新技术。
数据挖掘是数据库研究、开发、和应用最为活跃的分支之一。
本课程的先修课程为数据结构、高等数学、数据库技术等。
本课程标准适用于计算机科学与技术、信息管理与信息系统专业。
二、课程目标1．了解数据管理技术从数据库到数据仓库的发展过程。
2．掌握数据仓库的定义、特点和研究数据仓库的必要性。
3．掌握数据仓库的体系结构和联机分析处理的概念4．掌握数据仓库的数据组织、数据预处理与规划管理5．掌握数据仓库规划、设计、管理的基本方法6．掌握数据挖掘的基本概念及与数据仓库的关系7．熟悉聚类分析、分类发现和关联规则等数据挖掘算法的使用环境、算法特点，并能进行算法复杂性的分析。
8．认识数据挖掘的发展趋势和应用前景9．能够在科研实践中应用数据仓库技术和应用数据挖掘的方法。
三、课程内容和教学要求这门学科的知识与技能要求分为知道、理解、掌握、学会四个层次。
这四个层次的一般涵义表述如下：知道———是指对这门学科和教学现象的认知。
理解———是指对这门学科涉及到的概念、原理、策略与技术的说明和解释，能提示所涉及到的教学现象演变过程的特征、形成原因以及教学要素之间的相互关系。
掌握———是指运用已理解的教学概念和原理说明、解释、类推同类教学事件和现象。
学会———是指能模仿或在教师指导下独立地完成某些教学知识和技能的操作任务，或能识别操作中的一般差错。
教学内容和要求表中的“√”号表示教学知识和技能的教学要求层次。
本标准中打“*”号的内容可作为自学，教师可根据实际情况确定要求或不布置要求。
教学内容及教学要求表教学内容 知道 理解 掌握 学会 1 数据仓库概述1.1从数据库到数据仓库1.2 数据仓库的概念与特点1.3 数据仓库中的关键概念1.4 数据仓库的数据组织1.5 数据仓库与数据集市的关系 1.6 数据仓库体系结构1.7 操作数据存储ODS √√√√√√√2 联机分析处理2.1 联机分析处理的概念2.2 OLAP多维数据分析2.3 OLAP数据组织2.5 OLAP工具及评价 √ √√√3 数据仓库设计3.1 数据仓库中的数据模型概述 3.2概念模型设计3.3 逻辑模型设计3.4 物理模型设计3.5 元数据模型3.6 粒度模型 √√√√√√4 数据仓库的规划与开发4.1 数据仓库的投资分析4.2 数据仓库的开发方法 4.3 数据仓库的建立过程 4.4 数据仓库的维护4.5 提高数据仓库的性能 4.6 数据仓库的安全性 √√√√√√教学内容 知道 理解 掌握 学会4.7 分布式数据仓库 √5 数据仓库的工具5．1数据仓库的工具选择5.2 常用数据仓库产品介绍5.3 SQL Server 数据仓库的操作应用 √√√6 数据挖掘概述6.1 数据挖掘的定义对象 6.2 数据挖掘的分类6.3 数据挖掘系统6.4 数据预处理 √ √ √ √7 数据挖掘的算法7.1 分类规则挖掘7.2 预测分析与趋势分析规则7.3 数据挖掘的关联算法7.4 聚类分析7.5 神经网络算法 √ √ √ √ √8 数据挖掘新技术 √9 数据挖掘的工具及其应用9.1 国内外数据挖掘工具及评价9.2 SQL Server 2005数据挖掘工具应用 √√10基于数据挖掘的上市公司财务危机预警应用实例 √四、 课程实施数据仓库与数据挖掘为计算机类选修课程，对于本科生着重强调理解基本概念和掌握最基本的方法，一般情况下，每周安排2课时，共36课时。
元数据的概念
元数据的概念概述：元数据是指描述数据的数据，它提供了关于数据的信息，包括数据的属性、结构、格式、来源、质量等。
元数据在数据管理和数据分析中起着重要的作用，它能够帮助人们理解和使用数据，提高数据的可理解性和可用性。
本文将详细介绍元数据的概念、分类、作用以及在实际应用中的应用场景。
一、元数据的概念元数据是指描述数据的数据，它提供了关于数据的信息，帮助人们理解和使用数据。
元数据可以描述数据的属性、结构、格式、来源、质量等方面的信息。
它记录了数据的特征和属性，可以被用来解释数据的含义、使用方式以及数据间的关系。
元数据可以存在于不同的形式中，如数据字典、数据目录、数据模型、数据标准等。
二、元数据的分类根据元数据的不同内容和用途，可以将元数据分为以下几类：1. 技术元数据：技术元数据描述了数据的物理属性和技术特性，包括数据的存储位置、文件格式、访问权限、数据字典等。
技术元数据主要用于数据管理和数据治理，帮助人们管理和维护数据。
2. 业务元数据：业务元数据描述了数据的业务含义和用途，包括数据的定义、业务规则、数据所有者、数据质量要求等。
业务元数据主要用于数据分析和决策支持，帮助人们理解数据的含义和用途。
3. 血缘元数据：血缘元数据描述了数据之间的关系和来源，包括数据的产生过程、数据的传输路径、数据的变换过程等。
血缘元数据主要用于数据追溯和数据质量分析，帮助人们了解数据的来源和变化过程。
4. 上下文元数据：上下文元数据描述了数据的上下文信息，包括数据的时间、地点、环境等。
上下文元数据主要用于数据分析和数据挖掘，帮助人们理解数据的背景和环境。
三、元数据的作用元数据在数据管理和数据分析中起着重要的作用，具有以下几个方面的作用：1. 数据理解和解释：元数据提供了关于数据的信息，帮助人们理解数据的含义、结构和用途。
通过元数据，人们可以了解数据的属性、定义、业务规则等，从而更好地理解和解释数据。
2. 数据集成和共享：元数据描述了数据的结构和关系，帮助人们进行数据集成和数据共享。
元数据的概念
元数据的概念概述：元数据是指描述数据的数据，它提供了关于数据的信息，包括数据的定义、结构、属性、关系等。
元数据是数据管理和数据分析的重要组成部份，它能够匡助人们更好地理解和使用数据，提高数据的质量和价值。
本文将详细介绍元数据的概念、作用、分类以及管理方法。
一、元数据的概念元数据是指描述数据的数据，它描述了数据的特征、属性、结构以及数据之间的关系。
元数据可以匡助人们理解数据的含义和用途，提供数据的背景信息，匡助人们更好地使用和管理数据。
元数据通常包括以下几个方面的信息：1. 数据定义：描述数据的含义、用途、来源等信息，包括数据的名称、描述、标识符等。
2. 数据结构：描述数据的组织方式和结构，包括数据的表、字段、键值等。
3. 数据属性：描述数据的特征和属性，包括数据的类型、长度、精度等。
4. 数据关系：描述数据之间的关系和依赖，包括数据的关联、引用、约束等。
5. 数据历史：描述数据的变化和演化过程，包括数据的创建、修改、删除等。
二、元数据的作用元数据在数据管理和数据分析中起着重要的作用，它能够匡助人们更好地理解和使用数据，提高数据的质量和价值。
具体而言，元数据的作用包括以下几个方面：1. 数据理解：通过元数据，人们可以了解数据的含义、结构和属性，从而更好地理解数据的意义和用途。
2. 数据发现：元数据可以匡助人们发现和查找需要的数据，提高数据的可发现性和可访问性。
3. 数据集成：元数据可以描述数据之间的关系和依赖，匡助人们进行数据集成和数据整合，提高数据的一致性和完整性。
4. 数据质量管理：通过元数据，人们可以了解数据的来源、准确性和完整性，从而进行数据质量管理和数据清洗。
5. 数据分析：元数据可以提供数据的背景信息和上下文，匡助人们进行数据分析和数据挖掘，发现数据中的模式和规律。
三、元数据的分类根据元数据的不同用途和应用领域，可以将元数据分为不同的分类。
常见的元数据分类包括以下几种：1. 技术元数据：描述数据的技术特性和属性，包括数据的存储格式、访问方式、传输协议等。
数据仓库和数据挖掘PPT课件
客户细分
通过对客户的行为、偏好、资产等数据的分析，可以将客 户划分为不同的细分市场，为精准营销和服务提供支持。
投资决策
通过对历史数据的挖掘和分析，可以发现市场趋势和预测 未来走势，为投资者提供科学的投资决策依据。
电商行业的数据仓库和数据挖掘应用
总结词
电商行业是数据仓库和数据挖掘应用的另一个重 要领域，通过对用户行为、商品销售、市场趋势 等数据的分析和挖掘，可以优化营销策略、提高 用户体验和销售额。
03
数据挖掘基础
数据挖掘定义
总结词
数据挖掘是从大量数据中提取出有用 的信息和知识的过程。
详细描述
数据挖掘是一种从大量数据中通过算 法搜索隐藏在其中的信息、模式和关 联性的过程。这些信息可以用于决策 支持、预测趋势和行为等。
数据挖掘过程
总结词
数据挖掘过程包括数据预处理、数据探索、模型建立 和评估等步骤。
02
数据仓库基础
数据仓库定义
总结词
数据仓库是一个大型、集中式的存储系统，用于存储和管理企业的结构化数据。
详细描述
数据仓库是一个面向主题的、集成的、非易失的数据存储环境，用于支持管理 决策和业务操作。它通常包含历史数据，并支持对数据的分析和查询。
数据仓库架构
总结词
数据仓库架构包括数据源、ETL过程、数据 存储和数据访问等组成部分。
05
数据仓库和数据挖掘的实 际应用案例
金融行业的数据仓库和数据挖掘应用
总结词
金融行业是数据仓库和数据挖掘应用的重要领域，通过对 大量数据的分析和挖掘，可以提供风险控制、客户细分、 投资决策等方面的支持。
风险控制
金融机构可以利用数据仓库和数据挖掘技术，对海量的交 易数据进行实时监控和异常检测，及时发现和预防潜在的 金融风险。
数据仓库与数据挖掘课件
数据库保持事务处理的当前状态，数据仓库既 保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对 数据仓库操作不明确，操作数据量大
3.数据库与数据仓库对比
数据库 数据仓库
细节的 代表当前的数据 可更新的 一次操作数据量小 面向应用 支持管理
关系数据库是二维数据（平面），多维数据库 是空间立体数据。
2.联机分析处理（OLAP）
OLAP的基本思想是决策者从多 方面和多角度以多维的形式来观 察企业的状态和了解企业的变化。
3.OLTP与OLAP的对比
OLTP 细节性数据 当前数据 经常更新 一次性处理的数据量小 对响应时间要求高 面向应用，事务驱动 OLAP 综合性数据 历史数据 不更新，但周期性刷新 一次处理的数据量大 响应时间合理 面向分析，分析驱动
统计学与数据挖掘的比较
统计学主要是对数量数据（数值）或连续值数 据（如年龄、工资等），进行数值计算（如初 等运算）的定量分析，得到数量信息。 数据挖掘主要对离散数据（如职称、病症等） 进行定性分析（覆盖、归纳等），得到规则知 识。
统计学与数据挖掘是有区别的。但是，它们之 间是相互补充的。
综合或提炼的 代表过去的数据 不更新 一次操作数据量大 面向分析 支持决策
1.1.2从OLTP到OLAP
1.联机事务处理（OLTP）
2.联机分析处理（OLAP） 3.OLTP与OLAP的对比
1.联机事务处理（OLTP）
联机事务处理（On Line Transaction Processing，OLTP）是在网络环境下的 事务处理工作，以快速的响应和频繁的数据 修改为特征，使用户利用数据库能够快速地 处理具体的业务。 OLTP应用要求多个查询并行，以便将每个 查询分布到一个处理器上。
数据仓库与数据挖掘
数据仓库与数据挖掘数据仓库与数据挖掘是现代信息技术领域中重要的概念和技术，它们在数据管理和分析方面起着关键作用。
本文将详细介绍数据仓库与数据挖掘的定义、原理、应用以及相关技术。
一、数据仓库的定义与原理数据仓库是一个用于存储和管理大量结构化和非结构化数据的系统，它将来自多个数据源的数据进行提取、转换和加载，以便进行高效的查询和分析。
数据仓库的主要特点包括：集成性、主题性、稳定性和可扩展性。
数据仓库的建立通常经历以下几个步骤：1. 数据提取：从各个数据源中提取数据，并进行清洗和转换，以确保数据的一致性和准确性。
2. 数据加载：将清洗和转换后的数据加载到数据仓库中，并进行索引和分区，以提高查询效率。
3. 数据建模：根据业务需求，设计和构建数据仓库的逻辑模型，包括维度模型和事实模型。
4. 数据查询与分析：通过使用数据仓库中的数据，进行复杂的查询和分析，以获取有价值的信息和洞察。
二、数据挖掘的定义与原理数据挖掘是从大量数据中发现隐藏的模式、关联和知识的过程。
它是通过应用统计学、机器学习和人工智能等技术，从数据中提取实用的信息，以支持决策和预测。
数据挖掘的主要任务包括：1. 分类：将数据分为不同的类别，以预测新数据的分类。
2. 聚类：将数据分为不同的群组，以发现数据中的相似模式。
3. 关联规则挖掘：发现数据中的相关关系和规律。
4. 预测：基于历史数据，预测未来的趋势和结果。
数据挖掘的过程通常包括以下几个步骤：1. 数据预处理：对原始数据进行清洗、转换和集成，以提高数据质量和一致性。
2. 特征选择：选择最具代表性和相关性的特征，以减少数据维度和提高模型的准确性。
3. 模型构建：选择合适的数据挖掘算法，并使用训练数据构建预测模型。
4. 模型评估：通过使用测试数据集，评估模型的性能和准确性。
5. 模型应用：将训练好的模型应用于新的数据，以进行预测和决策支持。
三、数据仓库与数据挖掘的应用数据仓库与数据挖掘在各个领域都有广泛的应用，包括市场营销、金融、医疗、电子商务等。
数据仓库与数据挖掘课后习题答案
数据仓库与数据挖掘第一章课后习题一：填空题1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。
2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。
3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。
4）元数据是“关于数据的数据”。
根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。
5）数据处理通常分为两大类：联机事务处理和联机事务分析6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。
7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。
8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。
9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。
10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。
二：简答题1）什么是数据仓库？数据仓库的特点主要有哪些？数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用2）简述数据挖掘的技术定义。
从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。
3）什么是业务元数据？业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据4）简述数据挖掘与传统分析方法的区别。
本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。
数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。
浅析元数据在数据仓库中的应用
浅析元数据在数据仓库中的应用元数据在数据仓库中的应用数据仓库是一个用于集成、存储和管理企业数据的关键系统。
在数据仓库中，元数据起着至关重要的作用。
元数据是描述数据的数据，它提供了关于数据的信息，包括数据的结构、定义、来源、用途等。
在数据仓库中，元数据的应用涉及到数据的管理、分析和查询等方面。
一、元数据在数据仓库中的管理1. 元数据定义和描述元数据在数据仓库中用于定义和描述数据对象、数据表、字段、索引、视图等。
通过元数据，可以清晰地了解数据的结构和关系，方便数据仓库管理员进行数据的管理和维护。
2. 元数据的版本控制数据仓库中的数据经常会发生变化，包括数据的添加、删除、修改等。
通过元数据的版本控制，可以追踪数据的变化历史，方便数据仓库管理员进行数据的追溯和回滚操作。
3. 元数据的权限管理数据仓库中的数据通常涉及到不同用户和部门的访问权限。
通过元数据的权限管理，可以对不同用户和部门进行权限的分配和控制，确保数据的安全性和合规性。
二、元数据在数据仓库中的分析1. 数据血缘分析数据仓库中的数据通常来自于不同的数据源，经过清洗、整合和转换等处理。
通过元数据的血缘分析，可以追踪数据的来源和变化过程，帮助分析师和决策者了解数据的可信度和可靠性。
2. 数据质量分析数据仓库中的数据质量是关键的，它直接影响到分析和决策的准确性和可靠性。
通过元数据的质量分析，可以评估数据的准确性、完整性、一致性和时效性等指标，帮助数据仓库管理员进行数据质量的监控和改进。
3. 数据统计和报表分析数据仓库中的数据通常用于生成各种统计和报表。
通过元数据的统计和报表分析，可以对数据进行聚合、分组、排序等操作，生成各种统计和报表，帮助企业进行业务分析和决策。
三、元数据在数据仓库中的查询1. 数据检索和查询数据仓库中的数据通常需要进行检索和查询，以满足用户和部门的需求。
通过元数据的查询，可以根据用户的需求，快速地检索和查询数据，提供准确的结果。
2. 数据挖掘和分析数据仓库中的数据通常包含大量的历史数据，通过数据挖掘和分析，可以发现数据中的隐藏模式和规律，帮助企业进行更深入的业务分析和决策。
数据仓库与数据挖掘
第一章1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3、数据处理通常分成两大类：联机事务处理和联机分析处理。
4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。
5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。
●OLAP技术的有关概念：多维数据集、维度、度量值和多维分析；●OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP6、数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。
7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。
8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。
9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。
10、从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主；以分析为主；以预测模型为主；以运营导向为主；以实时数据仓库、自动决策为主。
11、什么是数据仓库？数据仓库的特点主要有哪些？数据仓库通常是指一个数据库环境，而不是支一件产品，它是提供用户用于决策支持的当前和历史数据，这些数据在传统的数据库中通常不方便得到。
数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主题词或关键词
相关药物 相关疾病 相关文献
相关指标
相关书目 相关专家 相关机构 图片 视频 音频
•
症状
病因及发病机制 病理变化 诊断
2019/4/8
治疗
19/37
举例：全国文化信息资源共享工程中的元数据
2019/4/8
20/37
举例：全国文化信息资源共享工程中的元数据
• 描述: 显示器件: 缩写: WEAPO 名字空间URI: /ndcnc/elements/WEAPO 附属标记: 20030729135519 兵器名称 研制国别 研制机构 研制时间 分类 关键词 简介 图片 视频 音频
相关书目
（1）用于信息的元数据
（2）用于控制的元数据
2019/4/8
26/37
6. 按照产生/使用的时间分类 • 根据获取或生成的时间，可以分为：
A.设计时收集的元数据 B.构建时生成的元数据 C.运行时生成的元数据
• 根据使用的时间，可以分为：
A.设计时使用的元数据
B.构建使使用的元数据 C.运行时使用的元数据
维度表
维度表
事实表
维度表
详细类别表
维度表
2019/4/8
维度表
详细类别表
11/37
雪花模型举例
2019/4/8
12/37
星网模型
• 星网模型是将多个星型模型连接起来形成网状结构。多个 星型模型通过相同的维，如时间维，连接多个事实表。
2019/4/8
13/37
数据仓库的逻辑模型与物理模型 • 数据仓库（中间层）逻辑模型
6/37
1 2 3 4 5 6 7 日期维
2019/4/8
星型数据模型
• 大多数的数据仓库都采用“星型模型”。星型模型是由 “事实表”（大表）及多个“维表”（小表）所组成。
“事实表”中存放大量关于企业的事实数据（数量数据）。 例如：多个时期的数据可能会出现在同一个“事实表”中。“维表” 中存放描述性数据，维表是围绕事实表建立的较小的表。
• 非规范化程度高，如不同时期的同类数据可能出现 在同一维表中，数据冗余大 • 存取速度快，以增加空间换取较快的访问速度
• 难于适应业务需求的变化
2019/4/8 10/37
雪花数据模型
• 雪花模型是对星型模型的维表进一步层次化，原来的各维 表可能被扩展为小的事实表，形成一些局部的“层次”区 域
在上面星型模型的数据中 ，对“产品表”“日期表”“地区表” 进行扩展形成雪花模型数据见下图。
作业 4
理解数据仓库的数据组织要求和方法
掌握数据仓库的星型模型、雪化模型的设计方法
理解元数据的类型及其作用
2019/4/8
1/37
数据仓库与数据挖掘
内容提要 数据模型 元数据
数据的粒度
数据模型
• 传统数据库数据模型
• 数据仓库的数据模型不同于数据库的数据模 型在于
数据仓库只为决策分析用，数据仓库的增加了时 间属性数据。
2019/4/8 4/37
企业数据模型(举例)
财务部门 销售收入帐 应收帐 应付帐 成本帐 销售部门 销售计划 销售合同 销售统计 财务
企业数据模型
人事
销售
……..
人事部门
…..
员工业绩记录 员工技能情况 员工薪酬表
…….
2019/4/8
5/37
数据仓库的数据模型
• 数据仓库存储采用多维数据模型。 维就是相同类数据的集
28/37
2019/4/8
元数据管理标准
• 数据仓库领域中两个最主要的元数据标准：MDC 的OIM标准和OMG的CWM标准。
元数据联合会MDC 建于1995年，是一个致力于建立与厂商无关的、 不依赖于具体技术的企业元数据管理标准的非赢利技术联盟，目的 是提供标准化的元数据交互。该联盟有150多个会员，其中包括微软 和IBM等著名软件厂商。 1999年7月MDC接受了微软的建议，将OIM作为元数据标准。MDC 于1996年开发了MDIS（Meta Data Interchange Specification）并完 成了MDC－OIM的技术评审，MDC－OIM基于微软的开放信息模 型OIM，是一个独立于技术的、以厂商为核心的信息模型。OIM是 微软的元数据管理产品Microsoft Repository的一部分。由微软和其 它20多家公司共同开发的，作为微软开放过程的一部分，经过了300 多个公司的评审。
数据仓库增加了一些综合数据。
• 数据仓库的数据建模是适应决策用户使用的 逻辑数据模型。
2019/4/8 3/37
数据仓库概念模型
• 1.数据仓库模型的概念
数据仓库概念模型的设计需要给出一个数据仓库的粗略蓝本， 以此为工具来确认数据仓库的设计者是否已经正确的了解数据 仓库最终用户的信息需求。
• （1）概念数据模型
2019/4/8 30/37
数据粒度
• •
OMG的UML、MOF和CWM形成了OMG建模和元数据管理、交换结构的基础， 推动了元数据标准化的快速发展。 为了推动元数据标准化的发展，MDC和OMG在元数据标准的制定上协同工作。 1999年4月，MDC成为OMG的成员，而OMG也同时成为MDC的成员。MDC中 使用了OMG的UML，而MDC－OIM中的数据仓库部分被用来作为OMG的公共 仓库元数据交互（CWMI：Common Warehouse Metadata Interchange）的设计 参考。在两个组织的技术力量的合作努力下，元数据标准将逐步一致化。
维度表
维度表 事实表 维度表
维度表
2019/4/8
维度表
7/37
星型模型举例
2019/4/8
8/37
星型模型数据存储情况示意图
订货表 产品表
客户表
日期表 事实表
销售员表
地区表
星型模型
• 模型的核心是事实表，维表通过主键与事实表和其 他维表链接 • 事实表中的数据不允许修改，新数据只是简单的增 加
北京 城市维 长沙 上海 果汁 可乐 牛奶 商品维 奶油 浴巾 香皂
合，商店、时间和产品 都是维。各个商店的集 合是一维，时间的集合 是一维，商品的集合是 一维。每一个商店、每 一段时间、每一种商品 就是某一维的一个成员。 每一个销售事实由一 个特定的商品、一个特 定的时间、一个特定的 商品组成。 两维表，如通常的电 子表格。三维构成立方 体，若再增加一维，则 图形很难想象，也不容 易在屏幕上画出来。
在构建数据仓库的概念模型时，可以采用在业务数据处理系统
中经常应用的企业数据模型——ER图。这是一种描述组织业务 概况的蓝图，包括整个组织系统中各个部门的业务处理及其业 务处理数据。 数据仓库与操作型数据库一样，也存在高层模型（ERD，实体 关系层）、中层模型（DIS，逻辑层）和低层模型（物理层）3 个层次数据模型。
2019/4/8
27/37
元数据管理的现状
• 数据共享领域的某些趋势说明数据仓库中的元数据需求正逐 步增加，这些趋势包括：
A.数据模型处理的对象由传统的字符型和数值型扩展到多种媒体类型。 B.支持一家企业的数据仓库扩展到支持多个组织多个企业共享的数据仓库。 C.信息流控制由过去的从源系统到数据仓库的单向流动扩展到由数据仓库向 源系统的反馈。 D.各个厂家的专用数据格式向公共开放标准元数据交换格式转换，以提高其 信息捕获能力。
• （2）技术元数据Байду номын сангаас
2019/4/8 24/37
4. 从来源的角度分类
（1）工具产生的元数据 （2）源提供的元数据 （3）企业模型 （4）系统导入的元数据
（5）特定的用户产生的元数据
2019/4/8
25/37
5. 从元数据的目的角度分类
一般可以通过一种更粗的方法来区分元数据：
2019/4/8
15/37
元数据及其作用
• 1.元数据的定义
元数据在数据仓库的设计、运行中有着重要的作用，它 表述了数据仓库中的各对象，遍及数据仓库的所有方面， 是数据仓库中所有管理、操作、数据的数据，是整个数 据仓库的核心。
元数据是关于数据、操纵数据的进程和应用程序的结构 和意义的描述信息，其主要目标是提供数据资源的全面 指南。其范围可以是某个特别的数据库管理系统中从现 实世界的概念上的一般概括，到详细的物理说明。
用于数据处理的元数据 关于企业的组织结构的元数据 • 2.按对象级别分类
（1）概念级
（2）逻辑级 （3）物理级
2019/4/8 23/37
3.从用户的角度分类
• （1）业务元数据，具体包括以下内容：
A.企业概念模型
B.多维数据模型 C.业务概念模型和物理数据之间的依赖关系 D.支持面向业务概念的浏览、导航 E.支持动态立即查询 F.数据挖掘
2019/4/8 29/37
元数据管理标准
OMG是一个拥有500多会员的国际标准化组织。在1995年采用了MOF（Meta Object Facility），并不断完善之。1997年采用了UML，2000年，OMG又采用了CWM。 公共仓库元模型（Common Warehouse Metamodel）的主要目的是在异构环境下，帮 助不同的数据仓库工具、平台和元数据知识库进行元数据交换。2001年3月，OMG颁 布了CWM 1.0标准。CWM模型既包括元数据存储，也包括元数据交换，它是基于以 下三个工业标准制定的： (1) UML：它对CWM模型进行建模。 (2) MOF（元对象设施）：它是OMG元模型和元数据的存储标准，提供在异构环 境下对元数据知识库的访问接口。 (3) XMI（XML元数据交换）：它可以使元数据以XML文件流的方式进行交换。