第2章 数据仓库的数据存储与处理
第二章 数据采集与预处理 (教案与习题)
2 of 42
2.1大数据采集架构
第二章 数据采集与预处理
2.1.2 常用大数据采集工具
数据采集最传统的方式是企业自己的生产系统产生的数据，除上述生产系统中的数据外， 企业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越 多的企业通过架设日志采集系统来保存这些数据，希望通过这些数据获取其商业或社会价 值。
$sudo apt-get update
Apache Kafka需要Java运行环境，这里使用apt-get命令安装default-jre包，然后安装Java运行环境：
$sudo apt-get install default-jre
通过下面的命令测试一下Java运行环境是否安装成功，并查看Java的版本信息：
2024年学习笔记信息系统项目管理师(第四版)第二章-信息技术发展
第⼆章-信息技术发展1-信息技术及其发展1.1-计算机软硬件、计算机⽹络1.计算机硬件是指计算机系统中有电子、机械和光电元件等组成的各种物理装置的总称。
2.计算机软件是指计算机系统中的程序及文档，程序是计算任务的处理对象和处理规则的描述；文档是为了便于了解程序所需的阐明性资料。
3.硬件和软件相互依存。
4.从网络的作用范围可将网络类别划分为：个人局域网（PAN）、局域网（LAN）、城域网（MAN）、广域网（WAN）、公用网、专用网。
5.广域网协议主要包块：PPP 点对点协议、ISDN 综合业务数字网、xDSL、DDN 数字专线、x.25、FR 帧中继、ATM 异步传输模式。
6.IEEE 802 协议族：IEEE 802 规范定义了网卡如何访问传输介质（如光缆、双绞线、无线等），以及如何在传输介质上传输数据的方法，还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。
7.802.3（以太网的 CSMA/CD 载波监听多路访问/冲突检测协议）、802.11（无线局域网 WLAN 标准协议）。
8.OSI 七层网络模型从上到下：应用层（事务处理程序、文件传送协议）、表示层（管理数据的解密加密数据转换、格式化和文本压缩）、会话层（负责在网络中的两节点之间建立和维持通信，以及提供交互会话的管理功能）、传输层（提供建立、维护和拆除传送连接的功能）、网络层（网络地址 IP 地址翻译成对应物理地址 MAC 地址，并决定如何将数据从发送方路由到接收方，实现拥塞控制。
网际互联等）、数据链路层（物理地址寻址、数据的成帧、流量控制。
数据的检错重发等）、物理层（物理联网媒介，如电缆连线连接器）。
9.TCP/IP 是 Internet 的核心，共四层有：应用层（FTP 文件传输协议、TFTP 简单文件传输协议、HTTP 超文本传输协议、SMTP 简单邮件传输协议、DHCP 动态主机配置协议、Telnet 远程登录协议、DNS 域名系统、SNMP 简单网络管理协议）、传输层（TCP 传输控制协议、UDP 用户数据报协议）、网络层（IP 协议、ICMP 网络控制报文协议、IGMP 网际组管理协议、ARP 地址解析协议、RARP 反向地址解析协议）、网络接口层（底层协议，传输数据的物理媒介）。
数据仓库技术在数据存储与数据处理中的应用
图的 同义语 ， 这些 多维视 图是 由多维数据库技 术所支持的 ， 他们 为数据 仓库应 用中所需的计 算和分析提供了技 术基础。 在实 际应用 中 ， Ｌ Ｐ常 常包 括对 数据 的 ＯＡ 相互查询 ，这项活 动发 生在通 过多种途径的一 系列分析之后 ， 底层 细节的进一步挖掘。 如对 ２３ Ｏ Ａ ． Ｌ Ｐ的结构 ＯＡ Ｌ Ｐ结构包括逻辑构件和物理构件 。
２３１ 辑结 构 ＿．逻
ＯＡ Ｌ Ｐ的功能结 构 由三个 服务 构 件组成 ： 数据存储服务 、 Ｌ Ｐ服务 、 ＯＡ 用户描述服 务。在 这种情况下 ，功能结构是 三层的客户机 ／ 务 服 器结构。 ２３ 物 理结 构 ．． ２ 物理结 构包括基 于数据存储技术 的两种方 式： 多维数据存储 和关 系数 据存储 。 多维数 据存储主要有 两种选择 ，即多维数 据存储 于工作站客户端或是 ０ Ａ Ｌ Ｐ服务 器上 。 在第一种情况下 ， 多维数 据存储 于客户 端 ， 它实施胖客户端 ， 用户可 以按范 围来分析 ， 这是 种 漫游选择 ， 只在数据加载至工作站时 ， 网络 才成为瓶颈 。它可能存在 的副作用是操作 的安 全性 和数据 的安全性 。 此选 择具有交通形式 ， 它 将多维数据存储于数据站场一级 ，以便为每一 个工作战配置本地存储和访问所选的多维数据 的子集 。 第二种情况 ，多维数 据存储与 Ｏ Ａ 服务 ＬＰ 组合在一起 。 工作站并不那么胖 了， 它抽取源于 数据仓库的数据 ，然后将其转换为多维数据结 构， 存储于数据站场服务器。 ３数据仓库与 ０ ＡＰ Ｌ 虽然数据仓库和联机 分析 处理 （ Ｐ 这 ０ ） 两个 术语有 时可互换 使用 ，但它们却适 用于通 常称 为决策支持系统或业务智能系统的不同组 件。这些类 型的系统的组件包括一些数 据库和
数据仓库建设管理制度范本
第一章总则第一条为规范数据仓库的建设与管理，确保数据仓库的稳定运行和数据质量，提高数据利用率，根据《中华人民共和国数据安全法》、《中华人民共和国网络安全法》等相关法律法规，结合本单位的实际情况，制定本制度。
第二条本制度适用于本单位数据仓库的建设、运维、管理和使用。
第三条数据仓库的建设和管理应遵循以下原则：（一）统一规划，分步实施；（二）安全可靠，保障数据安全；（三）高效运行，提高数据利用率；（四）持续优化，提升服务质量。
第二章数据仓库建设第四条数据仓库建设应遵循以下流程：（一）需求分析：明确数据仓库建设的目标、功能、性能等要求；（二）方案设计：制定数据仓库建设方案，包括数据源、数据模型、技术架构等；（三）系统开发：根据设计方案进行系统开发，包括数据采集、数据存储、数据清洗、数据转换等；（四）系统测试：对数据仓库系统进行测试，确保系统稳定运行；（五）系统部署：将数据仓库系统部署到生产环境，进行试运行；（六）系统验收：根据验收标准对数据仓库系统进行验收。
第五条数据仓库建设应遵循以下要求：（一）数据源：选择具有权威性、准确性和可靠性的数据源；（二）数据模型：根据业务需求设计合理的数据模型，确保数据的一致性和完整性；（三）技术架构：采用成熟、稳定的技术架构，提高系统性能和可扩展性；（四）数据质量：对数据进行清洗、转换、融合等处理，确保数据质量。
第三章数据仓库运维管理第六条数据仓库运维管理应遵循以下要求：（一）系统监控：实时监控数据仓库系统的运行状态，确保系统稳定运行；（二）数据备份：定期进行数据备份，防止数据丢失；（三）故障处理：对系统故障进行及时处理，确保系统正常运行；（四）性能优化：根据业务需求，对系统进行性能优化，提高数据访问速度。
第七条数据仓库运维管理应设立以下岗位：（一）数据仓库管理员：负责数据仓库系统的日常运维管理；（二）数据分析师：负责数据仓库系统的数据分析和挖掘；（三）数据安全员：负责数据仓库系统的数据安全管理工作。
大数据分析知识：数据存储与管理——数据仓库、云计算和数据库
大数据分析知识：数据存储与管理——数据仓库、云计算和数据库随着技术的不断发展，越来越多的数据产生并蓄积，如何进行有效管理和利用已成为人们关注的焦点之一。
本文将从数据存储和管理的角度出发，分别介绍数据仓库、云计算和数据库的概念、特点及其在大数据领域的应用。
一、数据仓库数据仓库（Data Warehouse）是指从各个数据源中提取数据并经过处理后存储到一个统一且独立的数据集合中，以方便用户进行分析和决策的系统。
数据仓库通过将数据分析和查询分离，实现了数据决策支持系统的高效运行，从而提高数据的利用率。
数据仓库的特点：1.面向主题：数据仓库是面向主题的，即数据集中一般针对某个主体领域或数据分析任务。
例如，销售数据仓库、人力资源数据仓库等。
2.集成性：数据仓库具有集成性，可以将不同类型的数据源通过ETL（Extract-Transform-Load）的方式进行标准化、转换和加载，并保证数据之间的一致性和完整性。
3.时间性：数据仓库关注历史数据的存储和分析，并提供不同时间维度的数据展示方式，为决策者提供多样化的选择。
数据仓库在大数据领域的应用：1.数据分析和挖掘：通过数据仓库中的数据进行多维分析和数据挖掘，为决策者提供全面的数据支持。
2.企业级统一视图：数据仓库可以实现企业级统一视图，使决策者可以获得一份全面的数据报告。
3.交互式查询：数据仓库提供交互式的查询功能，用户可以根据需要自定义查询条件和维度，获得满足自己需求的数据结果。
二、云计算云计算（Cloud Computing）是指通过网络以服务方式提供计算资源的一种模式。
云计算基于分布式计算、虚拟化技术和自动化管理，通过网络实现数据处理和存储，通过服务模式进行资源使用和计费。
云计算的特点：1.弹性伸缩：云计算可以根据需求进行弹性伸缩，为企业和个人提供更加灵活的资源使用方式，从而降低IT成本、提高效率。
2.服务化：云计算基于服务的方式提供资源，用户可以根据需要选择提供商和服务类型，并根据实际使用量进行计费，降低了技术和资金门槛。
数据仓库与OLAP技术
数据挖掘
数据集市类型
按照数据获取来源： 独立型：直接从操作型环境获取数据; 从属型：从企业级数据仓库获取数据;
数据挖掘
建设途径
从 全局数据仓库 到 数据集市 从 数据集市 到 全局数据仓库
数据挖掘
数据粒度
粒度是指数据仓库的数据单位中保存数据的细 化或综合程度的级别;
粒度影响存放在数据仓库中的数据量的大小;同 时影响数据仓库所能回答查询问题的细节程度; 是设计数据仓库的一个最重要方面;
粒度可以分为两种形式： 按时问段综合数据的粒度 按采样率高低划分的样本数据库;
数据挖掘
粒度的一个例子
小的时间段粒度统计而成的数据;其数据量较细节及 数据少得多 当前细节级：存储最近时期的业务数据;反映当前业 务的情况;数据量大;是数据仓库用户最感兴趣的部 分 早期细节级：存储过去的详细数据;反映真实的历史 情况;这类数据随着时间增加;数据量很大;使用频率 低;一般存储在转换介质如磁带中
数据挖掘
2 3 数据组织结构和形式
分割问题的焦点不是该不该分割而是如何去分 割的问题;
数据挖掘
数据分割
一般在进行实际的分析处理时;对于存在某种相关性的 数据集合的分析是最常见的;如对某时间或某时段的数 据的分析;对某一地区的数据的分析；对特定业务领域 的数据的分析等;将其有这种相关性的数据组织在一起; 就会提高效率;
数据挖掘
数据分割的好处
数据挖掘
面向主题
主题Subject：特定的数据分析领域与目标; 面向主题：为特定的数据分析领域提供数据支持; 主题是一个抽象的概念;是在较高层次上将企业信息系
数据仓库数据安全管理制度
第一章总则第一条为确保公司数据仓库数据的安全、完整和可用，防止数据泄露、篡改、丢失等风险，特制定本制度。
第二条本制度适用于公司所有涉及数据仓库的数据收集、存储、使用、处理、传输、销毁等活动。
第三条本制度遵循以下原则：1. 隐私保护原则：对个人隐私数据进行严格保护，未经授权不得泄露。
2. 完整性原则：确保数据仓库数据的准确性和一致性。
3. 可用性原则：确保数据仓库数据在需要时能够及时、准确地提供。
4. 安全性原则：采取有效措施，防止数据泄露、篡改、丢失等风险。
第二章数据分类与分级第四条公司数据仓库数据分为以下几类：1. 公开数据：指对内对外公开的数据，如公司年报、产品介绍等。
2. 内部数据：指公司内部使用的数据，如员工信息、财务数据等。
3. 高级内部数据：指涉及公司核心业务、技术秘密的数据。
第五条公司数据仓库数据分级如下：1. 一级数据：涉及公司核心业务、技术秘密，对数据安全要求极高的数据。
2. 二级数据：涉及公司内部使用的数据，对数据安全要求较高的数据。
3. 三级数据：涉及公司公开数据，对数据安全要求较低的数据。
第三章数据安全责任第六条公司董事会对数据安全负有最终责任。
第七条公司高层管理人员对数据安全方针和政策负责，并由数据安全团队负责执行与管理数据安全。
第八条数据安全团队工作职责：1. 制定与颁布数据安全政策和规程。
2. 定期开展数据安全教育和训练。
3. 监测和识别数据安全风险。
4. 负责数据安全事件的调查和处理。
第九条所有公司员工应遵守数据安全制度，将数据安全作为工作的重中之重。
第四章数据收集与存储第十条数据收集应遵循以下原则：1. 合法性原则：收集数据应合法合规，不得侵犯他人合法权益。
2. 诚信原则：收集数据应诚实守信，不得虚构、篡改数据。
第十一条数据存储应遵循以下要求：1. 选用安全可靠的数据存储设备。
2. 对数据进行加密存储，防止数据泄露。
3. 定期对数据进行备份，确保数据安全。
第五章数据使用与处理第十二条数据使用应遵循以下原则：1. 依法使用原则：使用数据应符合法律法规的要求。
第二章 数据库管理与网络应用
第二章 数据库管理与网络应用
第一节 数据库基础知识 一、数据管理技术的发展
数据管理技术的发展过程大致可分如下四个阶段： 人工管理阶段 文件系统阶段 这一阶段的特点： 数据库系统阶段 （1）数据以文件形式可以长期保存在计算机中并由操作系统 来管理，文件组织方式由顺序文件逐步发展到随机文件 高级数据库技术阶段 （2）操作系统的文件管理系统提供了对数据的输入和输出操 作接口，即提供数据存取方法。 （3）一个应用程序可以使用多个文件，一个文件可被多个应 用程序使用，数据可以共享。 （4）数据仍然是面向应用的，文件之间彼此孤立，不能反映 数据之间的联系，因而仍存在数据大量冗余和不一致性
第二章 数据库管理与网络应用
第一节 数据库基础知识 四、数据库系统的组成
（三）操作系统 主要负责计算机系统的进程 管理、作业管理、存储器管 理、设备管理以及文件管理 等，因此可以给DBMS的数据 组织、管理和存取提供支持。
（四）数据库应用系统
（五）数据库应用开发工具 （六）数据库管理员及其他人员（DBA）
数据管理技术的发展过程大致可分如下四个阶段： 人工管理阶段 文件系统阶段 数据库系统阶段 高级数据库技术阶段 具有代表性的是
分布式数据库
面向对象数据库
第二章 数据库管理与网络应用
第一节 数据库基础知识 一、数据管理技术的发展
数据管理技术的发展过程大致可分如下四个阶段： 人工管理阶段 文件系统阶段 数据库系统阶段 高级数据库技术阶段 具有代表性的是
（5）有功能强大的关系数据库语言SQL的支持。
第二章 数据库管理与网络应用
第一节 数据库基础知识 三、数据库模型
（三）面向对象模型（Object—Oriented Model） 在面向对象的数据模型中，最重要的概念是对象（Object） 和类（Class）。 面向对象数据 模型比网状、 层次、关系数 据模型具有更 加丰富的表达 能力。
数据仓库与数据分析-第一-至第三章
数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。
2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。
操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。
其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。
三、dbms：数据库管理系统。
Dwms:数据仓库管理系统。
OLAP：联机分析处理。
Oltp基于db,olap基于dw。
四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。
在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。
五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。
2、一致性：事务在完成时，必须使所有的数据都保持一致状态。
3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。
4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。
六、决策支持系统（DSS）：分析型数据处理的典型。
决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。
DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。
分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。
七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。
数据处理与存储
数据处理与存储数据在现代社会中扮演着至关重要的角色，无论是企业还是个人，都离不开对数据的处理与存储。
随着科技的不断发展，数据量呈现爆炸性增长，如何高效地处理和存储数据成为摆在我们面前的重要问题。
本文将从数据处理与数据存储两个方面进行探讨，并介绍当前常见的解决方案。
一、数据处理数据处理是指对收集到的原始数据进行清洗、整理、分析和计算等操作的过程。
它是获取有用信息的关键步骤，对于企业来说尤为重要。
合理高效的数据处理能够提升决策质量、优化运营效率，为企业带来巨大的经济效益。
1. 数据清洗数据清洗是指通过去除重复数据、纠正错误数据和填补缺失数据等一系列操作，使得数据达到可用的状态。
数据清洗的目的是保证数据的准确性和一致性，以便进行后续的分析和应用。
2. 数据整理数据整理是指对清洗后的数据进行合并、分类和格式化等处理，以便于后续的分析和利用。
通过数据整理，我们可以更好地理解数据之间的关联和规律，为决策提供有力支持。
3. 数据分析数据分析是指通过运用统计学、数学模型和机器学习等方法，发现数据中的信息和规律。
数据分析能够帮助我们理解数据的内在价值，预测未来的趋势，优化业务流程等。
在进行数据分析时，选择合适的算法和工具非常关键。
4. 数据计算数据计算是指对数据进行运算、聚合和计算等操作，以获得深入的洞察。
数据计算可以帮助我们揭示数据背后的潜在意义，发现问题并提供解决方案。
二、数据存储数据存储是指将处理后的数据进行保存和管理的过程。
为了满足爆炸性增长的数据需求，我们需要高效可靠的存储方案，以保证数据的安全和可用性。
1. 传统存储方式传统的数据存储方式主要包括硬盘存储和磁带存储。
硬盘存储是最常见的一种方式，无论是个人电脑还是服务器都广泛采用。
磁带存储则适用于大规模数据的长期备份和存档。
2. 云存储随着云计算的兴起，云存储逐渐成为一种新的数据存储方式。
云存储提供了高度可扩展和弹性的存储服务，用户可以根据实际需求灵活调整存储容量，并能够实现跨地域备份和容灾恢复。
数据仓库第二章——OLAP联机分析处理
析。
（3）多维性：系统必须提供对数据分析的多维视图和分析。 （4）信息性：OLAP系统应能及时获得信息，并且管理大容量
的信息。
4.1.2 OLAP准则
1993年，E.F.Codd提出OLAP的12条准则，其主 要的准则有：
6
4.1.1 OLAP的定义
1. OLAP理事会给出的定义 联机分析处理（OLAP）是一种软件技术，它
使分析人员能够迅速、一致、交互地从各个 方面观察信息，以达到深入理解数据的目的。 这些信息是从原始数据转换过来的，按照用 户的理解，它反映了企业真实的方方面面。
7
2. OLAP的简单定义
联机分析处理是共享多维信息的快速分析。 它体现了四个特征：
同时计算一些可能同时的聚集，避免不必要 的单元再次访问。
总结：
由于分块技术设计“重叠”某些聚集计算， 称该技术为多路数组聚集（Multiway array aggregation）
它同时聚集——即同时对多个维计算聚集。
44
4.2.4 MOLAP与ROLAP的比较
1.数据存取速度 2.数据存储的容量 3.多维计算的能力 4.维度变化的适应性 5.数据变化的适应性 6.软硬件平台的适应性 7.元数据管理
图4.4多维类型结构中的空间数据点
4.3.3多维数据的分析视图
在平面的屏幕上显示多维数据，是利用行、 列和页面三个显示组来表示的。例如，对上 例的四维MTS实例，在页面上选定商店维度 中“商店3”，在行中选定时间维的“1月、2 月、3月”共3个成员，在列中选定产品维中 的“上衣、裤、帽子”三个成员，以及指标 维中的“固定成本、直接销售”二个成员。 该四维数据的显示如图4.6所示。
数据仓库与数据挖掘 阶段考试复习题
第一章数据仓库与数据挖掘概述无习题第二章数据仓库概述一．判断题在分析型处理产生后，数据处理的环境由原来的以单一数据库为中心的数据环境发展为以数据仓库为基础的体系化环境。
在事务型（操作型）数据处理下，数据处理的环境主要是以单一数据库为中心的数据环境。
数据仓库是为构建分析型数据处理环境而出现的一种数据存储和组织技术.面向应用，是数据仓库区别于传统的操作型数据库的关键特征。
一个数据仓库是通过集成多个异种数据源来构造的。
由于在数据仓库中只进行数据的初始装载和查询操作，所以，数据一旦进入数据仓库，就是稳定的，基本上不会被更新。
数据立方体必须是3维的。
在数据仓库中，概念分层定义了一个映射序列，可以将低层概念映射到更一般的高层概念。
方体的格，是在单个维上定义的映射序列，可以将低层概念映射到更一般的高层概念。
雪花模型通过在每个维表基础上，增加附加维表的方式来降低星型模型中可能会存在的冗余现象。
在事实星座模型中，有且仅能有一个事实表。
在数据仓库的设计过程中，要坚持“数据驱动和需求驱动双驱动，且以需求驱动为中心”的原则。
二．单选题在以下人员中，被誉为“数据仓库之父”的是：（）（知识点：数据仓库的基本概念；易）A. H.Inmon B. E.F.Codd C. Simon D. Pawlak以下关于数据仓库的说法正确的是：（）（知识点：数据仓库的基本概念；难）A. 数据仓库中的数据只能来源于组织内部的操作型数据库B. 数据仓库是为应对事务型数据处理的需要而产生的C. 数据仓库是面向主题的，这是其区别于操作型数据库的关键特征D. 数据仓库必须是面向企业全局的，不能以部门为单位建立数据仓库以下哪项不是“信息包图”中的元素？（）（知识点：数据仓库的三级模型；难）A. 维度B. 维的概念层次及相应层次上的数量C. 度量D. 方体的格以下哪项不属于数据仓库的逻辑模型？（）（知识点：数据仓库的三级模型；中）A. 星型模型B. 雪花模型C. 度量模型D. 事实星座模型在数据仓库的设计过程中，下列描述正确的是（）（知识点：数据仓库的设计；难）A. 数据仓库是“数据驱动+需求驱动”双驱动，但必须以需求驱动为中心B. 数据仓库主要面向分析型处理环境，在设计时很难完全明确用户的需求C. 数据仓库与数据库一样，其数据主要来自于企业的业务流程D. 数据仓库的设计目标是要提高事务处理的性能下面哪项关于星型模型的说法是不正确的：（）（知识点：数据仓库的三级模型；难）A. 有一个事实表，且事实表中的属性由指向各个维表的外键和一些相应的度量数据组成B. 有一组小的附属表，称为维表，且每维一个维表C. 事实表的每个字段都是事实度量字段D. 由于每维只能建立一个维表，使得维表中有些信息会产生冗余在数据仓库的概念模型中，通过（）来实现数据从客观世界到主观认识的映射。
数据仓库与数据挖掘 课后答案 (陈志泊 著) 清华大学出版社
第1章数据仓库的概念与体系结构1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。
4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。
5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。
6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。
7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。
8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。
9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。
10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。
11.什么是数据仓库？数据仓库的特点主要有哪些？答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。
数据仓库的特点包含以下几个方面：（1）面向主题。
数据科学与大数据技术导论-第2章-大数据概述
• 目前专业人才的缺乏仍然是大数据产业所面临的重要问题。据中国商委会数 据分析部统计，我国大数据市场未来将面临1400万的人才缺口。除此之外， 我国大数据人才资源存在着结构不平衡的问题。
MB（Megabyte，兆字节） GB（Gigabyte，吉字节） TB（Trillionbyte，太字节） PB（Petabyte，拍字节）
节（PB）级及以上，可想而知大数据的体 量是非常庞大的。
EB（Exabyte，艾字节） ZB（Zettabyte，兆字节）
换算关系
1B=8bit 1KB=1024B 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB
2.2.1 大数据的概念与特征
1.大数据的特征
（1）数据量大
数据量大是大数据的首要特征，通过 右表数据的存储单位换算关系可更形象的 表现出大数据的庞大的数据量。通常认为，
单位 B（Byte，字节） KB（Kilobyte，千字节）
处于吉字节（GB）级别的数据就称为超大 规模数据，太字节（TB）级别的数据为海 量级数据，而大数据的数据量通常在拍字
01
大数据的产生和发展
PART ONE
2.1.1 大数据的产生背景
信息化的浪潮是不断更迭的，根据国际商业机器公司(IBM）前 CEO郭士纳的观 点，IT领域每隔若干年就会迎来一次重大变革，每一次的信息化浪潮，都推动了信息 技术的向前发展。目前，在IT领域相继掀起了3次信息化浪潮，如下表所示。
高效可靠的数据存储和处理系统设计
高效可靠的数据存储和处理系统设计第一章引言随着互联网的发展，数据量呈现指数级的增长，数据存储和处理成为当今互联网应用最为重要的问题之一。
很多企业需要在大量数据中挖掘出有价值的信息，以协助人们做出正确的商业决策。
因此，高效可靠的数据存储和处理系统对于企业的成功至关重要。
本文将从系统设计的角度出发，探讨一种高效可靠的数据存储和处理系统的设计。
第二章数据存储系统的设计2.1 存储介质的选择存储介质的选择是数据存储系统设计的重点。
当前主流的存储介质有硬盘、固态硬盘和内存。
从存储容量、存取速度、稳定性和价格等方面综合考虑，内存和硬盘是最为常用的存储介质。
内存的存取速度非常快，在需要快速读取和写入数据的场景中表现尤为出色。
但内存的容量相对有限，价格也非常昂贵。
硬盘的存储容量相比内存要大得多，而价格也相对较低，但硬盘的读取速度相比内存则较慢。
因此在实际应用中，需要根据业务需求权衡取舍，选择最为合适的存储介质。
2.2 存储结构的设计在数据存储系统中，存储结构的设计非常重要，它决定了系统对数据的存储方式和访问方式。
目前主要的存储结构有关系型数据库和非关系型数据库两种。
关系型数据库以表格的形式存储数据，可实现多表连接查询、外键等功能。
它的针对性很强，因而非常适合企业级应用。
非关系型数据库则是简单的键值对存储，更适合于数据处理和管理。
另外，存储结构的设计还包括数据分片的策略。
数据分片可以增加系统的扩展性和容错性。
一般可以采用水平分片和垂直分片两种方式。
2.3 存储优化的设计存储优化是指在存储设计中尽可能地减少存储冗余，降低存储成本和提高存储效率。
常见的方法包括压缩、索引、分区等。
压缩可以减少数据存储所占的空间，提高存储效率。
索引能够加速数据的查找，提高查询效率。
分区能够将数据存储在不同的物理磁盘上，降低系统的读写负荷。
第三章数据处理系统的设计3.1 数据读取和处理数据读取稳健且高效的处理是数据处理系统设计的重中之重。
第2章数据仓库及其设计-104页精选文档
2. 多维数据库
多维数据库也是一种数据库，可以将数据加载、存储 到此数据库中，或从中查询数据。但其数据是存放在大量 的多维数组中，而不是关系表中。
例如Excel便是如此。
例如，上一个表采用多维数据库的数据组织形式如下表所示。
产品 电视机 电视机 电视机 电视机 电冰箱 电冰箱 电冰箱 电冰箱 手机 手机 手机 手机
3. 维属性和维成员
一个维是通过一组属性来描述的，如时间维包含年份、 季度、月份和日期等属性，这里的年份、季度等称为时间 维的维属性。
维的一个取值称为该维的一个维成员，如果一个维是 多层次的，那么该维的维成员是在不同维层次的取值组合。 例如，一个时间维具有年份、季度、月份、日期四个层次， 分别在四个层次各取一个值，就得到时间维的一个维成员， 即某年某季某月某日。
2.2.2 数据仓库的需求分析
主题分析 数据分析 环境要求分析
2.3 数据仓库的建模
2.3.1 多维数据模型及相关概念
多维数据模型将数据看作数据立方体形式，满足用户 从多角度多层次进行数据查询和分析的需要而建立起来的 基于事实和维的数据库模型。
其数据组织采用多维结构文件进行数据存储，并有索 引及相应的元数据管理文件与数据相对应。
年份 季度
月份
日期
5. 度量（Measure）或事实（Fact） 度量是数据仓库中的信息单元，即多维空间中的一
个单元，用以存放数据，也称为事实（Fact）。 通常是数值型数据并具有可加性。例如： （日期，商品，地区，销售量）
其中，销售量就是一个度量。
2.3.2 多维数据模型的实现
多维数据模型实现方式： 关系数据库（RDB） 多维数据库（MDDB） 两者相结合（HDB）
第2章 数据仓库设计
信息技术行业大数据分析与处理方案
信息技术行业大数据分析与处理方案第一章数据采集与预处理 (3)1.1 数据源分析与选择 (3)1.2 数据采集技术 (3)1.3 数据清洗与预处理方法 (3)第二章数据存储与管理 (4)2.1 分布式存储系统 (4)2.2 数据库管理系统 (4)2.3 数据仓库与数据湖 (5)2.3.1 数据仓库 (5)2.3.2 数据湖 (5)第三章数据分析与挖掘 (5)3.1 数据挖掘基本算法 (5)3.1.1 决策树算法 (5)3.1.2 支持向量机算法 (6)3.1.3 Kmeans聚类算法 (6)3.1.4 关联规则挖掘算法 (6)3.2 高级数据分析技术 (6)3.2.1 深度学习 (6)3.2.2 强化学习 (6)3.2.3 集成学习 (6)3.2.4 时间序列分析 (6)3.3 数据可视化与报表 (7)3.3.1 图表可视化 (7)3.3.2 地图可视化 (7)3.3.3 交互式报表 (7)3.3.4 动态报表 (7)第四章数据挖掘与机器学习 (7)4.1 机器学习基本概念 (7)4.2 监督学习与无监督学习 (7)4.3 深度学习与神经网络 (8)第五章数据质量管理与数据治理 (8)5.1 数据质量评估与监控 (8)5.2 数据治理框架与策略 (8)5.3 数据安全与隐私保护 (9)第六章大数据分析应用 (10)6.1 金融行业应用 (10)6.2 医疗行业应用 (10)6.3 智能制造与物联网应用 (11)第七章云计算与大数据 (11)7.1 云计算基本概念 (11)7.2 云计算在大数据分析中的应用 (11)7.2.1 数据存储与处理 (11)7.2.2 数据分析与挖掘 (12)7.2.3 资源弹性扩展 (12)7.2.4 数据共享与协作 (12)7.3 云计算与大数据安全 (12)7.3.1 数据安全 (12)7.3.2 系统安全 (12)7.3.3 法律法规遵守 (12)第八章大数据平台与工具 (13)8.1 常见大数据平台 (13)8.1.1 Hadoop平台 (13)8.1.2 Spark平台 (13)8.1.3 Flink平台 (13)8.1.4 Storm平台 (13)8.2 大数据工具与框架 (13)8.2.1 数据采集工具 (13)8.2.2 数据存储与处理工具 (14)8.2.3 数据分析与挖掘工具 (14)8.2.4 数据可视化工具 (14)8.3 平台选型与评估 (14)8.3.1 业务需求 (14)8.3.2 功能指标 (14)8.3.3 可扩展性 (14)8.3.4 可靠性与稳定性 (14)8.3.5 成本效益 (14)8.3.6 技术支持与社区活跃度 (15)第九章大数据分析团队建设与管理 (15)9.1 团队组织结构与职责 (15)9.1.1 团队领导层 (15)9.1.2 技术研发部门 (15)9.1.3 数据采集与预处理部门 (15)9.1.4 分析与报告部门 (15)9.2 人员培训与技能提升 (16)9.2.1 培训计划 (16)9.2.2 技能提升 (16)9.3 项目管理与团队协作 (16)9.3.1 项目管理 (16)9.3.2 团队协作 (16)第十章大数据分析发展趋势与展望 (17)10.1 技术发展趋势 (17)10.2 行业应用发展趋势 (17)10.3 未来挑战与机遇 (17)第一章数据采集与预处理信息技术的飞速发展，大数据已成为推动行业创新和发展的关键因素。
数据仓库中的数据及组织概述
30
3.1 数据仓库中的数据组织 3.2 数据仓库中数据的追加 3.3 数据仓库中的元数据
31
3.3数据仓库中的元数据
❖ 传统数据库中为了说明数据引入了数据字典的概念。 ❖ 数据字典是描述数据的数据。
32
3.3.1元数据的定义
❖ 元数据：是用来描述数据的数据。它描述和定位数 据组件、它们的来源及它们在数据仓库进程中的活 动；关于数据和操作的相关描述(输入、计算和输 出)。
33
3.3.1元数据的定义
❖ 其主要目标是提供数据资源的全面指南，使得数据 仓库管理员和开发人员可以方便地了解数据仓库中 有什么数据？数据在什么地方？它们来源于哪里， 以及数据仓库系统中是如何利用这些数据？如何管 理这些数据？
34
3.3.1元数据的定义
❖ 与元数据产生、存储有关的工具： ❖ 数据抽取工具：完成ETL操作。 ❖ 前端展现工具：实现把关系表映射成与业务相关的
每种商品每一天的销售数据。 ❖ 高度综合数据：记录每个顾客每月或每年的购物金
额，或每种商品每月或每年的销售数据。
16
1）数据粒度
❖ 数据粒度的确定是业务分析、硬件、软件的一个折中。 ❖ 在数据仓库中多重粒度是必不可少的
17
1）数据粒度
❖ 数据粒度是数据仓库的重要概念。存在两种形式， 形式二： ❖ 样本数据库，其粒度是根据采样率的高低来划分的。 ❖ 盖洛普民意测验是一种观点的民意测验，其特点是用简
40
1）MDC的OIM标准
❖ OIM标准的目的 ❖ 通过公共的元数据信息来支持不同工具和系统之间
数据的共享和重用。 ❖ 它涉及信息系统的各个阶段。 ❖ 采用UML描述。
41
2）OMG组织的CWM标准
数据处理和存储系统
数据处理和存储系统目录1数据中心概述 (3)2数据中心系统设计 (3)3系统组成 (4)4系统介绍 (5)4.1管理业务数据中心设计方案 (5)4.2实时感知数据中心设计方案 (8)4.3多媒体及文档数据中心设计方案 (10)4.4地理信息系统GIS数据中心设计方案 (11)4.5智能知识库预案辅助分析 (12)1数据中心概述数据中心是业务系统与数据资源进行集中、集成、共享、分析的资源、工具、流程等的有机组合。
数据中心的应用层包括业务系统、基于数据仓库的分析系统，数据层包括操作型数据和分析型数据以及数据与数据的集成/整合流程，基础设施层包括服务器、网络、存贮和整体IOT运行维护服务。
数据中心对来自不同业务应用的数据经过抽取、转换和加载，放入ODS、数据仓库和数据集市，进行各方面的高级业务分析，将不同来源的数据转化成实用的业务信息，为XX 管理信息系统提完整的数据支撑，实现数据的构建、保存、更新、集成、分发与共享。
2数据中心系统设计根据XX系统业务的特殊性及物联网应用的特点，考虑满足未来发展的需要，结合XX信息化一期建设情况，本项目规划设计了四个子数据中心，即管理业务中心、多媒体及档案非结构化中心、实时感知中心、GIS数据中心。
3系统组成图：数据中心系统组成管理业务数据中心：以XX一期信息化工程的XX管理信息库、XX信息库和XX信息库为基础，将满足业务应用系统需求的关系型数据库整合，形成业务应用系统的数据核心，满足XX业务数据存储以及分析的需要。
多媒体及文档非结构化数据中心：对于各种非结构化的多媒体文件、行政办公文档、业务文档、档案管理、知识管理等进行综合存储与查询分析。
对于架构数据中心的建设需要重点考虑安全问题，采用最新的文档加密技术与授权管理体系相结合，实现文档知识的安全。
实时数据中心：对于各种生产实时、人员状态实时、环境监测实时、设备监测实施等实时数据采用大容量、高性能的实时数据库综合存储，便于实时数据分析以及生产过程回放。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三 层 数 据 结 构
操作型元数据
2.1、数据仓库的数据结构
各个组成部分的含义 操作性数据 ：来源于业务系统中的数据。 调和数据：存储在企业级数据仓库中的数据。
导出数据：从数据仓库中导出并存储在各个数据集市中的数据。
企业数据模型：企业组织所需数据的整体轮廓。 元数据 ：有关数据的说明。
星型模型
维度 表
维度 表
事实表 维度 表 维度 表
维度 表
2.4.3多维建模技术
雪花模型
维度 表
维度 表 维度 表 详细类 别表
事实表
维度 表
维度 表
详细类 别表
2.4.3多维建模技术
一个星型模式的例子
产品维表 PK 产品编号 产品类别 产品名称 销售分析表 PK,FK2 PK,FK1 PK,FK3 时间编号 产品编号 地址编号 销售数量 销售金额 PK 地区维表 地址编号 国家 省份 城市 门店
数据仓库的ETL过程：包括抽取、清洗、转换、加载与索引等；
多维数据模型的物理实现方法与多维建模技术 。
2.3、数据仓库的数据ETL过程
ETL概念 数据ETL是用来实现异构数据源的数据集成，即完成数据的抓取/抽 取（Capture/Extract）、清洗（Scrub or data cleansing）、转 换（Transform）、装载与索引（Load and Index）等数据调和工 作。
2.3、数据仓库的数据ETL过程
数据的ETL过程描述
抽取/抓取 清洗 集结地 (Staging Area) 拒绝数据的信息 转换
加载与索引
操作型 系统
有关拒绝数据的信息
EDW 或 ODS
2.3、数据仓库的数据ETL过程
数据抽取的几点要求 数据源命名的透明度。 源系统实施的业务规则的完整性和准确性。 数据格式的一致性。
第2章 目 录
1
数据仓库的数据结构 数据仓库的数据特征
2
3 4 5
数据仓库的数据ETL过程 多维数据模型 小结
2.3、数据仓库的数据ETL过程
ETL概念 ETL过程前后数据的特征 数据的ETL过程描述 抽取（Capture/Extract）
清洗（Scrub/Cleanse）
转换（Transform） 加载和索引（Load/Index）
轻度综合级
每“天”电话 呼叫情况信息
电话呼叫情况 信息
当前细节级 早期细节级
数 据 仓 库 层
后备数据 后备数据 后备数据
电话呼叫明细 情况信息
2.4.2多维数据模型的物理实现
多维数据库（MDDB）,其数据是存储在大量的多维数组中，而不 是关系表中 ,与之相对应的是多维联机分析处理（MOLAP） 关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关 系联机分析处理（ROLAP）
关系数据库中，将 “多对多”的关系转 化为多个“一对多” 的关系
具有汇总值的多维数据库
江苏 上海 北京 汇总 电器 940 450 340 1730 服装 830 350 270 1450 汇总 1770 800 610 3180
不直观
直观
2.4.2多维数据模型的物理实现
二维数据容易理解，但维数扩展到三维或更高的维度时，多维数据 库MDDB就成了一种“超立方”体的结构 ，理解就困难多了。 在MDDB中，其数据的存储是由许多类似于数组的对象来完成，对 象中包含了经过高度压缩的索引和指针，利用这些索引和指针将许 多存储数据的单元块联结在一起 。
维度表
按照两种结构设计： 星型模型 雪花模型
2.4.2多维数据模型的物理实现
星型模式在关系数据库中的表示
产品维 表
产品ID
产品ID 销售商ID 地址ID 时间ID 销售数量 销售成本 总收入
时 间 维表
销售商 维度表
时间ID
销售商ID
地址ID
地理位 置维表
2.4.2多维数据模型的物理实现
组合。 数据分割的目的：便于进行数据的重构、索引、重组、恢复、监控、
扫描。
2.4.1多维数据模型
关于数据综合级别与粒度的确定: 一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、 高度综合级
2.4.1多维数据模型
一个典型的数据仓库的数据组织结构图
高度综合级
每“月”电话 呼叫情况信息
2.3、数据仓库的数据ETL过程
数据ETL过程的实施要点
ETL过程是一个数据流动的过程，中间的“T”（转换）是关键 ；
ETL工具的选择非常重要，运用合适的工具会事半功倍 ； 如何保证数据质量？数据质量在一定程度上决定了数据仓库的价 值。
第2章 目 录
1
数据仓库的数据结构 数据仓库的数据特征
SELECT……INTO、存储过程等方法。
2.3、数据仓库的数据ETL过程
数据清洗 原因：操作型业务系统中的数据质量很差。 错误拼写的名字和地址。 不可能的或错误的出生日期。 不匹配的地址和电话区号。
缺失的数据。
重复的数据。 ……
2.3、数据仓库的数据ETL过程
数据转换 在ETL过程中处于中心位置，又很麻烦。 将经过清洗后的数据（源系统）转换成装载对象（目标系统）的格 式。 数据加载和索引 将整理好的数据添加到数据仓库中。 建立索引。
时间ID
销售商ID
销售商 维度表
地理位 置维表
图5.9 雪花模式的关系数据库表示
2.4.3多维建模技术
两种主流建模技术 :由Inmon提出的企业级数据仓库模型和由
Kimball提出的多维模型 ；
基于关系数据库的多维数据建模，如星型，雪花和事实星座模式； 关于事实表、维表及键的设计 。
2.4.3多维建模技术
雪花模式在关系数据库中的表示
产品ID 产品名称 公司ID 公司名称 产品颜色ID 产品颜色 产品维表 产品ID 公司ID 产品颜色ID 产品商标ID 产品类型ID
产品ID 产品ID 销售商ID 地址ID 时间ID 销售数量 销售成本 总收入 地址ID
产品商标ID 商标名称
产品类型ID 产品类型名
时间 维表
2.4.1多维数据模型
维类别
维的类别即维的分层。
可分为： 简单层次 复杂层次 西南
云南
贵州
四川
2.4.1多维数据模型
西南
贵州
四川
云南
贵阳市
安顺市
平坝县
复杂层次
2.4.1多维数据模型
维属性 维的一个取值。 度量 度量即度量值，是多维数据空间中的单元格，用以存放数据，也叫
事实。
2.4.1多维数据模型
实际组合中往往由于各种原因会导致某些组合没有具体的值，或值
是空的或者为零。 产生了多维数据库的稀疏矩阵问题。 稀疏矩阵将导致存储空间的浪费，所以需要采用压缩技术。
2.4.2多维数据模型的物理实现
关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关系联机分析 处理（ROLAP） 将数据的多维结构划分为两类表： 事实表
2
3 4 5
数据仓库的数据ETL过程 多维数据模型 小结
2.4.1多维数据模型
多维数据模型及其相关概念
多维数据模型的物理实现 多维建模技术简介 一个星模式的例子
2.4.1多维数据模型
多维数据模型及其相关概念
有关多维数据模型的几个概念：维、维类别、维属性、度量、粒度
及分割等 关于数据综合级别与粒度的确定:一般把数据分成四个级别：早期 细节级、当前细节级、轻度综合级、高度综合级 有关多维数据模型的几个概念 维、维类别、维属性、度量、粒度及分割等
2.4.2多维数据模型的物理实现
具有汇总数据项的关系数据库
产品名 称 电器 电器 电器 电器 服装 服装 服装 服装 汇总 汇总 汇总 汇总
销售地 区 江苏 上海 北京 汇总 江苏 上海 北京 汇总 江苏 上海 北京 汇总
销售数 量 940 450 340 1730 830 350 270 1450 1770 800 610 3180
2.4.2多维数据模型的物理实现
多维数据库（MDDB) 关系数据库存储方式 产品名称 电器 电器 电器 服装 服装 服装 销售地区 江苏 上海 北京 江苏 上海 北京 多维数据库存储方式 销售数量 940 450 340 830 350 270
江苏 电器 服装 940 830
上海 450 350
北京 340 270
数据仓库与数据挖掘
第2章 数据仓库的数据存储与处理
教师：郭荣熙
第2章 目 录
1
数据仓库的数据结构 数据仓库的数据特征
2
3 4 5
数据仓库的数据ETL过程 多维数据模型 小结
2.1、数据仓库的数据结构
导出数据 (如:数据集市) 数据集市 元数据
调和数据 (EDW & ODS)
EDW元数据
企业数据模型 操作型数据 (如:业务处理系统)
时间维表 PK 时间编号 年度 月份 周 日
第2章 目 录
1
数据仓库的数据结构 数据仓库的数据特征
2Hale Waihona Puke 3 4 5数据仓库的数据ETL过程 多维数据模型 小结
2.5小结
数据仓库的三层数据结构及其相关元数据：操作型业务数据层、调和
数据层和导出数据层（如数据集市）；
数据仓库的特征与数据分类：状态数据与事件数据、当前数据与周期 数据、元数据等；
粒度与分割 数据粒度：是对数据仓库中的数据的综合程度高低的度量。（一般 分为四个级别：高度综合级、轻度综合级、当前细节级、早期细节 级） 分割：将数据分散到各自的物理单元中去以便能分别处理，提高数 据处理效率，数据分割后的数据单元称为分片。