第三讲-数据分类汇总分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Client\Server结构 Client:联机事物处理(OLTP) Server:联机分析处理(OLAP)
2020/12/18
1
联机分析处理 数据分类汇总分析的意义和作用 数据分类汇总的三种方法 数据透视表
2来自百度文库
当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、 联机分析处理OLAP（On-Line Analytical Processing）。
OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。
6
OLTP 系统中的数据主要被组织为支持如下事务： 记录来自销售点终端或通过网站输入的订单。 当库存量降到指定级别时，订购更多的货物。 在制造厂中将零部件组装为成品时对零部件进行跟踪。 记录雇员数据。
7
随着数据库技术的广泛应用，企业信息系统产生了大量的数据，如何从这些海量数据中提取对 企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。
OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂
的查询结果。
3
其它数据源 操作数据库
元数据
抽取 转换 加载 更新
监测集成 数据仓库
OLAP 服务器
分析 查询 报表 数据挖掘
ETL: 构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的OLTP数据 库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。
9
联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作， 侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数 据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准 确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。
10
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而 使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实 人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。
11
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取, 从而获得对数据的更深入了解的一类技术。OLAP的目标是满足决策支持或者满足在多维环境 下特定的查询和报表需求,它的技术核心是"维"这个概念。
随着市场竞争的日趋激烈，企业更加强调决策的及时性和准确性，这使得以支持决策管理分析 为主要目的的应用迅速崛起，这类应用被称为联机分析处理(OLAP)，它所存储的数据被称为 信息数据。
13
联机分析处理的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时， 从不同的角度来审视业务的衡量指标是一种很自然的思考模式。例如分析销售数据，可能会综 合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽 然可以通过报表来反映，但每一个分析的角度可以生成一张报表，各个分析角度的不同组合又 可以生成不同的报表，使得IT人员的工作量相当大，而且往往难以跟上管理决策人员思考的步 伐。
传统的企业数据库系统(管理信息系统)即联机事务处理系统（On-Line Transaction Processing,简称 OLTP）作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。
数据仓库（Data Warehouse）技术就是在这样的背景下发展起来的。
8
业界公认的数据仓库概念创始人W. H. Inmon在《Building the Data Warehouse》一书中对数据仓 库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的 数据集合”。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这 种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使 用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。
12
在过去的二十年中，大量的企业利用关系型数据库来存储和管理业务数据，并建立相应的应用 系统来支持日常业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(OLTP) 应用，它所存储的数据被称为操作数据或者业务数据。
14
联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型， 维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、 地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分 析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵 活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理 信息系统有着本质的区别。
数据源 (OLTP)
数据集市 数据存储 数据仓库的体系结构图
4
OLAP引擎
前端工具
5
OLTP也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行 处理，并在很短的时间内给出处理结果。
这样做的最大优点是可以即时地处理输入的数据，及时地回答,也称为实时系统。衡量联机事 务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间，即用户在终端上送入 数据之后，到计算机对这个请求给出答复所需要的时间。
16
1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业 级的中心信息数据库中。
15
事实上，随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决 方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广泛的内容。
概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确 分析，辅助做出更好的商业决策的系统。它本身包括三部分内容：
2020/12/18
1
联机分析处理 数据分类汇总分析的意义和作用 数据分类汇总的三种方法 数据透视表
2来自百度文库
当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、 联机分析处理OLAP（On-Line Analytical Processing）。
OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。
6
OLTP 系统中的数据主要被组织为支持如下事务： 记录来自销售点终端或通过网站输入的订单。 当库存量降到指定级别时，订购更多的货物。 在制造厂中将零部件组装为成品时对零部件进行跟踪。 记录雇员数据。
7
随着数据库技术的广泛应用，企业信息系统产生了大量的数据，如何从这些海量数据中提取对 企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。
OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂
的查询结果。
3
其它数据源 操作数据库
元数据
抽取 转换 加载 更新
监测集成 数据仓库
OLAP 服务器
分析 查询 报表 数据挖掘
ETL: 构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的OLTP数据 库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。
9
联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作， 侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数 据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准 确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。
10
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而 使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实 人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。
11
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取, 从而获得对数据的更深入了解的一类技术。OLAP的目标是满足决策支持或者满足在多维环境 下特定的查询和报表需求,它的技术核心是"维"这个概念。
随着市场竞争的日趋激烈，企业更加强调决策的及时性和准确性，这使得以支持决策管理分析 为主要目的的应用迅速崛起，这类应用被称为联机分析处理(OLAP)，它所存储的数据被称为 信息数据。
13
联机分析处理的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时， 从不同的角度来审视业务的衡量指标是一种很自然的思考模式。例如分析销售数据，可能会综 合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽 然可以通过报表来反映，但每一个分析的角度可以生成一张报表，各个分析角度的不同组合又 可以生成不同的报表，使得IT人员的工作量相当大，而且往往难以跟上管理决策人员思考的步 伐。
传统的企业数据库系统(管理信息系统)即联机事务处理系统（On-Line Transaction Processing,简称 OLTP）作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。
数据仓库（Data Warehouse）技术就是在这样的背景下发展起来的。
8
业界公认的数据仓库概念创始人W. H. Inmon在《Building the Data Warehouse》一书中对数据仓 库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的 数据集合”。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这 种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使 用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。
12
在过去的二十年中，大量的企业利用关系型数据库来存储和管理业务数据，并建立相应的应用 系统来支持日常业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(OLTP) 应用，它所存储的数据被称为操作数据或者业务数据。
14
联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型， 维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、 地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分 析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵 活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理 信息系统有着本质的区别。
数据源 (OLTP)
数据集市 数据存储 数据仓库的体系结构图
4
OLAP引擎
前端工具
5
OLTP也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行 处理，并在很短的时间内给出处理结果。
这样做的最大优点是可以即时地处理输入的数据，及时地回答,也称为实时系统。衡量联机事 务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间，即用户在终端上送入 数据之后，到计算机对这个请求给出答复所需要的时间。
16
1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业 级的中心信息数据库中。
15
事实上，随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决 方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广泛的内容。
概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确 分析，辅助做出更好的商业决策的系统。它本身包括三部分内容：