MySQL 多维数据仓库指南
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
测试完全可加性
添加数据记录: 添加数据记录:additive_data.sql 测试完全可加性: 测试完全可加性:
1. 沿着所有维对 沿着所有维对order_amount的值进行累加 的值进行累加 across_all_dimensions.sql 即求出订单总额 2.沿着日期,订单维查询 across_date_order.sql 沿着日期, 沿着日期
小结
第三章:度量的可加性( 第三章:度量的可加性(完全可加、半 可加) 可加) 第四章:维度查询(聚合、特定、翻转) 第四章:维度查询(聚合、特定、翻转) 第五章:源数据提取(全部、变化数据; 第五章:源数据提取(全部、变化数据; 拉取数据、由源推送数据) 拉取数据、由源推送数据)
第五章 源数据提取
全部源数据和变化数据捕获
全部源数据: 全部源数据:文件的所有记录或者数据 库表的所有行。 库表的所有行。一般适合参数型数据的 抽取,比如邮政编码。 抽取,比如邮政编码。
变化数据捕获CDC(Change Data 变化数据捕获 Capture ):只提取改变过的数据。 :只提取改变过的数据。
由源推送
数据库中的sales_order表 由source数据库中的 数据库中的 表 数据库中的sales_order_fact推 向dw数据库中的 数据库中的 推 送数据
Fra Baidu bibliotek 由源推送的CDC模式运用于销售订单数据提取 模式运用于销售订单数据提取 由源推送的
需要使用到第一章中建立的source数据库 数据库 需要使用到第一章中建立的 步骤: 步骤: 1. 编译和存储存储过程 编译和存储存储过程push_sales_order.sql 2. 在source数据库中创建 数据库中创建sales_order表: 表 数据库中创建 create_sales_order.sql ; 3.向表中插入数据:push_data.sql ; 向表中插入数据: 向表中插入数据 mysql> \. c:\...\push_sales_order.sql 4.推送 推送CDC(变化数据捕获 销售订单: 变化数据捕获)销售订单 推送 变化数据捕获 销售订单: mysql> use source; mysql> call push_sales_order();
第四章 维度查询
维度查询
增加数据:dimensional_query_data.sql 增加数据 聚集查询:将个体的事实进行合计, 聚集查询:将个体的事实进行合计,比如 累加度量值(求和 计数); 求和、 累加度量值 求和、计数 ; daily_aggregation.sql 特定查询: 特定查询:基于某个特定的维度值对事实 进行挑选和聚集; 进行挑选和聚集; monthly_storage.sql
MYSQL 多维数据仓库指南
-----------第三章 度量的可加性 第三章
完全可加和半可加
1. 完全可加:一个度量沿着任何一个维 完全可加: 累加, 累加,它所有值的总和与沿着任何其他 的维或者任何一些维的组合进行累加的 总和一样 例如:事实表sales_order_fact中的 例如:事实表 中的 order_amount 2. 半可加:部分情况下累加它的值。 半可加:部分情况下累加它的值。 (第二十四章 第二十四章) 第二十四章
维度查询
翻转查询:基于一个或者多个度量值来 翻转查询: 选择事实, 选择事实,而其他大部分查询则基于维 度的值。查询将从事实表( 度的值。查询将从事实表(星型模式的 中心)到维表,这也是被称作“翻转” 中心)到维表,这也是被称作“翻转” 查询的原因。 查询的原因。 loyal_customer.sql
源数据提取方法
拉取数据( ):源数据只 拉取数据(pull by data):源数据只 ): 能等待数据仓库来提取数据。 能等待数据仓库来提取数据。 由源推送(push by source):如果数 由源推送 : 据提取时间点是苛刻的, 据提取时间点是苛刻的,并希望源数据 准备好后能及时发送给你, 准备好后能及时发送给你,则使用这种 模式,或者数据源受保护且不允许存取。 模式,或者数据源受保护且不允许存取。