【CN109992594A】基于预计算优化的分布式执行优化方法及系统【专利】
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910223679.3
(22)申请日 2019.03.22
(71)申请人 跬云（上海）信息科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区亮秀路112号B座401
室
(72)发明人 陶加涛 许益铭 李扬 韩卿
(74)专利代理机构 北京卓唐知识产权代理有限
公司 11541
代理人 唐海力 李志刚
(51)Int.Cl.
G06F 16/2453(2019.01)
(54)发明名称基于预计算优化的分布式执行优化方法及系统(57)摘要本发明实施例公开一种基于预计算优化的分布式执行优化方法和系统，其中方法包括如下步骤：构建数据立方体Cube，将数据库中的数据按照不同维度的组合预聚合为不同的Cuboid；遍历查询树的各叶子节点，根据所述叶子节点的计算逻辑对所述叶子节点进行节点分类，所述叶子节点的类型包括同任务节点和独立节点；根据所述叶子节点所属的类别确定所述叶子节点对所述Cuboid中的存储数据的操作方式，所述操作方式包括集群操作和独立操作。采用本发明，通过对Cube中的数据进行预聚合，并执行优化的分布式操作，可以提高查询速度，通过横向的增加集
群的资源可以满足不断增长的数据量。权利要求书1页 说明书6页 附图2页CN 109992594 A 2019.07.09
C N 109992594
A
权 利 要 求 书1/1页CN 109992594 A
1.一种基于预计算优化的分布式执行优化方法，其特征在于，包括：
构建数据立方体Cube，将数据库中的数据按照不同维度的组合预聚合为不同的Cuboid；
遍历查询树的各叶子节点，根据所述叶子节点的计算逻辑对所述叶子节点进行节点分类，所述叶子节点的类型包括同任务节点和独立节点；
根据所述叶子节点所属的类别确定所述叶子节点对所述Cuboid中的存储数据的操作方式，所述操作方式包括集群操作和独立操作。
2.根据如权利要求1所述的方法，其特征在于，所述方法还包括：
将数据库中同一项目对应的多维度的项目数据组合在同一Cuboid。
3.根据如权利要求1所述的方法，其特征在于，在根据所述叶子节点的计算逻辑对所述叶子节点进行节点分类时，所述方法还包括：
将所述计算逻辑一致的叶子节点划分在一起作为所述同任务节点；
将分别执行各自的计算逻辑的叶子节点划分为所述独立节点。
4.根据如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述Cuboid中的目标操作数据放在同一任务的执行逻辑中进行所述集群操作。
5.根据如权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述独立节点执行数据跨设备间的网络传输。
6.一种基于预计算优化的分布式执行优化系统，其特征在于，包括：
预聚合模块，用于构建数据立方体Cube，将数据库中的数据按照不同维度的组合预聚合为不同的Cuboid；
节点分类模块，用于遍历查询树的各叶子节点，根据所述叶子节点的计算逻辑对所述叶子节点进行节点分类，所述叶子节点的类型包括同任务节点和独立节点；
操作方式确定模块，用于根据所述叶子节点所属的类别确定所述叶子节点对所述Cuboid中的存储数据的操作方式，所述操作方式包括集群操作和独立操作。
7.根据如权利要求6所述的系统，其特征在于，所述系统还包括：
数据组合模块，将数据库中同一项目对应的多维度的项目数据组合在同一Cuboid。
8.根据如权利要求6所述的系统，其特征在于，所述节点分类模块包括：
第一节点划分单元，用于将所述计算逻辑一致的叶子节点划分在一起作为所述同任务节点；
第二节点划分单元，用于将分别执行各自的计算逻辑的叶子节点划分为所述独立节点。
9.根据如权利要求6所述的系统，其特征在于，所述系统还包括：
集群操作模块，用于将所述Cuboid中的目标操作数据放在同一任务的执行逻辑中进行所述集群操作。
10.根据如权利要求6所述的系统，其特征在于，所述系统还包括：
跨设备操作模块，用于基于所述独立节点执行数据跨设备间的网络传输。
2