【CN110309848A】离线数据与流式数据实时融合计算的方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910380072.6

(22)申请日 2019.05.08

(71)申请人 重庆天蓬网络有限公司

地址 401135 重庆市渝北区龙兴镇迎龙大

道19号

(72)发明人 张翼飞　陈政　

(74)专利代理机构 北京酷爱智慧知识产权代理

有限公司 11514

代理人 梁爱荣

(51)Int.Cl.

G06K 9/62(2006.01)

(54)发明名称

离线数据与流式数据实时融合计算的方法

(57)摘要

本发明提供了一种离线数据与流式数据实

时融合计算的方法，属于计算机大数据处理技术

领域，其首先确认结果数据的计算逻辑，整理需

要的输入数据，根据计算结果过程中所有输入的

数据的属性、特性的计算逻辑按实时性进行分

类，分为两类。一类数据是代表历史的统计结果

的离线型数据，另一类是实时性高的实时输入数

据。这两部分输入数据经过聚合、计算、统计的才

得出最后的实时统计结果。本发明在数据处理过

程中，通过对数据进行分类，用适当的计算模式

进行计算，兼顾数据的实时性以及数据的计算效

率，

使得结果数据可以更高效迅速的展现出来。权利要求书1页 说明书7页 附图2页CN 110309848 A 2019.10.08

C N 110309848

A

权　利　要　求　书1/1页CN 110309848 A

1.一种离线数据与流式数据实时融合计算的方法，其特征在于，包括：

S1、首先确认结果数据的计算逻辑，整理需要的输入数据；

S2、本发明根据计算结果过程中所有输入的数据的属性、特性、计算逻辑按实时性进行分类；

S3、根据S2中的数据分类，进行处理；

S4，当遇到离线型数据与实时输入数据需要关联时，采用流式处理的方式，在流式过程处理中去关联离线处理完成的离线型数据的计算结果，用此方法得到一个新的实时输入数据，所述新的实时输入数据是实时输入数据与离线型结果关联的结果数据；

S5、用S3，S4步骤中的方式处理完计算过程中所有的输入，即得到最终的计算结果。

2.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述S3、S4步骤中的流式处理方式与实时输入数据与离线型结构的过程包括如下内容，101到104和103到106这两个过程是单纯的离线计算，102到105这个过程是单纯的流式计算，即上述流程描述中S3步骤中描述的计算过程。

3.根据权利要求2所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述S3、S4步骤中的流式处理方式与实时输入数据与离线型结构的过程包括如下内容，104和105到107的过程，以及107和106到108的过程，是离线型数据和实时输入数据关联的过程。

4.根据权利要求3所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述108为步骤S5中最终得到的计算结果。

5.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S2中根据计算结果过程中所有输入的数据的属性、特定的计算逻辑实时性进行分类，该分类为两类，一类数据是代表历史的统计结果的离线型数据，一类是实时性高的实时输入数据。

6.根据权利要求5所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述离线型数据和实时输入数据经过聚合、计算、统计后得到最后的实时统计结果。

7.根据权利要求6所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述处理单纯的离线型数据和实时输入数据，对离线型的数据用离线处理的方式进行处理，对实时输入数据，用流式计算的方式。

8.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S1中所述的结果数据包括计算过程中的中间结果，中间结果包括上一步的输出、下一步的输入。

9.根据权利要求1所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述步骤S4中离线型数据和实时数据的关联关系，包括两种，一种是同一种计算逻辑划分下的两份数据，是离线型数据和实时输入数据的加和；另一种是业务逻辑上的关联关系。

10.根据权利要求9所述的离线数据与流式数据实时融合计算的方法，其特征在于，所述业务逻辑上的关联关系需要先计算好离线型数据，然后在流式处理实时数据时，取出计算好的离线型数据结果，进行关联。

2