【CN109857924A】一种大数据分析监察信息处理系统及方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910148294.5

(22)申请日 2019.02.28

(71)申请人 重庆科技学院

地址 401331 重庆市沙坪坝区大学城东路

20号

(72)发明人 王洪珂　王昌酉　王晓峰　袁玉兴　

付靖　何勇　丁昌华　

(74)专利代理机构 重庆市信立达专利代理事务

所(普通合伙) 50230

代理人 包晓静

(51)Int.Cl.

G06F 16/951(2019.01)

G06F 16/9538(2019.01)

(54)发明名称

一种大数据分析监察信息处理系统及方法

(57)摘要

本发明属于大数据分析监察信息处理技术

领域，公开了一种大数据分析监察信息处理系统

及方法；包括：数据获取模块、主控模块、数据源

追踪模块、监察图绘制模块、数据检索模块、备份

存储模块、监察显示模块。利用基于一致性哈希

算法的分布式服务器获取网络数据资源；利用基

于DAG的粗粒度溯源追踪和展现算法的追踪程序

追踪数据信息来源；利用绘制程序对数据监察信

息进行绘制可视化图；利用检索程序检索监察目

标数据信息；利用备份服务器备份存储监察信

息；利用显示器显示大数据分析监察信息处理系

统界面及数据来源信息、监察可视化图。本发明

可以获得更高的数据搜索成功率，并且对网络和

各个节点的资源占用较低。权利要求书2页 说明书6页 附图1页CN 109857924 A 2019.06.07

C N 109857924

A

权　利　要　求　书1/2页CN 109857924 A

1.一种大数据分析监察信息处理方法，其特征在于，所述大数据分析监察信息处理方法包括：

第一步，利用基于一致性哈希算法的分布式服务器获取网络数据资源；

第二步，利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源；利用绘制程序对数据监察信息进行绘制可视化图；利用检索程序检索监察目标数据信息；基于DAG的粗粒度溯源追踪和展现算法具体包括：

(1)接收数据集的路径地址path；

(2)根据接收到的路径地址查询缓存GlobalIndexCache，判断该记录是否存在，假如不存在则转到(3)，否则转到(7)；

(3)初始化用来存储溯源描述的DAG图G，节点表示溯源元数据节点信息，有向边表示每个模型执行前后数据的依赖关系；

(4)根据path查询溯源元数据表Metadata，查询的信息保存对象node，并将其添加到图G中，接着判断该节点node的前驱标识是否为空，若为空则表示该查询已经追溯到了源头，执行(5)，否则执行(6)；

(5)溯源追踪完毕，并将溯源图展示给用户；

(6)解析node对象的前驱标识字段，并将其和该node的关系添加到图G中，同时依次赋值给path，并转到(4)执行；

第三步，利用备份服务器备份存储监察信息；

第四步，利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。

2.如权利要求1所述的大数据分析监察信息处理方法，其特征在于，所述第一步中的一致性哈希算法具体包括：

(1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环，整个空间按顺时针方向组织，0和(2^32)-1在零点中方向重合；

(2)将各个服务器的名称作为关键字使用函数H计算哈希值，将根据服务器名称的计算的哈希值将各个服务器节点放置在哈希环上；

(3)将需要缓存的数据key使用相同的函数H计算出哈希值h，在哈希环上顺时针查找距离这个key值的哈希值距离最近的服务器节点，完成key到服务器哈希的映射查找，确定此需要缓存的数据key在哈希环上的位置。

3.如权利要求2所述的大数据分析监察信息处理方法，其特征在于，所述(2)中的函数H 具体包括：

随机取一个不大于数据长度m的数p，利用数p对关键字名称求余，结果即为所述根据服务器名称计算得到的哈希值：

H(key)＝key％p,p<m。

4.一种实现权利要求1所述大数据分析监察信息处理方法的大数据分析监察信息处理系统，其特征在于，所述大数据分析监察信息处理系统包括：

数据获取模块，与主控模块连接，用于通过分布式服务器获取网络数据资源；

主控模块，与数据获取模块、数据源追踪模块、监察图绘制模块、数据检索模块、备份存储模块、监察显示模块连接，用于通过单片机控制各个模块正常工作；

2