【CN109800271A】一种基于大数据的信息采集方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910134543.5

(22)申请日 2019.02.23

(71)申请人 湖北理工学院

地址 435000 湖北省黄石市桂林北路16号

(72)发明人 许四平　

(74)专利代理机构 重庆市信立达专利代理事务

所(普通合伙) 50230

代理人 包晓静

(51)Int.Cl.

G06F 16/27(2019.01)

G06F 16/22(2019.01)

G06F 16/21(2019.01)

(54)发明名称一种基于大数据的信息采集方法(57)摘要本发明属于信息采集技术领域，公开了一种基于大数据的信息采集方法，所述基于大数据的信息采集系统包括：数据源模块、数据传输模块、中央控制模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块。本发明通过大数据分析模块得到分析结果存储在分布式数据库的分析结果表中，不需要到分布式数据库中海量的大数据中获取大数据，所以耗时短且易于实现；同时，通过平衡模块根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽，重新启动数据平衡程序，能够在保障集群正常数据生产的同时，

提高集群数据平衡的效率和弹性。权利要求书2页 说明书6页 附图2页CN 109800271 A 2019.05.24

C N 109800271

A

权　利　要　求　书1/2页CN 109800271 A

1.一种基于大数据的信息采集系统，其特征在于，所述基于大数据的信息采集系统包括：

数据源模块、数据传输模块、中央控制模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块；

数据源模块，与数据传输模块连接，用于通过大数量终端设备获取数据源；

数据传输模块，与数据源模块、中央控制模块连接，用于通过网线或无线发射器将获取的数据源发送到中央控制模块；

中央控制模块，与数据传输模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

检索模块，与中央控制模块连接，用于通过检索程序对数据源有价值的信息进行检索；

信息集成模块，与中央控制模块连接，用于通过集成软件对检索的信息进集成处理；

信息管理模块，与中央控制模块连接，用于通过信息管理软件对集成的信息进行管理操作；

大数据分析模块，与中央控制模块连接，用于通过分析程序对大数据进行分析操作；

平衡模块，与中央控制模块连接，用于通过平衡策略程序调整大数据集群的数据平衡；

云存储模块，与中央控制模块连接，用于通过云服务器存储大数据信息；

显示模块，与中央控制模块连接，用于通过显示器显示采集的信息数据。

2.一种如权利要求1所述的基于大数据的信息采集方法，其特征在于，所述基于大数据的信息采集方法包括以下步骤：

步骤一，通过数据源模块利用大数量终端设备获取数据源；通过数据传输模块利用网线或无线发射器将获取的数据源发送到中央控制模块；

步骤二，中央控制模块通过检索模块利用检索程序对数据源有价值的信息进行检索；

步骤三，通过信息集成模块利用集成软件对检索的信息进集成处理；通过信息管理模块利用信息管理软件对集成的信息进行管理操作；

步骤四，通过大数据分析模块利用分析程序对大数据进行分析操作；通过平衡模块利用平衡策略程序调整大数据集群的数据平衡；

步骤五，通过云存储模块利用云服务器存储大数据信息；并通过显示模块利用显示器显示采集的信息数据。

3.如权利要求1所述基于大数据的信息采集系统，其特征在于，所述大数据分析模块分析方法如下：

(1)构建分布式数据库，设置存储参数；

(2)将大数据按时间分片存储在分布式数据库；

(3)在分布式数据库设置缓存大数据的原始数据临时表及索引表，索引表中设置了对应大数据在原始数据临时表中的位置信息；

(4)在进行大数据分析时，根据服务器中的索引表中存储的对应大数据在原始数据临时表中的位置信息，从原始数据临时表调用大数据进行分析，得到分析结果，存储在分布式数据库中。

4.如权利要求3所述基于大数据的信息采集系统，其特征在于，所述分布式数据库为Hbase数据库；在所述大数据存储到分布式数据库之前，还包括对大数据的完整性验证及合

2