一种基于大数据的计算机数据分析管理系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110129342.3
(22)申请日 2021.01.29
(71)申请人 赵琰
地址 336000 江西省宜春市中山西路399号
(72)发明人 赵琰　黄婷婷　严坤　包刚　
(74)专利代理机构 西安合创非凡知识产权代理
事务所(普通合伙) 61248
代理人 马英
(51)Int.Cl.
G06F 16/2458(2019.01)
G06F 16/28(2019.01)
G06F 16/26(2019.01)
G06N 3/04(2006.01)
(54)发明名称
一种基于大数据的计算机数据分析管理系
统
(57)摘要
本发明涉及大数据分析管理领域，具体涉及
一种基于大数据的计算机数据分析管理系统，包
括：数据采集模块，用于根据用户录入的数据采
集计划，定时运行对应的数据挖掘模型实现目标
数据的采集；数据预处理模块，用于根据用户录
入的数据分析规则，运行对应的数据预处理模型
实现目标数据的预处理；数据分析模块，用于根
据用户录入的数据分析目标，运行对应的数据分
析模型实现目标数据的分析，并获取到对应的分
析报表。

本发明可以根据数据采集计划，自动运
行对应的数据挖掘模型、数据预处理模型和数据
分析模块依次完成大数据的采集、预处理和分析
工作，无需人为进行计算机程序的调整，实现了
大数据的连续采集和自主分析。

权利要求书1页 说明书3页 附图1页CN 112632156 A 2021.04.09
C N 112632156
A
1.一种基于大数据的计算机数据分析管理系统，其特征在于，包括：
数据采集模块，用于根据用户录入的数据采集计划，定时运行对应的数据挖掘模型实现目标数据的采集；
数据预处理模块，用于根据用户录入的数据分析规则，运行对应的数据预处理模型实现目标数据的预处理；
数据分析模块，用于根据用户录入的数据分析目标，运行对应的数据分析模型实现目标数据的分析，并获取到对应的分析报表。

2.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，所述数据采集模块首先根据数据采集计划内载的数据采集规则调用对应的数据挖掘模型，并实现数据挖掘模型运行时间的规划，获取数据挖掘模型运行计划表，然后基于Hadoop根据数据挖掘模型运行计划表定时运行对应的数据挖掘模型实现目标数据的采集。

3.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，所述数据预处理模块用于实现目标数据的填充、分类、格式标准化处理。

4.如权利要求2所述的一种基于大数据的计算机数据分析管理系统，其特征在于，所述数据预处理模块采用基于深度学习的不完整大数据填充算法实现目标数据的填充处理；基于Bi ‑LSTM+Attention模型实现数据的分类处理，基于循环神经网络模型实现数据格式的标准化。

5.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，所述数据分析模块首先根据用户录入的数据分析目标实现数据分析模型运行计划表的编制，然后基于Hadoop根据数据分析模型运行计划表依次运行对应的数据分析模型实现目标数据的分析处理，并调用对应的分析报表模板，实现分析报表的编制。

6.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，还包括：
数据可视化分析模块，用于根据用户录入的数据分析目标，调用对应的驱动脚本驱动Tableau Desktop实现目标数据的可视化分析。

7.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，还包括：
数据储存模块，用于根据用户录入的数据采集计划，调用驱动对应的数据储存脚本实现目标数据的定位储存。

8.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，还包括：
数据分析报表定向发送模块，在对应的数据分析报表生成后启动，实现数据分析报表的定向发送。

9.如权利要求1所述的一种基于大数据的计算机数据分析管理系统，其特征在于，还包括：
运行环境评估模块，用于通过脚本录制的方式实现系统运行流程的录制，基于预设的评估模型实现系统运行环境的评估，并根据评估结果进行数据采集模块、数据预处理模块、数据分析模块工作状态的调整。

权　利　要　求　书1/1页CN 112632156 A
一种基于大数据的计算机数据分析管理系统
技术领域
[0001]本发明涉及大数据分析管理领域，具体涉及一种基于大数据的计算机数据分析管理系统。

背景技术
[0002]计算机俗称电脑，是一类用于高速计算与分析的电子设备，它既可以进行大数值计算，又可以进行逻辑计算，且还具有存储记忆的功能。

同时它也能按照程序来自动运行，以对获取的海量数据进行快速处理。

[0003]目前，传统的计算机数据分析系统对数据的处理仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联仍然需要依靠人工进行逐条甄别，同时普遍只能按照既定的程序运行进行大数据的分析，每更新一次数据分析目标，均需要人为去进行计算机程序的调整，费时费力，系统运行连续性差。

发明内容
[0004]为解决上述问题，本发明提供了一种基于大数据的计算机数据分析管理系统，可以根据数据采集计划，自动运行对应的数据挖掘模型、数据预处理模型和数据分析模块依次完成大数据的采集、预处理和分析工作，无需人为进行计算机程序的调整，实现了大数据的连续采集和自主分析，从而可以实现关键数据的提取与关联关系的直接获取。

[0005]为实现上述目的，本发明采取的技术方案为：
一种基于大数据的计算机数据分析管理系统，包括：
数据采集模块，用于根据用户录入的数据采集计划，定时运行对应的数据挖掘模型实现目标数据的采集；
数据预处理模块，用于根据用户录入的数据分析规则，运行对应的数据预处理模型实现目标数据的预处理；
数据分析模块，用于根据用户录入的数据分析目标，运行对应的数据分析模型实现目标数据的分析，并获取到对应的分析报表。

[0006]进一步地，所述数据采集模块首先根据数据采集计划内载的数据采集规则调用对应的数据挖掘模型，并实现数据挖掘模型运行时间的规划，获取数据挖掘模型运行计划表，然后基于Hadoop根据数据挖掘模型运行计划表定时运行对应的数据挖掘模型实现目标数据的采集。

[0007]进一步地，所述数据预处理模块用于实现目标数据的填充、分类、格式标准化处理。

[0008]进一步地，所述数据预处理模块采用基于深度学习的不完整大数据填充算法实现目标数据的填充处理；基于Bi‑LSTM+Attention模型实现数据的分类处理，基于循环神经网络模型实现数据格式的标准化。

[0009]进一步地，所述数据分析模块首先根据用户录入的数据分析目标实现数据分析模型运行计划表的编制，然后基于Hadoop根据数据分析模型运行计划表依次运行对应的数据分析模型实现目标数据的分析处理，并调用对应的分析报表模板，实现分析报表的编制。

[0010]进一步地，还包括：
数据可视化分析模块，用于根据用户录入的数据分析目标，调用对应的驱动脚本驱动Tableau Desktop实现目标数据的可视化分析。

[0011]进一步地，还包括：
数据储存模块，用于根据用户录入的数据采集计划，调用驱动对应的数据储存脚本实现目标数据的定位储存。

[0012]进一步地，还包括：
数据分析报表定向发送模块，在对应的数据分析报表生成后启动，实现数据分析报表的定向发送。

[0013]进一步地，还包括：
运行环境评估模块，用于通过脚本录制的方式实现系统运行流程的录制，基于预设的评估模型实现系统运行环境的评估，并根据评估结果进行数据采集模块、数据预处理模块、数据分析模块工作状态的调整。

[0014]本发明具有以下有益效果：
1）可以根据数据采集计划，自动运行对应的数据挖掘模型、数据预处理模型和数据分析模块依次完成大数据的采集、预处理和分析工作，无需人为进行计算机程序的调整，实现了大数据的连续采集和自主分析，从而可以实现关键数据的提取与关联关系的直接获取；
2）通过脚本驱动的方式驱动Tableau Desktop，实现了数据的可视化分析，从而实现了多种目标数据的计算获取，大大方便了工作人员的使用；
3）基于数据储存脚本的运用，实现了大数据的自动分类储存，在减轻工作人员工作量的同时，方便了后续数据的调用。

附图说明
[0015]图1为本发明实施例一种基于大数据的计算机数据分析管理系统的系统框图。

具体实施方式
[0016]为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0017]如图1所示，本发明实施例提供了一种基于大数据的计算机数据分析管理系统，包括：
人机交互模块，用于注册登录，在权限内实现数据采集计划、数据分析规则、数据分析目标的录入或勾选；
数据采集模块，用于根据用户录入的数据采集计划，定时运行对应的数据挖掘模型实现目标数据的采集；
数据预处理模块，用于根据用户录入的数据分析规则，运行对应的数据预处理模型实现目标数据的预处理；
数据分析模块，用于根据用户录入的数据分析目标，运行对应的数据分析模型实现目标数据的分析，并获取到对应的分析报表；
数据可视化分析模块，用于根据用户录入的数据分析目标，调用对应的驱动脚本驱动Tableau Desktop实现目标数据的可视化分析。

[0018]数据储存模块，用于根据用户录入的数据采集计划，调用驱动对应的数据储存脚本实现目标数据的定位储存。

[0019]数据分析报表定向发送模块，在对应的数据分析报表生成后启动，实现数据分析报表的定向发送。

[0020]运行环境评估模块，以静态jar包的形式部署于计算机内，用于通过脚本录制的方式实现系统运行流程的录制，基于预设的评估模型实现系统运行环境的评估，并根据评估结果进行数据采集模块、数据预处理模块、数据分析模块工作状态的调整；
中央处理模块，用于协调上述模块工作。

[0021]本实施例，所述数据采集模块首先根据数据采集计划内载的数据采集规则调用对应的数据挖掘模型，并实现数据挖掘模型运行时间的规划，获取数据挖掘模型运行计划表，然后基于Hadoop根据数据挖掘模型运行计划表定时运行对应的数据挖掘模型实现目标数据的采集。

[0022]本实施例，所述数据预处理模块用于实现目标数据的填充、分类、格式标准化处理。

[0023]本实施例，所述数据预处理模块采用基于深度学习的不完整大数据填充算法实现目标数据的填充处理；基于Bi‑LSTM+Attention模型实现数据的分类处理，基于循环神经网络模型实现数据格式的标准化。

[0024]本实施例，所述数据分析模块首先根据用户录入的数据分析目标实现数据分析模型运行计划表的编制，然后基于Hadoop根据数据分析模型运行计划表依次运行对应的数据分析模型实现目标数据的分析处理，并调用对应的分析报表模板，实现分析报表的编制。

[0025]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

图1。