大数据背景下数据挖掘技术的应用研究
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据背景下数据挖掘技术的应用研究
摘要:随着科技的发展,数据信息大量出现,越来越多的人想要从许多混杂的
资源中找出最具有价值的信息。
本文将从数据挖掘技术的基本概念入手,并结合
当下现实来分析大数据的出现给数据挖掘技术应用带来的变化。
在数据挖掘技术应用中主
要从数据分析的利用和数据聚类的利用两大方面进行阐释,总体研究大数据背景下数据挖掘
技术的应用。
关键词:大数据时代;数据挖掘技术;数据挖掘技术的应用
大数据的发展会带来大量的信息资源,人们的思维方式也会随之发生改变。
于此同时信息发展也逐渐成为了开启信息时代的钥匙。
全球各国普遍认识到数据
的重要性及其对国家的发展发挥的许多重要意义,许多国家以此为基点制定适合
自己国家发展的战略性计划,由此占领数据的高地,实现国家创新性发展。
因此,大数据在当今时代具有极强的研究价值和应用价值。
笔者将主要从大数据可视化
给数据挖掘技术带来的影响为着眼点,进而进一步分析高性能计算(HPC)给数
据挖掘技术带来的一定程度的影响,且通过这些变化研究大数据背景下数据挖掘
技术的具体应用。
正文:当今的数据挖掘技术的理论已经成熟,数据挖掘技术的应用愈加广泛。
受众趋向了解更多的数据挖掘技术,从而利用起大量的信息资源。
我们对于大数
据背景下的数据挖掘技术的具体应用,将会获得信息的有效运用和资源的科学整合。
同时,掌握和了解到有关于数据挖掘技术的知识对普通受众来说不仅可以掌
握到大量的数据资源,从而更好地利用这些资源为我们的生活实践服务,而且对
于专业技术人员来说,广泛被大众所接受的数据挖掘知识前景将更加开阔,理论
弹性增大,这将促进数据挖掘技术的进一步发展。
一、数据挖掘技术的概述
数据挖掘技术主要是一个搜索的过程,它主要利用算法进行搜索,并通过一
定媒介,从大量的信息中提取对搜索者有用的信息资源。
这个过程的原始数据被
分成建模样本和分析样本两部分。
建模样本将会经过数据预处理后变成预处理后
的专家样本。
而分析样本则会经过特征选择后变成预处理后的分析样本。
专家样
本和分析样本经过结果评价和建模规则等筛选,在最后产生搜索者所需要的挖掘
结果。
上述就是一般数据挖掘的数据模型的建立过程。
整个过程也被认为是三个
主要阶段:预处理阶段、挖掘阶段和知识表示及模式评价阶段。
数据的预处理阶
段主要是将系统采集到的最初始的数据转化为符合探索者需求的有用数据。
数据
挖掘就是根据存储的数据中数据的一般特性,选择合适工具,通过使用案例推理、规则推理等方法处理一般信息,其需要着重注意的地方在于挖掘任务。
知识表示
和模式评价阶段主要是进行评价工作,要求系统较为精准的将数据进行阐释,最
终形成一套易于搜索者理解的表述方式。
二、大数据的出现给数据挖掘技术的应用带来的变化
大数据在产生以来无论对社会和科技的发展都产生了较大的影响,主要表现
在大数据迎合时代的快速发展并能通过其内在优势推动社会的进步。
当今的数据
挖掘技术的应用也与大数据有一定程度上的关联,数据挖掘技术是学界熟知的领
域接触广泛的学科,它与可视化、高性能计算等范畴相融合。
下边将从大数据可
视化发展和高性能计算的出现两方面,来具体分析大数据的出现给数据挖掘技术
的应用带来的变化。
2.1大数据可视化给数据挖掘技术带来的影响
大数据可视化是将数据进行可视化的一种研究,通过一定的图形、图像、表
格将原始数据进行呈现。
数据可视化自产生初期就对数据挖掘技术产生了一定影响,数据可视化逐渐与数据挖掘技术结合在一起,形成了可视化数据挖掘技术。
可视化数据挖掘技术社会和学术界广泛研究的热点技术之一。
在可视化数据的挖
掘中,它改变了以往模式,通过搜索者对数据的直接使用,使用户能够有效参与
并实现自身的挖掘过程,而且还可以根据系统的信息反馈用户当前的使用量,进
而既能提高挖掘时的用户参与度又能保证挖掘的质量。
2.2高性能计算(HPC)给数据挖掘技术带来的影响
计算机在当今用途特别广泛,在互联网的时代里,计算机可以帮助机主有效
处理冗杂的文字信息。
而高性能计算机不同于普通用户所使用的计算机,它以高
性能计算为依托使用专门的操作系统处理大量信息资源。
高性能计算与数据挖掘
技术结合成高性能数据挖掘技术,高性能计算也对数据挖掘产生了一定影响,大
大提升了传统数据挖掘的挖掘速度,使用效率增强。
高性能数据挖掘的出现使得
数据挖掘的受众面增大,在一定程度上也拓宽了数据挖掘领域的发展前景。
三、大数据背景下数据挖掘技术的应用
大数据时代的到来和发展,也使社会当中出现了大量的信息资源,这样也容
易导致信息的重复与冗杂,对这些数据信息进行有效收集并加以获取和应用,能
够使其产生最大程度的社会使用率,而社会使用率的提高将会节省大量的人力、
物力,促进社会的进一步发展。
下面将从数据分析和数据聚类中的利用两方面,
分析大数据背景下数据挖掘技术的应用。
3.1数据挖掘技术在数据分析中的利用
数据挖掘技术依赖于数据的决策来处理信息资源,利用相互相关的原则来进
行数据处理。
利用数据挖掘技术进行数据分析可以有效进行数据的判别与分类,
将相似性、相关性强的资源整合到一个类别,进行清晰化管理。
将相似性不强的
数据进行有效区分,避免数据在运用中的混淆。
还可以利用建模方程,在庞大的
数据支持下进行预测设置连续价值函数,通过这些信息,我们可以预测下一步数
据的波动和发展趋势。
在一般意义上的模型当中,也可以以这些信息资源为基础,推导出用户所需要的其他信息。
3.2数据挖掘技术在数据聚类中的利用
在数据挖掘技术的应用中,我们可以利用数据聚类有效处理数据。
聚类分析
可以作为一种算法的预处理步骤,数据挖掘技术可以在数据聚类中进行合理利用
并且产生巨大成效。
聚类分析可以将数据挖掘技术作为一门独立的工具,以此来
研究某些数据的分布情况。
在某些行业中,例如网络教学、云计算、会计企业中
都有广泛应用。
数据聚类算法作为数据挖掘的技术之一,越来越受到社会各界的
广泛关注。
结束语:大数据在当今时代具有极强的研究价值和应用价值,数据挖掘技术也受到学界和社会的广泛重视和关注。
因此在未来,数据挖掘知识前景将更加开阔,理论弹性增大,也会将促进数据挖掘技术的进一步发展。
我们不仅要结合大数据给数据挖掘技术带来的变化和影响,还要进而分析大数据背景下的数据挖掘技术的具体应用,以此获得信息的有效运用和资源的科学整合。
参考文献:
(1)戎娜.数据挖掘技术[J].科技传播,2012:228+239.
(2)韩丽莎.浅谈大数据与数据挖掘技术[J].计算机产品与流
通,2018:114+133.
(3)吴燕珍.浅谈大数据中数据挖掘技术的应用[J].电脑知识与技
术,2018:20-21.
(4)王妤姝.基于大数据的数据挖掘技术与应用[J].数字技术与应
用,2016:125.
该论文是莱芜职业技术学院横向课题《大数据背景下数据挖掘技术的应用研究》的研究成果。