大数据的核心技术(一)

我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其

它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章

能能够给大家带来帮助。

首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于

计算机和统计学交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等

一系列算法实现让计算机拥有对数据进行自动分类和预测的功能。这就需要我们对机器学习

有一个足够的了解。机器学习领域包括很多种类的智能处理算法，分类、聚类、回归、相关

分析等每类下面都有很多算法进行支撑，随着深度学习核心技术的突破性发展，机器学习算

法得以高速扩张。总之大数据处理要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识

别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理

也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘。由于在大数据

条件下图像，语音识别等领域的学习效果显著，有望成为人工智能取得突破的关键性技术，

正因为如此，我们需要重视机器学习。

然后我们说收数据挖掘，数据挖掘是一个较为宽泛的概念，大数据就是从海量数据里面挖掘

有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习

中一类比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能领域也包括数据挖掘，关键是技术能否真正挖掘出有用的信息，然后这些信息可以指导决策。数据挖掘的提法比机

器学习要早，应用范围要广，数据挖掘和机器学习是大数据分析的核心技术，互为支撑，为

大数据处理提供相关模型和算法，而模型和算法是大数据处理的关键，探索式交互式分析、

可视化分析、数据的采集存储和管理等都较少用到学习模型。由此可见，数据挖掘在数据分

析中都是十分重要的事情，更不用说大数据了。

由于篇幅原因我们就给大家介绍了大数据的核心技术的两个，分别是数据挖掘以及机器学习，我们在下一篇文章中给大家介绍更多有用的内容，最后感谢大家的阅读。