大数据处理的关键技术

超人学院：大数据处理的关键技术

大数据技术，从本质上讲是从类型各异、内容庞大的数据中快速获得有价值信息的技术。目前，随着大数据领域被广泛关注，大量新的技术已经开始涌现出来，而这些技术将成为大数据采集、存储、分析、表现的重要工具。

大数据处理的关键技术主要包括：数据采集、数据预处理(数据清理、数据集成、数据变换等)、大数据存储、数据分析和挖掘、数据的呈现与应用(数据可视化、数据安全与隐私等)。

该图展示了如何将大量的数据经过一系列的加工和处理，最终以有价值的信息形式到达用户的手中。在数据分析中，云技术与传统方法之间进行联合，使得一些传统的数据分析方法能够成功地运用到大数据的范畴中来。

一、数据的采集技术

数据的采集是指利用多个数据库来接收发自客户端(Web、App或传感器形

式等)的各种类型的结构化、半结构化的数据，并允许用户通过这些数据来进行

简单的查询和处理工作。

二、数据集成与处理技术

数据的集成就是将各个分散的数据库采集来的数据集成到一个集中的大型

分布式数据库，或者分布式存储集群中，以便对数据进行集中的处理。

该阶段的挑战主要是集成的数据量大，每秒的集成数据量一般会达到百兆，甚至千兆。

三、大数据存储及管理技术

数据的海量化和快增长特征是大数据对存储技术提出的首要挑战。为适应大数据环境下爆发式增长的数据量，大数据采用由成千上万台廉价PC来存储数据方案，以降低成本，同时提供高扩展性。

考虑到系统由大量廉价易损的硬件组成，为了保证文件整体可靠性，大数据通常对同一份数据在不同节点上存储多份副本，同时，为了保障海量数据的读写能力，大数据借助分布式存储架构提供高吐量的数据访问。

超人学院主要培训内容Hadoop HDFS(Hadoop Distributed File System是

较为有名的大数据文件存储技术。HDFS是GFS的开源实现，它们均采用分布式存储的方式存储数据(将文件块复制在几个不同的节储节点上)。在实现原理上，它们均采用主从控制模式(主节点存储元数据、接收应用请求并且根据请求类型

进行应答，从节点则负责存储数据)。

Hadoop的HBase是大数据的数据管理技术的典型代表之一。HBase基于HDFS。作为NoSQL(Not only SQL)数据库，它们为应用提供数据结构化存储功能和类似数据库的简单数据查询功能，并为MapReduce 等并行处理方式提供数据源或数据结果的存储。

四、大数据的分析与挖掘

数据分析与挖掘是大数据处理流程中最为关键的步骤。

在人类全部数字化数据中，仅有非常小的一部分(约占数据量的1%)数值型数据得到了深入分析和挖掘(如：回归、分类、聚类)，大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析(如：排序)。占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。

大数据分析技术的发展需要取得两个方面的突破：

一是对体量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识(如：从自然语言构成的文本网页中理解和识别语义、情感、意图等);

二是对非结构化数据进行分析，将海量数据复杂多源的语音、图像和视频数据转化为机器可识别的，具有明确语义的信息，进而从中提取有用的知识。