大数据热点技术综述

第43卷第3期 2017年3月

北京工业大学学报

JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY

Vol.43 No.3

Mar. 2017大数据热点技术综述

陈军成\ 丁治明\高需2

(1.北京工业大学计算机学院，北京100124 ; 2.中国科学院软件研究所，北京100190)

摘要：大数据是当前学术界和工业界关注的热点，从大数据文件系统、大数据分布式存储策略、大数据资源调度 以及大数据计算框架等几个方面阐述了当前典型的大数据相关技术及热点技术，并进一步指出下一步可能的研究 方向：如何通过语义提髙计算效率以及如何髙效处理时空大数据.

关键词：大数据；数据存储；计算框架

中图分类号：U461; TP308 文献标志码：A 文章编号：0254 -0037(2017)03 -0358 - 10

doi：10.11936/bjutxb2016090005

Survey of Big Data Hot Techniques

C H E N Juncheng1,

D IN G Z h im in g1,G A O X u2

(1. College of Computer Science，Beijing University of Technology，Beijing 100124，China；

2. Institute of Software，China Academy of Sciences，Beijing 100190，China) Abstract：B ig data attracts a tten tion o f academ ia and in d u s try.A c co rd in g to the basic features o f b ig data and c u rre n t c h a lle n g e s，the ty p ic a l b ig data’s technologies o f b ig data file system were presented.The storage stra te g y，resource sc h e d u le，b ig data co m p utin g fra m e w o rk，and e sp ecially hot techniques were

d is trib u t

e d.L a s t，th is paper po in ts out two possible research d ire c tio n s，w h ic h are im p ro v in g com pute

e fficie n cy through data sem antic and processing te m p o ra l-sp a tia l b ig data e ffic ie n tly.

Key words：b ig d a ta;data storage;com p utin g fram ew ork

近年来，大数据迅速成为工业界和学术界争相 讨论的热点，甚至引起了国家层面的关注.美国政 府将大数据看作“未来的新石油冶，我国政府则在 2015年正式发文《促进大数据发展行动纲要》，从国 家层面引导大数据相关产业的发展.

根据维基百科的定义，大数据又称为巨量数据、海量数据、大资料等,是指无法通过人工或者计算 机，在合理的时间内达到截取、管理、处理并整理成 为人类所能解读的形式的信息[1]，通常应用于商业 模式及趋势的发现与探究、疾病预测、实时交通等领 域，特别是在科学研究领域，如脑科学、基因科学、生 物工程等.通常情况下，科学家面对的是海量数据，很难直接发现其中的因果关系，然而，借助大数据相 关技术手段，科学家能相对容易地发现其中的关联 关系.这种关联关系可以进一步指引科学家深入探 究其中的因果关系.

与传统的数据相比，大数据具有5 V特征，即数 据规模庞大（volum e)、速度快（v e lo c ity)、形态多 (v a rie ty)、识别困难（v e ra c ity)以及价值大但价值密 度低（v a lu e)等.大数据系统通常需要解决如何高 效存储数据、如何处理瞬间爆发的数据以及如何应 对形态各异的结构化、半结构化以及非结构化数据 等问题.

针对这些问题，国际巨头G oogle、F acebook、

收稿日期：2016-09-02

基金项目：国家自然科学基金资助项目（91546111);北京市博士后基金资助项目（Q6007011201602)

作者简介：陈军成（1980—)，男，讲师，主要从事大数据、软件测试与分析方面的研究，E-mail：juncheng@ bjut. edu. cn

第3期陈军成，等：大数据热点技术综述359

A m a zo n、M ic ro s o ft和A p a c h e的开源组织以及国内的 百度、阿里巴巴、腾讯（

B A T)等均从各行业实际需求 出发，提出了大数据相关文件系统、存储技术、大数 据分析引擎等.本文从技术的角度，对大数据文件 系统、存储、大数据资源管理与调度、大数据分析引 擎等大数据相关技术进行综述，并进一步指出可能 的技术发展方向.

1大数据文件系统

如何存储海量且形态各异的数据是大数据文件 系统需要解决的首要问题.大数据文件系统是大数 据的基础.大数据以分布式的方式存储，如何在分 布式系统中分布数据，如何保证分布式系统中的容 错，以及如何处理大数据中的冗余，均是大数据文件 系统需要解决的问题.目前，典型的大数据文件系 统包括基于存储的分布式文件系统：G F S(G o o g le file system)[2]和H a d o o p[3]，以及基于分布式内存的 文件系统（T a ch yo n[4]).分布式文件系统利用R C F ile[5]、P a rq u e t[6]等存储格式优化存储，节省存储 空间.

1.1基于存储的分布式文件系统

分布式文件系统（d is trib u te d file system)是指文 件系统管理的物理存储资源不一定直接连接在本地 节点上，而是通过计算机网络与节点相连.分布式 文件系统的设计基于客户机/服务器模式.

大数据庞大的数据规模、复杂的数据结构以及 可能面对的高频访问，给操作系统中传统的文件系 统提出了挑战.为了解决这类问题，G o o g le公司于 2003年发表了 G o o g le内部研发的G o o g le文件系统 G FS[2].G F S针对W e b环境下批量大规模海量数据 处理而制定，虽未公开其源码，但依然在学术界和工 业界受到广泛关注.在G F S的影响下，Doug C u ttin g 和 M ik e C afarella于 2004 年在 N u tch 中实现了 GFS 的开源版本H D FS(H adoop d is trib u te d file system)[3]，并且在 2006 年 2 月成为 A pache H adoop 项目的关键组成部分.

H D F S是为以流式数据访问模式存储超大文件 而设计的文件系统，支持超大文件（数百T B甚至

P B级的数据），以普通硬件为基础，重点支持一次写 入、多次读取的场景.

H D F S架构如图1所示.H D F S采用主(m aster)/从（s la v e)架构.一■个 H D FS 集群是由一- 个 Nam enode 和 一■组Datanodes 组成.Nam enode 是 一个中心服务器，负责管理文件系统的名字空间(nam espace)以及客户端对文件的访问.集群中的

Datanode—般是一个节点，负责管理它所在节点上 的存储.H D F S暴露了文件系统的名字空间，用户以 文件的形式在上面存储数据.从内部看，1个文件 被分成1个或多个数据块，这些块存储在1组 D a ta n o d e上.N a m e n o d e执行文件系统的名字空间 操作，如打开、关闭、重命名文件或目录.它也负责 确定数据块到具体D a ta n o d e节点的映射.Datanode 负责处理文件系统客户端的读写请求.在

N a m e n o d e的统一调度下进行数据块的创建、删除和 复制.

H D F S支持在一个大集群中跨机器可靠地存储 超大文件.它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小.为了 容错，文件的所有数据块都有副本.每个文件的数 据块大小和副本系数均可配置，应用程序指定某个 文件的副本数目.副本系数可以在文件创建的时候 指定，也可以在之后改变.H D F S中的文件都是一次 性写入，并且严格要求在任何时候只能有一个写入 者.N a m e n o d e全权管理数据块的复制，周期性地从 集群中的每个D a ta n o d e接收心跳信号和块状态报 告.接收到心跳信号意味着该D a ta n o d e节点工作正 常.块状态报告包含了一个该D a ta n o d e上所有数据 块的列表.

H D F S的主要优势体现在一次写、多次读的应 用场景，对于小文件支持开销较大，并且H D F S存在 单点问题.针对这些问题，W e il提出了一套高性能、易扩展的、无单点的分布式文件存储系统C e p h[7].

C e p h的主要目标是提供高可扩展性及对象存储、块 存储和文件系统的存储机制.C e p h提供一个单一 的存储平台，可以处理所有类型的数据存储（包括 对象、块和文件），其高扩展性可以达到P B级，

拥有