基于MapReduce数字图像处理研究

基于MapReduce 数字图像处理研究田进华，张韧志（黄淮学院河南驻马店463000）摘要：随着海量图像数据的增加，使得需要处理的数据规模越来越大，为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题，在深入研究MapReduce 大规模数据集分布式计算模型的基础之上，本文设计了基于MapReduce 实现对数字图像并行化处理。

实验结果表明:运行在Hadoop 集群上的基于MapReduce 并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点，能够较好地满足海量数据图像的处理的要求。

关键词：Hadoop 平台；海量数据；MapReduce ；图像处理；并行处理中图分类号：TN391.41文献标识码：A文章编号：1674－6236（2014）15-0093-03Research of digital image processing based on MapReduceTIAN Jin 鄄hua ，ZHANG Ren 鄄zhi（Huanghuai University ，Zhumadian 463000，China ）Abstract:With the increase of mass image data ，makes the need to deal with the data size is bigger and bigger ，in order to solve the facing access when dealing with huge amounts of data information capacity and processing speed ，the further study of graphs large 鄄scale distributed computing model based on the data set ，in this paper ，based on graphs design for digital image parallel processing.Experimental results show that run on Hadoop cluster graphs based on parallel algorithm is data node size easy extension ，fast processing speed ，high security ，easy to implement ，can well meet the requirements of mass data processing of the image.Key words:Hadoop plateform ；mass data ；MapReduce ；image processing ；parallel processing收稿日期：2014-04-30稿件编号：201404271基金项目：河南省教育厅科学技术研究重点项目（13A520786）作者简介：田进华（1982—），男，河南泌阳人，硕士，实验师。

研究方向：计算机应用。

以互联网为计算平台的云计算，将会涉及非常多的海量数据处理任务[1]，海量数据处理是指对大规模数据的计算和分析，通常数据规模可以达到TB 甚至PB 级别。

当今世界最流行的海量数据处理可以说是MapReduce 编程模式。

MapReduce 分布式编程模型允许用户在不了解分布式系统底层实现细节的情况下开发并行应用程序。

用户可以利用Hadoop 轻松地组织计算机资源，进而搭建自己的分布式计算云平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。

1MapReduce 计算模型Hadoop 是一个开源分布式计算平台。

以分布式文件系统HDFS 和MapReduce 为核心的分布式计算和分布式存储的编程环境[2]。

MapReduce 是用于大规模数据集分布式的计算模型，实现一个MapReduce 应用，首先，通过Map 程序将数据切割成小块，然后，分配给大量服务器处理，最后，通过Reduce 程序将处理后的结果汇整输出给客户端。

MapReduce的整个架构是由Map 和Reduce 函数组成，当程序输入一大组Key/Value 键值对时，Map 负责根据输入的Key/Value （键值）对，生成中间结果，这生成中间结果同样采用Key/Value （键值）对的形式。

开发者只需要实现Map 和Reduce 函数的逻辑，然后提交给MapReduce 运行环境，计算任务便会在大量计算机组成的集群上被自动、并行地调度执行。

MapReduce 的运行环境是有两个不同类型的节点组成:Master 和Worker 。

Worker 负责数据处理，Master 主要负责任务分配和节点之间数据共享。

需要实现或指定以下编程接口：Map 函数：接收输入的键值对<kl ，vl>，计算生成一组中间的键值对<k2，v2>Reduce 函数:接收键值对集合<k2，v2的列表>，聚集计算得到新键值对<k3，v3>。

Combiner 函数：它是对Map 函数输出的中间数据在本地执行归并，将处理结果再传输给Reduce 节点。

Combiner 可以降低Map 任务节点和Reduce 任务节点之间的通信代价。

InputFormat ，OutputFormat ：InputFormat 支持Hadoop 作业输入数据键值对的转换；OutputFormat 表示Hadoop 作业计算结果存储在HDFS 中的格式。

Partitioner 函数：用于对Map 函数输出的中间结果进行划分，Map 任务点根据所提供的Partition 函数，将数据结果划分给相应Reduce 任务节点。

电子设计工程Electronic Design Engineering第22卷Vol.22第15期No.152014年8月Aug.2014－93－《电子设计工程》2014年第15期Hadoop 运行MapReduce 作业的流程图如图1所示。

MapReduce 作业包含四个相对独立的模块。

客户端主要负责MapReduce 作业代码的编写，配置作业相关参数，向JobClient实体提交作业；JobTracker 节点主要负责用户提交作业的初始化，调度作业，与所有的TaskTracker 节点进行通信，协调用户提交作业的执行；TaskTracker 节点负责自主与JobTracker 节点进行通信，根据所分配的数据块执行Map 或Reduce 任务，调用用户定义的Map 或Reduce 函数；HDFS 负责保存作业的数据、配置信息和作业结果等。

2构建图像处理云平台在MapReduce 计算框架中，Hadoop 将输入数据划分成等长的作业分片，每个Map 任务处理一个作业分片，这些Map 任务是并行执行的[3]。

Hadoop 又将每个作业分片划分为多个相同的键值对，每个Map 任务对该分片中每个键值对再调用map 函数来进行处理。

本系统把一个图像文件作为一个作业分片，再把整个作业分片作为一个键值对来处理[4]。

这样每个Map 任务只需调用一次map 函数来处理一个图像文件，进而实现多个图像文件的并行化处理。

本系统只定义了一个Reduce 任务，其调用reduce 函数对每个键值对进行简单的输出操作。

1）键值对类型的设计Hadoop 中map 和reduce 函数的输入和输出是键/值对（Key/Valuepair ），MapReduce 框架并不允许任意的类作为键和值的类型，只有支持序列化的类才能够在这个框架中充当键或者值[5]。

Hadoop 有自己的序列化格式Writable ，实现Writable 接口的类可以作为值类型。

Writable 接口定义了两个方法：一个将其状态写到DataOutput 二进制流，另一个从DataInput 二进制流读取其状态[6]。

实现WritableComparable<T>接口的类既可以作为键类型也可以作为值类型，该接口继承自Writable 和parable 接口。

WritableComparator 是对继承自WritableComparable 类的RawComparator 类的一个通用实现，提供了两个主要功能：第一，对原始compare （）方法的默认实现，能反序列化将在流中进行比较的对象，并调用对象的compare （）方法；第二，充当的是RawComparator 实例的工厂。

Hadoop 自带的org.apache.hadoop.io 包中有广泛的Writable 类，它们形成了如图2所示的层次结构。

本系统使用的键类型为Text ，用来存储图像文件的名；值类型为Image ，实现了Writable 接口，用来存储图像文件的内容。

本系统的键值对在Map 任务和Reduce 任务数据变化流程如图3所示。

任务调用map 函数对每个键值对进行处理，处理前后键Filename 的内容不会发生改变，而存储图像信息的值Image 的内容会发生变化。

Reduce 任务调用reduce 函数实现对其输入的键值对进行简单的键值对输出操作。

2）作业的输入格式设计一个输入分片（split ）就是由单个Map 任务处理的输入块，每个分片被划分为若干个记录，每条记录就是一个键值对，map 函数一个接一个处理每条记录。

map 函数用该实现从InputSplit 中读取输入的键值对。

本系统设计了ImageFileInputFormat 类继承自FileInputFormat<Text ，Image>类的实现，把一个图像文件作为一个输入分片，不进行文件分割；ImageRecordReader 类继承自RecordReader <Text ，Image>类的实现，把输入分片转化为一个键值对，即图像文件名作为键Text 类型的一个实例，图像文件内容作为值Image 类型的一个实例。

ImageRecordReader 类实现解码读取存储在HDFS 上作为输入分片的图像文件，获得其字节流，然后将字节流转化为上一节实现的值类型Image 的一个实例，图像文件的名字作为键类型Text 的一个实例，其核心代图3本系统Map 任务和Reduce 任务数据流Fig.3Map task and reduce task ’s data flow in this system Map图1Hadoop 运行MapReduce 作业流程图Fig.1MapReduce job ’s flow chart on Hadoop 图2Writable 类层次结构图Fig.2Writable class's hierarchical structure－94－码如下:FileSplit split=（FileSplit）genericSplit；Configuration conf=context.getConfiguration（）；Path file=split.getPath（）；FileSystem fs=file.getFileSystem（conf）；FSDataInputStream fileIn=fs.open（split.getPath（））；byte[]b=new byte[fileIn.available（）]；fileIn.readFully（b）；image=new Image（cvDecodeImage（cvMat（1，b.length，CV_8UC1，new BytePointer（b）），iscolor））；fileName=split.getPath（）.getName（）.toString（）；3）作业的输出格式设计MapReduce作业的输出样式用OutputFormat描述。