基于Hadoop视频转码的任务调度算法_毕莎莎

Vol. 40 No. 2 2014
Ｒadio Communications Technology
（ 1， 2， 3， ． ． ． n） ， C = （ c1 ， c2 ， ． ． ． cn ） ， m 个不同处理 P = （ p1 ， p2 ， ． ． ． pm ） ， 能力的计算节点， 若转码时间 与机器处理能力成反比， 与视频块的复杂度成正比， 则视频块 i 分发到机器 j 上的转码时间为 （ 只考虑 转码时间， 其余负载均忽略） ：
摘 要： 现 有 的分 布 式 转 码 系 统 大 多 没 有 考 虑 到 根 据 计 算 节 点 的 处 理 能 力 分 配 转 码 任 务 量 ， 对转码过程造成影 响， 导致 转 码 效 率 降低 。 针 对这 一 问题 ， 在 对现 有 Max-Min 算 法 的 研 究 基 础 上， 提 出 一 种 新 的 任 务 调 度 算 法。利 用 佩 奇排 名 算法 评 估机器 转 码 性 能 ， 输入 视 频 被 分 成大小 不 同 的 段 ， 依 据 其 复 杂 度 和 机器 的 转 码 能 力 进 行 映 射 。 处 理 能 力 强 的 节点 将 分 配 到 更 多的 视 频 块 ， 最 终 所 有计 算节点 的 完 成 时 间 得到 均衡 化 。 实验结 果表明 ， 该算法能够显著提升视 频转码效率， 在 很 大程 度 上 改 善 了 云 转 码 系 统 。 关键词： 分布式转码; 任务调度; 佩奇排名; 均衡化 中图分类号： TN92 文献标识码： A 文章编号： 1003 － 3114 ( 2014 ) 02 － 63 － 4
图2
视频转码框架图
图1
云计算框架
视频转码 视频技术和视频压缩标准的不断发展以及视频 节目在不同应用环境的需要， 促使了视频转码研究 的出现和不断发展。转码的主要目的就是使得异质 网络之间、 不同的接入设备之间以及不同视频数据 格式之间能够互相兼容。视频转码主要有以下几种 类型： 码率转换（ Bitrate reduction ） 、 空间分辨率转换 （ Spatial reduction） 、 时间分辨率转换 （ Temporal resolution reduction） 和语法转换等［6］。 视频转码的过程是： 对原始视频进行解码、 重新 调整和视频编码。 在网络视频应用中， 网络带宽随 着时间波动。视频转码的主要用途是使视频适应于 网络带宽， 类 似 于 可 伸 缩 视 频 编 码 （ scalable video ［7 ］ coding） 。视频压缩的标准格式有多种， 如 MPEG1、 MPEG2、 H. 263 、 MPEG4 和 H. 264 等。 1. 3 云转码方案 首先提出一种基于 hadoop 的视频转码框架， 如 通过 图 2 所示。 视频由 mkvtoolnix 软件进行切片， MapＲeduce 中的 map 函数封装 ffmpeg 转码功能， 当 1. 2 64
基于 Hadoop 视频转码的任务调度算法
1 1， 2， 3 4 ， 毕莎莎 ， 陈清华 高煜红
( 1. 南京工业大学 电子与信息工程学院， 江苏 南京 210009 ; 2. 浙江清华长三角研究院， 浙江 嘉兴 314006 ; 3. 北京大学软件与微电子学院， 北京 102600 ; 4. 浙江工业大学 信息工程学院， 浙江 杭州 310023 )
视频转码分为离线预转码和在线转码， 系统处 理一个 普 通 的 用 户 的 视 频 请 求 可 分 为 以 下 几 个 步骤： ① 视频请求： 用户从远端向 Web Server 发送获 取视频的请求， 包括视频名称与用户设备规格； ② 设定参数： Web Server 根据用户设备参数及 所 要 求 的 分 辨 率， 向 Streaming Server 请 求 视 频 资源； ③ Streaming server 检查 Prestore video data 中是 否有与用户请求相匹配的数据； Streaming Server 从 Prestore video da④ 若存在， ta 中取出视频数据； ⑤ 将视频块返回给用户； ⑥ 否 则 向 NameNode 发 出 转 码 任 务 的 命 令， NameNode调度集群进行分布式转码； 分布式转码完 NameNode 向 Streaming Server 返回转码完成 成后， 后的视频文件所在位置 Transcoded video data； ⑦ Streaming Server 从 Transcoded video data 中 读取视频文件； ⑧ 将视频块返回给用户同⑤。
2
2. 1
关键技术
问题模型 此处要考虑的是如何快速地把复杂度不等的子 任务调度到多个处理能力不一致的处理节点上 。文 8］ 献［ 比较了 11 种调度算法的执行效率， 发现 MinMin 算法与其相比， min 效率最高。 但是 Max资源 Min 算法把所有节点的 负载性能上要好的多。Max完成时间进行平均化， 从而减少了转码时间， 提高转 码效率。 ［9］ 首先把资源的动态分发问题建立数学模型 ： 假设： 有 n 个具有不同复杂度的视频段，J =
2014
年第 40 卷第 2 期
无线电通信技术
针对现有视频转码系统大多没有考虑到根据机 器处理能力分配转码任务量这一问题， 提出一种新 根据视频段 的任务调度算法。 输入视频被分成段， 的复杂度和机器的处理能力进行映射， 类似“能者 ” ， 。 多劳 机制 从而减少并提交到集群时， 到集群节点上， 利用集群系统的计算能力和已有视 频转码开源软件实现多视频同时转码 。
1
1. 1
Hadoop 转码系统
Hadoop 介绍 Hadoop 是一个 开 源 的 云 计 算 框 架， 如图 1 所 是一个适合处理海量数据的并行编程系统 ， 可以 示， 根据输入数据分布信息自动创建几个并行子任务 ， 并将子任务调度到合适的集群节点上并行执行 ， 所 以此模型能够很好地适用于多个视频文件进行转 Map / 码。Hadoop 使用 Map / Ｒeduce 作为编程模型， Ｒeduce 通过将大型分布式计算分解为一系列对数 据键值对的 操 作 实 现 并 行 处 理。 HDFS 是 Hadoop 主要的分布式存储系统， 它和现有的分布式文件系 统有许多相似之处。 HDFS 的设计目标是： 支持大 的数据文件， 这些文件以顺序读为主， 以文件读的高 并且与 Map / Ｒeduce 框架紧密结合。 吞吐量为目标，
0
引言
网络视频已成为人们生活中不可或缺的一部 美国有将近 90% 的人通过网 分。截止到 2012 年， ［1 ］ 络获取高清视频 ， 如何保证各种移动终端得到不 提供可靠的服务面临严峻的挑战 。 同的服务质量， 视频转码就是从一种视频码流到另外一种码流
收稿日期： 2013 － 12 － 20 基金项目： 江苏省基础研究计划资助项目（ BK2010137 ） ， 浙江省十二 五重 大 科 技 专 项 （ 2012C01037 － 1 ） ； 嘉 兴 市 科 技 计 划 项 目 （ 2011AZ1013 ） 作者简介： 毕莎莎（ 1989—） ， 女， 硕士生。主要研究方向： 分布式转码。 陈清华（ 1968 —） ， 男， 博士， 教授， 硕士生导师。 主要研究方向： 并行 计算、 云计算及应用、 网络通信等。
的转换， 目的是把输入的压缩流转换成符合接收端 要求的压缩流。随着视频数据量的急剧增长， 传统 存储能力和处 的视频转码系统存在存储能力不足、 研究人员提出多 理能力不可扩展的缺点。 近年来， ［2 － 5 ］ ， 用来提高转 种基于 Hadoop 的视频转码系统 2］ 码效率。文献［ 在集群机器配置完全一样的情况 下， 把视频分别按时间、 机器数目和视频相关性分 3］ 进行了 3 组对比实验； 文献［ 提出了一个面向 段， 引入了视频资源预测与缓 移动设备的云转码系统， 4］利用开源软件 Vmoox 设 冲区置换的算法； 文献［ 5］根 计了一个面向智能手机的转码系统， 而文献［ 据视频切片大小、 不同的机器节点数和 Hadoop 本身 的 block 大小进行对比实验。 63
Scheduling Algorithm Based on Video Transcoding Using Hadoop
2， 3 BI Shasha1 ， CHEN Qinghua1， ， GAO Yuhong4
（ 1. College of Electronics and Information Engineering， Nanjing University of Technology， Nanjing Jiangsu 210009 ， China； 2. Yangtze Delta Ｒegion Institute of Tsinghua University， Jiaxing Zhejiang 314006 ， China； 3. School of Software and Microelectronics，Peking University， Beijing 102600 ，China； 4. College of Information Engineering， Zhejiang University of Technology， Hangzhou Zhejiang 310023 ， China） Abstract： Allocation videos in accordance with the processing capacity of computing nodes has a significant impact on transcoding performance， which is currently not taken by most existing distributed transcoding systems into account， resulting in degradation of transcoding efficiency． To address this problem， based on the research of existing scheduling algorithm MaxMin， a modified algorithm is proposed． This paper used a PageＲank to evaluate the computer performance． Input video sequences are divided into segments， and it would average mapped to multiple computers． Computing nodes with higher handling abilities will get more video segments． Obviously， the finish time of the computers． Experimental results show that the proposed algorithm can achieve performance improvement of and enhance distributed transcoding system to a large extent． transcoding efficiency， Key words： distributed transcoding； task scheduling； PageＲank； load balance