基于MPEG-4的网络视频流式传输方案

　第37卷第8期　2003年8月

上海交通大学学报

JOU RNAL O F SHAN GHA I J I AO TON G UN I V ER S IT Y

V o l .37N o.8　

A ug .2003　

收稿日期:2002206227

作者简介:汤　力(19762),男,安徽肥东人,博士生,主要研究方向为图像和视频信号处理.余松煜(联系人),男,教授,博士生导师,

电话(T el .):021*********;E 2m ail :syyu @cdtv .o rg .cn .

文章编号:100622467(2003)0821320205

基于M PEG 24的网络视频流式传输方案

汤　力,　余松煜

(上海交通大学图像通信与信息处理研究所,上海200030)

摘　要:介绍了M PEG 24的系统框架,在此基础上给出了一个在网络上传输视频的流式解决方案.该方案在视频子系统利用M PEG 24先进的视频技术使其具有压缩率高、容错性能好、扩展能力强、适应范围广等优点.在网络子系统,采用M PEG 24提供的DM IF 框架,可以适应多种传送层技术,因此具有很强的灵活性.实验结果表明,所提出的系统可应用于诸如网络视频点播等流媒体应用场合.

关键词:流媒体;视频编码;网络技术中图分类号:TN 911.73 文献标识码:A

A V ide o S tre am ing S chem e

B a s e d on M P EG 24

TA N G L i ,　YU S ong 2y u

(In st .of I m age Comm un icati on &Info rm ati on P rocessing ,Shanghai J iao tong U n iv .,Shanghai 200030,Ch ina )

Abs tra c t :T h is p ap er p resen ted a schem e on the video stream ing over netw o rk .

Som e sup eri o rity of

M PEG 24techno logy w as po in ted ou t ,w h ich can satisfy the requ irem en ts of the stream ing ,and a general fram ew o rk of M PEG 24w as show n ,based on w h ich the schem e is in troduced .T he w ho le schem e is divided in to tw o sub system s ,nam ely ,the video sub system and the netw o rk sub system .T he exp eri m en tal resu lts show the p resen ted schem e can be app lied to such a field of stream ing as video on dem and (VOD )over net 2w o rk .

Ke y w o rds :stream ing ;video coding ;netw o rk techno logy

流媒体技术是指使连续的媒体流通过网络的同时在客户机端播放的技术.客户机端不必等待媒体流完全下载到本地即可播放,减少了对本地存储空间的占用,同时也在一定程度上保护了媒体内容的著作权.流媒体技术对媒体流的要求是:媒体流的结构要符合一边下载一边观看的需要;高的压缩效率;良好的容错性能以适应恶劣的网络环境.M PEG 24是继M PEG 21、M PEG 22之后由M PEG 专家组推出的又一个重要的视音频编解码标准[1,2],支持宽码率

范围(64kb s ～8M b s ),自然与合成视频的对象基

编解码以及多种网络交互环境.其提供的容错韧性(E rro r R esilience )工具可适应恶劣的传输信道环境.目前对M PEG 24的研究接近实用化,已开发出一些部分符合M PEG 24标准的软件和硬件平台,如

H ari 等[3]

首次实现DM IF (D elivery M u lti m edia In 2tegrated F ram ew o rk )协议,并在其上传输M PEG 24对象基的音视频内容;M laden 等[4]用多核片上系统(SO C )实现M PEG 24A S (A dvanced Si m p le )P ro 2

file 视频的解码

.本文介绍了M PEG 24的系统框架,给出基于M PEG 24的网络视频流式传输方案,用于

网络KOD (Kara O K on D em and )系统.

1　系统框架

M PEG 24系统分为3层:压缩层(CL 层)、

同步层(SL 层)和复用传送层(T ran s M ux 层).从编码的角度看,压缩层对视音频输入进行编码以产生ES (E lem en tary Stream )流;同步层给ES 流加上时间信息以保证唇音同步以及各媒体对象间的同步,复用传送层负责M PEG 24内容的复用并将其存为文件或在网络上传送.压缩层和同步层的接口称为ES I (E lem en tary Stream In terface ),而同步层与复用传送层的接口称为S M I (Stream M u lti p lex ing In terface ).

基于M PEG 24的系统框架,网络视频流式传输系统分为视频子系统和网络子系统两部分.视频子系统利用M PEG 24的视频技术[5,6],具有灵活性高、可扩展性强、压缩率高、容错性能好等优点.为了适应多种传递技术,M PEG 24并未制定网络层的具体规范,只是提供一个DM IF [7]用以屏蔽多种网络技术的差异以及网络内容存取与本地内容存取的差异.在M PEG 24之前已有几种用于流媒体的网络协议,其中较为成熟的有实时流协议(R T SP )[8],然而这些协议本质上是为单个媒体流服务的,而M PEG 24往往涉及多个并发的媒体流,若利用这些协议,需要作较大的修改.DM IF 可以支持多个媒体流的并发传送,适合传递M PEG 24的内容.

2　视频子系统

2.1　服务器端视频子系统

服务器端视频子系统如图1所示,有4个主要

模块:B IFS (B inary Fo rm at fo r Scenes )编码器、

视频编码器、SL 层打包 解包器、M P 4文件读写器.此视频子系统向外提供ES 流.ES 流有3个来源:从

M P 4文件中读取、

摄像头的实时视频经视频编码后图1　服务器端的视频子系统

F ig .1　V ideo sub system at server

得到、从原始视频文件(YU V 文件)中读取的源序列经视频编码器编码得到.

2.1.1　B IFS 编码器　B IFS 编码器负责从场景描述信息生成B IFS 流和OD (O b ject D escri p to rs )流.M PEG 24的内容是按对象组织的,采用B IFS 来描

述各媒体对象的时间和空间关系.在B IFS 中,各对象用节点表示,整个场景描述呈现一种树型结构,各节点通过其域值(field )表达对象的属性.节点有多种类型,可分为共亨节点、2D 节点、3D 节点和混合的2D 3D 节点,分别用于描述自然和合成的音视频对象、网格对象、人脸对象.场景描述中除了节点定义之外还有路由(rou te )的定义.当某个事件发生时,rou te 将此事件的影响从一个节点引导向另一个节点,以实现各媒体对象间的交互以及人与媒体的交互,如用户单击某个媒体对象以控制其属性.B IFS 流又可分为两类:B IFS 命令流和B IFS 动画流.

B IFS 命令流(B IFS Comm and Stream )用于向场景中添加或删除对象,改变对象的属性或更换场景描述,它是一个命令帧(Comm andF ram e )序列.Comm andF ram e 的语法结构为

class Comm andF ram e (B IFSConfig cfg ){

do {

Comm and comm and (cfg ); b it (1)con tinue ; }w h ile (con tinue );

}

其中,结构参数cfg 对此B IFS 流进行配置,命令

comm and 可以是In serti onComm and (插入)、D ele 2ti onComm and (删除)、R ep lacem en tComm and (替代)或SceneR ep laceComm and (场景替代).

B IFS 动画流(B IFS A n i m ati on Stream )是由一系列动画帧(A n i m ati onF ram e )构成,A n i m ati on 2F ram e 的结构为

classs A n i m ati onF ram e (B IFSConfig cfg ){

A n i m ati onF ram eH eader header (cfg .an i m M ask ); A n i m ati onF ram eD ata data (cfg .an i m M ask ); }

其中,header 给出动画掩模、帧速率、时间码等信息,data 以绝对值(In tra 模式)或预测误差(In ter 模式)的形式给出动画的节点或域值的参数.2.1.2　视频编码器　视频编码器模块负责原始视频的编码,对于视频的简单类(Si m p le P rofile ),视

频编码器的结构类似于H .263,包括运动估计、离散余弦变换(DCT )、量化、反量化、H uffm an 编码等模块,另外还具有H .263所没有的M PEG 24提供的容

1

231　第8期

汤　力,等:基于M PEG 24的网络视频流式传输方案