基于FMO的不对等保护模型

基于FMO的不对等保护模型叶磊，张文军，张重阳，杨华（上海交通大学图像通信与信息处理研究所电子工程系；上海数字媒体处理与传输重点实验室，上海 200240）【摘要】本文在对灵活片组划分（FMO）和不对等保护（UEP）研究的基础上，提出一个基于FMO的不对等保护模型。

此模型先定义每个宏块的重要性，然后基于此重要性对图像进行片组划分，再用前向纠错(FEC)对片组进行不对等保护，用于视频流在有损信道传输时增强鲁棒性。

在对此模型进行数学分析基础上，以通过信道后重要性损失最小为目标，提出了具体实施方案。

最后，对该方案进行仿真，证明了模型的可行性。

【关键词】H.264；灵活片组划分；不对等保护；前向纠错；差错掩盖【中图分类号】TN919.81 【文献标识码】AA scheme of UEP based on FMOYE-Lei, ZHANG Wen-jun, ZHANG Chong-yang，YANG-Hua(Institute of Image Communication and Information Processing, Department of Electronic Engineering; Shanghai Key Laboratory of Digital Media Processing and Transmissions, Shanghai Jiaotong University, Shanghai 200240, China)【Abstract】After researching on FMO and UEP, we proposed a UEP model assisted by FMO. At first, this model defines “Importance” for every MacroBlock. And then, based on the value of “Importance”, it partitions the original picture into two Slices. After that, it protects these two Slices respectively based on different FEC. Finally, it lets the handled data go through the limited channel. We mathematically analyze this model and propose specific scheme to minimize the loss of “Importance” of the whole picture. At last, we simulate the scheme, and the results prove the feasibility of this model.【Key words】H.264; FMO; UEP; FEC; Error Concealment1 引言在视频会议等实时视频应用中，由于不可靠信道以及端到端的时延限制等因素的影响，传输差错不可避免。

为了减小传输差错对解码器端重建视频质量的影响，一方面需要在传输中采用各种差错控制技术减少传输差错，另一方面还需要在编解码器层采用适当的容错机制和差错隐藏策略。

灵活宏块排序（Flexible Macroblock Order， FMO）是H.264 标准提供的一个可任意进行宏块映射的图像片划分方案。

FMO可以看做一种空间域交织的视频编码技术，它通过分散传输差错引起的失真．结合适当的差错隐藏技术，减小丢包等传输差错造成的视觉影响．是一种有效的容错机制。

实验结果显示，在CIF图像尺寸的视频会议应用中采用FMO，在丢包率高达10％的情况下，一般人难以察觉丢包对视频质量的影响。

不对等保护（Unequal Error Protection，UEP）是对重要性不同的信息进行差别保护。

比如，对重要信息用强纠错编码保护，而对不重要信息不做保护。

保护是以信息冗余为前提的，而这种冗余在传输时就反应到带宽上。

带宽是有限的，所以用于保护信息的冗余量也是有限的。

用有限的冗余量保护最重要的信息则是不对等保护的主要思想。

本文先分别介绍了FMO和UEP的一般方案。

再以宏块重要性为标准，提出了基于FMO 的不对等保护（UEP）方案。

最后，在一定环境下，对此方案具体化，进行仿真试验。

2 FMO简介灵活宏块排序（Flexible Macroblock Order， FMO）是H.264标准提供得一个可进行任意宏块映射的图像片组划分方案。

在FMO 模式中，我们可以把任意一个宏块划分到指定片组。

H.264编码往往将一帧划分为多个片组，每个片组独立编码。

当传输出错，某个Slice 丢失时，其它Slice 可以正常解码。

由此，可以利用FMO 分散传输差错引起的失真，结合适当的差错掩盖算法，减小传输差错的视觉影响。

常用的FMO 方案有交织模式（图1（a ）），棋盘映射模式（图1（b ））等。

文献[1]中给出了棋盘映射模式的实验结果，文献[3]中给出了交织模式的实验结果。

这些实验结果均表明，FMO 能提供有效的抗误码能力。

由于篇幅所限，本文不再对这些实验进行描述。

（a ）交织模式 （b ）棋盘映射模式图1 常用FMO 方案 3 不对等保护及FEC为了更可靠地传输编码视频流，通常需要对视频的分片内容进行信道编码保护。

但是，如果对所有的数据都进行保护，将会引入很高的带宽负荷。

基于此，不对等保护（UEP ）常常用于对最重要的信息进行保护。

例如，对重要信息用强纠错编码保护，而对不重要信息进行弱保护或不做保护。

在具有较严格的时间约束的视频流应用中，前向错误纠正（FEC ）已被证明为最有效的错误恢复策略之一。

同时，考虑到视频帧之间的不对等重要性，FEC 常常和不对等保护联合设计，以取得最优化的比特资源分配。

4 基于FMO 的不对等保护方案把FMO 与UEP 结合起来后，其流程框图如下所示（图2）：图2 基于FMO 的不对等保护此方案中，先基于重要性进行FMO 划分，编码后，再根据片组重要程度对其进行不对等保护，最后通过有限有损信道传输。

这里，不失一般性，把图像划分为两个片组，其中重要的一个记为Slice1，次要的为Slice2.先假设每帧图像包含M 个宏块，并设每个宏块的重要性为()0,1,...,1MB I i i M =−其中i 为该宏块的编号。

()MB I i 只是泛指宏块重要性。

不同场景，不同应用，()MB I i 的具体定义不同。

例如，在感兴趣区域编码中，可基于用户对宏块的感兴趣程度来定义()MB I i 。

把()MB I i 从大到小排序后，得到一个重要性递减的宏块序列X 。

此时，原来编号为i 的宏块，经重排序后序号变为j , 其重要性为：*()0,1,...,1MB I j j M =−假设把X 序列中前m 个最重要的宏块分到Slice1，剩余分配到Slice2。

对片组的重要性，可归一化表示为：11**01211**00()()()()n M MB MB j j n S S M M MB MB j j I j I j I I I j I j −−==−−====∑∑∑∑ （1） 假设信道丢包概率为c P ，对两个Slice 用不同的FEC 进行不对等保护后的丢包概率分别为1P ，2P 。

则解码端接收到的帧的总重要度T I 可定义为：1122(1)(1)T S S I I P I P =−+− （2）由于信道是带限的，经过不对等保护后的总数据量受信道限制。

设编码后Slice1与Slice2的长度分别为1S L 和2S L ，又假设两种FEC 保护的编码效率为1α和2α，则有：1122///S S L L C F αα+≤ （3） 其中C 为信道容量，F 为视频每秒帧数。

综合（2）（3）两式可得：12121122(1)(1).///T S S S S I I P I P st L L C F αα⎧=−+−⎪⎨+≤⎪⎩（4） 整个模型的目标是确定在式（3）约束下，使得T I 最大化的FMO 划分和UEP 保护方案。

由上，FMO 划分方案的确定在于m 的取值。

而对于UEP 不对等保护，本文使用文献[2]中提到的，基于垂直RS 跨包的保护方案（具体见文献[2]）。

采用RS （N ，K ）码对整个GOP 的重要片组进行垂直挎包保护，而对不重要片组不做保护。

这里K 为GOP 长度，N 为可变值。

所以本文中，UEP 保护方案的确定在于N 的取值。

于是，模型目标简化为找到在式（3）约束下，使得T I 最大化的N ，m 。

由文献[2]可知，1P 与N 值和信道丢包率c P 有关，而c P 可通过信道两端统计信息得知，因此，1P 决定于N 值大小，而由于对Slice2不做保护，所以2P 等于c P 。

1S L 和2S L 与视频本身，H.264编码器参数，和m 值有关。

而在进行片组划分时，视频序列，编码参数都是已知的，因此，1S L 和2S L 唯一决定于m 。

理论上，我们可以对每一个m 值进行编码，得到m 与1S L 和2S L 的映射关系。

由于我们对Slice2不进行保护，2α为1，而由文献[2]，1α由1S L 与N 值决定，而1S L 由m 决定，因此，1α由N ，m 决定。

由此式（4）可表示为：121112()(1())()(1).()/(,)()/T S S C S S I I m P N I m P st L m m N L m C F α⎧=−+−⎪⎨+≤⎪⎩（5） 由此可知式（5）中，只有N 与m 两个未知数，理论上可找到最优组合，使得T I 最大化。

但由于片组划分是在具体编码前完成的，要事先得到编码后的长度，必须对每一个m 进行编码，得到m 与Slice1，Slice2长度的映射关系，然后再通过（3）和（4），反过来确定最佳m 值。

而对于H.264这样高复杂度的算法，在实际中对一帧进行M 次编码显然是得不偿失的。

为此，我们使用经验m 值，并对每一帧动态选取满足式（5）约束的最大N 。

经验m 值的确定，需利用统计方法，通过对大量不同场景的视频序列进行离线统计，找到在信道带限情况下，对大多数场景的视频序列均能取得最优不对等保护性能，即达到有损传输时重要性保护最好的m 值大小，作为固定的slice 划分比例。

该方法在保证次优的情况下，大大降低了复杂度。

5仿真及其结果视频帧中的每一个宏块，在编码时将消耗不同的比特，而在解码端对图像质量的贡献也不同。

当一个宏块未能正确接收时（因传输造成丢失），接收端会通过错误掩盖来进行恢复。