网络中马尔可夫预测的智能丢帧实时传输方案

网络中马尔可夫预测的智能丢帧实时传输方案
苏畅;周世万;尚凤军
【摘要】Aiming at real-time transmission control in video communications,the paper proposes a Markov prediction based intelligent frame dropping real-time video transmission control scheme.The scheme can flexibly adjust video data's network load to enable it to try its best to adapt to network performance without changing user's video image quality.Through simulation experiments it is proved that the scheme can on the one hand ensure the video image quality,on the other hand adapt to various or different level networks.When network performance is good,the scheme increases at least 3% network throughput than the original system.%针对视频通信中的实时传输控制，提出一种基于马尔可夫预测的智能丢帧实时视频传输控制方案。

该方案可以灵活调整视频数据的网络负载量，使之在不改变用户视频图像质量的情况下尽最大可能地适应网络性能。

通过仿真实验证明，该方案可以在保障视频画面质量的情况下，适应性能状况不同的多种级别的网络。

在网络性能较好时，该方案比原有系统提高了3％以上的网络吞吐量。

【期刊名称】《计算机应用与软件》
【年(卷),期】2014(000)005
【总页数】5页(P210-214)
【关键词】马尔科夫预测;智能丢帧;实时视频传输
【作者】苏畅;周世万;尚凤军
【作者单位】重庆邮电大学计算机科学与技术学院重庆400065;重庆邮电大学计
算机科学与技术学院重庆400065;重庆邮电大学计算机科学与技术学院重庆400065
【正文语种】中文
【中图分类】TP37
0 引言
随着宽带网络和IP网络的迅猛发展，视频传输业务已经成为通信网络的主要承载
业务之一。

在视频教育、远程医疗、视频会议、视频监控，网络可视电话，智能家居视频对讲等领域网络实时多媒体传输技术已经被广泛应用。

MPEG-2/4、H.264［1］等视频数据压缩技术的不断成熟与完善。

高效的压缩技术使得网络视频的图像质量对丢包非常敏感，对画质的影响非常之大。

由于多媒体数据量的巨大性，对网络带宽要求非常高，与有限的带宽形成一对矛盾体，如何解决二者之间的矛盾一直是研究的热点及难点。

为了保障网络视频实时传输的QoS性能，传统的方法是通过分析接收端反馈的网络性能参数，之后发送端调节视频数据的发送速率、编码格式及量化参数等实现自动降帧等，或者优先传输重要性级别高的数据包。

这种方案的缺点是网络负载没有减小或者牺牲掉了一部分图像质量，被丢失的数据包或者被缩减的数据一定会影响接收端的视频画面质量。

数据包重传技术［2］是为了保证传输的可靠性而重传所有或者部分丢失的数据包，但是因其迟延太大不适合实时视频传输的业务。

近年来，人们又提出的选择性重传技术［3－7］根据视频通信的特点，只选择重传一部分
丢失的数据包，一方面可以恢复丢失部分的重要视频图像信息，以防止错误扩散来提高用户视频的质量;另一方面接收端不需要等待所有丢失数据的重传，因而可以
保证实时性和可靠性。

该技术可以在一定程度上有效地改善视频画面的质量，缺点是其所依赖的时间必须给予保证，否则重传也没用;其次因其采用的是分析反馈信
息后决策，增加了网络延迟。

文献［8］是实现了实时视频传输系统的设计，采用H.263编码格式，通过调节编码的量化参数和输出码率来适应网络的不同性能。

这种方法的好处是可以在一定程度上改变网络负载量，缺点是编码量化参数的改变牺牲了视频图像的质量如分辨率、清晰度等。

文献［9］是同时调节三种不同的数据流，如果网络出现拥塞，则首先选择丢弃那些重要性级别较低的数据包流，从而用减小网络负载来改善网络的性能。

这种方法的缺点是直接牺牲掉一种业务流，对用户来说代价太大。

现有的自适应传输模型如文献［8，10，11］中，都是根据接收端反馈过来的网络性能参数之后再调整发送端的调整操作，优点是根据网络的实际情况来调整，缺点是增加了网络迟延。

本文提出了一种基于马尔可夫链预测丢包的网络自适应实时视频传输系统，该系统分别从发送端和接收端给予配合完成整个的实时传输。

因其马尔科夫预测性，不会给传输系统增加额外的网络迟延，同时在不改变视频图像质量的前提下缩减网络负载，在网络性能、图像质量和网络迟延之间作了较好的权衡，保障了网络实时传输的性能。

1 网络视频数据分析
在实际应用当中，网络的状况会出现不稳定性或者带宽有限不能保证所需的吞吐量，在这种情况之下如何适应网络有丢包的情况，使之能够尽最大可能满足用户的视觉感受就显得尤为重要。

本文在深入分析了视频编码压缩数据和网络不可靠实时应用程序传输协议RTP/RTCP之后，提出了一种网络自适应的实时视频传输方案。

研
究主要的是网络常用的视频格式，例如MPEG-2［12］。

原始的视频数据量非常之大，不适合直接通过网络进行传输，必须经过一定的编码标准压缩使数据量减小之后才能在网络上传输。

不同的内容编码压缩比例不尽相
同:I帧又称为Intra-Coded帧，该类型帧采用独立编码，解码时仅使用I帧的数据就可以恢复完整的图像，它的压缩比例约为1∶7;P帧又称为predictive帧，该帧
根据当前帧与前一个I帧或者P帧的变化量值进行编码。

如果没有前一个I帧或P
帧将无法正常恢复视频图像，它的压缩比例约为1∶20;B帧又称为bidirectionally predictive-coded帧，该帧是同时根据当前帧与前面的I帧或者
P帧和后面的P帧之间的变化量值来编码的，它的压缩比例更大，约为1∶50。

而H.264是更加高效的视频压缩算法，比例大致为1∶102。

压缩比例越大，网络数
据量就越小，网络丢包对整个视频图像的影响值也会相应增大。

在MPEG-2［12］编码方案中视频序列规定了层次性结构，建立了由图像序列层、GOP、图像、宏块、块等构成的数据结构(如图1所示)。

图1 某视频帧序列片段结构图
根据图1的帧序列我们假设一段视频中有1个I帧，n个P帧，那么就有2n或
3n个B帧;假设原始的视频I帧数据量大小为m byte，那么压缩之后的I帧数据大小为m/7 byte，P帧为m/20 byte，B帧为m/50 byte。

那个各个帧在整个视频数据中的比例为:
由于在实际的应用当中，视频数据在传输时的帧序列和编码时的稍有差别，各数据比例如表1所示。

表1 IPB帧在不同视频格式中的比例视频格式 I帧 P帧 B帧Mpeg2单个帧约26% 约45% 约29% (3%～4%)
2 Markov预测模型
d为丢包率，n0、n1为调整前后的数据包的数目，m0、m1为调整前后的总数据包的数目。

如果丢帧之后数据量可以满足带宽的要求，那么丢包现象可以改善甚至
消除。

在一个实时网络中，丢包率统计模型因为时间和状态都是离散的，丢包率统计符合无后效性的性质，所以网络实时丢包统计模型是一个马尔可夫过程。

网络性能的评价指标有网络带宽、传输迟延、网络丢包、吞吐量等等。

本文采用单因素即网络丢包率作为评价网络好坏的参数。

根据网络丢包率的量化分级将网络分为4个等级:G0(网络性能良好)、G1(网络性能稍好)、G2(网络性能稍微变坏但不严重)、
G3(网络性能变坏现象严重)。

根据前文的网络视频数据分析和该方案的调整策略，设定2%、5%、10%的网络丢包率作为网络评级的量化分界点。

发送端统计发包的数量，记录接收端发送回来的丢包的数量并统计，计算出来网络的丢包率d，通过d值为具体的评级划分。

定义若2%＞=d＞0，评级为G0网络;
若5%＞=d＞=2%，评级为G1网络;
若10%＞=d＞=5%，评级为G2网络;
若d＞=10%，评级为G3网络。

在一段实时网络中经常出现拥塞导致丢包，接收端根据RTCP的反馈信息每隔一秒统计下丢包率，并根据网络评级算法给网络评级，收集了一段时间之内(例如5分钟)的网络级数数据。

假设Xn为第n个时段网络丢包的状态，则马氏链记为{Xn=X(n)，n=0，1，2，…}，它可以看作在时间集T={0，1，2，…}上对离散状态的马氏过程相继统计的结果。

约定记链的状态空间为I={0，1，2，3}。

在链的情形，马尔可夫性通常用条件分布律来表示，即对任意的正整数m，n和m，
n+m∈T1，有:
其中gi∈I，我们称条件概率:
为该马氏链在时刻m处于gi条件下，在时刻m+n转移到状态gj的转移概率。

当n=1时就是一步转移概率。

图2即为该马尔可夫预测模型的状态转移过程图。

先前的研究主要从以下几个方面进行研究:网络编码类型及参数的调节、网络数据包的发送速率的调节、或根据重要性权值大小的不同选择优先级高的进行传输、接收端数据丢包重传及选择性重传等等。

本文在深入研究了视频编码数据和网络通信性能指标之后，设计了一种全新的基于Markov预测丢包模型的网络实时视频传输方案。

本节主要介绍马尔可夫预测模型的设计。

该方案在发送端根据统计出来的网络丢包率大小判定出来的网络级别来为网络的状况进行评级。

根据马尔可夫预测模型的预测值来调整算法的流程(必须在业务限定的范围之内，尽可能满足用户视频画面视觉体验的要求)。

在深入研究了整个系统及视频编码压缩数据的基础上，做了三种级别的级调整。

网络拥塞导致的网络丢包率和网络的负载数据量呈现反比关系。

定义经过该方案的智能调整之后网络丢包率为:
图2 网络状态转移图
该模型的状态转移概率矩阵为:
通过该模型分别计算出下一时刻网络丢包率的预测值，选取最大可能的值作为基准参数来进行下一步传输轨道的调节控制。

根据状态转移矩阵，下一个状态概率值(即统计数值最大的值)最大的即为预测的下一状态。

为了适应网络实时性，使预测更加符合网络的实际情况，必须实时更新状态空间及状态转移概率矩阵。

3 网络智能丢帧传输模型设计
本文提出的基于马尔可夫预测丢包率的网络自适应实时视频传输控制方案主要分为两部分:发送端通过分析接收端发回来的反馈信息评估当前一段时间的网络状况，并为之定量分析，之后采取该方案来选择性的调整数据流。

从而从发送端来保障视
频传输的可靠性和实时性，接收端采取较改进之后的选择性重传算法。

图3为收发两端构成整体传输模型。

图3 传输模型
3.1 发送端网络智能传输控制
漏桶算法是计算机网络中为了避免网络拥塞而设计的整流算法，当网络拥塞时通过减小网络数据负载来缓解网络拥堵的情况。

目的是为了调节数据流的大小来适应网络带宽的时变性。

文献［9］中就提出了一种基于丢弃思想的整流措施来防止网络拥塞的影响，经过验证此方法的效果比较明显。

在该方案中首先通过分析接收段反馈的RTCP信息包，获取了的当前网络的丢包率之后对当前的网络性能给予量化评级，然后发送端需要根据网络级别值调整数据通道。

之后通过一个类似漏桶算法的整流模型来处理即将发送的数据包流，在漏桶的入口处有一个变轨器，它会决定当前的数据流应该搬到哪一个小桶轨道上去。

数据包在进入漏桶之前会被标记上权值数0123(权值代表的意思是在该级别的或者高于该级别的小桶信道中被选中丢弃的数据包)，漏桶里面装有四个小漏桶分别对应四个不同的网络级别通道。

如图4所示。

在不同的小桶信道内会识别出数据包的权值从而决定发送还是不发送。

比如一个数据包中的权值为2，那么当前处于1的小桶信道中，则该数据包发送;如果在2或3的小桶信道中则要选择丢弃。

图4展示了该方案的类漏桶算法的跳转机制。

图4 类漏桶算法流程图
变轨器的决策算法demo1:
算法说明:1－3步是初始化各个数据，获取发送的总包数即丢包数并计算丢包率，如果满足条件则将锁旗标置为true;4步是检测锁旗标，如果为true，则根据网络级别的不同变轨器将调整不同的小桶轨道，在各个轨道中检测数据包是否可以被发
送并执行该决策。

3.2 接收端重传控制
在应用项目的实践过程中到当接收端丢失I帧时，即使后面的P、B帧全部完好地收到，也无法正常恢复视频图像，马赛克现象非常严重。

而现有的选择性决策算法(包括均衡丢包算法(ELL)和最佳质量算法(OQ)［1］)有可能选择不重传，不重传是在其应该播放的时刻无法及时达到，那么接收端在没有开始播放下一个I帧之前的画面片段时是无法正常恢复的。

根据视频编码的规范，因为P帧是前向预测帧，
所以此P帧在下一个P帧播放的时候还是被参考的对象。

为了避免上述两种情况的出现，该方案做了相应的改进:该丢失I帧是否请求重传，不是根据选择性决策算法，而是选择自己设计的均衡帧时刻决策算法:即当下一个I 帧播放之前，此I帧能够重传到达并播放。

改进了之后，在下一个I帧播放之前的时间里，我们可以根据重传得到的I帧数据来尽可能的恢复出全部的图像画面，这样用户端的视频画面将得到较大的提高。

P帧因为它不是最重要的数据帧，所以根据该帧的播放时刻来决策。

B帧是重要性权值最小的，因此根据该帧的播放时刻和网络级别来联合决策:即传输所选择的级数如果是0、1级则重传，2、3级选择放
弃重传。

图5为改进之后的决策图，算法demo2是其决策算法，并附有说明。

图5 改进之后的接收端决策机制
算法demo2:
算法说明:1－3步初始化丢包锁旗标，当检测到有丢包时再检测该丢包是哪种视频帧(IPB帧?)并将锁旗标置为true;4－14步根据丢包发生的位置采取不同的决策门
限给予判定是否重传。

4 实验验证及分析
本文将视频质量与网络丢包率分开来验证，这样既不会影响整个网络传输方案的可
行性和有效性，又可显示该方案的优势所在。

视频质量验证。

在一段7秒钟左右的广告视频中，通过实验检测到一共有174帧。

每30帧分别抽取其中的一帧、两帧、三帧，实验中的视频帧为15.1K到33.3K不等。

实验效果如表2所示。

表2 视频数据处理之后的视觉体验帧数/帧频视觉体验网络负载量信道0 174/30 正常4.73M/100%信道1 141/29 正常4.58M/96.83%信道2 136/28 正常
4.24M/89.64% 4.40M/93.02%信道3 131/27 正常
从表2中可以看出数据量不断减小的条件下，视频质量没有变化，视觉体验基本
不变，每一级的信道都比上一级的网络负载量减少了3%左右。

网络丢包试验采用NS-2网络仿真工具，分别设置不同的数据包负载，网络链路为带宽2Mb、延迟10ms、节点缓存队列为10个数据包，分两个发送端:1号发送
端发送稳定的1Mb的数据包流量，0号发送端则是测试链路分别注入不同的流量进行试验。

图6为采用NS2仿真、nam动画演示之后输出的数据，图7为整个
网络中的流量对比图，统计表清晰地显示出丢包率随着数据包减小得以明显改善。

图6 网络中的流量对比统计
图7 网络中丢包率对比统计
实验通过网络限流工具模仿网络拥塞造成丢包的网络环境。

并在该网络中进行视频通信。

实验采用该方案后测出丢包率分别为10%、5%、2%的时候，视频截图如
图8所示。

图8 视频聊天实验截图
5 结语
近几年，关于视频传输的研究已经成为一个热点，本文在深入研究分析了有关资料之后提出了一种基于马尔可夫预测丢包的网络智能实时视频传输方案。

该方案易操作，易实现，能灵活地权衡视频数据量、网络性能和用户视觉体验之间的矛盾。

通
过仿真实验证明该方案在保证用户的视觉体验质量的情况下通过灵活的调整减小了网络传输负载，消除了拥塞流量尖峰，降低了网络丢包率，从而在网络带宽限制之下保障了用户的视频体验质量，在网络较好的情况之下可以服务更多的用户，提高网络业务量，从一种不同的视角来提高网络性能(延迟减小了或者吞吐量加大了)，降低了网络迟延及丢包率，在一定程度上还可以改善网络拥塞带来的影响。

参考文献
［1］Piecuch M，French K，Oprica G，et al.A selective retransmission protocol for multimedia on the internet［C］//Proceedings of SHE International Symposium on Multimedia Systems and
Applications.Bellingham，WA，USA:SPIE，2001:79-90.
［2］ITU Telecom Standardization Sector of ITU.ITU-T recommendation H.264:advanced video coding for generic audiovisual services［S］.Geneva，Switerlaznd:ITU，2003.
［3］Lam T T，Karam L J，Bazzi R A，et al.Reduced-delay selective ARQ
for low bit-rate image an multimedia data transmission［C］//Proceedings of IEEE International Conference on Acoustics，Speech，and Signal Processing.Piscataway，NJ，USA:IEEE 2005:309-312.
［4］ Papadopoulos C，Parulkar G.Retransmission based error control for continuous media applications［C］//Proc 6th International Workshop on Network and Operating System Support for Digital Audio and
Video.Piscataway，NJ，USA:IEEE，1996:5-12.
［5］Wei Hsiaocheng，Tsai Yuhchou，Lin Chiawer.Prioritized retransmission for error protection of video streaming over WLANs［C］
//Proceedings of the 2004 International Symposium on Circuits and
Systems.Piscataway，NJ，USA:IEEE，2004:65-68.
［6］Hagino H，Miyazaki Y，Onoe Y，et al.A playout time oriented retransmission scheme for multimedia streaming systems［M］.Berlin，Germany:Springer，2003:406-415.
［7］宋彬，李子诺，秦浩.视频通信中的选择性重传技术［J］.西安交通大学学报，2009，43(6):82-87.
［8］任志考，魏志强.实时视频传输系统的设计与实现［J］.计算机工程与设计，2007，28(11):2607-2610.
［9］ Erika P，Alvarez-Flores，Juan J，et al.Selective packet dropping for VoIP and TCP flows［J］.Telecommun Syst，2011，46:1-16.
［10］徐刚.实时视频传输的自适应调节方法及其应用［J］.计算机工程与设计，2008，29(9):2151-2155.
［11］张辉，王成良.视频流自适应传输技术研究［J］.计算机工程与设计，2004，25(2):226-229.
［12］ISO/IEC JTC1/SC29 CD 13818-1，2，rmation Technology-Genetic Coding of Moving Pictures and Associated Audio Information-Part 1，2 and 3［S］.。