H.264数字视频差错控制技术的研究

合集下载

H.264的差错控制与错误隐藏技术研究

H.264的差错控制与错误隐藏技术研究

文章 编 号 : 0 2 8 3 ( 0 7 1 — 0 3 0 文 献 标 识 码 : 中 图 分 类 号 : N 1 . 1 10 — 3 12 0 )6 0 5 — 5 A T 9 98
1 引 言
H-6 2 4是 由 运 动 图 像 专 家 组 MP G 和 I U 下 属 的 视 频 编 E T
E- i: a l i g 9 3 ma l o mal w n i n 1 8 @g i c m q .
W AN - i g, Li q n LI Xu - i g. r r c n r l n e r r c n e l n e h i u s u e i 2 4 Co p t r En i e rn n e r n Er o o t o a d r o o c a me t t c n q e s d n H。 6 . m u e g n e i g a d u
万 里晴 , 学 明 李
W AN Li i g, e r i g —q n LI Xu — n u
北 京 邮 电大 学 . 京 1 0 7 北 086
B in nvri fP s a dT lcm u i t n B in 0 8 6 C ia e ig U i sy o ot n e o m nc i ,e ig 10 7 ,hn j e t e ao j
维普资讯
C m u rE gneiga dA piao s计算 机 . 程 与 应用 o p t ni r n p l t n e e n ci Y -
2 0 ,3 1 ) 0 7 4 (6
5 3
H. 4的差错 控 制与错误 隐藏 技术研 究 2 6
用 IU T的误 码 模 型 ( r r P t r ) H 2 4的 差错 隐藏 的性 能进 行 了仿 真 . 对 错 误 隐藏 的 效 果进 行 了 定量 分 析 。 T — E r a en 对 .6 o t 并

h264基线档次中错误隐藏的研究与实现

h264基线档次中错误隐藏的研究与实现

H.264基线档次中错误隐藏的研究与实现摘要:H.264标准是由运动图像专家组MPEG和ITU中视频编码专家组VCEG联合制定的新低比特率视频压缩编码标准. 与之前标准相比, H.264不仅比H.263+和MPEG4节约了50 %的码率,而且对网络传输表现出更好的亲和性. 它采用了更多的先进技术, 使得在同样的码率下运用H.264标准编码可以获得更好的主客观质量. 同时由于H.264新标准的高效率压缩算法, 视频流在传输过程中对误码丢包也更敏感, 即使单个突发性的随机错误, 也可能严重干扰接收端的正常解码, 造成系统不稳定或者恢复视频质量的急剧下降。

因此在复杂网络环境下的传输稳定性在系统中尤为重要.要使视频在不同的网络环境下传输, 不但需要高效率的编码, 同时经过编码的视频应该很容易地无缝集成到网络协议架构当中. 除此之外, 就视频应用而言, 在高比特误码、丢包和延迟的环境下重新传输丢失的包或者延迟的包是不实际的. 最后,一套完整的丢包误码解决方案是不稳定网络环境视频传输的根本. 为此, H.264新标准采用了多种用于增强压缩视频流抗误码能力的编码技术, 以保证恢复视频流的质量. 因为是在以前编码标准的基础上发展起来的, 所以在误码恢复工具方面自然也沿用了一些传统的方法, 如数据分割等. 同时, 为了具有更好的网络适应性, H.264也创新地使用了一些新的容错技术. 本文首先对错误控制领域各种技术进行了详细分析,将各种常用算法进行分类和归纳总结,同时在项目中根据实际需要进行取舍.其次本文针对一个实际应用的项目, 在DSP平台上基于CDMA信道实现了H.264编解码器, 文中详细分析了项目各个模块, 包括采集, 编码, 传输, 隐藏, 解码, 回放多个模块, 侧重于基于H.264基线档次的误码丢包解决方案. 从编码端到解码端, 从算法层到传输层, 给出了完整的错误控制分析, 基于实际项目需要对基于包传输的网络环境, 尤其是CDMA传输信道以及DSP平台给出系统相关分析. 在实际分析之后本文提出一整套错误控制的解决方案, 给出实际测试结果. 最后对算法结果做出评价, 同时展望以后所要处理的工作.关键字:H.264, 错误隐藏, 错误控制, CDMA, DM642RESEARCH AND IMPLEMENTATION OF ERRORCONCEALMENT IN H.264 BASELINE PROFILEAbstract:The Moving Picture Expert Group (MPEG) and VCEG worked together as a Joint Video Team (JVT), and created a single technical design called H.264/A VC for an ITU-T Recommendation H.264/A VC and for a new part of the MPEG-4 standard called A VC. Compared to H.263v2 (H.263+) or MPEG-4 Simple Profile, H.264 permits a reduction in bit rate by up to 50% for a similar degree of encoder optimization at most bit rates. Through the Network Adaptation Layer, H.264 bit streams can be easily transported over different networks. H.264 offers good video quality and low bit rates because of more creative algorithms. Meanwhile, more efficient algorithms lead to more complexity and more correlation. So any bit error or package loss in transmission channel may be a significant error in decoder or an acute video quality loss, and error control is the most important in a robust system over unreliable network.For network friendly, compressed bit stream should not only be efficient but also be integrated into every network protocol framework easily. Moreover, for real time video application, it’s impossible to retransmit the lost or delayed package in error-prone and package-loss network. Finally, the most important is that an error resilience solution isnecessary for the unreliable network. A robust wireless system should cover and solve these problems. H.264 provides the necessary tools to deal with packet loss in packet networks and bit errors in error-prone wireless networks. Some tools are inherited from previous standards such as data partition, and there are other creative techniques in H.264: parameters sets, SP/SI, FMO, RSs etc. First, this paper elaborates all error resilience related techniques generally and classifies them.Then, for instance, this paper analyses every necessary module in a robust wireless surveillance system based on a project, named Implementation of H.264 Codec based on CDMA on the platform DM642, include capture, encode, transmission, error concealment, decode, playback, especially focuses on error resilience solution of H.264 baseline profile. After the analysis, I present a new solution about error location and error concealment, which can effectively solve the problem of disorder and lost package. Some experiments are provided to justify the algorithms. Finally I give the conclusion and future work.Key Words: H.264, Error Concealment, Error Control, CDMA, DM642学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。

基于H.264的无线传输差错控制及解码器的ARM实现.

基于H.264的无线传输差错控制及解码器的ARM实现.

基于H.264的无线传输差错控制及解码器的ARM实现信息化社会的到来以及IP技术的兴起,正深刻的改变着电信网络的面貌以及未来技术发展的走向。

无线通信技术的发展为实现数字化社区提供了有力的保证。

而视频通信则成为多媒体业务的核心。

如何在环境恶劣的无线环境中,实时传输高质量的视频面临着巨大的挑战,因此这也成为人们的研究热点。

对于无线移动信道来说,网络的可用带宽是有限的。

由于多径﹑衰落﹑时延扩展﹑噪声影响和信道干扰等原因,无线移动通信不仅具有带宽波动的特点,而且信道误码率高,经常会出现连续的﹑突发性的传输错误。

无线信道可用带宽与传输速率的时变特性,使得传输的可靠性大为降低。

视频播放具有严格的实时性要求,这就要求网络为视频的传输提供足够的带宽﹑有保障的延时和误码率。

为了获得可接受的重建视频质量,视频传输至少需要28Kbps左右的带宽。

而且视频传输对时延非常敏感。

然而无线移动网络却无法提供可靠的服务质量。

基于无线视频通信面临的挑战,本文在对新一代视频编码国际标准H.264/AVC研究的基础上,主要在提高其编码效率和H.264的无线传输抗误码性能,以及如何在嵌入式环境下实现H.264解码器进行了研究。

结合低码率和帧内刷新,提出一种针对感兴趣区的可变帧内刷新方法。

实验表明该方法可以使用较少的码率对感兴趣区域进行更好的错误控制,以提高区域图像质量,同时能根据感兴趣区及信道的状况自动调整宏块刷新数量,充分利用有限的码率。

为了有效的平衡编码效率和抗误码能力的之间的矛盾,笔者提出了一种自适应FMO(Flexible Macroblock Order)编码方法,可根据图像的复杂度自适应地选择编码所需的FMO模式。

仿真结果表明这种FMO编码方式完全可行,且在运动复杂度频繁变化时效果更加明显,完全可应用在环境恶劣的无线信道中。

在对嵌入式PXA270硬件结构和X264研究的基础上,基本实现了基于H.264的嵌入式解码,在PXA270基础上进行环境的配置,定制WinCE操作系统,并编译、产生开发所用的SDK和下载内核到目标机。

基于H.264的视频传输中的错误隐藏技术研究的开题报告

基于H.264的视频传输中的错误隐藏技术研究的开题报告

基于H.264的视频传输中的错误隐藏技术研究的开题报告一、选题背景随着高清视频技术的普及和应用广泛,视频传输质量的要求也越来越高。

然而在视频传输过程中,可能会受到多种因素的影响,例如传输路程的不稳定性、网络拥堵、信号干扰等等,这些都可能导致视频传输中出现丢包、突发码率等传输错误。

这些错误会导致视频质量下降、视频卡顿或者无法播放等问题,严重影响到用户的观看体验。

目前,视频传输中广泛采用的压缩技术之一是H.264,它已经成为了许多视频传输协议的标准。

然而,在H.264压缩的过程中,如果出现了传输错误,那么这些错误会传递到解码端,导致视频质量下降。

因此,如何有效地处理视频传输过程中的错误成为了一个重要的研究方向。

二、选题意义错误隐藏技术是一种常用的方法,它可以在解码端对传输错误进行处理,以尽可能地修复受损的包并提高视频质量。

基于H.264的错误隐藏技术的研究能够提高视频传输的稳定性和可靠性,以及优化观看体验。

因此,本课题的研究具有重要的实际意义。

三、研究内容1. 对H.264视频压缩算法进行研究,理解其压缩原理和编码流程。

2. 研究H.264视频传输过程中可能遇到的错误类型及其对视频质量的影响。

3. 探究现有的错误隐藏技术,分析其优缺点,为进一步研究打下基础。

4. 提出一种基于H.264的错误隐藏技术,具体包括:错误检测和修复方法、算法实现、性能评估等。

5. 对提出的错误隐藏技术进行实验验证和性能评估,比较其与其他现有方法的优劣。

四、研究方法1. 文献调研:对H.264压缩算法、视频传输过程中的传输错误以及错误隐藏技术等方面的相关文献进行深入学习和研究,为本课题的研究提供理论基础。

2. 算法设计:结合前期文献调研,根据视频传输中可能遇到的错误类型,提出一种基于H.264的错误隐藏技术。

3. 实验验证:利用现有的视频传输协议搭建实验环境,对提出的错误隐藏技术进行实验验证和性能评估。

五、预期结果1. 对基于H.264的视频压缩算法和传输协议有更深入的理解。

H.264去块滤波及错误隐藏算法研究的开题报告

H.264去块滤波及错误隐藏算法研究的开题报告

H.264去块滤波及错误隐藏算法研究的开题报告一、选题背景和意义随着数字视频技术的发展,H.264/AVC编码技术已经成为数字视频压缩和传输的主流标准之一,具有高效、灵活和广泛的应用。

但是,由于网络传输和存储等环节中可能存在的各种干扰和错误,H.264/AVC视频流在传输过程中可能会出现一些失真和错误,如块效应、丢帧、冻结等等,这些错误在有限的带宽下严重影响了视频质量和稳定性。

为了解决这些问题,需要对H.264/AVC视频流进行去块滤波和错误隐藏等处理,从而保证视频的质量和稳定性。

因此,本文将研究H.264/AVC视频流去块滤波和错误隐藏技术,以提高视频的传输质量和稳定性,进一步推进数字视频技术的发展。

二、研究内容和技术路线本文研究内容主要包括以下两个方面:1. H.264/AVC视频流去块滤波技术研究H.264/AVC视频流中常见的块效应问题,并提出一种有效的去块滤波算法,以减轻块效应带来的失真和影响,提高视频质量。

算法主要包括局部自适应滤波、扩展边界滤波等方法,并通过实验验证,证明该算法具有较好的效果和鲁棒性。

2. H.264/AVC视频流错误隐藏技术研究H.264/AVC视频流中可能出现的错误和失真问题,并提出一种有效的错误隐藏算法,以实现对数据传输中出现的错误进行恢复和处理,提高视频的传输质量和稳定性。

算法主要包括基于残差补偿的错误隐藏和基于时域和空域的错误隐藏等方法,并通过实验验证,证明该算法具有较好的效果和鲁棒性。

技术路线:(1) 研究H.264/AVC视频编码原理和标准规范,分析视频压缩算法实现的基本原理和方法。

(2) 研究H.264/AVC视频流中块效应和错误隐藏技术的相关技术、算法和标准规范,分析算法的优劣和适用范围。

(3) 设计和实现去块滤波和错误隐藏算法,进行实验验证和效果对比,总结算法的优缺点和适用性。

(4) 提出进一步的改进方案和未来的研究方向,推进数字视频技术的发展和应用。

H.264解码器抗误码技术研究

H.264解码器抗误码技术研究
III
上海上海交通大学硕士学位论文: H264 解码器抗误码技术研究
KEY WORDS: H.264, Spatial domain, Error concealment, Sobel, Least square
IV
上海交通大学 学位论文原创性声明
本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得 的成果。 除文中已经注明引用的内容外, 本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体, 均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。
关键词:H.264, 空域,误码掩盖,Sobel,最小二乘
I
上海上海交通大学硕士学位论文: H264 解码器抗误码技术研究
The Research of H.264 Decoder Error Concealment Technologies ABSTRACT
H.264/AVC is the most recent international standard of video compression, designed by ITU-T VCEG and ISO/IEC MPEG. In the latest years, thanks to the great efforts paid by professors and engineers, H.264 has been introduced into practical applications. This paper is focus on the development of video compressed standard and the adaptation of lost package network. According to the requirement of next generate network, we provide a new algorithm on H.264 error concealment. First we introduce the lost packet network, including the Internet and wireless network system architecture, the problem which we need to solve urgently. We talk about the error condition in transmission, enumerate some error concealment algorithm in decoder. Then we make extensive analyze on the spatial concealment in Intra frame and temporal concealment in Inter frame, discuss about the error detective way for the lost pixels. Secondly, we make the research of Xin.Li’s LMS filter error concealment. It is based on the local stationary Gaussian process. It can recover the sequence error pixels by the MAP estimation. According to the mutil-scanning approach and local stationary in image, we refer to

H.264视频编码率失真优化和码率控制技术研究进展

H.264视频编码率失真优化和码率控制技术研究进展

H畅264视频编码率失真优化和码率控制技术研究进展崔子冠1,2,朱秀昌1,2,干宗良1,2,唐贵进1,2,刘 峰1,2(1.南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;2.南京邮电大学宽带无线通信与传感网技术教育部重点实验室,江苏南京210003) 摘 要: 在H畅264率失真优化和码率控制(RC)技术研究的基础上,根据控制目的将率失真优化和RC的发展分为3个阶段:即率失真建模,考虑质量波动对主观质量的影响,以主观失真为指导的RC.分析了各阶段有代表性的RC技术及其特点,指明了RC需要进一步研究的关键和难点问题.对面向传输的错误弹性编码、可分级编码、多描述编码、以及立体与多视编码中的RC技术进行总结,分析进一步发展趋势.对下一代高性能视频编码(HEVC)中的RC应该如何发展进行了探讨.关键词: 视频编码;率失真优化;码率控制;H畅264中图分类号: TN919畅8 文献标识码: A 文章编号: 0372-2112(2013)12-2443-08电子学报URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2013.12.019AdvancesinRateDistortionOptimizationandRateControlTechniquesforH.264VideoCodingCUIZi-guan1,2,ZHUXiu-chang1,2,GANZong-liang1,2,TANGGui-jin1,2,LIUFeng1,2(1.ImageProcessingandImageCommunicationLab,NanjingUniversityofPostsandTelecommunications,Nanjing,Jiangsu210003,China;2.KeyLabofBroadbandWirelessCommunicationandSensorNetworkTechnology,NanjingUniversityofPostsandTelecommunications,MinistryofEducation,Nanjing,Jiangsu210003,China)Abstract: Basedontheresearchesofratedistortionoptimization(RDO)andratecontrol(RC)techniquesforH.264,thispaperdividesthedevelopmentofRDOandRCintothreephasesbasedonRCintention,namelyratedistortionmodeling,consideringtheeffectofqualityfluctuationonsubjectivequality,subjectivedistortionguidedRC;analyzesthecharacteristicsofrepresentativeRCtechniquesofeachphase,andfocusesonthekeyanddifficultissuesofRCneededtobefurtherresearched.ThensummarizestheRCschemesfortransmissionorientederrorresilientvideocoding,scalablevideocoding(SVC)andmultipledescriptioncoding(MDC)aswellasstereoandmulti-viewvideocoding,andanalyzesfurtherresearchtrends.Finally,howtodeveloptheRCschemesforhighefficiencyvideocoding(HEVC)isdiscussed.Keywords: videocoding;ratedistortionoptimization;ratecontrol;H畅2641 引言 目前主流的H畅264编码标准基于预测加变换的混合框架,采用多种帧内与帧间模式和基于率失真优化(RateDistortionOptimization,RDO)的模式选择等技术,获得了极高的压缩效率.下一代高性能视频编码(HighEf-ficiencyVideoCoding,HEVC)即H畅265在许多编码模块中进一步改进,其压缩效率比H.264又提高一倍.码率控制(RateControl,RC)是视频编码(VC)中的关键模块,根据各种约束(如目标码率、缓冲区、延迟、计算复杂度、信道状况等)自适应调节编码参数来规范输出码流使之适合信道带宽,并最优化视频质量.RC分两步:一是在收稿日期:2012-12-25;修回日期:2013-07-01;责任编辑:孙瑶基金项目:国家自然科学基金(No.61071091,No.61071166,No.61071167,No.61101105);江苏省高校自然科学基金(No.12KJB510019);南邮校科研基金(No.NY212015,No.NY212083);教育部博点基金(No.20113223120001);工业与信息化部通信软科学课题(No.2011-R-70);江苏高校优势学科建设工程—“信息与通信工程”;江苏省自然科学青年基金(No.BK20130867)第12期2013年12月电 子 学 报ACTAELECTRONICASINICAVol.41 No.12Dec. 2013约束条件下为编码单元(BasicUnit,BU)分配最优目标比特;二是根据率失真模型(RateDistortionModel,RDM)设计准确的控制技术使实际码率尽量接近目标码率.公式表述如下:min1N∑Ni=1Di(Qi),s.t.∑Ni=1Ri(Qi)尘RT(1)其中Qi为量化参数,Di(Qi)与Ri(Qi)为第i个BU的失真与码率,RT为目标码率.此有约束的最优化问题可由Lagrange乘子法转化为无约束问题,建立Lagrange代价函数,通过调节参数使代价函数最小即可,即:minJ=D+λR(2)其中λ是Lagrange乘子,J是代价函数.鉴于RC对VC的重要性,近年来针对H畅264在各种环境下的编码与传输问题,已经提出了很多有效的RC技术.文献[1]对2007年之前的RC技术进行了综述,但不断出现的新需求使RC的发展日新月异.本文主要对2007年以后RC的最新发展进行总结.第2节根据控制目的将单层VC(即一个信源编码产生一个码流)的RC分为RDM建模、考虑质量波动对主观质量的影响、以主观失真为指导的RC这3个阶段,总结各阶段有代表性的RC技术及其特点.在此基础上,第3节重点指明单层VC的RC需要进一步研究的关键和难点问题.第4节对面向传输的错误弹性编码(ErrorResilientVideoCoding,ERVC)、可分级编码(ScalableVideoCoding,SVC)、多描述编码(MultipleDescriptionCoding,MDC)、以及立体与多视编码(Multi-ViewVideoCoding,MVC)中的RC技术进行总结,分析进一步发展趋势.第5节对HEVC中的RC应该如何发展进行探讨.第6节总结全文.2 单层VC中RDO和RC研究进展2畅1 RDM建模H畅264在2003年颁布之后,由于其高效的压缩性能和网络适应性,基于H畅264的各种应用开始蓬勃发展,亟需准确的RDM和高效的RC技术以精确控制码率.H畅264基于RDO选择最优的编码模式,新技术的引入使得编码残差呈现出与以往标准不同的特性.因此这一阶段的主要任务在于考虑H畅264编码特性对残差分布准确建模,并建立准确的RDM.目前精确控制H畅264的I帧及P帧输出码率的目标已基本实现.由于I帧及P帧编码特性不同,导致RDM也不相同.下面分别对I帧及P帧的残差分布及有代表性的RDM进行对比和分析.2.1.1 P帧残差分布及有代表性的RDM残差DCT系数的分布对RDM建模非常重要,文献[2]认为DCT系数服从Laplacian分布并给出严格数学分析.目前H畅264RC中广泛使用的二次RDM就是根据Laplacian分布推导而来[3,4].文献[5]发现Laplacian分布具有指数形式,导致拖尾衰减过快,而实际DCT系数直方图常有大量的拖尾系数,因此用Cauchy分布对DCT系数进行建模更准确.文献[6]直接建立R及D与DCT系数为零的比率ρ之间的关系,也取得了准确的控制效果.基于这些统计分布提出的有代表性的RDM及其特点总结于表1.注意,这一阶段RC的目标主要是为了精确控制R,因此RDM常表现为R-量化步长(Qstep)的函数关系,而D模型常用简单的D=kQstep或D=kQ2step这种形式,即认为D与Qstep或Q2step成正比.如H畅264最有代表性的RC提案JVT-G012[3]采用线性MAD预测模型解决蛋鸡悖论,根据流量传输模型为BU分配目标比特,并用二次RDM计算Qstep,以较低的计算复杂度获得了较好的RC效果.基于RDM的RC算法具有类似的控制框架,在此框架下很多学者提出了有效的改进机制,主要集中于RDM的进一步改进[7]、BU目标比特的优化分配、BU的灵活划分、头码率的准确估计、缓冲区与延迟的有效管理、编码复杂度的有效测量、模型参数更新时历史数据点的有效选择等方面.表1 P帧残差分布及有代表性的RDM残差分布文献RDMLaplacian分布[3]R-H=a/Qstep+b/Q2step×MAD[4]R-H=A×Q2step+B×Qstep+C[8]R-H=α·SATD(Qstep)/QstepCauchy分布[5]R=aQ-αstep,D=bQβstepρ域模型[6]R(ρ)=θ×(1-ρ),D(ρ)=σ2e-α(1-ρ)2畅1畅2 I帧复杂度测量及RC编码常采用GOP结构,大部分帧都采用P帧编码,因此P帧RC研究较多而I帧RC研究较少,但I帧作为每个GOP的起始参考帧非常重要,有效进行I帧RC将有助于提高整个GOP的编码质量.文献[9]采用梯度信息测量I帧复杂度,计算简单但与I帧编码特性不符,改进效果有限.文献[10]用统计窗中所有像素与其均值的平均绝对差测量I帧复杂度,且分析4×4块是否具有水平、垂直、及左右对角线方向的条纹,若存在复杂度即设为零.此方法是想将H畅264帧内预测特性考虑进去,但只判断4种条纹方向及判断出条纹后复杂度即设为零与H畅264帧内编码特性不符,导致I帧复杂度测量仍不够准确.I帧RC要解决好3个问题:(a)准确的I帧复杂度4442 电 子 学 报2013年测量;(b)I帧目标比特最优分配;(c)准确的I帧R-Q模型.针对这3个问题,文献[11]通过边缘检测估计4×4块的预测模式和残差,用残差的平均绝对值测量I帧复杂度,之后提出一种新的R-Qstep模型,同时考虑缓冲区和序列特性为I帧分配合适的目标比特,得到了较好的I帧RC效果,IPPP方式编码时序列PSNR波动减少了60%以上.文献[11]与JVT-G012[3]及JVT-W042对Mobile序列编码的效果如图1.2畅2 考虑质量波动对主观质量的影响通过建立准确的R-Q模型精确控制输出码率的目标基本完成之后,RC研究的重点开始转向在R限制下为用户提供更好的主观感受,其中最小化失真变化的RC和基于感兴趣区域(ROI)的RC很有代表性.2畅2畅1 最小化失真变化的RC之前RC的目标都是在R限制下最小化平均失真(MINAVE),由于视频内容的多样性这种优化策略在编码时可能产生明显的质量波动,从而影响主观感受.针对R限制下对质量平稳性要求严格的应用(如视频流),就需要将最大失真(MINMAX)或失真方差(MIN-VAR)最小化,目的在于得到平滑一致的视频质量.公式表示如下:min(maxi∈1,…,NDi(Qi)),s.t.∑Ni=1Ri(Qi)尘RT(3)如文献[12],为常质量应用,基于MINMAX提出一种帧层多次编码方法,在最大失真与平均失真的控制上都好于JM算法.文献[13]在R约束下对时域滑动窗中的帧实施MINVAR准则,并用Lagrange乘子法进行求解,得到了一致的图像质量.文献[14]对质量平滑和码率(缓冲区)平稳这一矛盾问题进行研究,提出自适应窗口大小机制在保持质量平滑的同时保证缓冲区在安全水平以内.2畅2畅2 基于ROI的RC针对传统RC把图像所有区域同等看待的缺点,利用人眼对图像不同区域的关注度不同,首先检测出ROI区域如人脸、运动目标等,之后在R限制下对ROI细量化,对非ROI粗量化,以保证ROI的空时质量来优化主观感受[15].基于ROI的RC在低码率应用中(如视频会话)有广泛的应用前景.难点在于:(a)编码之前要先检测出ROI,准确地分割视频对象需要较高计算量而较小的计算量无法得到准确的检测效果;(b)根据关注度设定经验加权系数在ROI与非ROI之间进行R分配和QP调整,会产生较明显的方块效应;(c)最大问题在于RDM仍以(加权)MSE作为失真度量,其编码结果是使(加权)PSNR最优,与主观质量仍不完全一致.2畅3 以主观失真为指导的RCRC第二阶段开始考虑为用户提供更好的主观感受,但失真准则仍是客观失真.基于均方误差的峰值信噪比(PSNR)计算简单且物理意义明确,在视频质量评价中广泛应用,但PSNR与主观质量并不成正比,这是由于人类视觉系统(HVS)对视频质量的感知是高度非线性的,以PSNR为指导的RC不能得到最优的主观质量.因此如何根据HVS特性建立一种主观质量评价方法并用以指导视频编码成为一项重要的研究课题[16,17].即RC第三阶段的研究重点由第一阶段R模型的精确建模(以精确控制输出码率)转到主观D模型的有效建模(以获得最优的主观R-D性能).视频质量专家组(VQEG)和相关学者在这方面也做了初步研究,其中最具代表性的有基于视觉失真敏感度(VDS)或显著度(Saliency)的RC、基于恰可察觉失真(JND)的RC和基于结构相似性(SSIM)的质量评价与编码方法.2畅3畅1 基于VDS或Saliency的RC这类方法与基于ROI的RC有些类似,区别在于更充分地利用HVS特性建立VDS或Saliency图,以此进行优化的R分配.相比ROI与非ROI两级划分,R分配更加合理,主观质量更优.如文献[18]根据运动、纹理及空时掩模效应建立VDS图进行R分配以优化视觉质量.文献[19]融合运动、色彩、方向等多种特征建立Saliency图来指导R分配.2畅3畅2 基于JND的RCJND指人眼不能感知到的最大失真,即人眼对JND阈值以下的D不敏感.JND可对感知冗余有效建模,考虑了空时对比敏感度、亮度适应效应、对比度掩模效应等对主观失真建模及R调节具有很好的指导作用,如可对感知重要的区域细量化以保证质量而对感知冗余进行有效删除.文献[20]基于多种空时视觉特性建立JND模型以此指导视频编码.文献[21]根据视网膜的凹5442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展性(Foveation)增强JND提出FJND模型,并用于MB层QP及λ调整.2畅3畅3 基于SSIM的质量评价与编码方法文献[22]基于HVS对结构信息更加敏感的特性提出基于块的SSIM测量,克服了PSNR基于点而忽略像素之间相关性的缺点,与主观质量非常一致且计算量较小,已被引入JM中以评价编码视频的主观质量.基于SSIM的质量评价及编码方法近年来得到广泛研究,但SSIM形式较为复杂,其与R或Q之间的闭解形式很难得到,是SSIM用于VC的难点所在.文献[23]提出SSIM失真与R存在指数关系,在BU层进行基于SSIM失真的最优R分配;之后将SSIM失真引入RDO模式选择中,发现基于SSIM的R-D曲线与基于MSE的R-D曲线相邻点处切线的坡度非常相似,使用之前关键帧的RDM和前一编码帧的R-D数据对来自适应的预测当前帧的λ.文献[24,25]将SSIM失真引入RDO框架后,先提出一种减少参考的SSIM估计模型并结合R模型提出了帧层自适应的λ,之后在MB层进一步根据运动信息和视觉速度感知的不确定性来调节λ.文献[26,27]首次提出SSIM-Qstep存在线性关系,并结合R模型进行SSIM最优的MB层RC;进一步将SSIM引入RDO框架,提出MB层自适应的分析型λ来更好地调节R和SSIM失真.相比之前算法的最大贡献在于得到了λ与Qstep以及图像特性(复杂度)之间的解析式.文献[26,27]与JVT-G012[3]对Deadline序列的编码效果如图2.3 单层VC需要进一步研究的问题 (1)对场景变换(SC)的处理及GOP变长编码.目前编码大多采用固定GOP结构,即周期性地插入I帧而不考虑序列特性.当序列包含SC或剧烈运动时编码效率很低且质量波动较大,在低码率应用中尤其严重,如果在编码时考虑SC并自适应地插入I帧则可更好地对P帧进行预测从而提高编码性能.如文献[28]基于SC检测提出了GOP长度自适应的编码机制.(2)λ自适应调整.在MB层QP确定之后,H畅264引入λ进行RDO模式选择,λ仅是QP的函数并控制着R与D之间的权衡.不同图像具有不同的率失真特性,根据图像内容自适应地调整λ有望获得更好的率失真性能.如文献[29]对基于MSE的RDO中的λ在MB层根据编码复杂度自适应调整.文献[30]发现λ与视频信号的R-D特性之间存在线性关系,提出一种启发式的不依赖于QP的λ计算方法,改进了编码效率.(3)多维RC.传统RC都是在R约束下调节QP来优化视频质量,而帧率与图像分辨率常作为预定值独立于QP.这类机制在高码率应用中性能较好,但在低码率应用中常导致空间质量很低甚至被动跳帧引起时域质量的大幅波动.如JM通过监测缓冲区,一旦超过阈值(缓冲区的80%)就跳过下一帧,这种被动跳帧在以下两种情况经常发生:一是I帧编码后由于R剧增导致后续P帧被连续跳过;二是剧烈运动或SC时,由于I宏块数增加导致后续带有重要信息的帧被跳过.HVS对低运动序列更注重空间质量而对高运动序列更注重时域连续性[31],因此低码率应用中可以根据序列特性和缓冲区联合调节帧率、空间分辨率和QP(即多维RC)以优化空时质量.如何准确估计跳过帧与编码帧的失真,并用以确定跳帧数目和下一编码帧的QP使局部窗中帧平均失真最小是研究难点.编码端自适应跳帧与解码端插帧相结合[32],以及编码端空间下采样与解码端上采样相结合[33]来提高编码效率和解码端空时质量是今后一个重要的研究课题.(4)便于硬件实现的RC.传统RC都是基于软件实现的,由于算法的复杂性不适合硬件系统采用.但近年来随着视频电话、数字摄像机等广泛应用,亟需适合硬件实现的RC机制来提高这些设备的编码性能.便于硬件实现的RC算法[34]需要具备以下特性:(a)低复杂度,考虑到计算能力和功耗;(b)较小的缓冲区需求和延迟,考虑到编码实时性;(c)算法设计上要便于硬件实现,比如指令级优化.(5)联合功率或复杂度RDO(PRDO、CRDO)的RC.随着便携设备和网络技术的发展,带宽不再是限制视频通信的唯一条件,便携设备的功耗和续航能力也是设计编码算法时要考虑的关键因素之一.功耗主要来自于编码与传输两部分,编码功耗随计算复杂度单调增加,而传输功耗与压缩码流的大小成正比.因此如何在功耗或复杂度约束下最优化视频的R-D性能成为一项重要的研究课题.目前大多数研究是将功耗约束转化为计算复杂度约束,并在传统R-D分析的基础上加上功率或复杂度约束,建立统一的功率[35]或复杂度R-D分析模型[36],通过调整复杂度控制参数达到功耗和R-D性能的联合最优.关键问题在于:(a)建立合适的功耗或计算复杂度测量方法;(b)建立简单有效的PRD或CRD分析模型;(c)对分析模型的有效求解.(6)视频流中的RC及多路复用中的RC.随着6442 电 子 学 报2013年H畅264在视频流和多路复用中的广泛应用,需要有效的RC算法在延迟受限的情况下进行常质量控制.文献[37]为视频流提出一种延迟失真优化(DDO)分析框架,以寻求延迟与失真之间的最优平衡来保证接收端连续高质量的播放.文献[38]为多路视频在共享信道中的高效传输使用双帧技术进行码流间及帧间联合最优比特分配,以最小化总体MSE失真.另外把编码端的R-D分析与网络参数联合优化以提供端到端的服务质量保证(QoS)也是将来的一个研究热点.(7)视频转码的RC.转码是指码流从一个码率转换到另一个码率,或在不同编码格式之间相互转化.其中RC是视频转码中的关键问题[39],对码率自适应、码流串连影响重大,RC的好坏直接影响转码过程中引入的质量下降程度.4 面向传输及多视中的RC进展4畅1 ERVC与联合信源信道RC无线网络中如何在编码端根据丢包特性通过调节编码参数以提高码流的抗误码性能是一项重要的研究课题.H畅264的抗误码机制主要有:帧内MB刷新,自适应参考帧,自适应冗余图像,数据分区等.帧内MB刷新主要有随机或定期刷新、基于运动信息或视觉关注度的刷新,但这类机制没有充分考虑信源与信道的状况无法达到编码效率与抗误码性能的最优平衡.由于信源和信道的时变特性,帧内MB刷新数目和位置的选择至关重要,因为帧内MB会降低压缩效率而位置不佳将不能阻止误码传播,因此有必要建立一种针对丢包环境下的RDM和RC机制在R-D最优意义下选择帧内刷新率与刷新位置[40].自适应参考帧[41]是为了解决由于信道误码造成的编码端与解码端参考帧不匹配的问题.自适应冗余图像[42]通过编码适当的冗余信息以减轻信道误码对解码质量的影响.数据分区可以将编码信息按照重要性分开传输,以便对重要数据实施更强的保护.联合信源信道RC与ERVC类似,也是基于端到端RDM联合最优地选择编码模式和QP.文献[43]针对丢包网络提出一种RDM,克服了RC与误码恢复互不相关的缺点,在R限制下能充分利用信道带宽并使得信源编码与信道传输的总失真最小.文献[44]把端到端总失真视为信源量化失真、错误传播失真和错误隐藏失真三项之和,很好地揭示了丢包环境下真正的R-D关系.无线网络鲁棒视频传输最核心的问题在于:(a)端到端失真的准确建模;(b)在编码端准确估计解码端失真;(c)用总失真指导编码参数的调整.如文献[45]的帧层失真估计尤其考虑了H.264的新特性(如分像素的运动补偿、帧内预测和去块效应滤波等内插操作)对失真建模的影响.文献[46]使用有限状态Markov链对连续丢包信道中的传输失真进行建模.最近文献[47,48]对传输失真中的截断与误码扩散两个重要特性进行建模,并根据信源与信道特性得到了传输失真的递归计算公式,相比之前的失真模型更加准确而且计算复杂度更低.4畅2 SVC的RCSVC将视频编码成一个基本层和多个增强层,解码端根据运算能力及网络状况选择解码部分码流以获得所需的视频质量.SVC中RC的关键问题在于根据各层之间相关性进行最优的R分配与控制[49,50],难点在于:(a)根据不同层的特性提出更加准确的RDM;(b)不同层之间的最优R分配;(c)如何保证SVC编码质量的平稳性.4畅3 MDC的RCMDC相比SVC的优点是每个描述均可独立解码,而SVC中基本层一旦丢失,则增强层无用.MDC中RC的关键问题在于根据不同的多描述方案[51]在多个描述之间最优分配R以最小化D.目前MDC的RC算法较少且控制效果一般,这是因为不同的MDC方案会产生不同的编码特性,导致不同描述及其之间的R-D特性难以建模.因此MDC的RC需要根据具体的多描述方案来分析R和D特性,如文献[52]为基于分层次B帧的MDC进行最优R分配以平衡编码效率和错误弹性.4畅4 立体与MVC的RC立体与MVC除了提供2D视频信息,还提供表现3D场景的深度或多视信息,丰富了用户体验,必将成为今后VC领域的研究热点.立体与MVC中RC的关键问题在于2D视频与深度之间以及多个视点之间有效分配R以最优化视频的感知质量,其中深度序列编码的R-D特性和不同视点之间相关性分析与建模是RC成功的必要条件,这也是立体与MVC中RC今后研究的热点,比如文献[53]为分别从视点层、视频/深度层、及帧层分配R,满足了信道与缓冲区的需求;文献[54]利用二次R模型和线性D模型对3DTV广播的左/右视点的R进行联合控制.另外,2DVC中基于主观质量或ERVC思想都可以推广到3DVC的RC中以改进主观R-D性能与错误鲁棒性.如文献[55]为MVC提出基于立体视觉关注度的R分配算法.文献[56]对MVC在丢包网络中传输由于随机丢帧产生的信道失真进行建模.5 HEVC的RC 针对高清视频的HEVC在2013年颁布之后,必然会在视频编码领域引发新一轮的研究热潮.但截止目前,极少有对HEVC中RC进行研究的文献出现.HEVC7442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展中RC研究的关键问题在于:(a)考虑新的编码技术对纹理信息和头信息码率所产生的影响,建立准确的纹理与非纹理RDM来指导R的分配与控制,在准确控制R的同时提高编码R-D性能;(b)引入主观失真,在一定R下通过调节QP以最优化主观质量.文献[57]认为HEVC编码单元或变换单元预测与变换的深度不同,四叉树预测残差的统计特性也不同,用Laplacian混合分布来描述残差,得到HEVC编码的R和D模型.文献[58]同样基于Laplacian分布推导出R-Q与D-Q模型,计算QP时同时考虑了帧间质量波动和缓冲区约束,得到了一致的视频质量.6 结论 从对RC最新研究成果的分析可见,针对H畅264的基于客观质量的RDM和RC研究得已较为成熟,而主观失真建模及在RC中的应用、面向无线网络的ERVC、面向异构网络的SVC及MDC中的RC、丰富用户体验的立体与MVC中的RC、以及针对高清视频的HEVC中的RC研究成果较少,控制精度不够且复杂度高,将成为今后RC技术研究的重点和难点.参考文献[1]ChenZZ,NganKN.Recentadvancesinratecontrolforvideocoding[J].SignalProcessing:ImageCommunication,2007,22(1):19-38.[2]LamE,GoodmanJW.AmathematicalanalysisoftheDCTcoefficientdistributionsforimages[J].IEEETransactionsonImageProcessing,2000,9(10):1661-1666.[3]LiZG,PanF,LimKP.AdaptivebasicunitlayerratecontrolforJVT[A].Proceedingsofthe7thJVT-G012Meeting[C].PattayaII,Thailand:JVT,2003.1-33.[4]袁武,林守勋,牛振东,等.H.264/AVC码率控制优化算法[J].计算机学报,2008,31(2):329-339.YuanWu,LinShou-xun,NiuZhen-dong,etal.EfficientratecontrolschemesforH.264/AVC[J].ChineseJournalofCom-puters,2008,31(2):329-339.(inChinese)[5]KamaciN,AltunbasakY,MersereauRM.FramebitallocationfortheH.264/AVCvideocoderviaCauchy-density-basedrateanddistortionmodels[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2005,15(8):994-1006.[6]HeZ,MitraSK.Optimumbitallocationandaccurateratecon-trolforvideocodingviaρ-domainsourcemodeling[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2002,12(10):840-849.[7]霍炎,李生红,荆涛.基于广义拉普拉斯分布的低时延速率控制算法[J].电子学报,2010,38(5):1078-1083.HuoYan,LiSheng-hong,JingTao.Low-delayratecontrolbasedongeneralizedLaplaciandistribution[J].ActaElectroni-caSinica,2010,38(5):1078-1083.(inChinese)[8]KwonD,ChenM,KuoC.RatecontrolforH.264videowithenhancedrateanddistortionmodels[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2007,17(5):517-529.[9]YanB,SunK.JointcomplexityestimationofI-frameandP-frameforH.264/AVCratecontrol[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(5):790-798.[10]LeeG,LinH,WangM.Ratecontrolalgorithmbasedonintra-picturecomplexityforH.264/AVC[J].IETImageProcess-ing,2009,3(1):26-39.[11]崔子冠,朱秀昌.H.264图像复杂度自适应的I帧码率控制算法[J].电子与信息学报,2010,32(11):2547-2553.CuiZi-guan,ZhuXiu-chang.Imagecomplexityadaptiveintra-frameratecontrolalgorithmforH.264[J].JournalofElec-tronicsandInformationTechnology,2010,32(11):2547-2553.(inChinese)[12]CherniavskyN,ShavitG,RingenburgMF,etal.MultiStage:AMINMAXbitallocationalgorithmforvideocoders[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2007,17(1):59-67.[13]LeeH,SullS.AVBRvideoencodingforlocallyconsistentpicturequalitywithsmallbufferingdelayunderlimitedband-width[J].IEEETransactionsonBroadcasting,2012,58(1):47-56.[14]XuL,LiS,NganKN,etal.Consistentvisualqualitycontrolinvideocoding[J].IEEETransactionsonCircuitsandSys-temsforVideoTechnology,2013,23(6):975-989.[15]WuG,FuY,HuangS,etal.Perceptualquality-regulablevideocodingsystemwithregion-basedratecontrolscheme[J].IEEETransactionsonImageProcessing,2013,22(6):2247-2258.[16]NaccariM,PereiraF.AdvancedH.264/AVC-basedperceptu-alvideocoding:architecture,tool,andassessment[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(6):766-782.[17]WuG,WuT,ChienS.Algorithmandarchitecturedesignofperceptionengineforvideocodingapplications[J].IEEETransactionsonMultimedia,2011,13(6):1181-1194.[18]TangCW.Spatiotemporalvisualconsiderationsforvideocod-ing[J].IEEETransactionsonMultimedia,2007,9(2):231-238.[19]LiZC,QinSY,IttiL.Visualattentionguidedbitallocationinvideocompression[J].ImageandVisionComputing,2011,29(1):1-14.[20]WeiZ,NganKN.Spatio-temporaljustnoticeabledistortionprofileforgrayscaleimage/videoinDCTdomain[J].IEEE8442 电 子 学 报2013年TransactionsonCircuitsandSystemsforVideoTechnology,2009,19(3):337-346.[21]ChenZZ,GuillemotC.Perceptually-friendlyH.264/AVCvideocodingbasedonfoveatedjust-noticeable-distortionmodel[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(6):806-819.[22]WangZ,BovikAC,SheikhH,etal.Imagequalityassess-ment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.[23]OuT,HuangYH,ChenHH.SSIM-basedperceptualratecontrolforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(5):682-691.[24]WangSQ,RehmanA,WangZ,etal.SSIM-motivatedrate-distortionoptimizationforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(4):516-529.[25]WangSQ,RehmanA,WangZ,etal.PerceptualvideocodingbasedonSSIM-inspireddivisivenormalization[J].IEEETransactionsonImageProcessing,2013,22(4):1418-1429.[26]崔子冠,朱秀昌.H.264结构相似性最优的宏块层码率控制算法[J].电子与信息学报,2011,33(6):1339-1344.CuiZi-guan,ZhuXiu-chang.StructuralsimilarityoptimalMBlayerratecontrolalgorithmforH畅264[J].JournalofElectron-icsandInformationTechnology,2011,33(6):1339-1344.(inChinese)[27]崔子冠,朱秀昌.基于结构相似的H.264主观率失真性能改进机制[J].电子与信息学报,2012,34(2):433-439.CuiZi-guan,ZhuXiu-changSubjectiverate-distortionperfor-manceimprovementschemeforH.264basedonSSIM[J].JournalofElectronicsandInformationTechnology,2012,34(2):433-439.(inChinese)[28]PaulM,LinWS,LauC,etal.ExploreandmodelbetterI-framesforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(9):1242-1254.[29]ZhangJ,YiXQ,LingN,etal.ContextadaptiveLagrangemultiplier(CALM)forrate-distortionoptimalmotionestima-tioninvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(6):820-828.[30]袁武,牛振东,林守勋,等.不依赖于量化参数的视频编码控制优化技术[J].计算机学报,2011,34(8):1519-1527.YuanWu,NiuZhen-dong,LinShou-xun,etal.AnadaptableQP-independentapporachtorate-distortionoptimizationforvideocoding[J].ChineseJournalofComputers,2011,34(8):1519-1527.(inChinese)[31]MaZ,XuM,OuY,etal.Modelingofrateandperceptualqualityofcompressedvideoasfunctionsofframerateandquantizationstepsizeanditsapplications[J].IEEETransac-tionsonCircuitsandSystemsforVideoTechnology,2012,22(5):671-682.[32]CuiZG,GanZL,ZhuXC.Jointspatial-temporalqualityimprovementschemeforH.264lowbitratevideocodingviaadaptiveframeskip[J].KSIITransactionsonInternetandIn-formationSystems,2012,6(1):425-444.[33]RheeC,KimJ,LeeH.Bitratecontrolusingaheuristicspatialresolutionadjustmentforareal-timeH.264/AVCencoder[J].EURASIPJournalonAdvancesinSignalProcessing,2012,87:1-12.[34]KuoC,ChangL,FanK,etal.Hardware/softwarecodesignofalow-costratecontrolschemeforH.264/AVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(2):250-261.[35]HeZ,ChengW,ChenX.Energyminimizationofportablevideocommunicationdevicesbasedonpower-rate-distortionoptimization[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2008,18(5):596-608.[36]SuL,LuY,WuF,etal.Complexity-constrainedH.264videoencoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(4):1-15.[37]OzcelebiT,TeklapAM,CivanlarMR.Delay-distortionopti-mizationforcontent-adaptivevideostreaming[J].IEEETransactionsonMultimedia,2007,9(4):826-836.[38]TiwariM,GrovesT,CosmanPC.Delayconstrainedmulti-plexingofvideostreamsusingdual-framevideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2010,19(4):1022-1035.[39]XuL,KwongS,WangHL,etal.Auniversalratecontrolschemeforvideotranscoding[J].IEEETransactionsonCir-cuitsandSystemsforVideoTechnology,2012,22(4):489-501.[40]宋彬,蒋小兵,秦浩,等.基于H.264具有抗分组丢失能力的帧内刷新算法[J].电子学报,2009,37(1):221-224.SongBin,JiangXiao-bing,QinHao,etal.Apacketlossre-silientintrarefreshalgorithmbasedonH畅264[J].ActaElec-tronicaSinica,2009,37(1):221-224.(inChinese)[41]TuW,SteinbachE.Proxy-basedreferencepictureselectionforerrorresilientconversationalvideoinmobilenetworks[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2009,19(2):151-164.[42]ZhuC,WangY,HannukselaM,etal.Errorresilientvideocodingusingredundantpictures[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(1):3-14.[43]陈川,余松煜.联合编码模式选择的码率控制算法[J].电子学报,2004,32(5):763-768.ChenChuan,YuSong-yu.Jointcodingmodeselectionandratecontrolalgorithm[J].ActaElectronicaSinica,2004,329442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展(5):763-768.(inChinese)[44]ZhangY,GaoW,LuY,etal.Jointsource-channelrate-distor-tionoptimizationforH畅264videocodingovererror-pronenet-works[J].IEEETransactionsonMultimedia,2007,9(3):445-454.[45]WangY,WuZ,BoyceJM.Modelingoftransmission-loss-in-duceddistortionindecodedvideo[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2006,16(6):716-732.[46]LiZC,ChakareskiJ,NiuX,etal.ModelingandanalysisofdistortioncausedbyMarkov-modelburstpacketlossesinvideotransmission[J].IEEETransactionsonCircuitsandSys-temsforVideoTechnology,2009,19(7):917-931.[47]ChenZF,PahalawattaPV,TourapisAM,etal.Improvedes-timationoftransmissiondistortionforerror-resilientvideocod-ing[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(4):636-647.[48]ChenZF,WuDP.Predictionoftransmissiondistortionforwirelessvideocommunication:Analysis[J].IEEETransac-tionsonImageProcessing,2012,21(3):1123-1137.[49]刘家瑛,郭宗明,ChoY.面向H.264/SVC空域-质量域可伸缩编码的码率分配算法[J].电子学报,2010,38(9):2112-2117.LiuJia-ying,GuoZong-ming,ChoY.BitallocationalgorithminH畅264/SVCspatial-qualitywithdependentR-Dmodeling[J].ActaElectronicaSinica,2010,38(9):2112-2117.(inChinese)[50]李晓峰,周宁,刘洪盛,等.一种基于缩减栅格算法的SVC联合信源/信道编码方法[J].电子学报,2011,39(4):859-864.LiuXiao-feng,ZhouNing,LiuHong-sheng,etal.Ajointsource/channelcodingwithreducedtrellisalgorithmforthescalableextensionofH畅264/AVC[J].ActaElectronicaSini-ca,2011,39(4):859-864.(inChinese)[51]KamnoonN,AgrafiotisD,CanagarajahC.Flexibleadaptivemultipledescriptioncodingforvideotransmission[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(1):1-11.[52]TsaiW,YouH.MultipledescriptionvideocodingbasedonhierarchicalBpicturesusingunequalredundancy[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(2):309-320.[53]LiuYW,HuangQM,MaSW,etal.Anovelratecontroltechniqueformultiviewvideoplusdepthbased3Dvideocod-ing[J].IEEETransactionsonBroadcasting,2011,57(2):562-571.[54]ChangY,KimM.Ajointratecontrolschemeinahybridstereoscopicvideocodecsystemfor3DTVbroadcasting[J].IEEETransactionsonBroadcasting,2013,59(2):265-280.[55]ZhangY,JiangGY,YuM,etal.Stereoscopicvisualatten-tion-basedregionalbitallocationoptimizationformultiviewvideocoding[J].EURASIPJournalonAdvancesinSignalProcessing,2010,60:1-24.[56]ZhouY,HouCP,XiangW,etal.Channeldistortionmodel-ingformulti-viewvideotransmissionoverpacket-switchednetworks[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(11):1679-1692.[57]LeeB,KimM.Modelingratesanddistortionsbasedonamix-tureofLaplaciandistributionsforinter-predictedresiduesinquadtreecodingofHEVC[J].IEEESignalProcessingLet-ters,2011,18(10):571-574.[58]SeoC,MoonJ,HanJ.Ratecontrolforconsistentobjectivequalityinhighefficiencyvideocoding[J].IEEETransactionsonImageProcessing,2013,22(6):2442-2454.作者简介崔子冠 男,1982年1月出生于河南郑州.2011年获南京邮电大学工学博士学位,现为南京邮电大学通信与信息工程学院讲师,主要研究方向为视频编码与传输.E-mail:cuizg@njupt.edu.cn朱秀昌 男,1947年8月出生于江苏丹徒.教授,博士生导师,江苏省图像处理与图像通信重点实验室主任,主要研究方向为图像处理与多媒体通信.干宗良 男,1979年9月出生于新疆石河子.2007年获南京邮电大学工学博士学位,现为南京邮电大学通信与信息工程学院讲师,主要研究方向为图像处理与视频通信.0542 电 子 学 报2013年。

H.264AVC视频编码及误码掩盖算法的优化的开题报告

H.264AVC视频编码及误码掩盖算法的优化的开题报告

H.264AVC视频编码及误码掩盖算法的优化的开题报告一、选题背景H.264/AVC是一种先进的视频编码标准,可显著提高视频的压缩比和观看质量,在视频通信、视频监控等领域有广泛应用。

但是,在实际应用中,视频数据传输会遇到各种信道噪声、数据丢失等问题,导致解码器不能正确还原原始视频数据,影响观看质量。

为解决这些问题,需要对H.264/AVC视频编码及误码掩盖算法进行优化,提高视频传输的鲁棒性和可靠性,保障用户的观看体验。

二、研究内容和目标本课题拟深入研究H.264/AVC视频编码及误码掩盖算法的优化,主要内容包括:1. H.264/AVC视频编码标准的概述和原理分析;2. 基于H.264/AVC的误码掩盖算法的研究和改进;3. 利用FPGA等硬件技术实现H.264/AVC视频编码及误码掩盖算法。

本课题的研究目标包括:1. 提高H.264/AVC视频编码的压缩比和质量;2. 论证本课题改进算法的有效性和实用性;3. 实现硬件优化算法,提高视频传输的鲁棒性和可靠性。

三、研究方法和技术本课题的研究方法主要包括理论研究和实验验证。

对于理论研究,将重点分析H.264/AVC视频编码标准的原理和误码掩盖算法的理论模型,探究其优化方法和实现方案。

对于实验验证,将采用Matlab等软件工具和FPGA等硬件平台,验证所提出的算法对视频传输质量和鲁棒性的影响。

四、预期成果和意义本课题预期达到以下成果:1. 针对H.264/AVC视频编码及误码掩盖算法的优化算法;2. 建立硬件优化算法的实验平台;3. 实验验证所提出算法对视频传输质量和鲁棒性的提高效果。

本课题的意义在于,提高H.264/AVC视频传输的可靠性和鲁棒性,保障用户的观看质量,为视频通信、视频监控、视频直播等领域的应用提供有力支撑。

同时,本课题的研究成果也可以为视频编码和传输的技术发展提供借鉴和参考。

H.264硬件解码器的纠错功能实现

H.264硬件解码器的纠错功能实现

使 之 能 顺 利 解 码 加 入 随 机 噪 音 的 H.6 2 4视 频 源 编 码 的 码 流 , 的 实现 包括 硬 件 设计 和 软 件 设 计 两 部 分 。 它
关 键 词 : 2 4 解 码 器 H.6 纠 错 功 能
1 引 言
H 2 4是 I U— C C 组 织 和 IO I C MP C .6 T TV E S /E E
有 线 电视 技 术
数字电视
汤 元 辉 周 开伦 林 涛 同济大学超大规模集成 电路研究所
摘 要 : 2 4视 频 压 缩 标 准 是 目前 广 播 、 视 及 多 媒 体 领 域 的 研 究 热 点 。 本 文 主 要 研 究 如 何 提 高 解 码 器 的 适 应 性 。 H.6 电
解码 、 反量 化 、 C 运 动 补偿 和去 块 效应 , 软 件 上 I T、 D 在
( ) 根 据预 测模 式所 需 的周 边宏 块信 息进 行 判 2可
断, 如果 解得 Ix 4 4块 的预 测模 式 是垂 直模 式 , 而此 时
上边 宏块 不可 用 , 表 明码流 中存 在错误 。 也 ( ) C V C和 C B C残 差 数据 解 码 过程 中 , 3在 A L AA
流数据 错误 或 丢失 , 道编 解 码 又无 法完 全 实现 各 种 信 错 误 的恢复 的情 况 下 , 必然 会 使得 解 码器 接 收到 的码
流很 可 能是 部分 已经被 破 坏 的码 流 , 且编 码后 的数 据 前后 有很 大 的相 关性 , 个 比特 的错 误很 可 能影 响后 一
组成 ,而 单 元 中 的每个 比特都 属 于 不 同的 句法 元素 ,
即码 流 由不 同 的句 法元 素 依次 排 列 而成 , 了更 有 效 为 节省 码 流 , 法元 素 被 组 织 成 有层 次 的结 构 , 句 比如将 每个 片所 带 的该 图像 的公共 信 息 抽取 出来 , 形成 图像 层 ,又将 图像 层 中 的公 共信 息 提取 出来形 成 序列 层 。

H.264视频误码掩盖综述

H.264视频误码掩盖综述

冗余度 , 因此压缩后的码流对信道 比特误码特别敏 感 , 其是采 用 了 V C方 案 后 , 流 更 加 容 易 受 到 尤 L 码
误 码 的影 响 , 同时 预测 编码 技 术 会 将错 误 扩 散 到整
个视频序列中 , 极大地降低重建图像的质量 。因此 , 要采取一定的差错措施。所谓误码掩盖技术是利用
caat sc f II dv e i hrc r t s Ig a d s e i o il en i o i £
.h a r Im zdtee o nel n e osi s c d T i pp m I e r r ca s e s h r c o met t d p ea mh n a n
0 引言
H.6 24编 码 效 率 要 求 高效 压 缩 , 除 相关 性 和 去
到码流语法分析单元 , 对其进行相应 的码流语法分
析 。如果 信道没 有误码 , 可 以送 交 视频 解码 单元 , 则 正确 解码 后 的图像 数据 再 送 到 帧 存储 器 , 过 它 的 经 缓 冲后再 送 到显示 器 去显 示 解 码 图像 ; 果 信 道 有 如 误码 , 则语 法分 析程 序给 出出错 指示 , 并将 带 有误码 的数 据送 到误码 定 位单 元 , 到 和 误 码 对 应 的位 置 得
I tr c . i p p rr ve s t e tc n q e a a e b e e eo e o r r c n e l n e l e aue n e t T s a e i w e h iu s t th v e n d v lp d fr er c a a h e h h o o me t i t i r tr . n h t E r r o c ame t y p sp o e sn fr p r t n t e d c d r o i v rt e d ma e r a a e n r n e l n o t rc si r est o eai sa e o e  ̄o e a g d al s b s d o o c b g e o o h t t i h =

H.264AVC视频编码及其差错控制技术研究的开题报告

H.264AVC视频编码及其差错控制技术研究的开题报告

H.264AVC视频编码及其差错控制技术研究的开题报告摘要:随着基于互联网的多媒体技术的迅猛发展,视频编码技术的研究也越来越受到广泛的关注。

视频编码技术可以把视频数据压缩成为更小的码流,以达到更好的传输和存储效果。

本研究将重点研究最为流行的视频编码标准之一——H.264/AVC 编码及其差错控制技术,旨在提高视频的压缩效率和抗传输差错能力。

首先,本研究将介绍H.264/AVC编码的基本原理和流程。

其次,重点研究关键技术——帧内/帧间预测和运动估计算法,并对其进行深入的分析和优化。

同时,本研究还将探讨H.264/AVC编码的差错控制技术,包括重传请求(ARQ)和前向纠错(FEC)等技术。

最后,针对实际应用场景中存在的问题和挑战,本研究将研究视频码流的可适应性和动态调整策略,以保证视频的流畅播放。

本研究的创新点在于,重点研究H.264/AVC编码的帧内/帧间预测和运动估计算法,并提出一种更加高效的算法,以提高视频的压缩效率和图像质量;同时,通过研究差错控制技术,本研究将探索更加可靠的数据传输策略,以保证数据的完整性和可用性。

本研究将为视频编码标准的研究和应用提供一定的参考和指导作用。

关键词:H.264/AVC编码;帧内/帧间预测;运动估计;差错控制;动态调整Abstract:With the rapid development of internet-based multimedia technology, video coding technology has attracted more and more attention. Video coding technology can compress video data into smaller bitstreams for better transmission and storage efficiency. This study focuses on one of the most popular video coding standards-H.264/AVC coding and its error control technology, aiming to improve the compression efficiency and error resistance of video.Firstly, this study will introduce the basic principles and processesof H.264/AVC coding. Secondly, it will focus on the key technologies-frame intra/inter prediction and motion estimation algorithm, andconduct an in-depth analysis and optimization. Meanwhile, this study will also explore error control technologies of H.264/AVC coding,including automatic repeat request (ARQ) and forward error correction(FEC). Finally, addressing the existing practical problems and challenges,this study will investigate the adaptability and dynamic adjustmentstrategy of video bitstreams to ensure smooth video playback.The innovation of this study lies in the in-depth study of the frameintra/inter prediction and motion estimation algorithm of H.264/AVCcoding and proposing a more efficient algorithm to improve the compression efficiency and image quality of video. Meanwhile, through the study of error control technology, this research will explore more reliable data transmission strategies to ensure data integrity and availability. This study will provide some reference and guidance for the research and application of video coding standards.Keywords: H.264/AVC coding; frame intra/inter prediction; motionestimation; error control; dynamic adjustment。

H.264AVC在无线传输中的容错及错误隐藏技术研究的开题报告

H.264AVC在无线传输中的容错及错误隐藏技术研究的开题报告

H.264AVC在无线传输中的容错及错误隐藏技术研究的开题报告一、选题背景和意义随着移动通信技术的发展,无线传输已经成为人们生活中不可或缺的一部分。

由于无线传输信道的复杂性、不稳定性和噪声干扰等问题,视频传输过程中常常会出现各种错误,导致视频质量严重下降。

因此,在无线视频传输中,容错和错误隐藏技术显得尤为重要。

H.264AVC是当前最先进的视频压缩技术,具有高效率、高品质等优点,在无线视频传输中应用越来越广泛。

因此,对H.264AVC在无线传输中的容错和错误隐藏技术进行研究,对于提高无线视频传输的质量和稳定性具有重要的实际意义。

二、研究内容1. H.264AVC的错误传播特性研究,分析不同码率下的误码率。

2. 基于H.264AVC的容错技术研究,探讨不同级别的容错技术对视频传输质量的影响。

3. 基于H.264AVC的错误隐藏技术研究,比较不同方法的优缺点和适用范围,选择最合适的错误隐藏方案。

4. 在实际无线视频传输中,通过对比H.264AVC容错和错误隐藏技术的测试数据,分析和总结最佳的实用方案。

三、研究方法1. 理论研究:通过对H.264AVC视频压缩算法、无线传输信道特性、容错和错误隐藏技术等方面的理论分析,建立理论模型。

2. 模拟实验:借助MATLAB等工具模拟无线视频传输过程中的容错和错误传播情况,并对各种容错和错误隐藏技术进行模拟分析,得到一系列数值经验。

3. 实际测试:在实际无线视频传输中,对比H.264AVC容错和错误隐藏技术的测试数据,分析和总结最佳的实用方案。

四、预期结果1. 分析H.264AVC在不同码率下的误码率,总结其错误传播规律和特性。

2. 对于无线视频传输中的信道错误,提出相应的容错技术,探讨不同容错方案对视频传输质量的影响。

3. 对于无线视频传输中的增量重传、线性插值等错误隐藏技术,比较不同方法的优缺点和适用范围,选择最合适的错误隐藏方案。

4. 在实际无线视频传输中,通过对比H.264AVC容错和错误隐藏技术的测试数据,总结最佳的实用方案,以提高无线视频传输的质量和稳定性。

H.264码率控制算法的研究的开题报告

H.264码率控制算法的研究的开题报告

H.264码率控制算法的研究的开题报告一、研究背景和研究目的H.264是一种最新的视频压缩标准,广泛应用于数字电视、移动通信、监控等领域。

码率控制是H.264视频编码中的一个重要问题,它涉及到码率和视频质量之间的平衡。

H.264码率控制算法的研究是优化视频质量和码率折中的一个关键方向。

本课题旨在研究H.264码率控制算法,探究各种算法的优劣,分析其适用性及效果,结合实际应用场景进行算法的优化和改进。

二、研究内容和研究方法本研究将围绕H.264码率控制算法展开以下工作:1. 码率控制算法综述:综述现有的H.264码率控制算法及其主要优点和缺点,为后续的研究打下基础。

2. 码率控制算法实现:选择几种代表性的H.264码率控制算法进行实现和比较,包括CBR、VBR、RDO和QP控制等常见算法。

3. 码率控制算法优化:根据实际应用场景,针对现有算法进行优化与改进,将算法适应于更多复杂情况下的视频编码,进一步提高视频质量和编码效率。

本研究将采用文献综述、数学分析、编程实现等多种方法来完成上述研究内容。

三、研究意义和研究难点1. 研究意义:(1) H.264码率控制算法是优化视频质量和编码效率的重要手段,本研究可以为实际应用提供一定的指导和借鉴。

(2) 研究H.264码率控制算法可以更深入地了解H.264编码算法本身,对于提高对视频编码的理解和掌握程度有一定的帮助。

(3) 本研究对于学术研究和社会生产都有重要意义,可以促进视频编码技术的进一步发展和应用。

2. 研究难点:(1) 码率控制算法的综合研究需要具备一定的理论基础和算法基础。

(2) 码率控制算法实现需要掌握H.264视频编码和算法优化等知识。

(3) 对算法进行优化和改进需要深入研究H.264视频编码的原理和实现方法,需要具备较强的分析、编程和测试能力。

四、研究进度安排第一年:1. 对H.264码率控制算法进行综述;2. 选择研究对象,对其进行实现和分析;3. 选定一个具体场景对算法进行调整与优化。

H.264关键技术和差错掩盖

H.264关键技术和差错掩盖

第2章H.264基本原理和差错掩盖关键技术概述2.1 H.264的档次与级别H.264标准定义了三个档次的视频编码[16],每个档次可以支持特定的编码功能,并且每个档次都对编码器与解码器有一定的规定。

基本档次支持帧内和帧间编码(I、P条带)及自适应变长编码(CA VLC)的熵编码;主要档次支持交替视频,使用B条带的帧间编码,使用加权预测的帧间编码,以及基于算数编码(CABAC)的熵编码;扩展档次增加了SI、SP帧,并改进了错误恢复机制,但不支持交替视频或CABAC熵编码。

H.264标准中三个档次与其支持的视频编码工具间的关系如图2-1所示。

图2-1 H.264基本、主要和扩展档次编码器性能的改变可以通过参数设置来体现,例如,编码速率、图片大小采样处理率、缓冲大小等。

2.2 H.264编解码器H.264没有明确定义编码器,而是着重定义了编码视频位流的语法及对这种位流解码的方法。

图2-2是H.264编码器框图图2-2 H.264编码器H.264的编码器仍采用变换和预测的混合编码法[17],输入的帧或场n F 以宏块为单位处理,以帧间方式或帧内编码的方式来编码每个宏块,对于每个宏块,根据重构的图像样点来生成预测帧。

预测帧的生成是由当前块减去预测值PRED 块生成差值块n D ,并对差值块n D 进行块变换,再经过量化得到一组量化变换系数X ,最后熵编码重排序,熵编码系数与解码所需的头信息(运动矢量、预测模式量化函数等)一起组成一个压缩后的码流,进入到网络自适应层用于传输和存储。

编码器解码宏块为下一步预测提供一参考图像。

首先调整(1Q -)系数X ,反变换(1T -)生成差分块'n D ,预测块加上差分块'n D 得到重构的块'n F μ,由重构的块'n F 来重构参考图像(加入滤波器可以减少块失真的影响)。

图2-3 H.264解码器框图如图2-3可知,解码器从传输码流中获取到NAL 数据包。

H.264差错掩盖算法的研究及解码器的DSP实现的开题报告

H.264差错掩盖算法的研究及解码器的DSP实现的开题报告

H.264差错掩盖算法的研究及解码器的DSP实现的开题报告题目:H.264差错掩盖算法的研究及解码器的DSP实现一、课题的背景和意义随着数字视频的广泛应用,视频压缩技术逐渐成为研究热点,其中H.264是目前最先进的视频压缩标准之一。

在视频传输过程中,由于信道噪声等因素的干扰,视频信号可能会出现丢失数据帧、数据包损坏等差错情况,为确保视频传输的可靠性和稳定性,研究如何在损坏的视频数据帧中恢复原始信号成为一个重要的课题。

差错掩盖技术是常见的一种视频恢复技术,其基本思想是在损坏的数据帧中通过复制周围相邻帧的像素值或通过推断来对损坏的像素进行恢复。

本研究旨在探索H.264差错掩盖算法的优化策略及解码器的DSP 实现方法,进一步提高视频恢复的效果和速度,为数字视频的高清晰、高质量传输提供支持。

二、研究目标和内容本研究的目标是研究并实现一种高效的H.264差错掩盖算法及其解码器的DSP实现方法,具体内容包括:1. 分析H.264视频压缩标准和差错掩盖技术原理,总结其特点和优势;2. 针对H.264帧间预测和帧内预测的特点,优化差错掩盖算法,提高恢复效果和速度;3. 设计并实现H.264差错恢复算法的DSP解码器,通过DSP平台对视频数据进行处理和恢复,验证算法的可行性和实用性;4. 评估所提出的算法在视频恢复的效果和速度方面的表现,与已有算法进行比较和分析,探索算法的优化空间;5. 结合具体应用场景,探索算法与其他技术的结合应用,提出差错掩盖的综合解决方案,并进行性能评估和实验验证。

三、论文的研究和创新点1. 提出了一种基于H.264压缩标准的差错掩盖算法,在充分理解视频压缩和恢复原理的基础上,通过针对不同场景和情况的特定优化,达到了较高的恢复效果和速度。

2. 提出了一种基于DSP平台的H.264解码器实现方法,通过充分利用DSP对视频数据的处理能力,对算法进行了优化和加速,达到了较高的恢复速度和效果。

3. 基于实际应用场景和需求,提出了一种差错掩盖的综合解决方案,将算法与其他技术结合,进一步提高了差错恢复能力和实用性。

AVC的运动估计与差错控制技术研究的开题报告

AVC的运动估计与差错控制技术研究的开题报告

H.264/AVC的运动估计与差错控制技术研究的开题报告题目:H.264/AVC的运动估计与差错控制技术研究一、研究背景随着数字视频技术的不断发展,视频编码技术成为视频传输和存储中的关键技术之一。

H.264/AVC(Advanced Video Coding)是当今最为流行的视频编码标准之一,具有高压缩性、高质量和高灵活性等优点,成为数字视频和多媒体通信领域应用最广泛的编码标准之一。

其中,运动估计和差错控制是H.264/AVC中最为关键的技术之一,对于视频质量和实时性具有重要的影响。

二、研究目的本研究旨在深入探究H.264/AVC的运动估计和差错控制技术,研究其原理、算法及优化方法,从而提高视频压缩的效率和质量。

三、研究内容1. H.264/AVC的运动估计技术研究:介绍H.264/AVC的运动估计原理和方法,重点研究基于全搜索、快速算法和多级层次搜索等方法的运动估计算法。

2. H.264/AVC的差错控制技术研究:介绍H.264/AVC的差错控制原理和算法,主要研究基于自适应变换和动态阈值等技术的差错控制方法,以提高视频压缩的性能和可靠性。

3. H.264/AVC的优化算法研究:对于H.264/AVC运动估计和差错控制过程中存在的问题,研究基于模型预测控制(MPC)和深度学习等优化算法,以提高视频质量和实时性。

四、研究方法本研究主要采用文献分析和实验研究相结合的方法,运用MATLAB等相关工具,通过数据实验和分析,对H.264/AVC的运动估计和差错控制技术进行深入研究和分析。

五、预期结果本研究将通过对H.264/AVC运动估计和差错控制技术的研究,得出一些有效的优化算法,提高视频压缩的效率和质量,为数字视频和多媒体通信领域的应用提供理论支持和技术指导。

H.264帧内误码掩盖技术的研究和实现的开题报告

H.264帧内误码掩盖技术的研究和实现的开题报告

H.264帧内误码掩盖技术的研究和实现的开题报告一、选题背景和意义随着高清视频技术的不断发展,H.264成为了现代视频编码的主流标准。

H.264编码具有高压缩比、高质量、高稳定性等优点,被广泛应用于数字电视、流媒体、视频监控、视频会议等领域。

然而,由于视频传输中的环境约束,视频数据很容易受到各种干扰因素的影响,例如网络抖动、信号干扰、丢包等。

这些干扰往往导致视频数据的丢失和损坏,进而影响到视频的播放和显示效果。

为了应对这种情况,H.264标准提供了帧内误码掩盖技术(In-Loop Deblocking Filter,简称ILDF),它可以有效地减少由于压缩编码和传输过程中引起的失真和伪像,提高视频的可视质量,并保持其压缩性能。

因此,在研究和应用H.264编码技术时,掌握帧内误码掩盖技术的原理和实现方法是非常重要的。

二、研究内容和技术路线本课题的主要研究内容包括:1. 研究H.264标准中帧内误码掩盖技术的原理和机制,深入理解其实现思路和步骤。

2. 在此基础上,研究不同算法和方法对帧内误码掩盖技术的影响,比较其性能和效果,寻求最佳的实现策略。

3. 利用C++语言实现H.264编码器和解码器,并加入帧内误码掩盖技术,在Windows环境下开发可视化界面程序,具体实现步骤如下:(1) 调用指定函数库,实现H.264编码器和解码器的初始化和设置。

(2) 读取视频文件,进行压缩编码,并添加帧内误码掩盖技术。

(3) 显示压缩后的视频图像,并支持实时播放和回放。

(4) 统计和分析压缩前后的视频质量和文件大小等指标,评估帧内误码掩盖技术的有效性和优劣。

三、需解决的问题和研究难点在研究和实现过程中,我们需要解决以下问题和研究难点:1. H.264标准比较复杂,需要充分理解和掌握其编码原理和标准格式。

2. 帧内误码掩盖技术需要对视频数据进行复杂的信息计算和处理,需要熟练掌握相关算法和方法。

3. H.264编码器和解码器是复杂的系统,需要合理调度和组织,保证其稳定性和可靠性。

AVC的差错控制技术研究的开题报告

AVC的差错控制技术研究的开题报告

基于H.264/AVC的差错控制技术研究的开题报告一、研究背景视频传输在各个领域中应用越来越广泛,因此视频编码技术的发展受到了广泛的关注。

H.264/AVC作为一种高效的视频编码标准,被广泛应用于多种应用场景中。

但是,视频传输过程中容易出现信道噪声、数据丢失等问题,导致视频质量下降。

因此,差错控制技术成为了解决这些问题的重要手段。

二、研究目的和意义本研究旨在通过研究H.264/AVC编码标准及其差错控制技术,针对视频传输中出现的信道误码、数据丢失等问题,提出一种有效的差错控制策略,保障视频在传输过程中的质量和稳定性。

三、研究内容1. H.264/AVC编码标准的研究,包括视频压缩算法、码率控制、流分层等。

2. H.264/AVC差错控制技术的研究,包括FEC、ARQ、重传控制等技术。

3. 基于H.264/AVC的差错控制策略的研究和实践,包括流媒体传输、视频会议等应用场景中的实验研究。

4. 总结研究结果并提出差错控制技术的优化和改进建议。

四、研究方法1. 阅读国内外文献,理解H.264/AVC编码标准和差错控制技术的基本原理。

2. 分析H.264/AVC编码标准和差错控制技术在实际应用中存在的问题,重点研究视频传输中的差错控制技术。

3. 设计H.264/AVC的差错控制策略,进行实验验证并对实验数据进行分析。

4. 提出差错控制技术的改进和优化建议,并总结研究结果。

五、预期成果1. 研究H.264/AVC编码标准和差错控制技术的基本原理和应用场景。

2. 提出有效的差错控制策略,解决视频传输中的信道噪声、丢包等问题。

3. 提出差错控制技术的优化和改进建议,提高差错控制技术的性能和效率。

4. 发表相关学术论文,并在相关领域中产生一定的学术影响力。

视频编码标准H.264关键技术的研究的开题报告

视频编码标准H.264关键技术的研究的开题报告

视频编码标准H.264关键技术的研究的开题报告一、选题背景和意义随着数字技术的快速发展,视频技术在多媒体领域的应用得到了快速推广和广泛应用。

随着网络的普及和带宽的增加,视频成为网络应用一个重要的组成部分。

而现在最常使用的视频编解码标准是H.264/AVC,它是一种高效的视频编码标准。

H.264/AVC标准增强了编码效率,使得它可以在很低的比特率下提供高质量的视频。

另外,由于它具有广泛的应用领域,如视频会议、电视广播、移动视频等等,因此对于H.264/AVC标准的研究显得越来越意义重大,进一步完善它以提高它的性能,对应用的发展和计算机科学技术都具有重要的意义。

二、研究目的和内容本文旨在深入了解和研究视频编码标准H.264/AVC,分析视频编码标准的基本原理和关键技术,并进行后续的优化和改进研究。

具体内容包括如下几个方面:1、H.264/AVC标准的概述,介绍该标准的基本原理、结构和特点,分析其优点和缺点;2、H.264/AVC标准的关键技术,包括区块分割、帧内预测、帧间预测、熵编码等,对这些技术进行详细分析和探究;3、H.264/AVC标准的改进技术,包括比特率控制、运动估计、变形估计等,研究这些技术对于H.264/AVC标准性能的影响以及在实际应用中的可行性和有效性;4、基于H.264/AVC标准的视频编码优化研究,包括基于码率控制的优化、基于感知视觉的优化等等。

三、研究方法和步骤本研究将采用比较研究的方法,对H.264/AVC标准进行详细分析和调研,深入研究其基本原理和关键技术,并结合实际案例进行分析。

具体步骤如下:1、分析文献和资料,了解H.264/AVC标准的基本原理和结构,确定研究重点和方向;2、深入研究H.264/AVC标准的关键技术,包括区块分割、帧内预测、帧间预测、熵编码等,探究其原理、性能和应用;3、研究H.264/AVC标准的改进技术和优化方案,考虑其在实际应用中的可行性和有效性;4、进行实验验证,对不同的优化方案进行对比分析,并对研究结果进行总结、归纳和总结。

简析H.264视频编码标准在视频传输的容错算法

简析H.264视频编码标准在视频传输的容错算法

简析H.264视频编码标准在视频传输的容错算法
目前视频编码压缩标准主要有MPEG-x和H.26x两大系列,这些压缩算法都是基于宏块的,分别从三个方面改善编码效率:
(1)运动估计/运动补偿(MP/MC)消除视频时间冗余;
(2)(3)量化系数的可变长编码(VLC)消除统计冗余。

实践表明,通过上述方法,视频编码标准获得了极高的压缩效率。

但压缩后的码流在Internet,特别是无线信道上的传输仍然存在着一些棘手的问题,其中比较突出的一点是:一方面,这些压缩后的码流对信道比特误码非常敏感; 而另一方面,无线信道由于多径反射和衰落引入了大量的随机误码和突发误码,影响了码流的正常传输。

尤其是当采用了VLC方案后,码流更加容易受到误码的影响,结果在解码端将失去与编码端的同步,导致在遇到下一个同步码字之前无法对VLC码字进行正确的解码;同时预测编码技术会将错误扩散到整个视频序列中,极大地降低重建根据在视频传输系统中位置的不同,容错算法主要可分为基于编码器的容错算法,基于解码器的容错算法和基于反馈信道的容错算法。

其中:
(1)基于编码器的容错算法,通过再编码比特流中添加冗余信息,这些冗余信息被添加在信源或信道编码器中,降低了编码的效率,增加了实现的复杂度,以换取编码的容错性能,大致包括:分层编码、多描述编码、独立分段编码、再同步编码和前向纠错编码(FEC)等。

(2)基于解码器的容错算法,是指利用被损坏的宏块与其相邻的宏块之间的相关性来完成恢复工作的,这部分工作包括错误检测和错误恢复。

对于错误的检测,一般采用针对语法的检错和嵌入数据的检错;对于错误恢复,可采用时。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2.1.3 视频编码技术........................................................................................................................... 6
2.2 差错控制概述..................................................................................................................................... 7
1.2 国内外研究进展................................................................................................................................. 2
1.3 本文研究思路..................................................................................................................................... 2
Abstract .......................................................................................................................................... II 目 录...........................................................................................................................................III 图 表............................................................................................................................................ V 第一章 绪论...................................................................................................................................1
天之骄子·firstime
II
groce@
目录
摘 要..............................................................................................................................................I
但是因为信道传输中固有的噪声,相比以前的视频压缩标准,H.264 码流受到噪声影 响之后也会造成更加严重的后果。因此本文在对 H.264 标准做了详细介绍之后,重点对视 频压缩码流的差错控制问题进行了深入研究。并在分析现有差错控制技术的基础上,分别 提出了一种错误检测和错误隐藏算法。通过在 H.264 的标准测试平台 JM86 上试验证明, 本文所提出的两种方案均有一定的优越性和实用价值。
最后,本文对所研究的成果做了总结,并提出了将来努力的方向。
关键词:H.264 差错控制 错误检测 错误隐藏
天之骄子·firstime
I
groce@
Abstract
With the information age developing rapidly in the world , The application of multimedia has penetrated every area in hunman life . The video have won the favor of people due to its lively , intuitionistic and abundant content . On the other hand , its huge information limits its flexible application . Human deals with this problem by video compress technology partly . Video conference , Video disc and so on come into people’s life gradually . But with the new application’s emergence of IPTV and mobile video , these previous video compress technologies become more and more difficult to suffice so many demands of above business over video application gradually .
2.1.1 视频序列冗余特性................................................................................................................................................................................................................................ 5
Therefore , ITU-T and ISO/IEC , with the tenet to design a simple and effective new codec technology , with the goal to get outstanding compress performance and excellent network adaptation , issued the H.264 video compress standard in May 2003 . Being the latest standard in video compress field , this standard make it possible to implement many new and future video applications . Through inheriting, ameliorating and innovating , H.264 synthesizes so many advantages of the previous standards , which not only enhances its compress performance , but also gets eminent predominance in network friendship and error resilience .
第二章 视频压缩与差错控制.......................................................................................................5
2.1 视频压缩编码概述............................................................................................................................. 5
H.264 数字视频差错控制技术的研究
摘要
随着人类社会信息化的加剧,多媒体应用已经渗透到人们生活的各个领域。视频作为 一种生动、直观、信息量丰富的多媒体应用备受人们青睐,但是其巨大的信息量也限制了 其灵活的应用。人们通过采用视频压缩技术从一定程度上解决了这个问题,视频会议、影 视光碟等等逐步步入人们的生活。然而随着 IPTV、移动视频等新兴视频应用的兴起,从前 的视频压缩技术已经渐渐难以满足这些业务对视频应用的各方面需求。
Finally , this paper summarize the research achievements , and propose the future works .
Keywords:H.264 , error control , error detection , error concealment
1.1 引言..................................................................................................................................................... 1
2.2.1 误码产生原因及其影响........................................................................................................... 7
为此,ITU-T 与 ISO/IEC 以设计简单有效的新一代编码技术为宗旨,以高效的压缩性 能和优良的网络亲和性为目标,于 2003 年 5 月正式颁布了 H.264 视频压缩标准。该标准作 为视频压缩领域的最新标准为众多新兴的乃至未来的视频应用都带来了曙光。它作为历来 标准之集大成者,在以前标准技术的基础上继承、改进、创新,不但在压缩性能上得到显 著提高,网络亲和性与抗误码能力也更显优势。
1.4 论文结构............................................................................................................................................. 3
相关文档
最新文档