H.264的码率控制策略
H.264码率控制的算法研究及硬件设计
个 G P的所 有 P帧 的 Q O P之 和 ,与 Q o 似 , P P类 Q
() 1 比特 数 的分 配 假设 N 表示 一 帧 中宏块 的个 数 , v_ D表 示 A g MA
一
也 随 G P长 度和 信道 带宽 变化 而变 化 。 O 22 帧层 的码率 控 制算法 .
帧 图像 中各 个 宏 块 的平 均 MA MA [[ 表示 第 i D, D ij l]
特 率 大都是 可 变 的 , 了能 够在 恒定 比特率 的 通信信 为
道 和 网络 中传 输 压缩 后 的码 流 , 要 引入 一 个缓 冲 区 需 机制 , 先将 压 缩后 的码 流存 入 缓 冲 区 , 后 以恒 定码 然 率输 出 。因此 , 码率 控制 的任务 就 是为 了在 特定 码 率 下高效 地传 输 数据 , 在保 证 缓 冲器 不产 生上 溢 和下 溢 的前 提下 , 通过 调 整一些 编 码参 数 ( 量化参 数 、 测 如 预 模式 ) 来使 编码 比特 率达 到期 望值 。
编 码 标 准 。本 文 参 考 了 J V G0 2会 议 文 档 。完 成 了 码 率 控 制 的 硬 件 设 计 。 并 对 硬 件 实 现 的 方 法 进 行 了 优 化 。 T — 1 Mo eS m 仿 真 和 DC 综 合 结果 表 明本 系统 不 仅 功 能 正 确 。 能 满 足 时 序 要 求 。 d li 且 关 键 词 : 2 4 A C 码 率 控 制 量 化 参 数 H.6 / V
帧 中第 j 宏块 的 MA T表 示 当前 帧所 分 配 的 目标 个 D, 比特数 。因此第 i 中第 j 帧 个宏 块 所分 配 的 目标 比特
帧层 的码 率控 制分 为 两个 阶段 : 一 阶段 为每 一 第 个 P帧计 算 一个 目标 比特 数 , 二 阶段 持续 地 更新 率 第 失真模 型 的各 个参数 。 假设 只有一 组 图像 ( O ) 并 且 图像 序 列 的编 码 G P,
率失真理论及经典的码率控制算法
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题:能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =,经过编码后,信宿为},...,,{21n n b b b B =,定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下: ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中,),(k j b a d 为失真度,度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知,则平均失真仅仅取决于条件概率)|(j k a b Q ,从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(,即:))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步,定义),(Y X I 为接收端获取的平均信息量:)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样,在给定的)(j a P 前提下,),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量,即:),()(min Y X I D R DQ Q ∈=该公式的含义:在允许的失真度为D 的条件下,信源编码给出的平均信息量的下界,也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时,无论采用什么编码方式,其平均失真必大于D 。
视频压缩是典型的限失真编码,率失真理论同样适应于视频编码。
基于卡尔曼滤波的H.264头信息量估计及其在帧级码率控制中的应用
Esi a in o h m be fHe de t i l a le tm to ft e Nu r o a r BisUsng Kam n Fitr a t p ia i n i a e La e t n r lf r H . 6 nd IsAp lc to n Fr m y r Ra e Co t o o 2 4
i mprve te pr cson o si tn h mbe fte he de t tte fa a e ,a d i c r r t h si to d lt o h e ii fe tma ig te nu ro h a rbisa h r me ly r n n opo ae te e tma in mo e o
fa a e ae c n r1 r me ly rr t o to . .
Ke wo d H. 6 y rs 2 4,r t c nr l e d r if r t n,k l n f trn ae o t ,h a e n o mai o o ama l ig ie
电视广播 和 正在兴 起 的手 机 电视 , 都对 码 率有 较 严
,
Absr c H.26 /M PEG- ta t 4 4 AVC e tr s le i e fau e f xbl ma r bo k c o lc mod de iin. whc m a s he e cso ih ke t nu mbe f daa is r o t bt p o u e b nc dig e de if r to i H. 4 i o te m v r re ulry nd ad o e r ditd. As r d c d y e o n h a r n o mai n n 26 vde sr a ay ir g a l a h r t b p e ce H. 6 2 4 e c d rrdu e h t t o r n fr n o e e c s te daabisf rta so m c e ii ns e e tv l te n m b ro e d r bt tk s a l re o to n t o f c e t f cie y, h u e fh a e is a e a g r p rin i he o e alb t h n h t f a fr r v d o o r s in t n r v r l is t a ta o ny o me i e c mp e so sa dad. Th e ie si to o e de b t c n fe t ey us pr cs e tmai n f h a r is a e ci l v
码率控制与实现算法
码率控制技术原理与 H.264的码率控制算法介绍
小组成员:池品臻 陈申 陈天壹 陈仙锋 程 宏浩
码率控制技术原理
引起编码器的输出比特码率波动的原因主要有两个。首先,数字视
频信号中包含了大量的时域和空域冗余,编码器的主要任务就是去
除这些冗余。由于时间冗余和空间冗余是随机的,从而造成编码器 输出比特率波动。另一个原因是变长编码,变长编码根据某个事件 (如零游程)的发生概率来设计码字。事件发生的概率越大,其编码
码字越短,反之亦然,从而引起编码器输出比特率的变化。
码率控制技术原理
由于视频应用的要求和目的不同,根据输出码率是否要求恒定,传
输码流的信道可分为两种类型,即可变比特率的码率控制
VBR(Variable Bit Rate)和恒定比特率的码率控制CBR(Constant Bit Rate)。在变比特率信道下,可以为更高的运动量或更详细的 纹理信息分配更多的带宽,从而获得更高效的带宽共享,有利于获
H(X);若D一为最大允许失真,则相应码率下限为R(D一)。典型的
率失真曲线R—D如图3.1所示。R(D’)为D’的凸递减函数。
码率控制技术原理
率失真优化主要用于模式选择。在H.264视频标准中,有以下几种
模式:INTRA.4x4,INTRA.16x16,SKIP,INTER—16×16,
INTER.16×8,INTER.8×16,INTER.8×8。 假设图像序列S被分割为K个不同的块4,相应的像素用6t来表示。 编码6t所选择的编码模式%分为帧间编码和帧内编码。每种编码模
所需的码字位数,Q指基本单元的量化步长,MAD通过以下线性预测
模型进行预测:
H.264的码率控制算法
1。基本单元的定义 假设某一帧由Nmbpic个宏块组成,那么定义基本单元为一 个由Nmbpic个宏块中连续的Nmbunit个宏块所组成的组。那么在该 帧中的总的基本单元的个数为: Nunit=Nmbpic/Nmbunit 需要注意的是,如果采用了比较大的基本单元,那么PSNR 可以达到一个较高的值,同时比特的波动也会增大。另一方面,如 果采用了比较小的基本单元,比特的波动会比较的小,但是相应的
H.264AVC视频编码码率控制技术研究
学位授予单位:上海交通大学
1.刘杰H.264视频编码码率控制方法研究[学位论文]2009
2.魏显超低码率下H.264/AVC的基本单元层码率控制算法研究[学位论文]2009
3.许林H.264码率控制算法研究[学论文]2010
4.张文菊H.264码率控制算法研究[学位论文]2010
5.王小莉基于H.264的码率控制研究与改进[学位论文]2010
上海交通大学
博士学位论文
H.264/AVC视频编码码率控制技术研究
姓名:***
申请学位级别:博士
专业:信号与信息处理
指导教师:***
20081201
H.264/AVC视频编码码率控制技术研究
6.岳少园基于H.264/AVC的码率控制算法研究[学位论文]2009
7.孙彦辉基于H.264编码码率控制方法研究[学位论文]2008
8.李蔷.余松煜一种高效的H.264码率控制方法[期刊论文]-上海交通大学学报2004,38(11)
9.兰天.顾学迈.郭庆.王振永.Lan Tian.Gu Xue-mai.Guo Qing.Wang Zhen-yong一种新的H.264自适应帧层码率控制算法[期刊论文]-华南理工大学学报(自然科学版)2008,36(9)
10.沈礼权高效视频编码的算法优化及其扩展研究[学位论文]2008
引用本文格式:林贵旭H.264/AVC视频编码码率控制技术研究[学位论文]博士 2008
数字音视频技术:码率控制
数字⾳视频技术:码率控制⼀. 概述1.1 来源及其作⽤为什么要使⽤码率控制?这个问题是由现实产⽣的。
在传输压缩编码视频的时候,必须要考虑两个问题:视频质量和传输带宽,如果带宽⼤,肯定要尽可能传输质量更好的视频;如果带宽低,则需要提⾼压缩⽐,减⼩码流;如果带宽动态变化,那么码流也需要动态改变来适应带宽,总之,码流与带宽紧密相关。
与此同时,我们希望尽可能的得到⾼清晰的还原图像,所以在能接受的视频质量范围内对视频尽可能的压缩来提⾼带宽利⽤率是码率控制的根本。
码率控制的来源知道以后,它的作⽤也就很明显,就是提⾼带宽利⽤率,在保持视频还原清晰度的情形下,尽可能的节省带宽。
视频编码(有损)的⽬标是尽可能多的节省⽐特(码率)的同时尽量保持视频质量,码率控制是平衡码率和质量的重要⼯具。
1.2 ⾯临的问题码率控制是个说起来简单做起来的事情。
之前已经总结过,可以从两个⽅⾯来理解码率控制,⼀是从内容的率失真优化⾓度考虑量化与码率关系,⼆是从信道传输和转移概率的⾓度来分析码率和编码模式的关系。
这两个⽅向都有同样的⼀个问题,与“先有鸡还是先有蛋”类似。
以QP和R的关系为例,为了得到可控的码流,我们需要提前控制QP,但是QP⼜依赖码流来计算给出,所以这个先后问题变成⼀个死循环,需要找到⼀个突破点。
1.3 主要发展为了解决先有鸡还是先有蛋的问题,我们找到⼀个突破⼝,既然理论的⽅法被证明是很难⾛通,那么可以选择⾛数值模拟的⽅法,通过⼀系列的实验,得到⼀系列的经验公式,尤其是选取⼀个合适的初始值,进⽽破解鸡还是蛋的问题。
在选择实验模拟这条路之后,突然有了很多的思路可以去做,⾸先是和理论结合最紧密的部分:概率分布。
通过计算不同概率分布下的率失真函数,得到⼀系列经验公式和参考模型,在利⽤DCT变化对亮度和⾊度系数进⾏处理后,最优模拟是拉普拉斯分布以及⼀部分⾼斯分布。
通过计算可以得到常⽤的6中R-D模型,⽽这些基础模型⼜被进⼀步演化成不同的码率控制算法。
视频编码标准的选择与优化分析
视频编码标准的选择与优化分析随着互联网和数字化技术的快速发展,视频的应用已经变得无处不在。
而视频编码技术的发展与创新,对于视频的质量和传输效率起着至关重要的作用。
在选择适合自己需求的视频编码标准时,需要考虑到视频质量、传输效率、实时性和设备兼容性等多个方面因素,并进行相应的优化分析。
一、视频编码标准的选择1. H.264/AVCH.264/AVC是当前广泛应用的视频编码标准之一,它优化了传输效率和视频质量的平衡。
它具备较好的压缩效果,在相同比特率下,能够提供更高的视频质量。
同时,H.264/AVC还具备广泛的设备兼容性,可以在各种终端设备上进行播放。
因此,对于大多数应用场景来说,选择H.264/AVC是一个较为明智的选择。
2. H.265/HEVCH.265/HEVC是H.264/AVC的升级版,它在压缩效率上有了显著的改进。
相同质量下,H.265/HEVC能够以更低的比特率进行传输,从而节省网络带宽。
然而,由于H.265/HEVC相对于H.264/AVC的算法更复杂,编解码的计算复杂度更高,因此对于传输设备要求较高,可能会增加硬件成本。
因此,在选择H.265/HEVC时需要综合考虑硬件设备和压缩效率之间的平衡。
3. VP9VP9是由Google开发的开源视频编码标准,具备出色的视频质量和压缩效率。
VP9在Google的产品中广泛应用,比如YouTube的视频播放。
然而,VP9的设备兼容性较差,只能在部分设备上进行播放,因此在选择时需要考虑到具体的应用场景。
4. AV1AV1是由Alliance for Open Media开发的最新开源视频编码标准,它综合了前几种编码标准的优点。
AV1具备极高的压缩效率和出色的视频质量,可以在超高清视频和4K视频等高清视频领域中发挥出色的效果。
然而,由于AV1是最新的标准,设备兼容性还不够成熟,可能会面临一些技术挑战和兼容性问题。
二、视频编码标准的优化分析1. 码率控制码率控制是视频编码中的一个重要环节,它决定了视频的压缩比例和传输效率。
H.264编码器解码器IP使用说明_4K Main Profile
H264 Lite 高清视频编解码(codec)器使用说明——— Fully RTL Code Design目录1.功能介绍 (3)2.IP特色 (3)3.应用场景 (3)4.本“使用说明”作用 (3)5.主要功能 (4)5.1.编码器功能 (4)5.2.解码器功能 (4)6.主要硬件指标 (5)6.1.编解码效率(单核) (5)6.2.面积 (5)6.3.编解码带宽需求 (5)6.3.1.编码模式带宽需求 (5)6.3.2.解码模式带宽需求 (5)6.4.综合速度 (5)7.设计结构框图 (6)8.接口信号时序 (7)8.1.寄存器配置接口时序 (7)8.2.DMA读写访问时序 (7)8.3.中断信号时序 (7)8.4.软件复位 (7)9.配置寄存器 (8)10.原始帧数据在外部存储器(DDR)的格式 (10)10.1.亮度(Y)数据 (10)10.2.亮度数据在内存的字节序 (11)10.3.色度(UV)数据: (11)10.4.色度数据在内存的字节序 (12)10.5.以1920X1088的图像为例: (12)11.软件控制流程(参考) (13)11.1.编码器软件控制流程 (13)11.2.H264标准相关寄存器推荐配置(编码模式有效) (14)11.3.解码器软件控制流程 (15)12.设计交付 (16)13.FPGA综合结果 (16)H264_Lite视频编解码器(encoder&decoder)由硬件描述语言verilog实现,此设计经过FPGA EDA工具编译后可集成于可编程逻辑器件(FPGA)平台;也可以使用Synopsys Design Compiler综合后作为ASIC芯片的IP核使用。
该视频编码器输出码流完全符合H.264视频编码标准;解码器能解码H264_Lite自己编码的码流。
该设计针对硬件面积,编码帧率,综合频率做了设计结构上的优化。
该设计对FPGA实现做了特别的时序优化,在Xilinx Zynq7020上可以综合到150MHZ,单核就能够实现1080P@30fps的FPGA应用场景,双核可以实现1080P@60fps的应用场景,三核可以实现4K@30fps的应用场景。
MEDIACODER H.264格式编码参数设置及详解
MediaCoderH.264格式编码参数设置及详解由于现在大部分视频转码都选择H.264格式进行编码,同时CUDA编码的画质还达不到x264软编码的质量(如果你对画质无要求,可以直接忽略该教程。
)所以该教程对MediacoderH.264格式编码参数设置进行一次详解,希望对画质有一定要求编码爱好者有所帮助。
视频选项栏界面:视频质量/码率比例可选百分比,选择是否对原始视频码率进行压缩。
如果对画质要求较高,建议选择100%,即不对原始视频码率进行压缩。
码率模式:设置转换视频时所采用的编码方式。
可选项:1.平均码率模式;2.固定质量模式;3.恒定码率模式;4.恒定量化参数;5.2次编码模式;6.3次编码模式;建议:选择固定质量模式即对原始视频画质质量进行固定,编码后视频大小不可控。
格式:设置转换后临时的视频文件(未与音频文件封装之前)的格式。
可选项:XviD、H.264、MPEG1、MPEG2、MPEG4、Theora、FlashVideo、DiracVideo、WindowsMediaVideo、RealMedia、H.263、H.263+、H.261、MS-MPEG4-V2、DVVideo、MotionJPEG、LosslessJPEG、Huffyuv、Snow、AMV、RawVideo建议:选择H.264(注意:格式的选择会影响下面容器的选择,不是所有的格式都能封装到一个容器中的!)容器:最后进行封装时使用的容器,如XXXX.AVI就是使用的AVI作为容器。
可选项:Default、AVI、MP4、Matroska、MPEG1、MPEG2、MPEG2-TS、FlashVideo、ASF、3GP、3GP2、MOV、MJPEG、RealMedia、DVForma、OGG、NUT、PMP、RawStream建议:选择MP4(MP4具有良好的播放兼容性,iphone、ipad等均可以直接点播)如果对兼容性没要求,建议选择MKV(注意:很多转换任务一开始就报有关容器的错误,是因为混流软件对转换后的音频文件或视频文件无法混流所致.具体MediaCoder的混流器能封装什么格式的视频文件和音频文件,请参考其他有关资料!)复制视屏流:当勾选参数时,MediaCoder不会对原始视频进行转换,而是直接无损提取。
一种适合硬件实现的H.264/AVC宏块级码率控制算法
【 btat hs ae a l a s th hrc rts t .6/ V ad a noe acic r, n f i ta n oa ot ci— A s c】Ti ppr i y i e a t ii ? 24 A Chrwr ecdr r t t e ada e c n rec tl l rh f it r m n m at c a esc o H e heu n i e t o r g i m a l a
r c fMAD,a he e n a ea e PS a y o c iv sa v r g NR an o 1 B n ov ste po lm fdaa d p n e ce . gi f0. 2 d a d sle h r be o t e e d n is
D
【 本文献信息】王佳, 殷海兵, 周冰倩 .一种适合硬件实现的 H 24A C宏块级码率控制算法[] 电视技术, 1 , ( ) .6/ V J. 2 23 1 0 6
一
种适合硬件实现的 H. ̄/ V 2 A C宏块级码率控制算法
王 佳 , 海兵 , 殷 周冰倩
( 中国计量 学院 信息工程 学院 , 浙江 杭州 30 1 ) 10 8
1 码 率 控制硬 件 实现 特 点
基于H.264率失真模型联合码率控制算法研究
11 - GOP层 比特 率 分 配
为 了验 证 基 于 P域 率 失 真 线 性 模 型 码 率 控 制 的 有
效性 . 义采 用 的 G 本 OP结 构 为 I P P P…P.I开 始 为 帧 【 【 I J 人 J
编码 ( T帧 ) 接 着 是 前 向 预 测 帧 ( , P帧 ) OP的 长 度 定 。G 义 , 在 1 ~ 0帧 范 罔 内 。 J 53
由 于 该层 较 简 单 .采 卅 与 J T G 2相 似 的 G V ~ OI OP
米 渊 整 量 化 参 数 另 一 足 基 始 视 频 的 灰 度 信 息 ・ 类 f原 如 义 献 I~ l 渊 整 各 帧 的 越 化 参 数 小 义 采 崩 了将 5 7来
D T变 换 系数 量 化 后 零 系 数 的 分 比 P作 为 罔像 特 征 C
\ \
研 究 与 开发
表 1 J — 0 2算 法 与 本 文 算 法 P Nt 比结 果 VT G 1 S L对
J 1 G 1 V' 0 2 - P oo e C rpsdR
视频 序列
A io ky F o b 1 o ta 1 pr a o 锄 n
Mo 1e bi
百分 比 ( 图像 特 征 参 数 )H 有 关 编 码 的 头 部 信 息 和 ; 为 运 动 矢 量 . 在 当 前 帧 编 码 前 无 法 准 确 地 知 道 H 使 但 将 用 多 少 比特 ,为 此 采 用 前 一 帧 的 的 值 作 为 一 种 粗
一
—
—
—
—
() 9
、
・
/
/
12 优 化 帧 层 比特 率 分 配 .
由于 码 率 控 制 仅 对 纹 理 编 码 有 效 . 此 . 的 线 因 P域
基于H.264的新型I帧码率控制算法
———————————— 基金项目基金项目::中国博士后科学基金资助项目(20100471837);陕西省自然科学研究计划基金资助项目(2010JM8037)作者简介作者简介::苏令华(1979-),男,讲师、博士,主研方向:通信信号处理,视频编码与传输;郭 英,教授、博士;杨 洁,工程师 收稿日期收稿日期::2011-12-30 修回日期修回日期::2012-02-28 E-mail :sulinghua79@基于H.264的新型I 帧码率控制算法苏令华1,2,郭 英1,杨 洁3(1. 空军工程大学电讯工程学院,西安 710077;2. 空军大连通信士官学校,辽宁 大连 116600;3. 西安应用光学研究所,西安 710065) 摘 要:针对H.264视频编码标准,在综合考虑码率、缓冲区状态和视频序列复杂度的基础上,提出一种新型的I 帧码率控制算法。
使用边缘信息,建立幂函数形式和指数函数形式的2种R-Q 模型。
基于前4个待编码帧的预编码,估计首个I 帧的时间复杂度,第1个I 帧的比特分配得到修正。
仿真结果证明,该码率控制算法可以有效提高重建视频的峰值信噪比(PSNR),降低PSNR 波动,并大幅减少跳帧情况的发生。
关键词关键词::H.264标准;码率控制;帧内编码帧;码率-量化参数模型;边缘信息Novel I Frames Rate Control Algorithm Based on H.264SU Ling-hua 1,2, GUO Ying 1, YANG Jie 3(1. Telecommunication Engineering Institute, Air Force Engineering University, Xi’an 710077, China;2. Airforce Dalian Communications Noncommissioned Officers School, Dalian 116600, China;3. Xi’an Institute of Applied Optics, Xi’an 710065, China)【Abstract 】This paper proposes a new rate control algorithm for I frames in H.264/A VC based on rate, buffer status and complexity of sequences. Using edge information, two R-Q models for I frames are established in the forms of power and exponent. The number of target bits for the first I frame is corrected based on the pre-encoding of the first four frames. Experimental results show that the proposed algorithm can increase the average Peak Signal to Noise Ratio(PSNR) of reconstructed videos, depress the fluctuation of PSNR, and avoid frame skipping significantly.【Key words 】H.264 standard; rate control; intra-coded frame; bitrate-quantization parameter model; edge informationDOI: 10.3969/j.issn.1000-3428.2012.21.074计 算 机 工 程 Computer Engineering 第38卷 第21期V ol.38 No.21 2012年11月 November 2012 ·开发研究与设计技术开发研究与设计技术·· 文章编号文章编号::1000—3428(2012)21—0279—04 文献标识码文献标识码::A 中图分类号中图分类号::TN919.811 概述视频编码的码率控制,就是在给定的带宽限制下,调整编码的量化参数,以获得尽可能好的视频重建质量。
基于H.264的码率控制算法
基于H.264的码率控制算法基于H.264的码率控制算法一、前言随着数字视频通信和视频编码技术的快速发展,H.264编码已成为目前最流行的视频编码标准之一。
为了实现高质量的视频传输和存储,码率控制算法被广泛应用于H.264编码中。
本文将重点探讨基于H.264的码率控制算法。
二、H.264编码简介H.264编码是一种视频压缩技术,通过减少冗余信息以及利用空间和时间相关性来达到数据压缩的目的。
H.264编码算法具有出色的画质表现和高压缩比。
然而,由于视频传输和存储资源有限,需要对视频流的码率进行控制以适应特定的需求。
三、码率控制算法1. 码率控制概述码率控制是指根据特定的应用需求,通过调整编码参数来控制视频编码的码率。
码率控制算法能够根据输入的视频源和目标码率生成合适的视频码流。
常见的码率控制算法包括恒定码率(CBR)、可变码率(VBR)和动态码率(DRC)。
2. CBR码率控制CBR码率控制算法固定每个视频帧的码率,将帧间码率均匀分配,保持恒定的传输速率。
这种算法适用于对传输延迟和网络带宽要求较高的应用,如实时视频通话等。
然而,CBR码率控制算法对于视频中的运动场景和细节丰富的部分可能会出现压缩失真。
3. VBR码率控制VBR码率控制算法根据视频内容的复杂程度动态调整每个视频帧的码率。
在静止或低运动的场景中,VBR算法会降低码率以减少冗余信息的传输,而在高运动的场景中会提高码率以保持画质。
VBR算法可以更好地适应视频内容的变化,但在网络带宽不稳定的情况下,可能会导致传输延迟或视频卡顿。
4. DRC码率控制DRC码率控制算法是基于H.264标准的一种动态码率控制方法,它通过监测编码器的缓冲区状态和网络的带宽情况来动态地调整码率。
当网络带宽较大时,DRC算法会增加码率以提高视频质量,而当网络带宽较小时,DRC算法会降低码率以保持视频的连续性。
DRC算法能够更好地适应网络环境的变化,提供更好的用户体验。
h264规范
h264规范H.264是一种广泛使用的视频压缩标准,也被称为MPEG-4 Part 10或AVC(Advanced Video Coding)。
它提供了出色的视频质量和高压缩比率,适用于各种应用,包括广播、视频会议、流媒体和视频存储。
H.264规范定义了一种视频编码方式,将视频分割成块,并对每个块进行压缩。
编码过程包括运动估计、变换、量化和熵编码。
首先,H.264使用运动估计来减少冗余信息。
它检测相邻帧之间的运动向量,然后利用这些向量来预测当前帧的内容。
当两个帧之间存在较小的运动时,只需编码运动向量和残差信息,而无需编码整个帧。
这有效地减少了编码所需的比特数。
接下来,H.264使用变换来将时间域上的连续像素值转换为频域上的系数。
采用离散余弦变换(DCT)来减少冗余,并且可以通过量化来减小系数的值。
量化过程将频域系数除以一个量化矩阵,并将结果四舍五入成整数,从而减少了系数的精度。
随后,H.264使用熵编码来对量化后的系数进行编码。
它采用可变长度编码(VLC)和上下文自适应二进制算术编码(CABAC)来压缩剩余系数,并通过利用统计特性来实现高效的编码。
除了上述的编码过程,H.264还定义了一些其他的特性,以进一步提高编码效率。
例如,它引入了多个帧类型,如关键帧和预测帧,以便可以对帧进行更加有针对性的编码。
它还支持多个参考图像,这允许在运动估计过程中使用多个相邻帧的信息。
H.264还提供了灵活的比特率控制和层次化编码机制。
比特率控制可以根据网络带宽和质量要求来调整编码的比特率。
层次化编码允许在不同的分辨率和质量层之间进行逐步编码和传输,以便在带宽变化的情况下提供更好的用户体验。
总体而言,H.264规范通过运动估计、变换、量化和熵编码等技术,实现了高效的视频压缩和高质量的视频播放。
它在广泛的应用中发挥着重要的作用,并被广泛支持和采用。
基于H.264码率控制算法的优化
基于H.264码率控制算法的优化周易龙【摘要】在给定的比特流的条件下,编解码器采用码率控制可以获得高质量和高平滑的视频.因此码率控制广泛应用在视频压缩与传输过程中,起着重要作用.本文基于最新的视频编码标准H.264提出一种改进的码率控制算法--关于MAD(mean absolute differences)在计算QP(量化参数)上的改进.MAD在二次失真模型中用于计算QP,取得了很好的信噪比、压缩比和码流的稳定性.本文在像素差值计算后加入Hadamard计算即SATD (sum absolute of transformdifferences),采用SATD来代替MAD在二次失真模型中计算量化参数.实验结果表明:与JM18.0原算法比较,视频输出序列的亮度峰值信噪比(PSNR)提高了0.2 dB左右,取得更好的码率控制效果,便于接收端获得更加稳定的压缩视频流.%In a given bitrate,encoder with the rate control can get high quality and smooth video.So rate control is widely used in video compression and transmission,and plays an important role.This paper proposes an improved rate control algorithm based on the latest video coding standard H.264-MAD (mean absolute difference) improvements in calculation QP (quantization parameter).Using MAD to calculate the QP,second order distortion model can obtain a good signal-to-noise ratio,compression ratio and rate stability.In this paper,hadamard is added to calculate the difference of pixel value which is called SATD (sum of absolute hadamard transformed differences).Instead of MAD,SATD is adopted to calculate the quantitative parameters of the second order distortion pared with JM18.0 original algorithm,the experimental results show that the newalgorithm increase 0.2dB in the peak signal-to-noise ratio (PSNR) of the sequence of video brightness,achieve better rate control,facilitate the receiving end to obtain a more stable rate of compressed video.【期刊名称】《电子设计工程》【年(卷),期】2013(021)012【总页数】3页(P105-107)【关键词】H.264;码率控制;平均绝对差值;量化参数;绝对变换差值之和【作者】周易龙【作者单位】上海海事大学信息工程学院,上海201306【正文语种】中文【中图分类】TN919.81码率控制就是调整视频编码输出码率,使之与传输带宽相匹配,同时获取最小的解码失真,以保证良好并且稳定的接收解码质量。
h.264码流控制规范
二、H.264标准的码率控制模块(rate control)规范描述H.264标准中码率控制方法的提案主要有三个:JVT-F086(2002)算法、JvT-G012(2003)算法和JVT-O016(2005)算法,后两种即通常所说的李氏提案和吴氏提案。
其JVT-F086可以看成是MPEG-2 TM5改进版本;JVT-G012算法用流量往返模型来分配每个基本单元目标比特数,并采用二次率失真函数计算量化参数后进行编码,而JVT-O016则继承了JVT-G012的传统算法,侧重于率失真优化RDO模型的改进,充分挖掘图像的时空相关性。
2.1 JVT-F086(2002)JVT-F086算法与MPEG-2的码率控制算法TM5类似,其工作流程同样由三步组成。
首先是目标比特分配,在图像编码前,估计出对下一帧图像编码所需要的比特数:接着是速率控制,通过一个虚拟缓存器,给每个宏块设定量化参数的参考值;最后是自适应量化,根据宏块的空间活动性来调整量化参数的参考值,以获得用于宏块的量化参数值。
JVT-F086算法结构如图2-1所示:图2-1 JVT-F086算法结构图在目标比特分配步骤中,首先对图像序列中的第一个I帧,P帧或B帧定义不同的总体复杂度的度量,具体可由下式得到:,具体可由下式得到:=115*bitrate/115=15*bitrate/115=5*bitrate/115得到总体复杂度的度量以后,再求得下一帧图像的目标比特数目,即,根据分配给该组图像(GOP)的总比特数R来计算。
如果当前图像GOP(INTRA帧)是第一个,那么R值更新如下:R=bitrate*(++1)/framerateN是GOP中图像的数目,和分别是当前GOP中未编码的P帧和B帧的数目,且R初始设定为0。
如果当前帧不是GOP中的第一个图像,如果图像序列中已编码比特数为nbits,那么R值更新如下:R- nbits→R计算出分配给下一帧的目标比特数后,步骤一将结果传递给步骤二,进行速率控制,速率控制步骤基于虚拟缓存器的概念,在编码宏j(j>=1)之前,虚拟缓存器饱和度基于图像类型来计算:=QP*10*bitrate/(31*framerate)=(QP+2)*10*bitrate/(31*framerate)=(QP+2)*10*bitrate/31这里,,,的值分别是对I,P,B帧型的虚拟缓存器的初始饱和度值。
H.264视频编码率失真优化和码率控制技术研究进展
H畅264视频编码率失真优化和码率控制技术研究进展崔子冠1,2,朱秀昌1,2,干宗良1,2,唐贵进1,2,刘 峰1,2(1.南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;2.南京邮电大学宽带无线通信与传感网技术教育部重点实验室,江苏南京210003) 摘 要: 在H畅264率失真优化和码率控制(RC)技术研究的基础上,根据控制目的将率失真优化和RC的发展分为3个阶段:即率失真建模,考虑质量波动对主观质量的影响,以主观失真为指导的RC.分析了各阶段有代表性的RC技术及其特点,指明了RC需要进一步研究的关键和难点问题.对面向传输的错误弹性编码、可分级编码、多描述编码、以及立体与多视编码中的RC技术进行总结,分析进一步发展趋势.对下一代高性能视频编码(HEVC)中的RC应该如何发展进行了探讨.关键词: 视频编码;率失真优化;码率控制;H畅264中图分类号: TN919畅8 文献标识码: A 文章编号: 0372-2112(2013)12-2443-08电子学报URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2013.12.019AdvancesinRateDistortionOptimizationandRateControlTechniquesforH.264VideoCodingCUIZi-guan1,2,ZHUXiu-chang1,2,GANZong-liang1,2,TANGGui-jin1,2,LIUFeng1,2(1.ImageProcessingandImageCommunicationLab,NanjingUniversityofPostsandTelecommunications,Nanjing,Jiangsu210003,China;2.KeyLabofBroadbandWirelessCommunicationandSensorNetworkTechnology,NanjingUniversityofPostsandTelecommunications,MinistryofEducation,Nanjing,Jiangsu210003,China)Abstract: Basedontheresearchesofratedistortionoptimization(RDO)andratecontrol(RC)techniquesforH.264,thispaperdividesthedevelopmentofRDOandRCintothreephasesbasedonRCintention,namelyratedistortionmodeling,consideringtheeffectofqualityfluctuationonsubjectivequality,subjectivedistortionguidedRC;analyzesthecharacteristicsofrepresentativeRCtechniquesofeachphase,andfocusesonthekeyanddifficultissuesofRCneededtobefurtherresearched.ThensummarizestheRCschemesfortransmissionorientederrorresilientvideocoding,scalablevideocoding(SVC)andmultipledescriptioncoding(MDC)aswellasstereoandmulti-viewvideocoding,andanalyzesfurtherresearchtrends.Finally,howtodeveloptheRCschemesforhighefficiencyvideocoding(HEVC)isdiscussed.Keywords: videocoding;ratedistortionoptimization;ratecontrol;H畅2641 引言 目前主流的H畅264编码标准基于预测加变换的混合框架,采用多种帧内与帧间模式和基于率失真优化(RateDistortionOptimization,RDO)的模式选择等技术,获得了极高的压缩效率.下一代高性能视频编码(HighEf-ficiencyVideoCoding,HEVC)即H畅265在许多编码模块中进一步改进,其压缩效率比H.264又提高一倍.码率控制(RateControl,RC)是视频编码(VC)中的关键模块,根据各种约束(如目标码率、缓冲区、延迟、计算复杂度、信道状况等)自适应调节编码参数来规范输出码流使之适合信道带宽,并最优化视频质量.RC分两步:一是在收稿日期:2012-12-25;修回日期:2013-07-01;责任编辑:孙瑶基金项目:国家自然科学基金(No.61071091,No.61071166,No.61071167,No.61101105);江苏省高校自然科学基金(No.12KJB510019);南邮校科研基金(No.NY212015,No.NY212083);教育部博点基金(No.20113223120001);工业与信息化部通信软科学课题(No.2011-R-70);江苏高校优势学科建设工程—“信息与通信工程”;江苏省自然科学青年基金(No.BK20130867)第12期2013年12月电 子 学 报ACTAELECTRONICASINICAVol.41 No.12Dec. 2013约束条件下为编码单元(BasicUnit,BU)分配最优目标比特;二是根据率失真模型(RateDistortionModel,RDM)设计准确的控制技术使实际码率尽量接近目标码率.公式表述如下:min1N∑Ni=1Di(Qi),s.t.∑Ni=1Ri(Qi)尘RT(1)其中Qi为量化参数,Di(Qi)与Ri(Qi)为第i个BU的失真与码率,RT为目标码率.此有约束的最优化问题可由Lagrange乘子法转化为无约束问题,建立Lagrange代价函数,通过调节参数使代价函数最小即可,即:minJ=D+λR(2)其中λ是Lagrange乘子,J是代价函数.鉴于RC对VC的重要性,近年来针对H畅264在各种环境下的编码与传输问题,已经提出了很多有效的RC技术.文献[1]对2007年之前的RC技术进行了综述,但不断出现的新需求使RC的发展日新月异.本文主要对2007年以后RC的最新发展进行总结.第2节根据控制目的将单层VC(即一个信源编码产生一个码流)的RC分为RDM建模、考虑质量波动对主观质量的影响、以主观失真为指导的RC这3个阶段,总结各阶段有代表性的RC技术及其特点.在此基础上,第3节重点指明单层VC的RC需要进一步研究的关键和难点问题.第4节对面向传输的错误弹性编码(ErrorResilientVideoCoding,ERVC)、可分级编码(ScalableVideoCoding,SVC)、多描述编码(MultipleDescriptionCoding,MDC)、以及立体与多视编码(Multi-ViewVideoCoding,MVC)中的RC技术进行总结,分析进一步发展趋势.第5节对HEVC中的RC应该如何发展进行探讨.第6节总结全文.2 单层VC中RDO和RC研究进展2畅1 RDM建模H畅264在2003年颁布之后,由于其高效的压缩性能和网络适应性,基于H畅264的各种应用开始蓬勃发展,亟需准确的RDM和高效的RC技术以精确控制码率.H畅264基于RDO选择最优的编码模式,新技术的引入使得编码残差呈现出与以往标准不同的特性.因此这一阶段的主要任务在于考虑H畅264编码特性对残差分布准确建模,并建立准确的RDM.目前精确控制H畅264的I帧及P帧输出码率的目标已基本实现.由于I帧及P帧编码特性不同,导致RDM也不相同.下面分别对I帧及P帧的残差分布及有代表性的RDM进行对比和分析.2.1.1 P帧残差分布及有代表性的RDM残差DCT系数的分布对RDM建模非常重要,文献[2]认为DCT系数服从Laplacian分布并给出严格数学分析.目前H畅264RC中广泛使用的二次RDM就是根据Laplacian分布推导而来[3,4].文献[5]发现Laplacian分布具有指数形式,导致拖尾衰减过快,而实际DCT系数直方图常有大量的拖尾系数,因此用Cauchy分布对DCT系数进行建模更准确.文献[6]直接建立R及D与DCT系数为零的比率ρ之间的关系,也取得了准确的控制效果.基于这些统计分布提出的有代表性的RDM及其特点总结于表1.注意,这一阶段RC的目标主要是为了精确控制R,因此RDM常表现为R-量化步长(Qstep)的函数关系,而D模型常用简单的D=kQstep或D=kQ2step这种形式,即认为D与Qstep或Q2step成正比.如H畅264最有代表性的RC提案JVT-G012[3]采用线性MAD预测模型解决蛋鸡悖论,根据流量传输模型为BU分配目标比特,并用二次RDM计算Qstep,以较低的计算复杂度获得了较好的RC效果.基于RDM的RC算法具有类似的控制框架,在此框架下很多学者提出了有效的改进机制,主要集中于RDM的进一步改进[7]、BU目标比特的优化分配、BU的灵活划分、头码率的准确估计、缓冲区与延迟的有效管理、编码复杂度的有效测量、模型参数更新时历史数据点的有效选择等方面.表1 P帧残差分布及有代表性的RDM残差分布文献RDMLaplacian分布[3]R-H=a/Qstep+b/Q2step×MAD[4]R-H=A×Q2step+B×Qstep+C[8]R-H=α·SATD(Qstep)/QstepCauchy分布[5]R=aQ-αstep,D=bQβstepρ域模型[6]R(ρ)=θ×(1-ρ),D(ρ)=σ2e-α(1-ρ)2畅1畅2 I帧复杂度测量及RC编码常采用GOP结构,大部分帧都采用P帧编码,因此P帧RC研究较多而I帧RC研究较少,但I帧作为每个GOP的起始参考帧非常重要,有效进行I帧RC将有助于提高整个GOP的编码质量.文献[9]采用梯度信息测量I帧复杂度,计算简单但与I帧编码特性不符,改进效果有限.文献[10]用统计窗中所有像素与其均值的平均绝对差测量I帧复杂度,且分析4×4块是否具有水平、垂直、及左右对角线方向的条纹,若存在复杂度即设为零.此方法是想将H畅264帧内预测特性考虑进去,但只判断4种条纹方向及判断出条纹后复杂度即设为零与H畅264帧内编码特性不符,导致I帧复杂度测量仍不够准确.I帧RC要解决好3个问题:(a)准确的I帧复杂度4442 电 子 学 报2013年测量;(b)I帧目标比特最优分配;(c)准确的I帧R-Q模型.针对这3个问题,文献[11]通过边缘检测估计4×4块的预测模式和残差,用残差的平均绝对值测量I帧复杂度,之后提出一种新的R-Qstep模型,同时考虑缓冲区和序列特性为I帧分配合适的目标比特,得到了较好的I帧RC效果,IPPP方式编码时序列PSNR波动减少了60%以上.文献[11]与JVT-G012[3]及JVT-W042对Mobile序列编码的效果如图1.2畅2 考虑质量波动对主观质量的影响通过建立准确的R-Q模型精确控制输出码率的目标基本完成之后,RC研究的重点开始转向在R限制下为用户提供更好的主观感受,其中最小化失真变化的RC和基于感兴趣区域(ROI)的RC很有代表性.2畅2畅1 最小化失真变化的RC之前RC的目标都是在R限制下最小化平均失真(MINAVE),由于视频内容的多样性这种优化策略在编码时可能产生明显的质量波动,从而影响主观感受.针对R限制下对质量平稳性要求严格的应用(如视频流),就需要将最大失真(MINMAX)或失真方差(MIN-VAR)最小化,目的在于得到平滑一致的视频质量.公式表示如下:min(maxi∈1,…,NDi(Qi)),s.t.∑Ni=1Ri(Qi)尘RT(3)如文献[12],为常质量应用,基于MINMAX提出一种帧层多次编码方法,在最大失真与平均失真的控制上都好于JM算法.文献[13]在R约束下对时域滑动窗中的帧实施MINVAR准则,并用Lagrange乘子法进行求解,得到了一致的图像质量.文献[14]对质量平滑和码率(缓冲区)平稳这一矛盾问题进行研究,提出自适应窗口大小机制在保持质量平滑的同时保证缓冲区在安全水平以内.2畅2畅2 基于ROI的RC针对传统RC把图像所有区域同等看待的缺点,利用人眼对图像不同区域的关注度不同,首先检测出ROI区域如人脸、运动目标等,之后在R限制下对ROI细量化,对非ROI粗量化,以保证ROI的空时质量来优化主观感受[15].基于ROI的RC在低码率应用中(如视频会话)有广泛的应用前景.难点在于:(a)编码之前要先检测出ROI,准确地分割视频对象需要较高计算量而较小的计算量无法得到准确的检测效果;(b)根据关注度设定经验加权系数在ROI与非ROI之间进行R分配和QP调整,会产生较明显的方块效应;(c)最大问题在于RDM仍以(加权)MSE作为失真度量,其编码结果是使(加权)PSNR最优,与主观质量仍不完全一致.2畅3 以主观失真为指导的RCRC第二阶段开始考虑为用户提供更好的主观感受,但失真准则仍是客观失真.基于均方误差的峰值信噪比(PSNR)计算简单且物理意义明确,在视频质量评价中广泛应用,但PSNR与主观质量并不成正比,这是由于人类视觉系统(HVS)对视频质量的感知是高度非线性的,以PSNR为指导的RC不能得到最优的主观质量.因此如何根据HVS特性建立一种主观质量评价方法并用以指导视频编码成为一项重要的研究课题[16,17].即RC第三阶段的研究重点由第一阶段R模型的精确建模(以精确控制输出码率)转到主观D模型的有效建模(以获得最优的主观R-D性能).视频质量专家组(VQEG)和相关学者在这方面也做了初步研究,其中最具代表性的有基于视觉失真敏感度(VDS)或显著度(Saliency)的RC、基于恰可察觉失真(JND)的RC和基于结构相似性(SSIM)的质量评价与编码方法.2畅3畅1 基于VDS或Saliency的RC这类方法与基于ROI的RC有些类似,区别在于更充分地利用HVS特性建立VDS或Saliency图,以此进行优化的R分配.相比ROI与非ROI两级划分,R分配更加合理,主观质量更优.如文献[18]根据运动、纹理及空时掩模效应建立VDS图进行R分配以优化视觉质量.文献[19]融合运动、色彩、方向等多种特征建立Saliency图来指导R分配.2畅3畅2 基于JND的RCJND指人眼不能感知到的最大失真,即人眼对JND阈值以下的D不敏感.JND可对感知冗余有效建模,考虑了空时对比敏感度、亮度适应效应、对比度掩模效应等对主观失真建模及R调节具有很好的指导作用,如可对感知重要的区域细量化以保证质量而对感知冗余进行有效删除.文献[20]基于多种空时视觉特性建立JND模型以此指导视频编码.文献[21]根据视网膜的凹5442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展性(Foveation)增强JND提出FJND模型,并用于MB层QP及λ调整.2畅3畅3 基于SSIM的质量评价与编码方法文献[22]基于HVS对结构信息更加敏感的特性提出基于块的SSIM测量,克服了PSNR基于点而忽略像素之间相关性的缺点,与主观质量非常一致且计算量较小,已被引入JM中以评价编码视频的主观质量.基于SSIM的质量评价及编码方法近年来得到广泛研究,但SSIM形式较为复杂,其与R或Q之间的闭解形式很难得到,是SSIM用于VC的难点所在.文献[23]提出SSIM失真与R存在指数关系,在BU层进行基于SSIM失真的最优R分配;之后将SSIM失真引入RDO模式选择中,发现基于SSIM的R-D曲线与基于MSE的R-D曲线相邻点处切线的坡度非常相似,使用之前关键帧的RDM和前一编码帧的R-D数据对来自适应的预测当前帧的λ.文献[24,25]将SSIM失真引入RDO框架后,先提出一种减少参考的SSIM估计模型并结合R模型提出了帧层自适应的λ,之后在MB层进一步根据运动信息和视觉速度感知的不确定性来调节λ.文献[26,27]首次提出SSIM-Qstep存在线性关系,并结合R模型进行SSIM最优的MB层RC;进一步将SSIM引入RDO框架,提出MB层自适应的分析型λ来更好地调节R和SSIM失真.相比之前算法的最大贡献在于得到了λ与Qstep以及图像特性(复杂度)之间的解析式.文献[26,27]与JVT-G012[3]对Deadline序列的编码效果如图2.3 单层VC需要进一步研究的问题 (1)对场景变换(SC)的处理及GOP变长编码.目前编码大多采用固定GOP结构,即周期性地插入I帧而不考虑序列特性.当序列包含SC或剧烈运动时编码效率很低且质量波动较大,在低码率应用中尤其严重,如果在编码时考虑SC并自适应地插入I帧则可更好地对P帧进行预测从而提高编码性能.如文献[28]基于SC检测提出了GOP长度自适应的编码机制.(2)λ自适应调整.在MB层QP确定之后,H畅264引入λ进行RDO模式选择,λ仅是QP的函数并控制着R与D之间的权衡.不同图像具有不同的率失真特性,根据图像内容自适应地调整λ有望获得更好的率失真性能.如文献[29]对基于MSE的RDO中的λ在MB层根据编码复杂度自适应调整.文献[30]发现λ与视频信号的R-D特性之间存在线性关系,提出一种启发式的不依赖于QP的λ计算方法,改进了编码效率.(3)多维RC.传统RC都是在R约束下调节QP来优化视频质量,而帧率与图像分辨率常作为预定值独立于QP.这类机制在高码率应用中性能较好,但在低码率应用中常导致空间质量很低甚至被动跳帧引起时域质量的大幅波动.如JM通过监测缓冲区,一旦超过阈值(缓冲区的80%)就跳过下一帧,这种被动跳帧在以下两种情况经常发生:一是I帧编码后由于R剧增导致后续P帧被连续跳过;二是剧烈运动或SC时,由于I宏块数增加导致后续带有重要信息的帧被跳过.HVS对低运动序列更注重空间质量而对高运动序列更注重时域连续性[31],因此低码率应用中可以根据序列特性和缓冲区联合调节帧率、空间分辨率和QP(即多维RC)以优化空时质量.如何准确估计跳过帧与编码帧的失真,并用以确定跳帧数目和下一编码帧的QP使局部窗中帧平均失真最小是研究难点.编码端自适应跳帧与解码端插帧相结合[32],以及编码端空间下采样与解码端上采样相结合[33]来提高编码效率和解码端空时质量是今后一个重要的研究课题.(4)便于硬件实现的RC.传统RC都是基于软件实现的,由于算法的复杂性不适合硬件系统采用.但近年来随着视频电话、数字摄像机等广泛应用,亟需适合硬件实现的RC机制来提高这些设备的编码性能.便于硬件实现的RC算法[34]需要具备以下特性:(a)低复杂度,考虑到计算能力和功耗;(b)较小的缓冲区需求和延迟,考虑到编码实时性;(c)算法设计上要便于硬件实现,比如指令级优化.(5)联合功率或复杂度RDO(PRDO、CRDO)的RC.随着便携设备和网络技术的发展,带宽不再是限制视频通信的唯一条件,便携设备的功耗和续航能力也是设计编码算法时要考虑的关键因素之一.功耗主要来自于编码与传输两部分,编码功耗随计算复杂度单调增加,而传输功耗与压缩码流的大小成正比.因此如何在功耗或复杂度约束下最优化视频的R-D性能成为一项重要的研究课题.目前大多数研究是将功耗约束转化为计算复杂度约束,并在传统R-D分析的基础上加上功率或复杂度约束,建立统一的功率[35]或复杂度R-D分析模型[36],通过调整复杂度控制参数达到功耗和R-D性能的联合最优.关键问题在于:(a)建立合适的功耗或计算复杂度测量方法;(b)建立简单有效的PRD或CRD分析模型;(c)对分析模型的有效求解.(6)视频流中的RC及多路复用中的RC.随着6442 电 子 学 报2013年H畅264在视频流和多路复用中的广泛应用,需要有效的RC算法在延迟受限的情况下进行常质量控制.文献[37]为视频流提出一种延迟失真优化(DDO)分析框架,以寻求延迟与失真之间的最优平衡来保证接收端连续高质量的播放.文献[38]为多路视频在共享信道中的高效传输使用双帧技术进行码流间及帧间联合最优比特分配,以最小化总体MSE失真.另外把编码端的R-D分析与网络参数联合优化以提供端到端的服务质量保证(QoS)也是将来的一个研究热点.(7)视频转码的RC.转码是指码流从一个码率转换到另一个码率,或在不同编码格式之间相互转化.其中RC是视频转码中的关键问题[39],对码率自适应、码流串连影响重大,RC的好坏直接影响转码过程中引入的质量下降程度.4 面向传输及多视中的RC进展4畅1 ERVC与联合信源信道RC无线网络中如何在编码端根据丢包特性通过调节编码参数以提高码流的抗误码性能是一项重要的研究课题.H畅264的抗误码机制主要有:帧内MB刷新,自适应参考帧,自适应冗余图像,数据分区等.帧内MB刷新主要有随机或定期刷新、基于运动信息或视觉关注度的刷新,但这类机制没有充分考虑信源与信道的状况无法达到编码效率与抗误码性能的最优平衡.由于信源和信道的时变特性,帧内MB刷新数目和位置的选择至关重要,因为帧内MB会降低压缩效率而位置不佳将不能阻止误码传播,因此有必要建立一种针对丢包环境下的RDM和RC机制在R-D最优意义下选择帧内刷新率与刷新位置[40].自适应参考帧[41]是为了解决由于信道误码造成的编码端与解码端参考帧不匹配的问题.自适应冗余图像[42]通过编码适当的冗余信息以减轻信道误码对解码质量的影响.数据分区可以将编码信息按照重要性分开传输,以便对重要数据实施更强的保护.联合信源信道RC与ERVC类似,也是基于端到端RDM联合最优地选择编码模式和QP.文献[43]针对丢包网络提出一种RDM,克服了RC与误码恢复互不相关的缺点,在R限制下能充分利用信道带宽并使得信源编码与信道传输的总失真最小.文献[44]把端到端总失真视为信源量化失真、错误传播失真和错误隐藏失真三项之和,很好地揭示了丢包环境下真正的R-D关系.无线网络鲁棒视频传输最核心的问题在于:(a)端到端失真的准确建模;(b)在编码端准确估计解码端失真;(c)用总失真指导编码参数的调整.如文献[45]的帧层失真估计尤其考虑了H.264的新特性(如分像素的运动补偿、帧内预测和去块效应滤波等内插操作)对失真建模的影响.文献[46]使用有限状态Markov链对连续丢包信道中的传输失真进行建模.最近文献[47,48]对传输失真中的截断与误码扩散两个重要特性进行建模,并根据信源与信道特性得到了传输失真的递归计算公式,相比之前的失真模型更加准确而且计算复杂度更低.4畅2 SVC的RCSVC将视频编码成一个基本层和多个增强层,解码端根据运算能力及网络状况选择解码部分码流以获得所需的视频质量.SVC中RC的关键问题在于根据各层之间相关性进行最优的R分配与控制[49,50],难点在于:(a)根据不同层的特性提出更加准确的RDM;(b)不同层之间的最优R分配;(c)如何保证SVC编码质量的平稳性.4畅3 MDC的RCMDC相比SVC的优点是每个描述均可独立解码,而SVC中基本层一旦丢失,则增强层无用.MDC中RC的关键问题在于根据不同的多描述方案[51]在多个描述之间最优分配R以最小化D.目前MDC的RC算法较少且控制效果一般,这是因为不同的MDC方案会产生不同的编码特性,导致不同描述及其之间的R-D特性难以建模.因此MDC的RC需要根据具体的多描述方案来分析R和D特性,如文献[52]为基于分层次B帧的MDC进行最优R分配以平衡编码效率和错误弹性.4畅4 立体与MVC的RC立体与MVC除了提供2D视频信息,还提供表现3D场景的深度或多视信息,丰富了用户体验,必将成为今后VC领域的研究热点.立体与MVC中RC的关键问题在于2D视频与深度之间以及多个视点之间有效分配R以最优化视频的感知质量,其中深度序列编码的R-D特性和不同视点之间相关性分析与建模是RC成功的必要条件,这也是立体与MVC中RC今后研究的热点,比如文献[53]为分别从视点层、视频/深度层、及帧层分配R,满足了信道与缓冲区的需求;文献[54]利用二次R模型和线性D模型对3DTV广播的左/右视点的R进行联合控制.另外,2DVC中基于主观质量或ERVC思想都可以推广到3DVC的RC中以改进主观R-D性能与错误鲁棒性.如文献[55]为MVC提出基于立体视觉关注度的R分配算法.文献[56]对MVC在丢包网络中传输由于随机丢帧产生的信道失真进行建模.5 HEVC的RC 针对高清视频的HEVC在2013年颁布之后,必然会在视频编码领域引发新一轮的研究热潮.但截止目前,极少有对HEVC中RC进行研究的文献出现.HEVC7442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展中RC研究的关键问题在于:(a)考虑新的编码技术对纹理信息和头信息码率所产生的影响,建立准确的纹理与非纹理RDM来指导R的分配与控制,在准确控制R的同时提高编码R-D性能;(b)引入主观失真,在一定R下通过调节QP以最优化主观质量.文献[57]认为HEVC编码单元或变换单元预测与变换的深度不同,四叉树预测残差的统计特性也不同,用Laplacian混合分布来描述残差,得到HEVC编码的R和D模型.文献[58]同样基于Laplacian分布推导出R-Q与D-Q模型,计算QP时同时考虑了帧间质量波动和缓冲区约束,得到了一致的视频质量.6 结论 从对RC最新研究成果的分析可见,针对H畅264的基于客观质量的RDM和RC研究得已较为成熟,而主观失真建模及在RC中的应用、面向无线网络的ERVC、面向异构网络的SVC及MDC中的RC、丰富用户体验的立体与MVC中的RC、以及针对高清视频的HEVC中的RC研究成果较少,控制精度不够且复杂度高,将成为今后RC技术研究的重点和难点.参考文献[1]ChenZZ,NganKN.Recentadvancesinratecontrolforvideocoding[J].SignalProcessing:ImageCommunication,2007,22(1):19-38.[2]LamE,GoodmanJW.AmathematicalanalysisoftheDCTcoefficientdistributionsforimages[J].IEEETransactionsonImageProcessing,2000,9(10):1661-1666.[3]LiZG,PanF,LimKP.AdaptivebasicunitlayerratecontrolforJVT[A].Proceedingsofthe7thJVT-G012Meeting[C].PattayaII,Thailand:JVT,2003.1-33.[4]袁武,林守勋,牛振东,等.H.264/AVC码率控制优化算法[J].计算机学报,2008,31(2):329-339.YuanWu,LinShou-xun,NiuZhen-dong,etal.EfficientratecontrolschemesforH.264/AVC[J].ChineseJournalofCom-puters,2008,31(2):329-339.(inChinese)[5]KamaciN,AltunbasakY,MersereauRM.FramebitallocationfortheH.264/AVCvideocoderviaCauchy-density-basedrateanddistortionmodels[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2005,15(8):994-1006.[6]HeZ,MitraSK.Optimumbitallocationandaccurateratecon-trolforvideocodingviaρ-domainsourcemodeling[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2002,12(10):840-849.[7]霍炎,李生红,荆涛.基于广义拉普拉斯分布的低时延速率控制算法[J].电子学报,2010,38(5):1078-1083.HuoYan,LiSheng-hong,JingTao.Low-delayratecontrolbasedongeneralizedLaplaciandistribution[J].ActaElectroni-caSinica,2010,38(5):1078-1083.(inChinese)[8]KwonD,ChenM,KuoC.RatecontrolforH.264videowithenhancedrateanddistortionmodels[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2007,17(5):517-529.[9]YanB,SunK.JointcomplexityestimationofI-frameandP-frameforH.264/AVCratecontrol[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(5):790-798.[10]LeeG,LinH,WangM.Ratecontrolalgorithmbasedonintra-picturecomplexityforH.264/AVC[J].IETImageProcess-ing,2009,3(1):26-39.[11]崔子冠,朱秀昌.H.264图像复杂度自适应的I帧码率控制算法[J].电子与信息学报,2010,32(11):2547-2553.CuiZi-guan,ZhuXiu-chang.Imagecomplexityadaptiveintra-frameratecontrolalgorithmforH.264[J].JournalofElec-tronicsandInformationTechnology,2010,32(11):2547-2553.(inChinese)[12]CherniavskyN,ShavitG,RingenburgMF,etal.MultiStage:AMINMAXbitallocationalgorithmforvideocoders[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2007,17(1):59-67.[13]LeeH,SullS.AVBRvideoencodingforlocallyconsistentpicturequalitywithsmallbufferingdelayunderlimitedband-width[J].IEEETransactionsonBroadcasting,2012,58(1):47-56.[14]XuL,LiS,NganKN,etal.Consistentvisualqualitycontrolinvideocoding[J].IEEETransactionsonCircuitsandSys-temsforVideoTechnology,2013,23(6):975-989.[15]WuG,FuY,HuangS,etal.Perceptualquality-regulablevideocodingsystemwithregion-basedratecontrolscheme[J].IEEETransactionsonImageProcessing,2013,22(6):2247-2258.[16]NaccariM,PereiraF.AdvancedH.264/AVC-basedperceptu-alvideocoding:architecture,tool,andassessment[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(6):766-782.[17]WuG,WuT,ChienS.Algorithmandarchitecturedesignofperceptionengineforvideocodingapplications[J].IEEETransactionsonMultimedia,2011,13(6):1181-1194.[18]TangCW.Spatiotemporalvisualconsiderationsforvideocod-ing[J].IEEETransactionsonMultimedia,2007,9(2):231-238.[19]LiZC,QinSY,IttiL.Visualattentionguidedbitallocationinvideocompression[J].ImageandVisionComputing,2011,29(1):1-14.[20]WeiZ,NganKN.Spatio-temporaljustnoticeabledistortionprofileforgrayscaleimage/videoinDCTdomain[J].IEEE8442 电 子 学 报2013年TransactionsonCircuitsandSystemsforVideoTechnology,2009,19(3):337-346.[21]ChenZZ,GuillemotC.Perceptually-friendlyH.264/AVCvideocodingbasedonfoveatedjust-noticeable-distortionmodel[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(6):806-819.[22]WangZ,BovikAC,SheikhH,etal.Imagequalityassess-ment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.[23]OuT,HuangYH,ChenHH.SSIM-basedperceptualratecontrolforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(5):682-691.[24]WangSQ,RehmanA,WangZ,etal.SSIM-motivatedrate-distortionoptimizationforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(4):516-529.[25]WangSQ,RehmanA,WangZ,etal.PerceptualvideocodingbasedonSSIM-inspireddivisivenormalization[J].IEEETransactionsonImageProcessing,2013,22(4):1418-1429.[26]崔子冠,朱秀昌.H.264结构相似性最优的宏块层码率控制算法[J].电子与信息学报,2011,33(6):1339-1344.CuiZi-guan,ZhuXiu-chang.StructuralsimilarityoptimalMBlayerratecontrolalgorithmforH畅264[J].JournalofElectron-icsandInformationTechnology,2011,33(6):1339-1344.(inChinese)[27]崔子冠,朱秀昌.基于结构相似的H.264主观率失真性能改进机制[J].电子与信息学报,2012,34(2):433-439.CuiZi-guan,ZhuXiu-changSubjectiverate-distortionperfor-manceimprovementschemeforH.264basedonSSIM[J].JournalofElectronicsandInformationTechnology,2012,34(2):433-439.(inChinese)[28]PaulM,LinWS,LauC,etal.ExploreandmodelbetterI-framesforvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(9):1242-1254.[29]ZhangJ,YiXQ,LingN,etal.ContextadaptiveLagrangemultiplier(CALM)forrate-distortionoptimalmotionestima-tioninvideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(6):820-828.[30]袁武,牛振东,林守勋,等.不依赖于量化参数的视频编码控制优化技术[J].计算机学报,2011,34(8):1519-1527.YuanWu,NiuZhen-dong,LinShou-xun,etal.AnadaptableQP-independentapporachtorate-distortionoptimizationforvideocoding[J].ChineseJournalofComputers,2011,34(8):1519-1527.(inChinese)[31]MaZ,XuM,OuY,etal.Modelingofrateandperceptualqualityofcompressedvideoasfunctionsofframerateandquantizationstepsizeanditsapplications[J].IEEETransac-tionsonCircuitsandSystemsforVideoTechnology,2012,22(5):671-682.[32]CuiZG,GanZL,ZhuXC.Jointspatial-temporalqualityimprovementschemeforH.264lowbitratevideocodingviaadaptiveframeskip[J].KSIITransactionsonInternetandIn-formationSystems,2012,6(1):425-444.[33]RheeC,KimJ,LeeH.Bitratecontrolusingaheuristicspatialresolutionadjustmentforareal-timeH.264/AVCencoder[J].EURASIPJournalonAdvancesinSignalProcessing,2012,87:1-12.[34]KuoC,ChangL,FanK,etal.Hardware/softwarecodesignofalow-costratecontrolschemeforH.264/AVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2010,20(2):250-261.[35]HeZ,ChengW,ChenX.Energyminimizationofportablevideocommunicationdevicesbasedonpower-rate-distortionoptimization[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2008,18(5):596-608.[36]SuL,LuY,WuF,etal.Complexity-constrainedH.264videoencoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(4):1-15.[37]OzcelebiT,TeklapAM,CivanlarMR.Delay-distortionopti-mizationforcontent-adaptivevideostreaming[J].IEEETransactionsonMultimedia,2007,9(4):826-836.[38]TiwariM,GrovesT,CosmanPC.Delayconstrainedmulti-plexingofvideostreamsusingdual-framevideocoding[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2010,19(4):1022-1035.[39]XuL,KwongS,WangHL,etal.Auniversalratecontrolschemeforvideotranscoding[J].IEEETransactionsonCir-cuitsandSystemsforVideoTechnology,2012,22(4):489-501.[40]宋彬,蒋小兵,秦浩,等.基于H.264具有抗分组丢失能力的帧内刷新算法[J].电子学报,2009,37(1):221-224.SongBin,JiangXiao-bing,QinHao,etal.Apacketlossre-silientintrarefreshalgorithmbasedonH畅264[J].ActaElec-tronicaSinica,2009,37(1):221-224.(inChinese)[41]TuW,SteinbachE.Proxy-basedreferencepictureselectionforerrorresilientconversationalvideoinmobilenetworks[J].IEEETransactionsonCircuitsandSystemsforVideoTech-nology,2009,19(2):151-164.[42]ZhuC,WangY,HannukselaM,etal.Errorresilientvideocodingusingredundantpictures[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(1):3-14.[43]陈川,余松煜.联合编码模式选择的码率控制算法[J].电子学报,2004,32(5):763-768.ChenChuan,YuSong-yu.Jointcodingmodeselectionandratecontrolalgorithm[J].ActaElectronicaSinica,2004,329442第 12 期崔子冠:H畅264视频编码率失真优化和码率控制技术研究进展(5):763-768.(inChinese)[44]ZhangY,GaoW,LuY,etal.Jointsource-channelrate-distor-tionoptimizationforH畅264videocodingovererror-pronenet-works[J].IEEETransactionsonMultimedia,2007,9(3):445-454.[45]WangY,WuZ,BoyceJM.Modelingoftransmission-loss-in-duceddistortionindecodedvideo[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2006,16(6):716-732.[46]LiZC,ChakareskiJ,NiuX,etal.ModelingandanalysisofdistortioncausedbyMarkov-modelburstpacketlossesinvideotransmission[J].IEEETransactionsonCircuitsandSys-temsforVideoTechnology,2009,19(7):917-931.[47]ChenZF,PahalawattaPV,TourapisAM,etal.Improvedes-timationoftransmissiondistortionforerror-resilientvideocod-ing[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(4):636-647.[48]ChenZF,WuDP.Predictionoftransmissiondistortionforwirelessvideocommunication:Analysis[J].IEEETransac-tionsonImageProcessing,2012,21(3):1123-1137.[49]刘家瑛,郭宗明,ChoY.面向H.264/SVC空域-质量域可伸缩编码的码率分配算法[J].电子学报,2010,38(9):2112-2117.LiuJia-ying,GuoZong-ming,ChoY.BitallocationalgorithminH畅264/SVCspatial-qualitywithdependentR-Dmodeling[J].ActaElectronicaSinica,2010,38(9):2112-2117.(inChinese)[50]李晓峰,周宁,刘洪盛,等.一种基于缩减栅格算法的SVC联合信源/信道编码方法[J].电子学报,2011,39(4):859-864.LiuXiao-feng,ZhouNing,LiuHong-sheng,etal.Ajointsource/channelcodingwithreducedtrellisalgorithmforthescalableextensionofH畅264/AVC[J].ActaElectronicaSini-ca,2011,39(4):859-864.(inChinese)[51]KamnoonN,AgrafiotisD,CanagarajahC.Flexibleadaptivemultipledescriptioncodingforvideotransmission[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(1):1-11.[52]TsaiW,YouH.MultipledescriptionvideocodingbasedonhierarchicalBpicturesusingunequalredundancy[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2012,22(2):309-320.[53]LiuYW,HuangQM,MaSW,etal.Anovelratecontroltechniqueformultiviewvideoplusdepthbased3Dvideocod-ing[J].IEEETransactionsonBroadcasting,2011,57(2):562-571.[54]ChangY,KimM.Ajointratecontrolschemeinahybridstereoscopicvideocodecsystemfor3DTVbroadcasting[J].IEEETransactionsonBroadcasting,2013,59(2):265-280.[55]ZhangY,JiangGY,YuM,etal.Stereoscopicvisualatten-tion-basedregionalbitallocationoptimizationformultiviewvideocoding[J].EURASIPJournalonAdvancesinSignalProcessing,2010,60:1-24.[56]ZhouY,HouCP,XiangW,etal.Channeldistortionmodel-ingformulti-viewvideotransmissionoverpacket-switchednetworks[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2011,21(11):1679-1692.[57]LeeB,KimM.Modelingratesanddistortionsbasedonamix-tureofLaplaciandistributionsforinter-predictedresiduesinquadtreecodingofHEVC[J].IEEESignalProcessingLet-ters,2011,18(10):571-574.[58]SeoC,MoonJ,HanJ.Ratecontrolforconsistentobjectivequalityinhighefficiencyvideocoding[J].IEEETransactionsonImageProcessing,2013,22(6):2442-2454.作者简介崔子冠 男,1982年1月出生于河南郑州.2011年获南京邮电大学工学博士学位,现为南京邮电大学通信与信息工程学院讲师,主要研究方向为视频编码与传输.E-mail:cuizg@njupt.edu.cn朱秀昌 男,1947年8月出生于江苏丹徒.教授,博士生导师,江苏省图像处理与图像通信重点实验室主任,主要研究方向为图像处理与多媒体通信.干宗良 男,1979年9月出生于新疆石河子.2007年获南京邮电大学工学博士学位,现为南京邮电大学通信与信息工程学院讲师,主要研究方向为图像处理与视频通信.0542 电 子 学 报2013年。
一种面向H.264/AVC的新型宏块级码率控制算法
0 弓言 I
码率控制是视频编码 的关键 技术 , 目的是 控制输 出码 其
率, 使输 出码流更加 平稳 , 而更 加有 效 的利 用 网络 带宽 , 从 同 时尽 可能达到好的平稳 的图像质量 。近年来 , 不少 学者 和机
i g u i . maeq a t l y
K yw r s a ot l ie o rsi ;H 2 o i t d d e od :rt cnr ;vdocmpes n . 6 cdn s n a ;MenA slt Tas r uni d Ds ro e o o 4 g a r a bou r f Q ate i oin e n o m z t t ( T D MA Q )
维普资讯
第2 6卷 第 6期
20 0 6年 6月
文章编号 :0 1 9 8 (0 6 0 10 — 0 1 2 0 ) 6—17 3 4—0 4
一
计 算机应 用
C mp tr A p ia in o ue p l t s c o
V . 6 No 6 12 .
头码 字的加权预测模型。实验结果表明 , J 85下的标准码率控 制算法 J G 1 相 比, 与 M. 、 O2 一 本文提 出 的算法的码率控制精度更高, 出码流更加平稳, 输 图像 的平均质 量更好 。 关键词 : 码率控制 ; 视频压缩; .6 H 24编码标准; 平均绝对变换量化误差
Ab ta t os le te i u s o ae cnrlmo e n H. 6 . a n vlma r-lc a e ae cnrlsrtg n sr c :T ov h s e frt o t d li 2 4 o e cobo k ly rrt o t tae y a d s o o
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
h.264的码率控制策略本文详细讨论了H.264编码标准的,与MPEG-2的TM5模型进行了比较;并对JVT-G012提出的流量往返控制模型进行了探讨;最后对H.264码率控制提出了一些改进意见。
关键词:H.264 码率控制VBR CBR一、引言到目前为止,视频编码标准通常采用去除时空域相关性的帧内/帧间预测、离散余弦变换量化和熵编码技术,以达到较高的编码效率。
对视频通信而言,由于通信信道带宽有限,需对视频编码码率进行控制,来保证编码码流的顺利传输和信道带宽的充分利用。
针对不同的应用场合,学者们提出了多种码率控制(Rate Control)策略。
其中,实时编码码率控制方法主要有两种:用先前宏块编码产生的比特数来预测当前宏块编码产生比特数,或者通过视频编码率失真函数来预测当前宏块编码产生的比特数。
码率控制算法[1]就是动态调整编码器参数,得到目标比特数。
它为视频序列中的图像组GOP、图像或者子图像分配一定的比特。
现有的码率控制算法主要是通。
实际上,量化参数(QP)反映了空间细节压缩情况,如QP小,大部分的细节都会被保留;QP增大,一些细节丢失,码率降低,但图像失真加强和质量下降。
也就是说,QP和比特率成反比的关系,而且随着视频源复杂度的提高,这种反比关系会更明显。
码率控制有两种模式:VBR和CBR,即可变比特控制和固定比特控制。
VBR模式是一种开环处理,。
由于实际视频序列中的图像复杂度是不断变化的,细节多少、运动快慢等等,比特率也相应变化,不稳定。
CBR模式是一种闭环处理,。
它根据对源复杂度估计、解码缓冲的大小及网络带宽估计动态调整QP,得到符合要求的码率。
二、H.264码率控制结构作为新一代的视频压缩编码标准,H.264对多编码模式、编码参数自适应选择、上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码能力等方面进行了精雕细刻,采取了一系列切合实际的技术措施,大大提高了编码效率和网络自适应能力。
但H.264标准草案并没有很好地研究RC,主要精力放在了编码码流及解码方法上。
它将QP同时用于码率控制算法和率失真优化,导致了蛋鸡悖论:为了计算当前帧中宏块的RDO,需利用当前帧或宏块的MAD预测每个宏块的QP,而每个当前帧或宏块的MAD只有在RDO后才能计算出。
H.264 码率控制方法的提案主要有两个[2]:JVT-F086中MPEG-2TM5改进版本及JVT-G012中提出用流量往返模型来分配每个基本单元目标比特数,并在宏块层编码采用二次率失真函数计算量化参数的算法。
JVT-G012还比较了这两种算法,认为其算法优于F086算法。
本节主要介绍H.264的码率控制结构,并与MPEG-2的控制模型相比较。
H.264码率控制的主要部分类似于其他RC方案[1]。
图2只是一个概念性的结构,并不是其软件的实际反映,如P帧和B帧需分别处理,一些估计是前面值的平均等等。
*1. 码率量化模型Rate-Quantization Model*RC 算法的核心是一个定量的描述QP、实际比特率和编码复杂度代理的关系的模型。
比特率和复杂度与残差有关,QP只能影响变换残差信息的细节,对包含头信息、预测数据、运动矢量信息的比特流没有直接影响。
预测误差的平均残差绝对值(Mean Average Difference ,MAD)被引用,用来估计复杂度。
*2. 复杂度估计Complexity Estimation*MAD是预测器精度和帧内预测情形下临近图像时间相似度的逆操作。
MAD 可以在对当前图像编码完以后进行估计,但是,在QP选择以后再编码一次,负荷太重。
相反可以假设MAD随图像变化而变化,可根据前一图像的实际值估计而得。
但该假设在场景切换时失效。
*3. QP限制QP-Limiter*闭环控制系统须能够保证稳定性和视觉变化最小。
对一些复杂度快速改变的序列,QP变化显著,须设置以码率限制器来限制图像的QP变化不超过±2。
*4. 虚拟缓存模型Virtual Buffer Model*解码器都有一个缓存来平滑码率变换和数据的到达时间。
相应编码器产生的比特流须满足解码器的限制,所以用一个虚拟缓存模型来仿真实际解码器的满度。
虚拟缓存满度的改变即编码成流的总比特数的差异。
缓存满度的下届为0,上界为缓存容量。
用户需根据解码器支持的级别设置缓存容量和初始值。
*5. QP初始化QP Initializer*QP须在视频序列的开始初始化,并人为输入初值,但更好的方法是根据每个像素的比特数估计,并可根据QP和DemandedBitsPerPixel 表查找。
*6. GOP比特分配GOP Bit Allocation *根据需求的比特率和虚拟缓存的当前满度,计算GOP的目标码率,I图像和第一个P图像的QP。
*7. 基本单元比特分配Basic Unit Bit Allocation*如果基本单元小于图像,图2则分为两层:图像层和基本单元层。
对H.264而言,重点是计算每个存储图像(通常为P图像)的QP。
严格地讲H.264是允许B图像用作参考的,只是通常不用。
非存储图像(通常为B图像)则通过邻近P图像的QP内插或偏移得出。
首先,考虑到图像的MAD,可为缓存满度设置一目标级。
接着,利用该级别,计算图像的目标比特数。
与MPEG-2的TM5模型相比,类似之处有:虚拟缓存的设立,GOP和图像层的目标比特的计算,为每个基本单元生成QP等。
不同之处有:基本单元是宏块,且同一图像中的不同宏块的QP可能相差很大;I/P/B三帧之间只是目标比特分配的不同,其余处理类似;MPEG-2 预测模式没有H.264的多样性。
由于其没有高级的帧内预测,也没有必要对关联QP和残差时那么严格;宏块级的空间复杂度由源活动性估计而得。
忽略复杂度是否由MV和残差数据体现;对图像分配比特,需考虑图像类型、GOP结构、需要的比特率,而非图像的复杂度。
但在图像中,缓存满度和相关的空间活动性用来分配图像比特等。
三、H.264码率控制算法如上所述,H.264码率控制方案主要有JVT-F086和JVT-G012提出的两种。
JVT-G012通过引入基本单元和线性模型的概念,提出一种自适应基本单元层码率控制方案。
基本单元可能是一帧、片或者一个宏块。
线性模型用于预测当前基本单元的MAD,它是通过前一帧相应位置的基本单元得到。
蛋鸡悖论解决如下:当前帧的目标比特率根据预先定义的帧率、当前缓冲容量、目标缓冲级别和可利用信道带宽,利用漏斗模型和线性跟踪理论计算得出。
剩余比特分配给当前帧未编码基本单元。
当前基本单元的MAD利用前一帧相同位置基本单元的MAD实际值线性预测而得。
相应的QP通过一个二次RD模型获得。
该方案同样适用于VBR情形。
该方案利用一个虚拟缓存,根据信道带宽的动态特征,来帮助调节编码操作。
该缓存既不上溢也不下溢。
由于该模型类似于漏斗模型,该RC算法与HRD是一致的。
为了验证该方案,JVT-G012在VBR和CBR两种情形下进行实验。
VBR的比特率曲线是一预先确定的曲线,即实际产生的比特接近于比特率曲线且缓存不上溢和下溢。
CBR情形下,与QP固定的编码器比较了编码效率。
目标比特率由以固定QP编码测试序列产生。
计算出的码率由该方案编码产生。
该方案编码效率上dd升1.02dB,所有测试序列的平均PSNR改善2dB。
并利用软件AHM2.0和F086提出的方案进行了比较。
PSNR改善了最高达1.73dB,平均达0.5dB。
且该方案只一个通道而F086是两个通道。
四、结束语随着H.264的不断改进和推广,其码率控制的算法也在不断改进更新。
比如HeZhihai等[3]提出线性率失真函数,通过变换量化后零值在变换系数中的比例(认为这对编码码率的影响最大)来选取量化参数,可避免蛋鸡悖论;陈川等[4]提出联合编码模式选择、信源的码率控制算法;Xue Jinzhu[5]等提出基于块活动性和缓冲状态的算法;MaSiwei等[6]提出结合HRD的控制算法,并被H.264采用等等。
还有学者提出考虑解码端(通过其反馈信息控制码率)的控制模型。
上述的算法都在其实验范围内体现出了编码效率的改进。
可见,H.264码率控制的改进有许多方向,主要有:考虑编码器端的编码参数(如量化参数、编码模式或直接影响比特流的参数等)的率失真控制模型,结合信源信道失真和缓冲状态的码率控制模型,考虑解码端反馈信息的控制模型等。
H.264采用了多种改进编码效率的技术,针对不同的应用可以选择不同的技术,其码率控制模型的建立也应该结合实际应用做出调整,而不是一定要建立一个适应各种场合的控制模型。
■ 参考文献[1]Wiegand T,Schwarz H,Joch A,Sullivan G.Rate Constrained Coder Control and Comparison of Video Coding Standards.IEEE Trans,Circuits Syst,Video Technol,2003,13(7)[2] Li Z,et al.Adaptive Basic Unit Layer Rate Control for JVT.JVT-G012,7th Meeting:Pattaya,Thailand,2003(3)[3] He Zhihai.A Unified Approach to Rate-Distortion Analysis and Rate Control for Visual Coding And Communication.PHD Thesis UCSB,2001[4] 陈川等.联合编码模式选择的码率控制算法.电子学报,2004(5)[5] Xue Jinzhu,Shen Lansun.Rate Control Algorithm for H.264 Video Encoding,Journal of Electronics(China),2003,20(6)[6] Ma Siwei,WenGao.Rate Control For JVT Video Coding Scheme With HRD Considerations.IEEE ICIP 2003H.264的码率控制算法2010-05-21 09:27H.264的码率控制算法采用了多种技术,其中包括自适应基本单元层(Adaptive Basic Unit Layer)、流量往返模型(Fluid Traffic Model)、线性MAD模型、二次率失真模型等。
并且采用了分层码率控制策略,共分为三层:GOP层、帧层和基本单元层。
在JVT的提案中,采用的是JVT-G012码率控制算法,该算法提出了基本单元的概念,将一帧划分为若干个基本单元,基本单元可能是一宏块、一行宏块、一场或一帧。