HEVC视频编码技术的研究与实现

大尺寸DCT变换
大部分的图像存在一个共同的特征，即直流和低频 区占一副图像的大部分，而高频占小部分。DCT把 经过运动补偿或帧内预测的残差从空域转换到频域， DCT系数主要集中在直流和低频系数，减少空间冗 余，提高传输效率，被广泛应用于视频压缩编码中。 对于高分辨率的视频图像，一个变换块通常只表示 某个运动物体或图像背景中很小的一部分，变换块 内部相对平坦而不会有太多变化，对于这些平坦的 数据，大尺寸的变换块可以更好地集中能量和减少 量化误差。因此新的视频压缩编码方案增加了三种 大尺寸的变换块：16×16、32×32和64×64。
HEVC视频编码技术的研究与实 现
专业：通信与信息系统 姓名：杨克伟 学号：23320111153156
视频编码标准的发展
目前国际电信联盟ITU-T的视频专家组VCEG和国际 化标准组织ISO/IEC的运动专家组MPEG是两大主要 的标准化组织，他们基于不同的应用需求，分别制 定了H.26X和MPEG-X系列的视频压缩标准。 H.26X系列的视频标准主要应用在实时的视频通信系 统；MPEG-X系列的标准则应用于数字监控系统、视 频存储、广播电视及因特网等领域。 2001年12月MPEG和VCEG又成立视频联合工作组 JVT制定视频编码标准H.264/AVC（MPEG-4第10部 分)，结合多种先进的视频编码技术获得比以往各种 标准更优越的编码性能。
基于大部分测试序列都有很高的命中率，我们可以 对编码单元选择帧内预测模式的判决条件制定如下：
Intra4 4, Intra88, Intra1616 if MAD>300
Selectedtype


Intra3232, Intra64 64
if MAD<50

all
二维DCT变换：
F(u,v)
2
N 1 N 1
c(u)c(v)
f
(x,
y) cos[

(2x 1)u]cos[
(2y 1)v]
N
x0 y0
2N
2N
u，v=0，1，……，N-1
二维的DCT/IDCT变换可以分解为两个一维的 DCT/IDCT变换的乘积，因此通过提高二维变换 的效率也即提高一维变换的效率。
编码端：X-P=R 解码端：P+R=X 这种基于空间相关性的压缩方式称为帧内预测编码。
在对预测单元的尺寸的选择上，需要从4×4到64×64 各种大小的尺寸都搜索一遍。而对于平坦的区域预测 单元一般会选大的分割尺寸，而对于多细节的区域多 选择小尺寸的分割，对于这样特殊的情况把所有的尺 寸都搜索一遍会浪费很多时间，因此在进行帧内预测 之前，先对预测单元的复杂度进行估计，选定某几种 预测单元的尺寸，这对现有的选择方法会有很大改进。 最小平均绝对误差(MAD)可以被用来估计块的纹理复 杂度，MAD的计算可以由下面的公式得来：
I0 I1
Cn
O0 O0 = I0 cos(nπ/2N)+ I1 sin(nπ/2N)
“+” 3次 +
O1 O1 = -I0 sin(nπ/2N) + I1 cos(nπ/2N) “.” 3次
I
O
O = (1/sqrt(2))I
“.” 1次
改进后的16点DCT/IDCT快速变换，性能提升在4%左右。
HEVC(High Efficiency Video Coding)是两大组织 成立的联合小组JCTVC正在研究的下一代新的视频 压缩编码方案，主要针对高清和超高清的视频图像， HEVC目标在H.264/AVC high profile的基础上，对 高分辨率/高保真的视频图像压缩效率提高一倍，也 就是在保证相同视频图像质量的前提下，视频流的 码率减少50%。 HEVC主要是在原H.264/AVC的编码框架上，提出 更先进的改进技术，包括扩展的编码单元尺寸、基 于块的更灵活的帧间/帧内预测方式、大尺寸块的变 换、新的熵编码方法、更加复杂的内插滤波器等。
PSNR PSNRimproved PSNRoriginal
TIME Timeimproved Timeoriginal 100% Timeoriginal
BIT Bitimproved Bitoriginal 100% Bitoriginal
从表中的数据可以看出，采用改进的预判算法和TMUC原有算法比较，总体的编 码时间减少平均可达 14.47%。在性能方面，从表3-3可以看出，与TMUC中的 帧内预测算法相比改进算法PSNR损失平均为 0.0014dB，输出码率损失平均为 0.12%。其中序列vidyo3_720p的PSNR损失平均为0.0427dB，输出码率损失平 均为0.38%，较其他序列性能略差，原因在于序列图像中平坦区域比较多，由前 面的分析可知对MAD值小于50的平坦区域只对32×32和64×64尺寸的编码单 元搜索，范围相对原算法减少一半多，因此失真度比MAD大于300的编码单元 要大。总体来说改进的算法与原TMUC上的算法相比率失真性能无明显下降。
性能的评价方法：
2552
PSNR 10 lg 1
XY
[S(x,y)-S'(x,y)]2
XY x 1 y1
实验用客观的评价指标PSNR对预测图像的质量进 行评估，x和y分别表示图像的宽度和高度，S和 S’分别表示原始图像和编解码后重建图像， PSNR值越高说明视频质量越高，预测越准确。
Stage2
Stage3
C2 C6
C-15 C3 C-11 C7
Stage4 C12
Stage5
C-12 C-12
0 Even
8 Even
4
Odd
12 Even
14
6
Odd
10 2
3
13 9
15 Odd -1 7
-11 5百度文库
符号
表示等式
运算次数
I0
O0
O0 = I0 + I1
“+” 2次
I1
O1
O1 = I0 - I1
HEVC主要特征
HEVC新视频编码方案依然沿用MPEGX和H.26X系列 采用的混合编码框架。
帧间和帧内预测编码：消除时间域和空间域的相关性。 变换编码：对残差进行变换编码以消除空间相关性 。 熵编码：消除统计上的冗余度。 HEVC将在混合编码框架内，着力研究新的编码工具 或技术，提高视频压缩效率，相较于以往的视频编码 技术，将会有更多的优越性： （1）压缩效率更高 （2）视频质量更高 （3）健壮性更好 （4）对IP网络的友好性好
scan
Bitstream
+
CABAC
Intra Prediction
Motion Compensation
Loop filtering
SBAC
Motion Estimation
FrFamraeme MMemeomryory
Deblocking、 ALF
HEVC帧内预测的优化
一帧视频图像由许多的像素点组成，大量的统计数据 表明，两个像素的空间距离越近相关性越强，即邻近 像素值发生突变的概率很小。当前像素可以由邻近的 像素的加权和作为预测值，按与当前像素的距离不同 给以不同的权值。邻近的用来预测的像素成为参考像 素。在传输中，只传送实际象素值X与预测值P的差 值信号R，邻近像素间的相关性强差值R很小，从而 达到压缩编码的目的。接收端把差值R与预测值P相 加即可恢复原始的像素值X，整个过程可以归纳如下：
纹理细节较丰富那么该值相对大，现在需要找到一
个恰当的阈值作为分割点，降低搜索树的深度，减 小搜索的范围从而降低复杂度。
为了找到一个合适的阈值，对6个序列进行测试，测试序列分别为BQTerrace (1920×1080)、ParkScene(1920×1080)、vidyo3(720p)、 BasketballDrill(832×480)、BQMall(832×480)、ParkScene(832×480)，对前 两个序列取前80帧全I帧，后面三个序列取前100帧全I帧。序列的纹理复杂度和大 小分辨率各有差别，对每个序列在不同QP条件下进行测试。表3-1是测试的结果， MAD是按公式(3-8)以LCU为64×64计算的。表中的数据以64×64预测单元为例， 第三列的的数据表示当预测单元的分割模式为64×64时，该预测单元所属的LCU的 MAD值大于50的概率。统计结果表明，当分割模式为64×64时，其所属的LCU的 MAD值绝大部分小于300，对于32×32的分割模式与64×64一样，其所属LCU的 MAD值也都大多小于300。而其他的预测分割模式16×16、8×8和4×4，由表中 的统计数据看出他们所属的LCU的MAD值大部分大于50。在某些特殊情况下会出 现误判的现象，如序列BQMall，对32×32的分割模式，其所属的LCU的MAD小于 50的概率大于百分之十，原因在于图像中一些预测单元内部出现明显的边缘，边缘 上的像素值与两边的像素值发生突变，使得整个预测单元的MAD值很大，但是对 于边缘两边都是平坦的区域，根据RD判决仍然选用大尺寸的预测单元。但是对于 绝大多数的测试序列，判断的准确率都高达百分九十几甚至百分之百。
else
以上判决条件可以看出，对于MAD值小于50的 LCU，预测单元尺寸的搜索范围由原来5种减少为 2种，而MAD值大于300的LCU对预测单元尺寸搜 索范围由5种减少为3种，其余的情况搜索范围不 变。
可以看出MAD小于50和大于300两种条件下的编码单元数占编码单元总数的 百分比最高可达43%，最小的有13.1%，由此可以评估出该改进算法将会一 定程度上减少运算的复杂度。因此，我们对 HEVC帧内预测模式的选择过程 要做适当的调整，在整个搜索执行之前加入对LCU的MAD值的计算和判断， 先选出预测单元的尺寸模式，缩小搜索范围。
2N ,2N
MAD
1
ABS ( p(x, y) m)
y0,x0 2N 2N
其中P(x，y)代表当前预测单元中像素点所在位置， m代表该预测单元所有像素的均值，ABS表示取绝对 值，2N×2N表示当前最大编码单元LCU的尺寸，这 里最大编码单元设置为64×64。用MAD来表示一个 预测单元的复杂度，如果平坦则该值相对小，如果
HEVC编码器
CU size extension Video input Division to
CU
ADI、CIP DIF、AMVP
Large transform、ROT、MDDT
Transform/
-
Quantization/
scan
Inverse Transform/ Quantization/
测试模型中对每一种尺寸的变换块都统一采用 Chen快速DCT算法，这个不是最快的算法，但是 该算法具有很强的通用性。
loeffler等人提出的快速算法只需要11次乘法运算， 这个值已经达到理论的极限最小值，同时加法的次 数没有明显增加，该算法可以有效地提高运算速度。
Stage1
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Thanks
放映结束 感谢各位批评指导！
谢 谢！
让我们共同进步