电视原理视频压缩技

t-1 帧
130 131 129 130
t帧
MC（t-1 帧） 34/75
+ Frame
Memory
_
DCT
源视频
预测帧 (Predictive frame)
Regulator
量化(Q)
VLC coder (熵编码)
缓存 （Buffer）
反量化(Q-1)
DCT-1
++
动态补偿 (Motion Compensation)
这种方法就叫做空间分辨率和时间分辨率的交换。
如何区分静止和运动的区域？
23/75
时间冗余
连续相邻帧之间的相似性
降低 时间冗余
动态预测 和动态补偿
降低空间冗余
24/75
差值编码 （静态）
25/75
差值编码（动态）
26/75
动态补偿预测
27/75
动态补偿预测
28/75
动态预测
动态（补偿）向量 Motion vector
-1，EOB
6/75
1. 传送和解码
79,0,-2,-1,-1,-1,0,0,-1,EOB
7/75
反量化
反量化
Q
8/75
F(u,v)
逆DCT
DCT-1
f(i,j)
9/75
原图像
重建图像
压缩前：8x8x8=512bits 压缩后：31 bits 压缩比率：512/31 =16.5
10/75
(6) H.264 (7) H.265 (HEVC, High Efficiency Video
Coding) 和 3DV。
58/75
视频标准
ITU-T 会议电视和可视电话
ISO/ IEC JTC 1/SC 29/WG 11
ITU-T H.261
MPEG-1
H.261建议——“p×64 kb/s视听业务的视频
彩色图像压缩
彩色坐标转换
彩色坐标转换是要去掉数据冗余量， 不属于JPEG算 法， JPEG是独立于彩色坐标的。 压缩可采用不同坐 标(如RGB、 YUV、 YIQ等)的图像数据。
11/75
彩色图像压缩
RGB YUV
人眼对 色度 的 不敏感 降低 色度 的采样率
12/75
彩色图像压缩
4:4:4, 4:2:2, 4:2:0 X：亮度采样点 O：色度Cr, 采样点
动态
“gif” 扩展名
20/75
GIF 的压缩
减少颜色的数目 24-bit 彩色图像
224 种颜色
从中选取256种最常见的颜色
和原图中颜色更接近的颜色
每个像素 24-bit的颜色值
8-bit 的表格目录
压缩比率 3:1
21/75
运动图像的编码
帧间预测将画面分为三种区域。
(1) 背景区 相邻的帧背景区的绝大部分数据相同， 帧间相关性很强。
（u，v）
29/75
62 56 61 56 61 49 61 68 60 56 56 52 56 62 58 58 130 131 80 59 72 129 130
t-1 帧
动态预测（Motion Estimation）中什 么叫相似？
衡量的标准：
61 56 61 56 61 59 61 59 60 56 128 130 62 58 128 130
(4) 可视电话 图像分辨率为176×144， 采用ITU-T H．263建议， 码率为64 kb／s以下， 经调制解调 后， 能在现有的模拟电话线上传送活动的彩色电视电 话图像， 因此也称为极低码率的图像编码。
57/75
视频标准
(5) 高清晰度电视 图像分辨率可高达1920×1080， 具有两倍于现有标准的水平和垂直清晰度， 采用ISO MPEG-2标准， 码率约为20 Mb／s
(2) 运动物体区 若将物体运动近似看作简单的平移， 则相邻帧的运动区的数据也基本相同。
假如能采用某种位移估值方法对位移量进行“运动补 偿”， 那么两帧的运动区之间的相关性也是很强的。
(3) 暴露区 是指物体运动后所暴露出的曾被物体遮盖 住的区域。 如果存储器将暴露区的数据暂存， 则再次 遮盖后暴露出来的数据与存储的数据相同。 若画面从 一个场景切换到另一场景时， 就没有帧间相关性了。
编解码器”， 其中p=1～30。 该标准的应 用目标是会议电视和可视电话， 通常p=1， 2时适用于可视电话， p在6以上时适用于会 议电视业务。
22/75
空间分辨率和时间分辨率
人眼对静止图像分辨力较高， 在传输静止图像或 图像的静止部分时， 则要有较高的分辨率。
人眼对于图像中运动物体的分辨率随着物体运动 速率的增大而降低， 摄像器件和显示器件也有一 定的积分模糊效应。
在传输图像中的运动部分时，
可以降低这部分图像的分辨率， 物体的运动速度越高 ， 可用越低的分辨率进行传输，
帧类型
B-帧 （Bidirectional）
使用前后各一的参考帧 (I，P)产生的动态预测帧 本身不作为其他帧的参考
（H.264中已经被允许，3DV 中大量使用） 最高的压缩比率 （50：1）
45/75
传输和显示顺序
显示顺序
传输顺序
46/75
B-帧的预测
对于B-帧中某一个宏块
1. 只有正向预测 （1mv） 2. 只有逆向预测 （1mv） 3. 双向预测的均值，内差值，Interpolation，（2mvs）
与其他大部分格式刚刚相反 如果内存紧张， BMP有时候会从下到上显示出来
通常无压缩，或使用 RLE压缩 “.bmp”扩展名
19/75
GIF
1987 (GIF87) 网络图像中最常见的文件格式 经常被使用在由线条画和少部分鲜明的颜色块组
成的图画中 GIF 格式支持 8bits或小于8bits的颜色信息 GIF89a格式支持透明度
0.15 < 0.2421875 < 0.35
B
0.22 < 0.2421875 < 0.28
C
0.241 < 0.2421875 < 0.259
C
0.241 < 0.2421875 < 0.2437
A
4/75
1. 传送和解码
示例：
011 11 11011 01 00 0 00 0 00 0 11100 0 1010
17/75
每个scan 包括一个或多个segments (段)
每个段包括 一组块 每个段可以独立于其他部分解码
不会被其他段影响 克服了 bit error 的蔓延
哪些东西会造成 bit error 的蔓延 ？
18/75
BMP
只在Windows 系统中使用 从下到上保存图像信息，像素按 B/G/R排列
JPEG 文件格式
Frame header （帧的信息 ）
图像的宽和高（像素为单位）， 352x288, 800x600
彩色元素格式 RGB ，YUV
数字格式 4:2:2， 4:2:0
Scan Header（要素的头信息 ）
具体的某个要素 的身份 （R？/G？/B？） 多少bits来表达这个要素 用来量化这个要素的量化表格
计算量巨大
穷举法搜索顺序，从上到下，从左到右？
31/75
搜索顺序
螺旋搜索 （Spiral search ) x
y 例：起始点 （0，0） 第二点（0，-1） 第三点（-1，-1） (-1,0) (-1,1) (0,1) (1,1)…
32/75
n-step Hierarchical search
会议电视画面中人数少、 运动少、 背景不变， 对图 像质量的要求降低；
而电视电话图像是单人头像， 只有脸部表情的变化， 对图像质量的要求最低。
通常把图像编码分为下面几个应用层次：
(1) 标准数字电视 图像分辨率为720×576， 采用 ISO MPEG-2标准， 约8 Mb/s的码率可以达到演播 室级的图像质量要求。 地面广播时， 采用现代数字调 制技术， 可在一路8 MHz信道传送4路标准数字电视 。 56/75
熵解码 DC 系数 AC 系数
3 已知前一个块的DC系数76，本块的系数 =76+3=79
5/75
1. 传送和解码
011 11 11011 01 00 0 00 0 00 0 11100 0 1010
熵解码 DC 系数 AC 系数
Run =1, 前面有一个连续的零
Size=2， 第二组，
79，0，-2， -1，-1，-1，0， 0，
13/75
彩色图像压缩
4:2:0
最常用的色彩取样 水平方向 和垂直方向上 ，U、V的 采样率分别降为
一半 总采样点 U=V=1/4 Y 总压缩比率？
14/75
彩色图像压缩
YUV 坐标 的原始图像 (RAW)图像中，Y, U, V 以什么顺序存在？
15/75
JPEG 文件格式
16/75
电视原理
第三章 视频压缩技术 2
视频压缩技术
1
JPEG的传送和解码
2
彩色图像压缩
3
动态预测和视频压缩
4
视频标准
2/75
1. 传送和解码---熵解码
Huffman Coding 1 0 0 0 0 0 0 1 0 … B CCA
3/75
1. 传送和解码---熵解码
Arithmetic: 0.2421875 - 0.0011111 (7bits)
t帧
30/75
动态预测的搜索方法
穷举法 (exhaustive search, brute-force)
搜索范围内所有的位置
t-1 帧
t帧
块大小：NxN 搜索半径：D 搜索的点数：(2D+1)2 ， 计算(2D+1)2次 代价函数 SAD
每个代价函数的计算量：N2个减法， N2个绝对值， N2-1个加法
t帧
动态补偿 (Motion Compensation)
t-1 帧 Frame Memory
动态向量(mv)
动态预测 (Motion Estimation)
t-1 帧
36/75
视频编解码器
37/75
编码：第一帧Байду номын сангаас
38/75
编码：第二帧
39/75
编码：第三帧
40/75
解码：第一帧
41/75
解码：第二帧
52/75
片层
一系列连续的宏块 提供弹性：
不同的块可改变编码参数
针对给定的目标比特率优 化图像质量
控制比特率(bit rate)
53/75
序列层和图像组层
54/75
视频码流句法结构(syntax)-六层
55/75
电视视频标准的分类和发展
不同应用场合对图像质量要求是不同的，
数字电视要播出新闻、 体育比赛、 文艺节目， 对图 像的质量要求很高；
42/75
解码：第三帧
43/75
帧类型
I 帧 （Intra） (第一帧)
不参考其他图像，自身独立编解码 提供access points 压缩比率中等 10：1 （MPEG-1）
P帧 （Predicted）(第二、三帧)
参考其他I-帧、P帧 也被用作其他帧的参考 压缩比率大概20：1
44/75
Frame Memory
动态预测 (Motion Estimation)
动态补偿向量 (Motion Vectors)
35/75
+
t帧 _
动态预测
输入：当前帧 t，参考帧 t-1 输出：动态向量(mv)
MC(t-1 帧) 动态补偿
输入：参考帧 t-1，动态向量 mv
输出：t-1 的补偿帧 MC(t-1 帧)
快速，计算量小 陷入局部最优，而达不到全局最优
33/75
动态补偿（Motion Compensation）
62 56 61 56 61 49 61 68 60 56 56 52 56 62 58 58 130 131 80 59 72 129 130
61 56 61 56 61 59 61 59 60 56 128 130 62 58 128 130
视频标准
(2) 会议电视： 图像分辨率为352×288， 采用 ITU-T H.261建议， 码率为P×64 kb／s(P=1～ 30)， 属中、 低速码率的图像压缩。 一般认为， 码 率为384 kb／s(P=6)以上时， 图像质量才比较满意 。
(3) 数字影碟机等 图像分辨率为352×288， 国际标 准为MPEG-1， 码率为1.5 Mb／s， 其中约1.2 Mb ／s用于图像， 其余用于声音和同步。
47/75
动态向量（MV）的编码
Motion Vectors
相邻宏块的动态向量高度相关 在很多标准里，“宏块”都是做动态预测的单位
如果需要，也可以优化到“块”为单位 编码MV的差值：利用变长编码（Variable Length
Code）
t-1 帧
t帧
48/75
视频码流句法结构(syntax)-六层
Sequence Layer
序列层
GOP Layer
Group of Pictures 图像组层
Picture Layer
图像层
Slice Layer
片层
Macroblock Layer
宏块层
Block Layer
块层
49/75
宏块层和块层
50/75
宏块层和块层
51/75
图像层和片层