图像与视频编码技术

隔行VOP
top_field_first=0
逐行VOP
2.3.2 MPEG-4视频传输结构
编码输入端/显示端
1 I 2 B 3 B 4 P 5 B 6 B 7 P 8 B 9 B 10 I 11 B 12 B 13 P
编码输出/解码输入端
1 I 4 P 2 B 3 B 7 P 5 B 6 B 10 I 8 B 9 B 13 P 11 B 12 B
（2）NTSC信号（525行/帧, 30帧/秒, 60场/秒 ） 亮度信号: 858点/行,像素采样率为13.5Mhz 色度信号： 429点/行,像素采样率为6.75Mhz
2.2 视频传输格式
2.2.1 CCIR-601视频信号标准
电视制式
分辨率
帧 率
NTSC
720×480
30
PAL、SECAM
720×576
2.1.2 视频采样格式
1）视频概述 （1）视频信号： 由多个图形和图像平面按照时间顺序排列构成的 有序图像序列。
（2）视频制式与扫描方式
信号制式： 扫描方式： PAL、NTSC、SECAM 逐行/隔行
（3）视频信号采样
Y:U:V（4:4:4,
PAL
216Mbps,
4:2:2, 162Mbps
4:2:0） 162Mbps
VBI内V和F
XY.0中的控制比特
2.2.2 CCIR-656视频信号标准
2.2.3
ITU-656与ITU-60标准关系
PAL 625/50视频系统H信号
NTSC 525/60视频系统H信号
SAV和EAV控制字节定义
SAV和EAV的状态字节定义
525/60视频系统有效视频和空闲分配图
2）视频信号采样
YUV 4:2:2采样格式
YUV 4:1:1采样格式
YUV 4:2:0采样格式
视频采样结构:
0 和255用于同步，1到154用于视频 对于亮度： 16 = black, 235 = white 对于色度： 128 = no chrominance
3）数字视频信号
（1）PAL制信号（625 行/帧,25帧/秒,50场/秒 ） 亮度信号: 864点/行,像素采样率为13.5Mhz 色度信号： 432点/行,像素采样率为6.75Mhz
3.3、数据压缩方法分类
压缩编码方法分： 无损压缩法：信息无损失 有损压缩法：信息有损失
3.4、统计编码方法
3.4.1信息量和信息熵 1）事件的信息量： I(xj)=-log2P(xj) HH (x ) (X ) 2）信源的信息熵：
H(X) E{I(Xj )} p(xj )log2 p(xj )
2.1
1)
图像与视频表示
位图 又称点阵图，利用每个位置象素的颜色表示图像的方法
2.1.1 图像数据格式
2）矢量图 矢量图（图形）是指利用参数表示的直线、圆、圆弧、 任意曲线和图表等画面
3) 矢量图与位图的比较 (1) 概念上： 矢量图（图形）一般指计算机绘制的画面，如直 线、圆、圆弧、任意曲线和图表等 图像是指由输入设备捕捉的实际场景画面或以数 字化形式存储的任意画面。
3.2、数据压缩技术评价方法
1）数据压缩比Cr = 压缩前比特数/压缩后比特数 2) 视频图像质量 （1）残差图像统计特性分析 （2）峰值信噪比PSNR
PSNR 10 log 10(
255 * 255 1 * M *N (X ij X ij )2
'
)
（3）人的视觉主观评价方法 3) 实现的实时性
1.2 图像与视频压缩的基本技术
1）图像与视频压缩技术定义： 数据压缩就是一种研究如何通过计算机数 据处理，去掉庞大数据中的冗余信息，即空域灰 度冗余、时域灰度冗余、统计熵冗余、结构冗余 和视觉敏感冗余等，保留相互独立的信息分量的 一门技术。
2）图像与视频压缩技术的基础
（1）编码的熵冗余 适用范围是信源码字概率分布具有很强的不均匀性 典型的方法：Huffman编码、算术编码、行程编码 （2）空域灰度冗余 适用范围是空域相邻像素灰度分布具有很强的相关性 典型的方法：预测编码、变换编码 （3）时域灰度冗余 适用范围是时域相邻像素灰度分布具有很强的相关性 典型的方法：运动补偿编码 （4）视觉敏感冗余 适用范围是像素灰度的变化不被视觉所察觉 典型的方法：系数量化
PAL信号场同步分布
对于NTSC制信号(525行/60Hz) H信号
1)在第1场API有效视频期间（场有效V=0）H信号 2)在第1场VBI无效视频期间（场无效V=1） H信号 3)在第2场API有效视频期间（场有效V=0）H信号 4)在第2场VBI无效视频期间（场无效V=1）H信号
NTSC信号场同步分布
第二章
2.1 2.1.1 2.1.2 2.1.3 2.2 2.2.1 2.2.2 2.2.3 2.3 2.3.1 2.3.2
图像与视频信息的获取与表示
图像与视频表示 图像数据格式 视频采样格式 视频信号制式 视频传输格式(数字视频信号标准) CCIR-601视频信号标准 CCIR-656视频信号标准 ITU-656与ITU-601标准关系 MPEG-4标准视频格式 MPEG-4视频采样结构 MPEG-4视频传输结构
3）今后的新动向
20世纪90年代中后期，Internet迅猛发展，无线通信也迅速在全球普 及。 (1) 标准的发展 JPEG2000( ROI )、MJPEG MPEG-4（对象编码） 低带宽,主要应用于视频会议 H.264 + MPEG-4 AVC=> JVT,AVS (2)应用的发展 视频和图像编码的目标从传统的面向存储变为现在的面向传输，面 临的问题是误码问题和带宽变化问题。 可扩展性编码的方法就是将视频和图像数据压缩编码成多个流，其 中一个可以独立解码，它称为基本层码流；其它的码流称为增强层，它 们不可以单独解码，而只能与基本层和它以前的增强层联合在一起解码， 用来提高观看效果。 可扩展性编码主要分为时域可扩展性编码、空域可扩展性编码和质 量可扩展性编码。在这些策略中，编好的码流可以按层为单位截断，具 有一定的网络带宽适应能力。
2.3 MPEG-4标准视频格式 2.3.1 MPEG-4视频采样结构
4:2:0格式亮度和色度样本的位置
4:2:0格式隔行和逐行VOP采样结构
To p Field B o tto m Field
B o tto m Field To p Field
Frame
tim e
tim e
time
隔行VOP
top_field_first=1
4:2:0格式宏块的结构
0 2 Y
1 3
4 Cb
5 Cr
帧DCT编码时亮度宏块结构
场DCT编码时亮度宏块结构
第三章
图像与视频数据压缩编码技术
3.1、图像与视频压缩基础:
1） 存在如下冗余：空域相关、时域相关、 视觉掩盖效应 2） 基本对策：
数据变换：帧内预测、帧间预测、DCT变换、 KLT变换、DWT变换、ZigZag扫描 统计编码：行程编码、Huffman编码 和算术编码等
1.3 图像与视频压缩系统的组成
1）计算与处理硬件系统 ASIC、DSP、CPU 2）图像与视频捕获硬件 输入接口、视频AD和解码器 3）图像与视频输出硬件 视频DA、编码器和输出接口 4）计算机操作系统软件 VxWork，Nuclus，Linux 5）图像与视频压缩软件 MPEG-2、MPEG-4、H.264、AVS
1.1.2 图像与视频压缩技术的发展过程及应用
1）初期的发展阶段 信息熵保持编码： 无失真，但压缩比低（几倍） 视觉保持的编码： 有失真，但压缩比高（几~几十倍） 2）技术标准化阶段 ISO和ITU组织对视频和图像编码技术研究的成果进行了收集、整理、 综合和加工，形成了面向存储和传输的两大国际标准系列： ISO: JBIG（10:1）、JPEG MPEG-1， MPEG-2 1.5Mbps 2-15Mbps ITU: H.261、 H.263 64Kbps 低码率 这些标准的算法主要由四类技术混合构成，即运动补偿、正交变换、 量化和熵编码，代表了20世纪90年代中前期视频和图像编码的研究水平。
(2) 存储容量大小
图像是由一些排成行列的像素组成的，在计 算机中的存储格式有BMP、TIF、GIFD等。一般数 据量比较大。除了可以表达真实的相片，也可以 表现复杂绘画的某些细节，具有灵活和富于创造 力等特点。在打印输出和放大时，容易发生失真。
矢量图文件中只记录生成图的算法和图上的 某些特征点，容易进行移动、缩放、旋转和扭曲 等变换，主要用于表示线框型的图画、工程制图、 美术字等。 常用的矢量图文件有3DS（用于3D造型）、 DXF（用于CAD）、WMF（用于桌面出版）等。图形 只保存算法和特征点，相对于位图的大数据量来 说，它占用的存储空间也比较小。但是显示速度 没有图像快，打印输出和放大时，质量较高不会 发生很大失真。
25
ITU-601标准信号输出引脚定义
引脚名称 VD[15..0] VSYNC HSYNC DVALID FIELD PCLK
ቤተ መጻሕፍቲ ባይዱ
类型 输出 输出 输出 输出 输出 输出
信号电平 TTL TTL TTL TTL TTL TTL
信号定义 YUV数据线 垂直同步信号，高有效 水平同步信号，高有效 视频数据有效状态，低有 效 奇偶场指示信号，0为偶数 场 像素时钟信号
图像与视频编码技术
目 录
第一章 第二章 第三章 第四章 第五章 图像与视频压缩技术概述 图像与视频信息的获取与表示 图像与视频数据压缩编码技术 图像与视频数据压缩编码标准 压缩编码硬件及软件系统结构
参考文献
[1] 钟玉琢、王琪、贺玉文编著 《基于对象的多媒体数据压缩编码国际标准》， 科学出版社 [２] [美]Jerry D.Gibson著,李煜晖等译 《多媒体数字压缩原理与标准》, 电子工业出版社 [3] 吴玲杨,老松杨,魏迎梅 编著 《多媒体技术》, 电子工业出版社
GND
地
地
信号地
CCIR Rec. 601 数字电平
数字与模拟信号对应关系
EAV和SAV数据流定时
SAV和EAV数字同步信号结构
F = 0 for first field，1 for second field; V = 0 or 1 ( in VBI - vertical blanking interval) H = 0 in SAV, 1 in EAV; P0, P1, P2, P3 见下表
625/50视频系统有效视频和空闲分配图
ITU-656数据和ITU-601数据对应表
PAL制信号(625行/50Hz) H信号
1)在第1场API有效视频期间（场有效V=0）H信号 2)在第1场VBI无效视频期间（场无效V=1） H信号 3)在第2场API有效视频期间（场有效V=0）H信号 4)在第2场VBI无效视频期间（场无效V=1）H信号
第一章
图像与视频压缩技术概述
1.1 图像与视频压缩技术的形成和发展 1.1.1图像与视频压缩技术概述 1）图像与视频定义 图像是客观世界能量或状态以可视化形 式在二维平面上的投影。 视频是沿时间轴连续采样得到的图像的 有序序列。
2）图像与视频压缩的必要性和可能性
必要性：数据量大引起了存储容量和传输带宽存在瓶颈 数字电视信号： （1） SIF格式NTSC制彩色4:4:4采样视频信号 每帧数据量：352X240X3=253KB 每秒数据量：253X30=7.603MB/s 一张CD-ROM存节目时间：650/7.603/60=1.42分 （2）CCR格式PAL制彩色4:4:4采样视频信号 每帧数据量：720X576X3=1.24MB 每秒数据量：1.24X25=31.3MB/s 一张CD-ROM存节目时间：650/31.3/60=20.9秒 陆地卫星Landsat-3 一幅图数据量：2340行X3240列X7位X4波段=212MB 每天图数据量：212MBX30幅/天=6.36Gb 可能性：信源数据存在极强的相关性
3）图像与视频压缩技术的分类与评价
（1）方法分类 无损压缩: 能无失真恢复原始数据 有损压缩: 能视觉近无失真恢复原始图像 （2）评价指标 衡量数据压缩技术优劣的指标： 压缩比Cr: 原始数据比特数/压缩后数据比特数 恢复效果: PSNR、主观质量 处理速度：每秒能完成编解码处理的帧数 是否可实现： 在限定的体积、功耗、成本和工艺条件下，是否可行