第五章序列图像编码及运动估计
第5章 图像编码(第2讲)
数字图像处理学第5章图像编码（第二讲）5. 4 统计编码高效编码的主要方法是尽可能去除信源中的冗余成份，从而以最少的数码率传递最大的信息量。
冗余度存在于像素间的相关性及像素值出现概率的不均等性之中。
对于有记忆性信源来说首先要去除像素间的相关性，从而达到压缩数码率的目的。
对于无记忆性信源来说，像素间没有相关性，可以利用像素灰度值出现概率的不均等性，采用某种编码方法，也可以达到压缩数码率的目的。
这种根据像素灰度值出现概率的分布特性而进行的压缩编码叫统计编码。
5.4.1 编码效率与冗余度5.4.2几种常用的统计编码法5.4.1 编码效率与冗余度为了确定一个衡量编码方法优劣的准则，编码效率冗余度设某个无记忆信源共有Ｍ个消息，记作。
其中消息各自出现的概率分别为。
可把这个信源用下式表示{}u u u u M123,,,, {}p p p p M 123,,,, X u u u u p p p p M M =⎧⎨⎩⎫⎬⎭123123,,,,,,,, (5—22)根据该信源的消息集合，在字母集中选取符号进行编码。
一般情况下取二元字母集A {1, 0}。
通常，这一离散信源中的各个消息出现的概率并不相等。
根据信息论中熵的定义，可计算出该信源的熵如下式：A a a a a n {,,,}123ia i M i P P X H log 1∑=-=)((5—23)式中H (X )代表熵，P i 代表第i 个消息出现的概率。
例如，设一离散信源如下X u u u u =⎧⎨⎪⎩⎪⎫⎬⎪⎭⎪123412 14 18 18 由式(5—23)可算出该信源的熵H X p p i i i()log =-=∑142=----=1212141418181818742222log log log log 比特/消息设对应于每个消息的码字由N i 个符号组成。
也就是说每个消息所对应的码字长度各为N i 。
那么，每个消息的平均码长可用下式表示ii M i N P N ∑=-=1(5—24)式中代表平均码长，Ｍ为信源中包含的消息的个数，Pi 为第i个消息出现的概率，Ni为第i个消息对应的码长。
图像序列分析
1 图像序列分析1.1 运动估计图像序列时空变化的一个重要起因为运动，包括摄像机运动和场景中的物体运动。
这种三维运动通过投影到图像平面，形成二维运动，常常称为表观运动（apparent motion ），有时也称为光流（optical flow ）。
如何从视频序列的图像灰度和颜色信息估计出这个二维运动，即基于图像序列的运动建模和计算，是图像序列分析的重要内容之一。
在视频处理与压缩以及计算机视觉中都有着重要的应用，例如在视频处理中，运动信息广泛用于运动补偿（motion-compensated ）采样（制式转换）、滤波（去噪）、复原（去模糊）等。
首先，我们必须确定有关运动估计问题中的三个方面：1. 模型选择：运动的表示及其支撑域（region of support ）、观测模型，以及运动边缘与遮挡等建模。
运动表示的核心为运动场的模型参数化，这些模型及其参数的选择往往与应用及场景对象有关2. 估计准则：即运动估计中模型参数的优化准则，其形式多样，如最简单的为关于块的均方误差，更为复杂的包括贝叶斯准则或框架、马尔可夫随机场模型等3. 搜索策略：即优化过程或方法，可以是确定性的或随机的。
最简单的确定性方法有穷举方法和松弛迭代方法，另外还有条件迭代（iterated conditional modes – ICM ）和最高置信优先（highest confidence first - HCF ）方法；典型的随机方法为模拟退火（simulated annealing – SA ）等下面我们按问题的这三个方面进行探讨。
1.1.1 模型选择1.1.1.1 运动的表示考虑一个物体点在三维空间中运动，设其在时刻t 的位置（摄像机坐标系）为X (t )=(X (t ),Y (t ),Z (t ))∈ℜ3，三维运动轨迹为一条四维时空曲线(X (t ),t )，对于任意两个时刻t 和τ的物体点三维位移为D t ,τ(X )= X (τ)- X (t )。
第五章 序列图像编码及运动估计
选择预测的起点的预测方法
基于SAD值的起点预测方法 分别求出当前块与相邻块间的SAD值，选取SAD值最 小的块的运动矢量作为预测值 预测精度高，但计算SAD值的时间开销大 利用相邻块和相邻帧对应块的运动矢量来预测当前 块的搜索起点 如在H.263中使用三个相邻块的运动矢量的中值作 为当前块运动矢量的预测 基于相邻运动矢量相等的起点预测方法 若当前块的各相邻块的运动矢量相等，则以其作为 当前块运动矢量的预测值； 若不相等，使用方法1求当前块与相邻块间的SAD 值，选SAD值最小的块作为预测起点
运动估计与运动补偿预测基本概念
相邻帧间的主要变化是由于构成景物的各物体 的运动引起的。 运动估计 将活动图像分为若干局部结构，检测出每个 局部结构在前一帧图像中的位置，从而可以估 计出这个结构的位移，用运动矢量表示。 运动补偿 由位移的估值建立局部结构在不同帧的空间 位置对应关系，用前一帧图像中的对应部分对 当前帧中的局部结构进行预测。
匹配准则
最小绝对值差
1 MAD(d x , d y ) = MN
∑ ∑ I (x, y ) − I (x + d
y =0 x =0 k k −1
N −1 M −1
x
, y + dy )
最小均方误差
1 MSE (d x , d y ) = MN
∑ ∑ [I (x, y ) − I (x + d
N −1 M −1 y =0 x =0 k k −1
第五章 序列图像编码及 运动估计
中国矿业大学信电学院
序列图像编码及运动估计
概述 视频编码中的一些概念 二维运动估计 采用时间预测和变换编码的视频编码
序列图像编码概述
序列图像： 指电视信号或视频信号，经过数字化后 即为数字视频信号。 一个沿时间分布的图像序列。 编码要点： 与静止图像相比，对数字化的序列图像 编码，需要多考虑一个变量：时间；
运动估计综述
通信082 通信082 2010.5.6
一、基本概念
视频序列图像在时间上存在很强的相关性，采用运动估计和运动 补偿技术可以消除时间冗余以提高编码效率，这种技术广泛用于视 频压缩的一些国际标准中，如H.261/263/264、MPEG-1/2/4。
那什么是运动估计呢？ 那什么是运动估计呢？
四步法
反复使用5×5方形模 板进行搜索。模板中心处 SAD值最小时再用3×3 模板搜索一次确定最佳匹 配位置。
菱形法
搜索方式与四步法类 似，只是搜索模板换为两 个菱形模板。
六边形法
搜索方式与菱形法类 似，只是大搜索模板换为 一个六边形模板。
五、固定模式搜索法的缺点
•没有利用图像本身的相关信息，不能根据物体运动 的剧烈程度自适应的改变搜索起点和搜索半径。 •以菱形法为例，对背景图像，也要经历从大模板到 小模板的转换过程，至少需要13个搜索点，搜索速 度还有待改进。 •对于运动剧烈的图像，从原点开始搜索时，要经过 多次搜索才能找到匹配点，搜索点过多，且容易陷 入局部最优点。
2） 三步搜索法 ） 第一步，在起始点和周围八个 “1”标出 的点上计算匹配误差，如果最小匹配误 差在起始点出现，则认为没有运动； 第二步，以第一步中匹配误差最小的点 为中心，计算以“2”标出的 8个点处的 匹配误差。 第三步以后就能得到最终的估计结果， 这时从搜索点到中心点的距离为一个像 素。
4 、分级搜索范围（DSR）算法 分级搜索范围（ ）
3、快速搜索算法 、
快速搜索算法和全局搜索算法相比，虽然只能得到次最佳 的匹配效果，但在减少运算量方面效果显著。 1） 二维对数搜索法 ） 这种算法的基本思路是采用大菱形搜索模式和小菱形搜索 模式，从相应于零位移的位置开始搜索，每一步试验菱形排列 的五个搜索点。 下一步，把中心移到前一步找到的最佳匹配点并重复菱形 搜索。当最佳匹配点是中心点或是在最大搜索区域的边界上时， 就减小搜索步长（菱形的半径）否则步长保持不变。当步长减 小到一个像素时就到达了最后一步，并且在这最后一步检验九 个搜索点。初始搜索步长一般设为最大搜索区域的一半。 其后这类算法在搜索模式上又做了比较多的改进，在搜索 模式上采用了矩形模式，还有六边形模式、十字形模式等等。
第5章图像编码
5.2.1 客观保真度准则
当图像编解码所损失的信息量可以用编码输 入图像与解码输出图像的某个确定的函数表示时， 一般说它基于客观保真度准则。通常使用的客观 保真度准则有输入图像和输出图像的 均方误差（MSE）； 均方根误差； 峰值信噪比(PSNR: Peak Signal Noice Ratio）
e(x, y) g(x, y) f (x, y)
(5-1)
22 2019/6/11
而包含 MxN 像素的图像之均方误差为
M 1N 1
e2 1 MN
e2(x, y)
x0 y0
M 1N 1
1 MN
[g( x, y) f ( x, y)]2
x0 y0
由式(5-2)可得到均方根误差为
8 2019/6/11
• 第二代编码方法多是20世纪80年代以后提出的新的编 码方法，如金字塔编码法、Fractal编码、基于神经元 网络的编码方法、小波变换编码法、模型基编码法等。 现代编码法的特点是： ①充分考虑人的视觉特性； ②恰当地考虑对图像信号的分解与表述； ③采用图像的合成与识别方案压缩数据率。
从光度特征出发可分为单色图像、彩色图像和 多光谱图像编码。
从灰度层次上分可以分为二值图像和多灰度图 像编码。
15 2019/6/11
按照信号处理形式可分为模拟图像编码和数字图像编码。 从处理维数出发可以分成行内编码、帧内编码和帧间编
码。 从信源编码的角度来分类，图像编码大致可分为匹配编
L-1 为图像彩色分量取值的峰值，通常对于8 bit 精
度彩色分量的图像，L=256。
24
2019/6/11
---------------- Average data all frames -----------
图像编码中的运动估计方法探讨(五)
图像编码是一种将图像数据转换为可传输或存储的压缩格式的技术。
在图像压缩中，运动估计是一个关键的步骤，它通过分析图像中连续帧之间的运动来减少冗余。
本文将讨论图像编码中的运动估计方法。
一、传统方法在过去的几十年里，许多传统的运动估计方法被提出。
其中，块匹配算法是最常用的一种方法之一。
该方法将图像划分为一系列小块，然后在前一帧中搜索与当前块最相似的块。
通过计算块之间的差异来获得运动矢量。
然而，这种方法在处理高运动图像时存在一些问题，比如运动模糊和遮挡。
为了克服这些问题，一些改进的方法被提出，比如多尺度方法和分层方法。
多尺度方法通过在不同尺度上进行运动估计来更好地处理运动模糊。
分层方法通过将图像分解为不同的层级来处理遮挡问题。
二、基于区块的方法除了传统的方法外，基于区块的方法是另一种常用的运动估计方法。
该方法将图像划分为连续的区块，并使用特征点来表示每个区块。
然后，通过比较特征点之间的位置差异来估计运动。
该方法可以更准确地捕捉到图像中的细微变化。
三、基于光流的方法基于光流的方法是一种更先进的运动估计方法。
它基于图像中的亮度变化来计算运动矢量。
该方法可以在连续帧之间建立起像素之间的关联，并将其转化为表示相对运动的光流向量。
然而，由于光流的计算复杂性，基于光流的方法在实时图像编码中的应用相对较少。
尽管如此，很多研究人员仍在不断改进光流算法的性能，使其更加实用和有效。
四、深度学习方法随着深度学习的发展，越来越多的方法开始使用卷积神经网络（CNN）来进行图像编码中的运动估计。
这些方法通过训练神经网络来学习图像中的运动模式，然后使用网络来预测运动矢量。
与传统方法相比，深度学习方法具有更高的准确性和泛化能力。
然而，深度学习方法也存在一些挑战。
首先，需要大量的训练样本来训练网络。
其次，网络的计算复杂性限制了实时应用。
此外，深度学习模型的可解释性也是一个重要的问题。
五、结论总的来说，图像编码中的运动估计是一个复杂的任务，并且有许多不同的方法可以用于实现。
第5章-图象编码技术2
ˆ ( x, y) f ( x, y) e( x, y) f
erms
1 M 1 N 1 ˆ 2 1/ 2 [ [ f ( x , y ) f ( x , y )] ] MN x 0 y 0
16
b. 压缩-解压缩图的均方信噪比SNR
ˆ ( x, y) / ˆ ( x, y) f ( x, y)]2 ]1/ 2 SNRrms f [ f
I (E) log P(1E ) log P(E)
I（E）是E的自信息。如果对数的底数为2，信息的单位为比特。 一幅图象可以看做一个具有随机离散输出的信源，此信源可以从一个 有限的符号集中产生一个随机符号序列。 信源符号集： B {b1 , b2 ,...,bJ } 每个信源符号的概率是 P(bj ) 满足
24
信源输出 对
i 自信息为 log[1/ P(i )]
可以用长度为 l ( i ) 的整数码
i 编码。码长满足：
log P(i ) l (i ) log P(i ) 1
对上式乘以 P(i ) 并对i求和：
H (u' ) L'avg P(i )l (i ) H (u' ) 1
B ' {1 , 2 ,..., J n }
产生的概率
i 为其中的一个块变量（n个符号组成），信源
P(i ) P(bj1 )P(bj2 )...P(bjn )
信源的熵：
H (u' ) P(i ) log P(i ) nH (u)
i 1
Jn
可从产生n个符号的自信息考虑。
j 1 J
20
H（u）称信源的熵或不确定性。表示观察到单个信源符号输出时所 获得的平均信息量。 当信源各个符号的出现的概率相等，信源的熵最大，信源此时提供 最大可能的每个信源符号的平均信息量。 例：二元信源的熵 二元信源的符号集： B {b1 , b2 } {0,1} 设信源产生2个符号的概率分别为： P(b1 ) Pbs P(b2 ) 1 Pbs
第5章1 图像编码
图像数据的冗余
一般来说，图像数据中存在以下几种冗余：
空间冗余：图像内部相邻像素之间存在较强的相关性所造 成的冗余。 时间冗余：视频图像序列中的不同帧之间的相关性所造成 的冗余。 结构冗余：是指图像中存在很强的纹理结构或自相似性。 信息熵（编码）冗余： 视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。
*
25
第五章 图像编码 5.1.4 图像压缩编码的系统评价
在图像编码中，编码质量是一个非常重要的概念，怎样以尽可
能少的比特数来存储或传输一幅图像，同时又让接收者感到满意，
这是图像编码的目标。 对于图像编码的质量评价主要体现在基于压缩编码参数的评 价、基于保真度（逼真度）准则的评价、算法的适用范围、算法的 复杂度等四个方面。
表 几种常见应用的码率
*
14
第五章 图像编码
视觉冗余度 ：允许图象编码有一定的失真也是图象可以压缩的 一个重要原因，只要这些失真并不被人眼所察觉，在许多情况 下是完全可以接受的，这就给压缩比的提高提供了十分有利的 条件， 在多数应用中，人眼往往是图象信息的最终接收者，如果能 充分利用人眼的视觉特性，就可以在保证所要求的图象主观 质量的前提下实现较高的压缩比，这就是利用了视觉冗余度， 其实人类的视觉系统（HVS）是缺陷的，对某些失真不敏感， 难以觉察， 一个图象编码方法如果能充分利用这些特性，就可取得较好 的效果，即在复原图象主观质量较好的前提下得到较高的压 缩比。
5
*
第五章 图像编码
数据冗余：
设：n1和n2是指原始图像和编码后图像每个像素的 平均比特数 压缩率（压缩比）——用于描述图像压缩效果
CR = n1 / n2 其中，n1是压缩前的数据量，n2是压缩后的数据量
图像编码中的运动估计方法探讨(二)
图像编码是一项广泛应用于多媒体领域的技术，其主要目的是将图像数据尽可能地压缩，以减小存储空间和传输带宽的需求。
而图像编码中的运动估计方法则扮演着重要的角色，它能够在压缩图像的同时保持图像质量。
本文将就图像编码中的运动估计方法进行探讨。
首先，我们先介绍一下什么是运动估计。
运动估计是指通过对连续帧图像之间的像素差异进行分析，从而推测出物体运动的过程。
简单来说，它通过对图像序列进行分析，找出各帧图像之间的相对位移。
图像编码时，通过提取运动信息并进行合理的编码，可以显著减小编码量，提高图像压缩率。
运动估计方法的选择可以根据具体应用的需求和场景来进行。
常见的运动估计方法包括全局运动估计和局部运动估计。
全局运动估计是指对整个图像进行运动分析，然后通过将运动信息应用于整个图像来进行编码。
局部运动估计则是将图像划分为多个块，并对每个块进行个别的运动估计，从而更准确地捕捉到各个块的运动信息。
在选择运动估计方法时，还需要考虑到时间和空间复杂度的平衡。
某些运动估计方法可能具有更高的准确度，但会消耗更多的计算资源。
因此，在实际应用中，需要根据具体情况进行权衡和选择。
一种常见的运动估计方法是基于块匹配的运动估计方法。
它将图像分成许多小的块，并通过在参考帧和当前帧之间进行像素级别的匹配来估计运动信息。
具体而言，该方法通过计算两个块之间像素之间的差异，并寻找最佳匹配块来确定运动向量。
这种方法简单有效，但对于复杂场景下的大范围运动可能存在一定的局限性。
除了基于块匹配的运动估计方法，还有一些基于全局优化的运动估计方法。
常见的有光流法和相位相关方法。
光流法是指通过分析图像中亮度的变化来估计运动的方法。
它假设一个像素在两幅连续图像中的亮度值变化是由于它的运动造成的，并通过求解亮度一致性方程来推导运动向量。
相位相关方法则是利用频域相关性进行匹配估计。
这些方法在处理大范围或复杂运动时通常具有更好的效果，但计算复杂度较高。
此外，还有一些深度学习方法近年来在图像编码中的运动估计中得到了广泛应用。
图像编码中的运动估计方法探讨
图像编码是数字图像处理领域中的重要研究方向，旨在实现图像压缩和传输的高效性。
其中，运动估计方法是图像编码中的关键环节之一，它通过分析图像序列中的运动信息，寻找出相邻帧之间的位移和变化，从而实现对图像序列的压缩和重建。
本文将对图像编码中的运动估计方法进行深入探讨，并分析其在实际应用中的优缺点。
一、运动估计的基本原理运动估计是基于时间连续性假设的，它假设相邻帧之间的像素具有一定的相关性，一种常用的运动估计方法是基于块匹配的运动估计。
它将当前帧的图像块与参考帧中的相邻块进行比较，寻找出最佳匹配块，根据匹配块的位移和变化来估计当前帧中像素的运动情况。
二、全搜索算法全搜索算法是最简单直观的运动估计算法，它遍历参考帧中的所有可能块，计算每个块与当前帧中的图像块的相似度，找出最佳匹配块。
全搜索算法的优点是能够找到最精确的运动向量，缺点是计算量较大，对实时处理要求较高。
三、快速算法为了降低运动估计的计算复杂度，提高图像编码的实时性，研究人员提出了各种快速算法。
其中，采用搜索策略的剪枝方法是一种常用的快速算法。
它通过将参考图像划分为多个子块，只搜索与当前块最相似的子块，从而减少搜索范围，提高运动估计的速度。
四、运动补偿算法运动补偿算法是运动估计方法的一种应用，它利用运动估计得到的运动向量，对当前帧进行运动补偿，得到预测帧，再将预测帧与真实帧之间的残差进行编码。
运动补偿算法的优点是能够进一步降低图像编码的比特率，缺点是对快速运动或复杂场景的处理效果较差。
五、深度学习在运动估计中的应用近年来，随着深度学习的兴起，研究人员开始尝试将其应用于运动估计领域。
深度学习可以通过大量的训练数据进行参数训练，实现对复杂场景和快速运动的精确估计。
同时，深度学习结合了卷积神经网络和循环神经网络的优点，能够有效处理时序信息，提高运动估计的准确性。
六、结语图像编码中的运动估计方法是图像压缩和传输的关键环节，不同的运动估计方法具有不同的优缺点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
采样结构分类：
① 正交结构：在图像平面上沿着水平方向采样点等 间隔排列，沿垂直方向采样点上下对齐排列。 ② 行交叉结构：每行内采样点数为整数加半个。
（a）
正交结构
（b）
行交叉结构
3．数字视频的采样格式
在复合电视信号中，亮度信号的带宽是色度信 号带宽的两倍。因此其数字化时可采用对信号的 色差分量的采样率低于对亮度分量的采样率。用 Y:U:V来表示YUV三分量的采样比例，则数字视 频的采样格式有如下4种： （1）Y:U:V=4:4:4
5.2 视频信号的数字化
5.2.1 电视制式
–
帧：一段视频中的每一幅图像称为一帧。
根据视觉暂留原理，要使人的视觉产生连续的动 态感觉，每秒钟图像的播放帧数要在24～30（帧频）
帧频：每秒播放的帧数。 电视制式：即电视的播放标准（扫描分辨率、帧 频、色彩空间的转换关系不同）。
目前国际上有三种不同的电视制式:
（3）Y:U:V=4:1:1
这种方式是在每4个连续的采样点上，取4个亮 度Y的样本值，而色差U、V分别取其第一点的 样本值，共6个样本，每个像素用1.5个样本表 示。
色差信号在在水平方向上采样点数为亮度信号的
1/4，而在垂直方向上的采样点数相同。
采样格式
× × × × × × × × × ×
（2）分量数字化：从复合彩色电视图像中分离出 彩色分量的亮度和色度，得到YUV或YIQ分量，然 后用3个模/数转换器对3个分量分别进行数字化， 最后再转换成RGB空间，此种方法称为分量数字 化。 分量数字化是视频信号数字化的主流。
2．视频信号采样结构的选择
概念：
采样结构是指采样点在空间与时间上的相对位置。
色度（Cb） 144 色度（Cr） 144
5.3 视频信号编码方法
5.3.1 视频信号编码基础 一、视频信号编码的依据： 1、视频信号编码的出发点：
对于活动图像，相邻帧的时间间隔很短 (1/251/30s),在景物运动不很剧烈场合，相邻帧 间相关性很强。编码时充分利用活动图像的相邻 帧(在时间轴方向)的相关性进行预测。
① NTSC; ② PAL; ③ SECAM
1. NTSC(national television system committee),
是国家电视制式委员会的缩写。
美国研制的一种与黑白电视兼容的彩色电视制式。 帧频：每秒播放30帧画面 扫描行数（扫描分辨率）：每帧有526行像素 美国、加拿大、日本、韩国、菲律宾、台湾等
SECAM编码解码方式与PAL制式完全不同。
SECAM是一种顺序同时制。是采用错开传输时 间的方法（时分原则）来避免串色以及造成的 彩色失真。
SECAM制式优点： 传输失真对色度信号影响小，大面积彩色图像几乎 不受微分增益和微分相位失真的影响，受传输通道 频率特性和多径接收的影响也不大。
不同电视制式的技术指标
使用非隔行扫描（Non-Interlaced Scan）。
使用NTSC帧速率，电视图像的最大帧速率为30 000/1001≈29.97幅/秒。
下表是CIF、QCIF和SQCIF图像格式参数。
CIF 行数/帧 亮度（Y） 288 像素/行 360(352) 180(176) 180(176) QCIF 行数/帧 144 72 72 像素/行 180(176) 90(88) 90(88) SQCIF 行数/帧 96 48 48 像素/行 128 64 64
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
4:1:1采样格式
×表示亮度Y采样点
○
表示色度UV采样点
（4）Y:U:V=4:2:0
4:2:0子采样格式是指分别在水平和垂直方向 上每2个连续的采样点上取2个亮度Y样本、1 个红色差Cr样本和1个蓝色差Cb样本，平均每 个像素用1.5个样本表示。
色差信号分别在水平方向和垂直方向上采样点 数为亮度信号的1/2。
第五章 序列图像编码及运动估计
中国矿业大学 信电学院
主要内容
5.1 概述
5.2 视频信号的数字化
5.3 二维运动估计 5.4 采用时间预测和变换编码的视 频编码
5.1 概述
概念：活动图像信号，也称为数字序列图像或连
续帧图像，指由多幅尺寸相同的静止图像组成的图 像序列。例如数字化后的电视或视频信号。
2、视频信号编码的依据：
依据1：从信源角度看，自然景物大多都处于相 对不变或缓变状态，为帧间相关性存在前提条件。
帧间预测典型情况：可视电话图像 可视电话图像内容通常为一个细节不十分复杂 背景前，有一个活动量不大的单个人物的头-肩像。 假定人位置在 第k帧与第k-1 帧相比有一定 x方向位移,可 将画面分为3 个各具特点区 域： 背景区、运动物体区、暴露区
4.5
6.5
6.5
5.2.2 视频信号的数字化
1．视频信号数字化方法分类
（1）复合数字化：先用高速模/数转换器对彩色全 电视信号进行数字化，然后在数字域中进行分离亮 度和色度，以获得所希望的YUV（PAL，SECAM 制 ） 分 量 或 YIQ （ NTSC 制 ） 分 量 ， 最 后 转 换 成 RGB分量数据。此种方法称为复合数字化。
× × × × ×
× × × × ×
× × × × ×
× × × × ×
× × × × ×
× × × × ×
××Leabharlann ××××
4:4:4采样格式
×表示亮度Y采样点
○
4:2:2采样格式
表示色度UV采样点
（2）Y:U:V=4:2:2
这种方式指在每条扫描线上，在每4个连续的采样 点上，取4个亮度Y的样本值，而色差U、V分别取 其第一点和第三点的样本值，共8个样本，平均每 个像素用2个样本表示。这种方式能给信号的转换 留有一定余量，效果更好一些。 这是通常所用的方式，每4个连续的采样点取4个 亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样 本，结果相当于平均每个像素用2个样本表示。 色度信号在水平方向上采样点数为亮度信号的一 半，而在垂直方向上的采样点数相同。
（4）CIF、QCIF和SQCIF
为了兼容625行的电视图像和525行的电视图像， CCITT 定 义 了 公 用 中 分 辨 率 格 式 CIF （ Common Intermediate Format ） ， 1/4 公 用 中 分 辨 率 格 式 （ Quarter-CIF ， QCIF ） 和 （ Sub-Quarter Common Intermediate Format，SQCIF）格式。 CIF格式具有如下特性： 电视图像的空间分辨率为352×288。
采样格式
4:2:0采样格式
MPEG1、H.261支持
4:2:0采样格式
MPEG2支持
○
×表示亮度Y采样点
表示色度UV采样点
扫描方式小结
电视图像既是空间的函数，也是时间的函数，
而且又是隔行扫描式，所以其采样方式比扫描
仪扫描图像的方式要复杂得多。分量采样时采
到的是隔行样本点，要把隔行样本组合成逐行
帧频：每秒播放25帧画面 扫描行数（扫描分辨率）：每帧有625行像素 西欧国家、新加坡、澳大利亚、中国大陆以及香 港等
PAL制式基本原理：
采用逐行倒相正交平衡调幅的色度信号，解 调时先经过逐行梳状滤波器将色度信号分离 后再同步检波；最后利用视觉平均作用补偿 小幅度串色所引起的彩色偏差。
指在每条扫描线上在水平和垂直方向上每4个连 续的取样点取4个亮度Y样本、4个红色差Cr样本 和4个蓝色差Cb样本，相当于每个像素包含3个 样本。即对每个采样点，亮度Y、色差U和V各取 一个样本，也就是每个像素用3个样本表示。
采样格式
× × × × ×
×
×
× × × × ×
×
×
× × × × ×
× × × × ×
TV制式
帧频/Hz 行/帧 亮度带宽/MHz 彩 色 幅 载 波 /MHz 色度带宽/MHz 声音载波/MHz
NTSC
30 525 4.2 3.58
1.3(I)，0.6(Q)
PAL
25 625 6.0 4.43
1.3(U)，1.3(V)
SECAM
25 625 6.0 4.25
>1.0(U)， >1.0(V)
其中的每幅静止图像称为一个帧。 活动图像与静止图像相比，可以认为多了一个 时间轴，成为三维信号，因此活动图像也被称为三 维图像。 活动图像都是一帧一帧地传输，看作一个沿时间轴 分布的图像序列，统称为序列图像。 这里主要讨论序列图像中的视频图像的压缩编码
视频图像压缩编码分类：
帧内编码：也称为空间压缩。利用每幅(单帧) 图像内部的相关性进行帧内压缩编码。当压缩一 帧图像时，仅考虑本帧的数据而不考虑相邻帧之 间的冗余信息。帧内一般采用有损压缩算法。压 缩后的视频数据仍可以以帧为单位进行编辑。帧 内压缩一般达不到很高的压缩。 帧间编码：也称为时间压缩。利用时间轴上相 邻帧之间的相关性(前后两帧信息变化很小)进行 帧间压缩编码。帧间压缩一般是无损的。 混合编码：为不同的编码方法组合在一起相结 合的编码方法。如变换编码和帧间预测编码。
NTSC制式优点：
在信号传输无失真情况下，具有比较高彩色图 像质量；兼容性好；重现的彩色图像无明显的 “爬行”和亮度闪烁现象；较易于实现信号处 理；色度信号的形成和分离都比较简单。 2. PAL(Phase Alternation Line),
是相位逐行交替的缩写。西德在1962年研制的一 种与黑白电视兼容的彩色电视制式。