第三章 数字视频采集

3.1 图像的视觉基础
（a） （a）(
(b)
f x ，f y
图3.2 二维正弦信号 ) = ( 5,0 ) （b）( f x ， f y ) = ( 5,10 )
3.1 图像的视觉基础
2、角频率 = 由于所感知的信号变化速度随着观察距 离而增加，所以空间频率在衡量图像亮度变 化快慢上并不准确，更有用的频率测量是根 据每观测角度的周期数来衡量即角频率。角 频率并不只是信号本身的表征，它是由信号 的空间频率和观测条件二者共同决定的。
3.1 图像的视觉基础
2、图像分辨率
图像分辨率是指组成一幅图像的像素密度 的度量方法，一般用图像水平和垂直的像素数 目表示。对同样大小的一幅图像，如果组成该 图像的像素数目越多，则说明图像的分辨率越 高，看起来越逼真；相反，图像显得越粗糙。 图像分辨率与显示分辨率是两个不同的概念。 图像分辨率是确定组成一幅图像的像素数目， 而显示分辨率是确定显示图像的区域大小。
其中称 f 为角频率，单位为周期/度， 或cpd。
3.1 图像的视觉基础
3、时间频率 对于一维时间函数，时间频率表示一维 信号每秒的周期数。对于二维帧组成的视频 信号，时间频率是由二维空间位置决定的。 对于一个固定的二维位置（x,y），时间频 率定义为每秒周期数，单位用Hz表示。视频 信号的最大时间频率是指在成像区域内所有 点的时间频率的最大值。
3.1 图像的视觉基础
图3.4
视频图像时间频率示意图
3.1 图像的视觉基础
四、人眼的视觉特性 1、由于人眼对亮度响应的非线性特性，在 频率亮度大的区域，人眼对灰度误差不 敏感，在这些区域量化时可粗糙些。 2、人眼对亮度信号的空间分辨率大于对色 度信号的空间分辨率，所以在对色度信 号编码前先进行空间亚抽样，以提高压 缩比。
e(n)
=
ˆ x(n) x(n)
3.3 视频信号的量化
7/2 △ 5/2 △ 3/2 △ -4△ -3△ -2△ 1/2 △ -△ 100 101 110 111 000 001 △ 2△ 3△ 4△ 010 011
-1/2 △ -3/2 △ -5/2 △ -7/2 △
图3.10
均匀量化器特性
数字视频信息 处理与传输
侯 颖
houying@
第三章 数字视频采集
• • • • 图像的视觉基础 视频信号的采样 视频信号的量化 视频采样率转换
第三章 数字视频采集 3.1 图像的视觉基础
一、图像的数学表示 一幅图像最普遍的数学表达式为：
I
f ( x, y, z, , t )
3.2 数字视频的采样
二ቤተ መጻሕፍቲ ባይዱ二维视频采样 1、回顾：一维信号采样定理
模拟信号 图3.6
采样 A/D转换过程原理
量化
3.2 数字视频的采样
3.2 数字视频的采样
奈奎斯特采样定理： 设连续信号 x a (t ) 是带限信号，最高截止 频率为 c ，如果采样角频率 S ≥2 c ，那 ˆ 么让采样 x a (t ) 信号通过一个增益为T，截止 频率 1 S 为的理想低通滤波器，可以唯一地 2 恢复出原连续信号 x a (t ) 。否则如果采样频 率 S ＜2 c，则会造成采样信号中的频谱混 叠现象，不可能无失真地恢复原连续信号。
3.1 图像的视觉基础
② 超过某些截止频率，眼睛不能觉察视频 的变化。这些截止频率出现在空间频率 大约为30cpd，以及时间频率20～80 Hz 之间。时间和空间截止频率是确定视频 摄取和显示系统的帧率的基础，系统只 需提供两倍于视觉阈值的频率。
3.1 图像的视觉基础
③ 只要帧率(对于隔行显示是场率)超过临界闪 烁频率，对于大多数人来说是80Hz以下, 人 眼将感觉不到一个个的帧。当帧间隔比视觉 暂留周期长时，人眼就会观察到帧闪烁，这 种现象是指不连续帧的感觉。人眼察觉不到 闪烁的最低帧率称为临界闪烁频率，它与前 面讨论的时间截止频率在定义上是等价的。 视频摄取或显示系统采用的帧率应该大于临 界闪烁频率以避免闪烁感觉。
第三章 数字视频采集
3.2 视频信号的采样 数字视频处理工作的第一步是将连续的 模拟视频信号转换为数字视频信号。数字化 过程包括两步：采样 和 量化。 数字视频信号需要在水平、垂直和时间 三个方向上进行采样，设计一个视频采样系 统，必须要解决三个问题：
3.2 数字视频的采样
① 在空间和时间方向上需要的采样频率是多 少？ ② 在给定总采样本(即水平、垂直和时间采样 率的乘积)的情况下，怎样在三维空间采样 才能获得最好的视频表示，即选取那种采样 点阵？ ③ 如果只能使用有限的采样率，如何避免采样 的混叠现象?
f
=
f f
2 x
2 y

=
arctan(
fy fx
)
3.1 图像的视觉基础
图3.3
观测角度与观测距离的关系
3.1 图像的视觉基础
如果图像高度为h，观测距离为d， 当 h/2 « d时，每像高有 f s 个周期， 那么每观测度的周期数为： fs d = = f s （周期/度） f 180 h
3.2 数字视频的采样
一、视频信号的采样点阵
（a） 正交晶体点阵（ORT） （b） 2:1隔行信号垂直对准 采样获得的点阵（ALI）
3.2 数字视频的采样
（c） 体心正交晶体点阵（BCO） （d） 面心正交晶体点阵（FCO）
3.2 数字视频的采样
（a） 逐行视频 图3.5
（b） 隔行视频 三维视频采样点阵
3.2 数字视频的采样
基于采样定理，如果采用立方体点阵，每维上的 采样率至少应为该方向上最高频率的两倍。 另一方面，人眼不能分辨超过一定截止频率的空 间和时间变化。 因此，尽管信号的最高频率可能变化相当大， 而视觉截止频率（即可以被HVS观察到的空间和时间 的最高频率）应该是确定视频采样率的决定因素， 不需要包含这些值以外的频率成分。
其中 (x，y，z)是空间坐标， λ 是波长， t 是时间，I 是图像的强度。
3.1 图像的视觉基础
二、分辨率 表征图像时通常用三种分辨率描述，分 别是显示分辨率、图像分辨率和像素分辨率。 1、显示分辨率 显示分辨率是指显示屏上能够显示出的 像素数目。屏幕能够显示的像素越多，说明 显示设备的分辨率越高。
3.2 数字视频的采样
奈奎斯特采样定理： 设二维连续信号 f a ( x, y ) 是带限信 号，最高截止频率为（ xc， yc ），如 果x和y方向上的采样角频率均大于等 于各自方向上的最高截止频率，即 xS ≥ 2xc 和 yS ≥ 2 yc ，则二维连续 信号 f a ( x, y ) 可由二维采样信号无失 真的重建。
3.3 视频信号的量化
② 可先计算所有可能的亮度值出现的概率 分布，对于出现概率大的那些亮度值进 行细量化，用较少的比特数表示；对于 出现概率小的那些亮度值则进行粗量 化，用较多的比特数表示。
第三章 数字视频采集
3.4 视频采样率转换 对于多媒体信息（如语言、视频、数据
3.1 图像的视觉基础
④ 在较高的时间频率上，空间频率降低； 在较高的空间频率上，时间频率降低。 这个空间与时间频率响应之间彼此相反 的关系，对于视频系统的设计意味着可 以用时间分辨率换取空间分辨率，反过 来也一样。这个性质被用于隔行扫描机 制中。
3.1 图像的视觉基础
⑤ 当人眼追踪运动物体时，在视网膜上感 觉的时间频率降低。当完全追踪时，视 网膜平面上的时间频率为零。 ⑥ 在视频摄取、处理和显示中，HVS的截止 频率是确定空间和时间采样分辨率的主 导因素。
3.3 视频信号的量化
二、非均匀量化 在一定的比特率下，为了减少量化误差， 往往采用非均匀量化方式，通常有两种情况。 ① 基于人的视觉特性要求，由于人眼的掩 盖效应，对于亮度值急剧变化部分则不 需要进行过细的分层，只需进行粗量 化；而对亮度值变化比较平缓的部分， 就需要进行较细的分层，即需进行细量 化。
80X60
3.1 图像的视觉基础 160X120
320X240
640X480
3.1 图像的视觉基础
640X480
3.1 图像的视觉基础
320X240
3.1 图像的视觉基础
160X120
3.1 图像的视觉基础
80X60
3.1 图像的视觉基础
3、像素分辨率 像素分辨率是指一个像素的宽和长的比 例，有时也称像素的长宽比。在不同的图形 显示方式下或计算机硬件间转移图像时，必 须考虑像素分辨率。
3.2 数字视频的采样
其中理想的采样函数是Comb梳状函数，即
comb( x, y)
m , n
( x m, y n )


3.2 数字视频的采样
3.2 数字视频的采样
三、视频信号采样 在设计视频采样系统时，无论一维、二维还是 三维，一个必须回答的基本问题就是：空间和时间 采样的分辨率应该是多少？ 答案取决于以下几个因素： ① 待采样信号的频率成分。
a
Ω （a）
3.2 数字视频的采样
P (jΩ ) δ Ω （b）
－Ω c
0
Ωc
－Ω s
0 ＾ (jΩ ) Xa
Ωs
Xa (jΩ )
（a）
－Ω c
0
Ωc P (jΩ ) δ
Ω （c）
Ω
－Ω s s 2 0
s 2 Ω s
＾ (jΩ ) Xa
（b）
－Ω s
0 ＾ (jΩ ) Xa
Ωs
Ω （d）
Ω
－Ω s
② 在空间和时间截止频率方面的视觉域值。
③ 采样和显示设备的特性。 ④ 可承受的处理、存储和传输的成本。
3.2 数字视频的采样
如果采样时不按照采样定理所要求的进行采 样，就会发生频率混叠现象，例如车轮的旋转速 度为1r/s