数字视频处理课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这种信号不仅其亮度和色度都具有较宽的 带宽，而且由于亮度和色度分开传输，可 以减少其互相干扰
与复合视频信号相比，S-Video可以更好 地重现色彩
S-Video
S-Video信号使用单独的两条信号电缆线， 一条用于亮度信号，另一条用于色度信号， 这两个信号称为Y/C信号
S-Video使用4针连接器
对所有的制式，每一扫描行的有效样本数 均为720个
有效采样样本
采样格式
两种采样方法： ➢ 一种是使用相同的采样频率对图像的亮度
信号和色度信号进行采样 ➢ 另一种是对亮度信号和色度信号分别采用
不同的采样频率进行采样 如果对色度信号使用的采样频率比对亮度
信号使用的采样频率低，这种采样就称为 子采样(Subsampling)
S-Video
分量视频信号
分量视频信号(component video signal)是指 每个分量（Y、U、V或Y、Cb、Cr）作为 独立的视频信号
使用分量视频信号是表示彩色的最好方法， 但需要比较宽的带宽和同步信号
分量信号实际上也是亮色分离的信号，与 S-Video不同的是两个色度信号不用分离
子采样格式
4:2:2 这种子采样格式是指在每条扫描线 上每4个连续的采样点取4个亮度Y样本、2 个Cr色度样本和2个Cb色度样本，平均每 个像素用2个样本表示
子采样格式
4:1:1 这种子采样格式是指在每条扫描线 上每4个连续的采样点取4个亮度Y样本、1 个Cr色度样本和1个Cb色度样本，平均每 个像素用1.5个样本表示
625行/帧，25帧/秒 每帧有575行有图像显示
电视制式兼容性
NTSC制和PAL制是互不兼容的电视制式 NTSC制和PAL制都是彩色和黑白兼容的
制式，这里的“兼容”有两层意思： ➢ 一是指黑白电视机能接收彩色电视信号，
显示的是黑白图像 ➢ 另一层意思是彩色电视机能接收黑白电视
信号，显示的也是黑白图像，这叫逆兼容 性
不同采样格式与频率
采样格式 4:2:2 4:4:4
信号形式
Y Cr Cb Y Cr Cb
视频帧的奇数行：顶场 视频帧的偶数行：底场
隔行扫描的由来
众所周知，帧率只要高于一定标准，就达到 流畅
考虑到交流电频率50或60Hz，电视标准制 订者确定了25或30fps的帧率
如果电视机采用逐行扫描，每秒扫描25或30 帧行不行呢？
理论上可以，但实际不行
隔行扫描的由来
原因在于，在电子束的照射下，CRT的荧光 粉会立即发光，但只要电子束一离开，几乎 瞬间就会暗下来
奇数行扫完后以同样的方式扫描偶数行， 这样就完成了一帧的扫描
在隔行扫描中，无论是摄像机还是显示器， 获取或显示一幅图像都要扫描两遍才得到 一帧完整的图像
隔行扫描
顶场行扫描
底场行扫描
… …
隔行扫描
场（Field）
每一遍隔行扫描行的集合称为场，因此， 一帧（Frame）由两个场组成，顶场（奇 数行）信号和底场（偶数行）信号
逐行扫描(Progressive Scan)
发展到液晶、等离子等显示设备后，因为所 的点都是同时发光，且光度始终固定，不存 在CRT遇到的相关问题，所以逐行扫描开始 大范围应用
逐行扫描
在逐行扫描方式中，电子束从显示屏的左 上角一行接一行地扫到右下角，在显示屏 上扫一遍就显示一幅完整的图像
液晶和等离子电视、电脑显示器
子采样格式
4:2:0 这种子采样格式是指在水平和垂直 方向上每2个连续的采样点上取2个亮度Y 样本、1个Cr色度样本和1个Cb色度样本， 平均每个像素用1.5个样本表示
子采样格式
ITU-R BT.601标准使用了4:2:2采样结构 亮度信号的采样频率为13.5MHz ，色度信
号为6.75MHz
Interlace artifacts
Upon interlaced display, the time sequence of interlaced fields is maintained: No temporal or spatial artifacts are introduced. However, in the presence of motion, simply stitching two fields into a single frame produces spatial artifacts such as that sketched in the figure. Techniques to avoid such artifacts is deinterlacing.
它定义了彩色电视机对于所接受的电视信 号的接收方式、彩色的处理方式、屏幕的 扫描频率等等
NTSC制式
指标：525行/帧，30帧/秒(fps) 在每场的开始部分保留20条扫描线作为控
制信息，因此只有485条线的可视数据
PAL制式
PAL(Phase Alternate Lock)是联邦德国1962 年制定的一种彩色电视制式，我国大陆和 大部分西欧国家都使用这种制式
逐行扫描
…
扫描方式对比
逐行扫描优点：图像垂直清晰度高，空间 处理效果好，有利于电视转换和制式转换， 能改善视频压缩效率等；其缺点是：数码 率高，行扫描频率增高，硬件难度加大
隔行扫描能节省带宽，且硬件实现简单
NTSC制式
NTSC(National Television Standard Committe)是美国国家电视系统委员会在 1953年制定的一种彩色电视制式，是目前 常用的电视制式，在美国、日本等地广为 使用
Interlace artifacts（交错缺陷）
An interlaced camera captures 60 (or 50) unique fields per second. If a scene contains an object in motion with respect to the camera, each field carries half the object’s spatial information, but information in the second field will be displaced according to the object’s motion.
Interlace artifacts
The first and second fields imaged from this scene are illustrated respectively. (The example neglects capture blur owing to motion during the exposure.) The image in the second field is delayed with respect to the first by half the frame time (that is, by 1⁄60 s or 1⁄50 s); by the time the second field is imaged, the object has moved.
对PAL制，亮度采样频率 625×25×N=15625×N=13.5 MHz N=864，为每一扫描行上的采样数目
对NTSC制，亮度采样频率 525×29.97×N=15734×N=13.5 MHz, N=858
有效采样样本
对PAL制的亮度信号，每一条扫描行采样 864个样本
对NTSC制的亮度信号，每一条扫描行采 样858个样本
电视信号
电视摄像机的作用就是将视频图像转换为电 信号
任何时刻，电信号只有1个值，即是一维的 但视频图像通常是二维的，将二维视频图像
转换为一维电信号是通过光栅扫描实现的 （指在一定的时间间隔内电子束以从左到右、 从上到下的方式扫描荧光屏）
隔行扫描(Interlaced Scan)
在隔行扫描方式中，电子束扫完第1行后 从第3行开始扫，接着扫第5行，7 行，……，一直扫到最后一行
Interlace artifacts
Consider the test scene sketched in the figure, comprising a black background partially occluded by a white disk that is in motion with respect to the camera.
可是这样做，单位时间内扫描的总行数会加 倍，那么水平扫描的速度就要加快。如此一 来技术要求就会过高，以当时的条件做不到
隔行扫描的由来
于是标准制订者想到了一个折衷的办法，先 花60分之一秒扫描奇数行(顶场)，然后再用 后60分之一秒扫描偶数行(底场)，两者互补 成完整的画面
虽然扫描底场时，顶场的亮度衰减了，但是 由于亮暗的部分交织在一起，反而不易察觉
人眼虽然看不到这么明显的变化，但仍然会 有亮度衰减的感觉
可以想象，如果采用30fps扫描方式显示， 当电子束从屏幕的上半部分移到下半部时， 屏幕上半部分的亮度就有了可以观察到的衰 减，于是画面下半部分显得更亮
隔行扫描的由来
为了解决这个问题，最佳的办法是加倍刷新 率，改成60fps扫描，因为在60分之一秒内， 人眼能感觉到的亮度衰减就很小了
彩色与黑白电视的兼容性
必需采用相同的一些基本参数，如扫描方式、 扫描行频、场频、帧频、同步信号、图像载频、 伴音载频等等
需要将摄像机输出的三基色信号转换成一个亮 度信号，以及代表色度的两个色度信号，并将 它们组合成一个ห้องสมุดไป่ตู้色全电视信号进行传送
在接收端，彩色电视机将彩色全电视信号重新 转换成三个基色信号，在显像管上重现发送端 的彩色图像，黑白电视机只显示亮度信号
分量视频信号
2.4 视频数字化
要让计算机处理视频信息，首先要解决的 是视频数字化的问题
视频数字化是将模拟视频信号经模数转换 转为计算机可处理的数字信号，计算机要 对输入的模拟视频信息进行采样与量化， 并经编码使其变成数字化视频
数字化常用的方法
1. 从复合彩色电视中分离出各个分量信号， 然后数字化，如录像带、摄像机等的电视 信号
子采样的压缩特性
人眼对色度信号的敏感程度比对亮度信号 的敏感程度低，利用这个特性可以把图像 中表达色度的信号去掉一些而使人不察觉
所以色度信号的取样频率可以比亮度信号 的取样频率低，以减少数字视频的数据量
子采样也就是利用人的视觉系统这个特性 来达到压缩彩色电视信号的目的
采样格式
4:4:4 这种采样格式不是子采样格式，它 是指在每条扫描线上每4个连续的采样点 取4个亮度Y样本、4个Cr色度样本和4个 Cb色度样本，这就相当于每个像素用3个 样本表示
对这类信号的数字化，通常的做法是首先 把模拟的彩色电视信号分离成YCbCr等彩 色空间中的分量信号，然后用三个A/D转 换器分别对它们数字化
数字化常用的方法
2.首先用一个高速A/D转换器对彩色电视 信号进行数字化，然后在数字域中进行分 离，以获得所希望的YCbCr等分量数据
视频采样频率
按照ITU-R BT.601标准，亮度信号的采样 频率为13.5MHz
电视制式兼容性
也有全制式的电视机，这为处理和转换不 同制式的电视信号提供了极大的方便
全制式电视机可在各国各地区使用
模拟视频信号类型（传输、接口）
复合视频信号 S-Video视频信号 分量视频信号
复合视频信号(Composite Video)
定义为包括亮度和色度的单路模拟信号，即 从彩色全电视信号中分离出伴音后的视频信 号，此时色度信号与亮度信号混合在一起
由于复合视频信号的传输仍然是一种亮度色 度混合的视频信号，仍然需要显示设备对其 进行亮/色分离和色度分离才能成像，这种先 混合再分离的过程会造成彩色信号的损失， 色度信号和亮度信号也会有很大的机会相互 干扰从而影响最终输出的视频
复合视频信号接口
又称为AV端子或Video端子
S-Video
分离视频信号S-Video(Separated Video)是亮 度和色度分离的一种视频信号，用两路导 线分别传输，并可以分别记录在模拟磁带 的两路磁轨上
与复合视频信号相比，S-Video可以更好 地重现色彩
S-Video
S-Video信号使用单独的两条信号电缆线， 一条用于亮度信号，另一条用于色度信号， 这两个信号称为Y/C信号
S-Video使用4针连接器
对所有的制式，每一扫描行的有效样本数 均为720个
有效采样样本
采样格式
两种采样方法： ➢ 一种是使用相同的采样频率对图像的亮度
信号和色度信号进行采样 ➢ 另一种是对亮度信号和色度信号分别采用
不同的采样频率进行采样 如果对色度信号使用的采样频率比对亮度
信号使用的采样频率低，这种采样就称为 子采样(Subsampling)
S-Video
分量视频信号
分量视频信号(component video signal)是指 每个分量（Y、U、V或Y、Cb、Cr）作为 独立的视频信号
使用分量视频信号是表示彩色的最好方法， 但需要比较宽的带宽和同步信号
分量信号实际上也是亮色分离的信号，与 S-Video不同的是两个色度信号不用分离
子采样格式
4:2:2 这种子采样格式是指在每条扫描线 上每4个连续的采样点取4个亮度Y样本、2 个Cr色度样本和2个Cb色度样本，平均每 个像素用2个样本表示
子采样格式
4:1:1 这种子采样格式是指在每条扫描线 上每4个连续的采样点取4个亮度Y样本、1 个Cr色度样本和1个Cb色度样本，平均每 个像素用1.5个样本表示
625行/帧，25帧/秒 每帧有575行有图像显示
电视制式兼容性
NTSC制和PAL制是互不兼容的电视制式 NTSC制和PAL制都是彩色和黑白兼容的
制式，这里的“兼容”有两层意思： ➢ 一是指黑白电视机能接收彩色电视信号，
显示的是黑白图像 ➢ 另一层意思是彩色电视机能接收黑白电视
信号，显示的也是黑白图像，这叫逆兼容 性
不同采样格式与频率
采样格式 4:2:2 4:4:4
信号形式
Y Cr Cb Y Cr Cb
视频帧的奇数行：顶场 视频帧的偶数行：底场
隔行扫描的由来
众所周知，帧率只要高于一定标准，就达到 流畅
考虑到交流电频率50或60Hz，电视标准制 订者确定了25或30fps的帧率
如果电视机采用逐行扫描，每秒扫描25或30 帧行不行呢？
理论上可以，但实际不行
隔行扫描的由来
原因在于，在电子束的照射下，CRT的荧光 粉会立即发光，但只要电子束一离开，几乎 瞬间就会暗下来
奇数行扫完后以同样的方式扫描偶数行， 这样就完成了一帧的扫描
在隔行扫描中，无论是摄像机还是显示器， 获取或显示一幅图像都要扫描两遍才得到 一帧完整的图像
隔行扫描
顶场行扫描
底场行扫描
… …
隔行扫描
场（Field）
每一遍隔行扫描行的集合称为场，因此， 一帧（Frame）由两个场组成，顶场（奇 数行）信号和底场（偶数行）信号
逐行扫描(Progressive Scan)
发展到液晶、等离子等显示设备后，因为所 的点都是同时发光，且光度始终固定，不存 在CRT遇到的相关问题，所以逐行扫描开始 大范围应用
逐行扫描
在逐行扫描方式中，电子束从显示屏的左 上角一行接一行地扫到右下角，在显示屏 上扫一遍就显示一幅完整的图像
液晶和等离子电视、电脑显示器
子采样格式
4:2:0 这种子采样格式是指在水平和垂直 方向上每2个连续的采样点上取2个亮度Y 样本、1个Cr色度样本和1个Cb色度样本， 平均每个像素用1.5个样本表示
子采样格式
ITU-R BT.601标准使用了4:2:2采样结构 亮度信号的采样频率为13.5MHz ，色度信
号为6.75MHz
Interlace artifacts
Upon interlaced display, the time sequence of interlaced fields is maintained: No temporal or spatial artifacts are introduced. However, in the presence of motion, simply stitching two fields into a single frame produces spatial artifacts such as that sketched in the figure. Techniques to avoid such artifacts is deinterlacing.
它定义了彩色电视机对于所接受的电视信 号的接收方式、彩色的处理方式、屏幕的 扫描频率等等
NTSC制式
指标：525行/帧，30帧/秒(fps) 在每场的开始部分保留20条扫描线作为控
制信息，因此只有485条线的可视数据
PAL制式
PAL(Phase Alternate Lock)是联邦德国1962 年制定的一种彩色电视制式，我国大陆和 大部分西欧国家都使用这种制式
逐行扫描
…
扫描方式对比
逐行扫描优点：图像垂直清晰度高，空间 处理效果好，有利于电视转换和制式转换， 能改善视频压缩效率等；其缺点是：数码 率高，行扫描频率增高，硬件难度加大
隔行扫描能节省带宽，且硬件实现简单
NTSC制式
NTSC(National Television Standard Committe)是美国国家电视系统委员会在 1953年制定的一种彩色电视制式，是目前 常用的电视制式，在美国、日本等地广为 使用
Interlace artifacts（交错缺陷）
An interlaced camera captures 60 (or 50) unique fields per second. If a scene contains an object in motion with respect to the camera, each field carries half the object’s spatial information, but information in the second field will be displaced according to the object’s motion.
Interlace artifacts
The first and second fields imaged from this scene are illustrated respectively. (The example neglects capture blur owing to motion during the exposure.) The image in the second field is delayed with respect to the first by half the frame time (that is, by 1⁄60 s or 1⁄50 s); by the time the second field is imaged, the object has moved.
对PAL制，亮度采样频率 625×25×N=15625×N=13.5 MHz N=864，为每一扫描行上的采样数目
对NTSC制，亮度采样频率 525×29.97×N=15734×N=13.5 MHz, N=858
有效采样样本
对PAL制的亮度信号，每一条扫描行采样 864个样本
对NTSC制的亮度信号，每一条扫描行采 样858个样本
电视信号
电视摄像机的作用就是将视频图像转换为电 信号
任何时刻，电信号只有1个值，即是一维的 但视频图像通常是二维的，将二维视频图像
转换为一维电信号是通过光栅扫描实现的 （指在一定的时间间隔内电子束以从左到右、 从上到下的方式扫描荧光屏）
隔行扫描(Interlaced Scan)
在隔行扫描方式中，电子束扫完第1行后 从第3行开始扫，接着扫第5行，7 行，……，一直扫到最后一行
Interlace artifacts
Consider the test scene sketched in the figure, comprising a black background partially occluded by a white disk that is in motion with respect to the camera.
可是这样做，单位时间内扫描的总行数会加 倍，那么水平扫描的速度就要加快。如此一 来技术要求就会过高，以当时的条件做不到
隔行扫描的由来
于是标准制订者想到了一个折衷的办法，先 花60分之一秒扫描奇数行(顶场)，然后再用 后60分之一秒扫描偶数行(底场)，两者互补 成完整的画面
虽然扫描底场时，顶场的亮度衰减了，但是 由于亮暗的部分交织在一起，反而不易察觉
人眼虽然看不到这么明显的变化，但仍然会 有亮度衰减的感觉
可以想象，如果采用30fps扫描方式显示， 当电子束从屏幕的上半部分移到下半部时， 屏幕上半部分的亮度就有了可以观察到的衰 减，于是画面下半部分显得更亮
隔行扫描的由来
为了解决这个问题，最佳的办法是加倍刷新 率，改成60fps扫描，因为在60分之一秒内， 人眼能感觉到的亮度衰减就很小了
彩色与黑白电视的兼容性
必需采用相同的一些基本参数，如扫描方式、 扫描行频、场频、帧频、同步信号、图像载频、 伴音载频等等
需要将摄像机输出的三基色信号转换成一个亮 度信号，以及代表色度的两个色度信号，并将 它们组合成一个ห้องสมุดไป่ตู้色全电视信号进行传送
在接收端，彩色电视机将彩色全电视信号重新 转换成三个基色信号，在显像管上重现发送端 的彩色图像，黑白电视机只显示亮度信号
分量视频信号
2.4 视频数字化
要让计算机处理视频信息，首先要解决的 是视频数字化的问题
视频数字化是将模拟视频信号经模数转换 转为计算机可处理的数字信号，计算机要 对输入的模拟视频信息进行采样与量化， 并经编码使其变成数字化视频
数字化常用的方法
1. 从复合彩色电视中分离出各个分量信号， 然后数字化，如录像带、摄像机等的电视 信号
子采样的压缩特性
人眼对色度信号的敏感程度比对亮度信号 的敏感程度低，利用这个特性可以把图像 中表达色度的信号去掉一些而使人不察觉
所以色度信号的取样频率可以比亮度信号 的取样频率低，以减少数字视频的数据量
子采样也就是利用人的视觉系统这个特性 来达到压缩彩色电视信号的目的
采样格式
4:4:4 这种采样格式不是子采样格式，它 是指在每条扫描线上每4个连续的采样点 取4个亮度Y样本、4个Cr色度样本和4个 Cb色度样本，这就相当于每个像素用3个 样本表示
对这类信号的数字化，通常的做法是首先 把模拟的彩色电视信号分离成YCbCr等彩 色空间中的分量信号，然后用三个A/D转 换器分别对它们数字化
数字化常用的方法
2.首先用一个高速A/D转换器对彩色电视 信号进行数字化，然后在数字域中进行分 离，以获得所希望的YCbCr等分量数据
视频采样频率
按照ITU-R BT.601标准，亮度信号的采样 频率为13.5MHz
电视制式兼容性
也有全制式的电视机，这为处理和转换不 同制式的电视信号提供了极大的方便
全制式电视机可在各国各地区使用
模拟视频信号类型（传输、接口）
复合视频信号 S-Video视频信号 分量视频信号
复合视频信号(Composite Video)
定义为包括亮度和色度的单路模拟信号，即 从彩色全电视信号中分离出伴音后的视频信 号，此时色度信号与亮度信号混合在一起
由于复合视频信号的传输仍然是一种亮度色 度混合的视频信号，仍然需要显示设备对其 进行亮/色分离和色度分离才能成像，这种先 混合再分离的过程会造成彩色信号的损失， 色度信号和亮度信号也会有很大的机会相互 干扰从而影响最终输出的视频
复合视频信号接口
又称为AV端子或Video端子
S-Video
分离视频信号S-Video(Separated Video)是亮 度和色度分离的一种视频信号，用两路导 线分别传输，并可以分别记录在模拟磁带 的两路磁轨上