视频信息获取、处理和显示技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– MPEG-1：数字电视标准，1992年正式发布。 – MPEG-2：数字电视标准。 – MPEG-3：于1992年7月合并到高清晰度电视(HDTV)工作组。 – MPEG-4：多媒体应用标准(1999年发布)。 – MPEG-5：定义不详。 – MPEG-6：定义不详。 – MPEG-7：多媒体内容描述接口标准。
窗口控制器
• PC-Video工作原理图 • 其主要的内部功能有以下几个部分：
– PC总线接口：这部分主要包括I/O寄存器地址映射、帧存储地 址映射以及帧存储器读写等功能。
– 视频输入剪裁、变化比例：这部分的主要功能是把视频数据 按照用户定义处理后，送到VRAM读写模块中。
– VRAM读写、刷新控制：这部分主要是完成对外接VRAM的 访问和选体等控制。
• 软解压：即MPEG软件解压缩技术，是利用软件技术对 MPEG压缩数据进行还原的程序。软解压软件运行在 Windows操作平台上，同样可以播放MPEG文件或VCD、 CD-I视盘。
AVI图像文件格式
• AVI格式是由美国Intel公司制订，并被软件 业巨头Microsoft所认可，并积极推广的视频 格式。这种文件的扩展名是.avi。
I=0.74(R-Y)-0.27(B-Y)
Q=0.48(R-Y)+0.41(B-Y)
• 将式(2.6)代入式(2.9)，整理后得到(式2.10) ：
Y 0.3
I
0.6
Q 0.21
0.59 0.28 0.52
0.11 R
0.32
G
0.31 B
HIS彩色空间与RGB彩色空间的转换
– 输出窗口VGA同步、色键控制：这部分主要用来驱动帧存储 器的数据同VGA的视频信号同步读出，并送到数模（D/A） 转换器变成模拟的红、绿、蓝信号。然后通过一个监视器开 关与VGA视频信号叠加输出到VGA显示器上。
帧存储器系统
帧存储器主要作用有： • 从摄像来的视频信号，经过模数（A/D）变换，
JPEG
• JPEG：JPEG（Joint Photographic Experts Group）是一种“联合照片专家 组”的图片压缩处理格式。JPEG文件格 式的扩展名是.jpg
• 采用先进的压缩算法（有无损压缩与有 损压缩两类），可以保持较好的图像保 真度和较高的压缩比，当压缩比达到 48:1时，仍可以保持很好的图像效果。
Y 0.3
U
0.15
V 0.61
0.59 0.29 0.52
0.11 R
0.44
G
0.096 B
• YIQ彩色空间与RGB彩色空间的转换方法是： 将V=0.877(R-Y), U=0.493(B-Y), sin33º=0.545, cos33º=0.839代入式(2.4)可得到(式2.9)：
• 特点：文件小，使用中占用系统内存少和调用时 间短。
• GIF文件格式主要用于多媒体制作与网页制作中。
TIFF
• TIFF： TIFF（Tagged Image File Format）是 Alaus和Microsoft公司为扫描仪和桌上出版系统 研制开发了通用图像TIFF文件格式。所有图像 信息都存储在标志域中。TIFF文件格式不依附 于某个特定的软件，支持多种特殊的图像控制函 数以及许多其它的特性。 TIFF文件格式的扩展 名是.tif
• 这种图像文件将数字图像中的每一个像 素对应存储，一般不使用任何压缩方法。
PCX图像文件格式
• PCX图像文件格式是Zsoft公司研制开发 的，主要与商业性PC-Paint brush图像软 件一起使用。PCX图像文件的扩展名 是.pcx。
• PCX按图像颜色分成三类：各种单色 PCX文件；不超过16种颜色的PCX文件； 具有256颜色的PCX文件；
• 第二代标准：EGA
– EGA(Enhanced Graphics Array)增强型彩色图形板
• 第三代标准：VGA
– VGA (Video Graphics Array)视频彩色图形板
• 第四代标准：XGA
– XGA(Extended Graphics Array)高性能彩色图形板
图像文件格式及其转换
2.2.2 视频数字化
视频数字化
视频数字化的关键技术是把连续的视频信号变成离散的信 号，离散后的信号即为数字化信号.一般经过以下过程：
• 采样：将一幅图像分成MN网格，每个网格用一个亮 度值来表示该区域亮度，这样一幅图像就离散化为用 MN个亮度值表示。这个过程称为图像的采样。
– 其中， MN称为采样的分辨率，网络的亮度值即为采样值。
• 坐标变换：常用于图像的放大缩小、旋转、移动、配准、 几何校正和由投影值重建图像等。
• 统计量计算：计算密度直方图分布，平均值和协方差矩 阵等。
2.4 视频信息显示技术及 图像文件格式转换
显示技术的标准
• 第一代标准：MDA和CGA
– MDA(Monochrome Display Adapter)单色显示适配器 – CGA(Color Graphics Adapter)彩色图形适配器
第二章 视频信息获取、处理和显示技术
数字视频基础
• 视频（Video）是由一系列的静止画面按 一定顺序排列而成的，这些静止画面称 为帧（Frame），每一帧与其相邻的帧 略有不同。当帧画面以一定速度连续播 放时，由于视觉暂留现象造成了连续的 动态画面。
• 目前通常的视频信号有两种制式：
– NTSC制——分辨率352×240 – PAL制——分辨率352×288
数字解码，在视频窗口控制的控制下，将它们实 时地存到帧存储器，大约74ns存储一个像素数据。 • 彩色监视器每隔74ns要从帧存储器取一个像素数 据（在视频信号正程时），经数模（D/A）转换， 变换成模拟的红、绿、蓝信号，供彩色监视器显 示帧存储器中真彩色屏幕运动图像使用。 • 计算机可以通过视频窗口控制器，对帧存储器的 内容进行读写操作。
• HIS彩色空间的三个帧存储器的数据，在处 理彩色图像时相互是独立的，分别提供解释 彩色图像非常有用的信息。一幅彩色图像很 容易从RGB彩色空间转换到HIS彩色空间， 具体公式为：
I=1/3(R+G+B)
H 1/360[90 - arctan(F - 3) 0, G B;180, G B]
• 量化：量化就是把连续的亮度值分成k个区间，每个区 间上对应一个亮度值，k个区间对应k个不同的亮度值。
• 模数变换（A/D变换）：实现量化的过程称为模/数变换， 这个过程一般采用PCM（脉冲编码调制）量化器实现。
2.2.3 视频采集卡的工作原理
视频卡工作原理图
视频卡的组成及工作原理
• 模数（A/D）转换和数字解码 • 窗口控制器 • 帧存储器系统 • 数模（D/A）转换和矩阵变换 • 视频信号与VGA信号的叠加 • 数字式多制式视频信号编码
其中
F 2R G B GB
S
1
min(
R, G, I
B)
2.2 视频信息的获取
2.2.1 视频信息获取的常用方法
• 利用计算机产生彩色图形、静态图像和 动态图像。
• 利用彩色扫描仪扫描输入彩色图形和静 态图像。
• 利用视频信号数字化仪，将彩色全电视 信号经数字化处理后，输入到多媒体计 算机中，获得静态和动态图像。
视频信号与VGA信号的叠加
• 视频输出的RGB信号和从VGA显示卡引 过来的信号是完全同步的，因为Video的 输出是靠VGA同步信号驱动的。所以用 适当的方法交替地切换两路信号采用模 拟开关即可实现两路径信• 数字式多制式视频信号编码器支持 PLA制和NTSC制。有多种工作模式， 可借助软件利用总线控制。
• 主要用于数字图像扫描、桌面出版系统。 • 特点：由于不压缩存储，图像文件还原好，失真
少，但文件一般较大。
TGA图像文件格式
• TGA文件格式是Truevision公司设计 开发的，结构比较简单。
BMP
• BMP：几乎所有基于Windows操作系统 的图形图像软件都支持这种格式是 bitmap的缩写。BMP是一种与设备无关 的图像文件格式。BMP文件格式的扩展 名是.bmp
• AVI（Audio Video Interlaced）指音频、视 频交互格式。是一种不需要专门硬件支持就 可以实现大量视频压缩的经济的视频文件格 式。当然，视频质量比起MPEG要差一些， 但在小窗口范围内演示时(一般不大于 320240分辨率)，其效果还是令人满意的。
Y=0.3R + 0.59G + 0.11B
(2.5)
• 三个色差信号B-Y，R-Y，G-Y中有两个是
独立的，最后一个可用亮度方程和两个色差
信号通过运算得到，表达式(式2.6)为：
B-Y=B-0.3R-0.59G-0.11B= -0.3R-0.59G+0.89B
R-Y=R-0.3R-0.59G-0.11B= 0.7R-0.59G-0.11B
常用的二类图像文件格式
• 静态图像文件格式
GIF TIFF TGA BMP PCX JPGE
• 动态图像文件格式
MPEG AVI
GIF
• GIF：GIF（Graphics Interchange Format） 由 Compu-Serve公司1987年6月制定，支持64000像 素的图像，最多只能支持256色到16M颜色的调 色板，即8位图像。单个文件中的多重图像，按 行扫描的迅速解码，有效地压缩以及硬件无关性。 GIF文件格式的扩展名是.gif
2.3 视频信息的实时处理
• 点处理：常用于对比度增强、密度非线性校正、阈值处 理、伪彩色处理等。每个像素的输入数据经过一定的变 换关系映射成像素的输出数据。
• 二维卷积运算：常用于图像平滑、尖锐化、轮廓增强、 空间滤波、标准匹配计算等。
• 二维正交变换：常用于图像增强、复原、二维滤波、数 据压缩等。
Y=0.3R+0.59G+0.11B
• 为了使彩色全电视信号在传输入过程中不失真， 必须对彩色信号进行压缩，压缩方法是让色差 信号乘上一个小于1的压缩系数(式2.7) ：
U=m(B-Y)=0.493(B-Y)
V=n(R-Y)=0.877(R-Y)
• 将式(2.6)代入式(2.7)，整理后得到(式2.7) ：
MPEG图像文件格式
• MPEG(Moving Picture Expert Group)活动图像专家组 是在1988年由国际标准化组织和国际电工委员会联合成 立专家组，负责开发电视图像数据和声音数据的编码、 解码和它们的同步等标准。这个标准称为MPEG标准。
• 已经开发和正在开发的MPEG标准有：
2.1 图像的彩色空间表示及转换
2.1.1 颜色的基本概念
彩色三要素
三基色
三基色加色混合及补色 亮度公式
2.1.2 彩色空间
RGB彩色空间 YUV和YIQ彩色空间
HIS彩色空间 其他彩色空间
2.1.3 彩色空间的转换
RGB与YUV和YIQ之间的转换
• RGB彩色信号在传送过程中包含亮度信号和 色差信号，亮度方程简化为：
数模（D/A）转换和矩阵变换
• 数模转换器把8位的数字彩色电视信号变 为模拟彩色电视信号。
• 视频信号处理器用于处理亮度和色度信 号的模拟电路，其输入是Y、U、V信号， 输出是R、G、B信号。从Y、U、V到R、 G、B的转换是通过一个YUV-RGB矩阵 网络完成的。其中，矩阵因子因制式不 同稍有差别，目的是要补偿信号输出中 的失真。
模数（A/D）转换和数字解码
• 模数（A/D）转换：通过编程控制可选择任一个 输入作为视频输入，然后送到具有钳位电路和自 动增益（AGC）功能的运算放大器（AMP）， 最后经过模数（A/D）转换将彩色全电视信号变 换成8位数字信号，经TTL输出到多制式数字解 码器。
• 多制式数字解码器：将接收的8位电信号经解码 处理后输出数字式的TUV信号，并同时产生场同 步及其他的控制信号。
MPEG的硬解压与软解压
• MPEG是一种视频压缩技术，可以获得30帧/秒（NTSC 制）或25帧/秒（PAL制）高质量的全屏幕视频图像。
• 硬解压：利用硬件芯片对压缩编码实时解压并在屏幕上 显示的视频扩充卡，这种卡也称为“电影卡”。MPEG 解压卡主要是在VGA显示器上播放MPEG文件或VCD、 CD-I视盘。有的解压卡不仅有VGA输出，还带有视频 输出端口——这样就可以接上电视机，在更大屏幕上欣 赏视盘节目。
窗口控制器
• PC-Video工作原理图 • 其主要的内部功能有以下几个部分：
– PC总线接口：这部分主要包括I/O寄存器地址映射、帧存储地 址映射以及帧存储器读写等功能。
– 视频输入剪裁、变化比例：这部分的主要功能是把视频数据 按照用户定义处理后，送到VRAM读写模块中。
– VRAM读写、刷新控制：这部分主要是完成对外接VRAM的 访问和选体等控制。
• 软解压：即MPEG软件解压缩技术，是利用软件技术对 MPEG压缩数据进行还原的程序。软解压软件运行在 Windows操作平台上，同样可以播放MPEG文件或VCD、 CD-I视盘。
AVI图像文件格式
• AVI格式是由美国Intel公司制订，并被软件 业巨头Microsoft所认可，并积极推广的视频 格式。这种文件的扩展名是.avi。
I=0.74(R-Y)-0.27(B-Y)
Q=0.48(R-Y)+0.41(B-Y)
• 将式(2.6)代入式(2.9)，整理后得到(式2.10) ：
Y 0.3
I
0.6
Q 0.21
0.59 0.28 0.52
0.11 R
0.32
G
0.31 B
HIS彩色空间与RGB彩色空间的转换
– 输出窗口VGA同步、色键控制：这部分主要用来驱动帧存储 器的数据同VGA的视频信号同步读出，并送到数模（D/A） 转换器变成模拟的红、绿、蓝信号。然后通过一个监视器开 关与VGA视频信号叠加输出到VGA显示器上。
帧存储器系统
帧存储器主要作用有： • 从摄像来的视频信号，经过模数（A/D）变换，
JPEG
• JPEG：JPEG（Joint Photographic Experts Group）是一种“联合照片专家 组”的图片压缩处理格式。JPEG文件格 式的扩展名是.jpg
• 采用先进的压缩算法（有无损压缩与有 损压缩两类），可以保持较好的图像保 真度和较高的压缩比，当压缩比达到 48:1时，仍可以保持很好的图像效果。
Y 0.3
U
0.15
V 0.61
0.59 0.29 0.52
0.11 R
0.44
G
0.096 B
• YIQ彩色空间与RGB彩色空间的转换方法是： 将V=0.877(R-Y), U=0.493(B-Y), sin33º=0.545, cos33º=0.839代入式(2.4)可得到(式2.9)：
• 特点：文件小，使用中占用系统内存少和调用时 间短。
• GIF文件格式主要用于多媒体制作与网页制作中。
TIFF
• TIFF： TIFF（Tagged Image File Format）是 Alaus和Microsoft公司为扫描仪和桌上出版系统 研制开发了通用图像TIFF文件格式。所有图像 信息都存储在标志域中。TIFF文件格式不依附 于某个特定的软件，支持多种特殊的图像控制函 数以及许多其它的特性。 TIFF文件格式的扩展 名是.tif
• 这种图像文件将数字图像中的每一个像 素对应存储，一般不使用任何压缩方法。
PCX图像文件格式
• PCX图像文件格式是Zsoft公司研制开发 的，主要与商业性PC-Paint brush图像软 件一起使用。PCX图像文件的扩展名 是.pcx。
• PCX按图像颜色分成三类：各种单色 PCX文件；不超过16种颜色的PCX文件； 具有256颜色的PCX文件；
• 第二代标准：EGA
– EGA(Enhanced Graphics Array)增强型彩色图形板
• 第三代标准：VGA
– VGA (Video Graphics Array)视频彩色图形板
• 第四代标准：XGA
– XGA(Extended Graphics Array)高性能彩色图形板
图像文件格式及其转换
2.2.2 视频数字化
视频数字化
视频数字化的关键技术是把连续的视频信号变成离散的信 号，离散后的信号即为数字化信号.一般经过以下过程：
• 采样：将一幅图像分成MN网格，每个网格用一个亮 度值来表示该区域亮度，这样一幅图像就离散化为用 MN个亮度值表示。这个过程称为图像的采样。
– 其中， MN称为采样的分辨率，网络的亮度值即为采样值。
• 坐标变换：常用于图像的放大缩小、旋转、移动、配准、 几何校正和由投影值重建图像等。
• 统计量计算：计算密度直方图分布，平均值和协方差矩 阵等。
2.4 视频信息显示技术及 图像文件格式转换
显示技术的标准
• 第一代标准：MDA和CGA
– MDA(Monochrome Display Adapter)单色显示适配器 – CGA(Color Graphics Adapter)彩色图形适配器
第二章 视频信息获取、处理和显示技术
数字视频基础
• 视频（Video）是由一系列的静止画面按 一定顺序排列而成的，这些静止画面称 为帧（Frame），每一帧与其相邻的帧 略有不同。当帧画面以一定速度连续播 放时，由于视觉暂留现象造成了连续的 动态画面。
• 目前通常的视频信号有两种制式：
– NTSC制——分辨率352×240 – PAL制——分辨率352×288
数字解码，在视频窗口控制的控制下，将它们实 时地存到帧存储器，大约74ns存储一个像素数据。 • 彩色监视器每隔74ns要从帧存储器取一个像素数 据（在视频信号正程时），经数模（D/A）转换， 变换成模拟的红、绿、蓝信号，供彩色监视器显 示帧存储器中真彩色屏幕运动图像使用。 • 计算机可以通过视频窗口控制器，对帧存储器的 内容进行读写操作。
• HIS彩色空间的三个帧存储器的数据，在处 理彩色图像时相互是独立的，分别提供解释 彩色图像非常有用的信息。一幅彩色图像很 容易从RGB彩色空间转换到HIS彩色空间， 具体公式为：
I=1/3(R+G+B)
H 1/360[90 - arctan(F - 3) 0, G B;180, G B]
• 量化：量化就是把连续的亮度值分成k个区间，每个区 间上对应一个亮度值，k个区间对应k个不同的亮度值。
• 模数变换（A/D变换）：实现量化的过程称为模/数变换， 这个过程一般采用PCM（脉冲编码调制）量化器实现。
2.2.3 视频采集卡的工作原理
视频卡工作原理图
视频卡的组成及工作原理
• 模数（A/D）转换和数字解码 • 窗口控制器 • 帧存储器系统 • 数模（D/A）转换和矩阵变换 • 视频信号与VGA信号的叠加 • 数字式多制式视频信号编码
其中
F 2R G B GB
S
1
min(
R, G, I
B)
2.2 视频信息的获取
2.2.1 视频信息获取的常用方法
• 利用计算机产生彩色图形、静态图像和 动态图像。
• 利用彩色扫描仪扫描输入彩色图形和静 态图像。
• 利用视频信号数字化仪，将彩色全电视 信号经数字化处理后，输入到多媒体计 算机中，获得静态和动态图像。
视频信号与VGA信号的叠加
• 视频输出的RGB信号和从VGA显示卡引 过来的信号是完全同步的，因为Video的 输出是靠VGA同步信号驱动的。所以用 适当的方法交替地切换两路信号采用模 拟开关即可实现两路径信• 数字式多制式视频信号编码器支持 PLA制和NTSC制。有多种工作模式， 可借助软件利用总线控制。
• 主要用于数字图像扫描、桌面出版系统。 • 特点：由于不压缩存储，图像文件还原好，失真
少，但文件一般较大。
TGA图像文件格式
• TGA文件格式是Truevision公司设计 开发的，结构比较简单。
BMP
• BMP：几乎所有基于Windows操作系统 的图形图像软件都支持这种格式是 bitmap的缩写。BMP是一种与设备无关 的图像文件格式。BMP文件格式的扩展 名是.bmp
• AVI（Audio Video Interlaced）指音频、视 频交互格式。是一种不需要专门硬件支持就 可以实现大量视频压缩的经济的视频文件格 式。当然，视频质量比起MPEG要差一些， 但在小窗口范围内演示时(一般不大于 320240分辨率)，其效果还是令人满意的。
Y=0.3R + 0.59G + 0.11B
(2.5)
• 三个色差信号B-Y，R-Y，G-Y中有两个是
独立的，最后一个可用亮度方程和两个色差
信号通过运算得到，表达式(式2.6)为：
B-Y=B-0.3R-0.59G-0.11B= -0.3R-0.59G+0.89B
R-Y=R-0.3R-0.59G-0.11B= 0.7R-0.59G-0.11B
常用的二类图像文件格式
• 静态图像文件格式
GIF TIFF TGA BMP PCX JPGE
• 动态图像文件格式
MPEG AVI
GIF
• GIF：GIF（Graphics Interchange Format） 由 Compu-Serve公司1987年6月制定，支持64000像 素的图像，最多只能支持256色到16M颜色的调 色板，即8位图像。单个文件中的多重图像，按 行扫描的迅速解码，有效地压缩以及硬件无关性。 GIF文件格式的扩展名是.gif
2.3 视频信息的实时处理
• 点处理：常用于对比度增强、密度非线性校正、阈值处 理、伪彩色处理等。每个像素的输入数据经过一定的变 换关系映射成像素的输出数据。
• 二维卷积运算：常用于图像平滑、尖锐化、轮廓增强、 空间滤波、标准匹配计算等。
• 二维正交变换：常用于图像增强、复原、二维滤波、数 据压缩等。
Y=0.3R+0.59G+0.11B
• 为了使彩色全电视信号在传输入过程中不失真， 必须对彩色信号进行压缩，压缩方法是让色差 信号乘上一个小于1的压缩系数(式2.7) ：
U=m(B-Y)=0.493(B-Y)
V=n(R-Y)=0.877(R-Y)
• 将式(2.6)代入式(2.7)，整理后得到(式2.7) ：
MPEG图像文件格式
• MPEG(Moving Picture Expert Group)活动图像专家组 是在1988年由国际标准化组织和国际电工委员会联合成 立专家组，负责开发电视图像数据和声音数据的编码、 解码和它们的同步等标准。这个标准称为MPEG标准。
• 已经开发和正在开发的MPEG标准有：
2.1 图像的彩色空间表示及转换
2.1.1 颜色的基本概念
彩色三要素
三基色
三基色加色混合及补色 亮度公式
2.1.2 彩色空间
RGB彩色空间 YUV和YIQ彩色空间
HIS彩色空间 其他彩色空间
2.1.3 彩色空间的转换
RGB与YUV和YIQ之间的转换
• RGB彩色信号在传送过程中包含亮度信号和 色差信号，亮度方程简化为：
数模（D/A）转换和矩阵变换
• 数模转换器把8位的数字彩色电视信号变 为模拟彩色电视信号。
• 视频信号处理器用于处理亮度和色度信 号的模拟电路，其输入是Y、U、V信号， 输出是R、G、B信号。从Y、U、V到R、 G、B的转换是通过一个YUV-RGB矩阵 网络完成的。其中，矩阵因子因制式不 同稍有差别，目的是要补偿信号输出中 的失真。
模数（A/D）转换和数字解码
• 模数（A/D）转换：通过编程控制可选择任一个 输入作为视频输入，然后送到具有钳位电路和自 动增益（AGC）功能的运算放大器（AMP）， 最后经过模数（A/D）转换将彩色全电视信号变 换成8位数字信号，经TTL输出到多制式数字解 码器。
• 多制式数字解码器：将接收的8位电信号经解码 处理后输出数字式的TUV信号，并同时产生场同 步及其他的控制信号。
MPEG的硬解压与软解压
• MPEG是一种视频压缩技术，可以获得30帧/秒（NTSC 制）或25帧/秒（PAL制）高质量的全屏幕视频图像。
• 硬解压：利用硬件芯片对压缩编码实时解压并在屏幕上 显示的视频扩充卡，这种卡也称为“电影卡”。MPEG 解压卡主要是在VGA显示器上播放MPEG文件或VCD、 CD-I视盘。有的解压卡不仅有VGA输出，还带有视频 输出端口——这样就可以接上电视机，在更大屏幕上欣 赏视盘节目。