视频处理概念
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数字视频是以离散的数字信号方式表示、 存储、处理和传输的视频信息，所用的存 储介质、处理设备以及传输网络都是数字 化的
数字视频特点
以离散的数字信号形式记录视频信息
用数字化设备编辑处理
通过数字化宽带网络传播
存储在数字存储媒体上
数字视频优点
视频信号数字化以后，克服了模拟视频的 局限性，有着模拟信号无可比拟的优点： 再现性好：模拟信号由于是连续变化的，所
典型应用：视频会议，视频监控等
编码效率是MPEG-4/H.263的两倍以上
AVS
由中国的音视频编码专家组提出，有关政
府部门认可的
我国具备自主知识产权的编码标准，节省
音视频标准专利费
在节省很大计算资源的情况下取得与 H.264相近的编码效果 典型应用：视频会议、视频监控等
1.2.2 视频会议
数字视频处理
Digital Video Processing
第一章 绪论
1.1数字视频基本概念
图像(Picture/Image)
当光辐射能量照在物体上，经过它的反射 或投射，或由发光物体本身发出的光能量 在人眼中所重现出的物体的视觉信息 图像分类：
按色调分：无色调的灰度(黑白)图像和有 色调的彩色图像两种 按产生机制或捕捉方法分：红外图像、微 波图像、CT图像、遥感图像 …
视频
其内容随时间变化的一组动态图像，所 以又叫运动图像或活动图像(Motion picture) 它是一种信息量最丰富、直观、生动、 具体的承载信息的媒体
图像分辨率(Picture Resolution)
图像分辨率是指组成一幅图像的像素密 度的度量方法，一般用图像水平和垂直 的像素数目表示 A×B 对同样大小的一幅图像，如果组成该图 像的像素数目越多，则说明图像的分辨 率越高，看起来越逼真；相反，图像显 得越粗糙
针对低带宽条件下的视频通信应用
以附录的形式引入编码工具，增加灵活性 典型应用：可视电话
H.263+/H.263++
由ITU提出 进一步提高视频压缩率，同时针对网络传 输应用，提高错误鲁棒性 以附录的形式引入编码工具 过多的附录选项阻碍了H.263+/H.263++的
应用
模拟视频特点
以连续的模拟信号形式记录视频信息
模拟设备编辑处理
用模拟调幅的手段在空间传播
在磁带或胶片中存放
视频信号随存储时间、拷贝次数和传输距 离的增加衰减较大，产生信号的损失，不 适合网络传输，也不便于分类、检索编辑
数字视频(Digital Video)
要使计算机能够对视频进行处理，必须把 模拟视频信号进行数字化，形成数字视频 信号
MPEG-4
由ISO/IEC提出
不仅是针对一定码率(5～64kbps)下的编码，
更加注重多媒体系统的交互性和灵活性
面向对象的编码概念（并没有实质应用）
典型应用：视频监控，把DVD里面的文 件转换为数据量更小的文件
H.264/MPEG-4 Part10/AVC
由ITU和ISO/IEC的JVT(联合视频组)提出 与其它现有的视频编码标准相比，在相同 的带宽下提供更加优秀的图像质量
样、质量和价格进行鉴定，纸币中的水印
可以起到标识和防伪的作用 数字水印与纸张水印的基本思想相似，即 数字作品中的水印，可以起到标识和防伪 的作用
数字视频水印定义
顾名思义，数字视频水印就是加载在数字
视频上的数字水印
把表征版权的水印信息嵌入到数字视频内
容中，以此作为版权保护的依据和凭证， 从而既不影响视频质量，又能达到版权保 护的目的
数字视频优点
便于编辑处理：模拟信号只能简单调整亮度、
对比度和颜色等，极大地限制了处理手段和应 用范围。而数字视频信号可以传送到计算机内 进行存储、处理，很容易进行创造性的编辑与 合成，并进行动态交互
第一章 绪论
1.1 数字视频基本概念
1.2 数字视频的典型应用
1.2.1 视频压缩（视频编Байду номын сангаас）
80X60
160X120
320X240
640X480
视频
按照视频的存储与处理方式不同，可分为 模拟视频和数字视频两种
模拟视频(Analog Video)
一种用于传输视频图像的随时间连续变 化的电信号 普通广播电视信号是一种典型的模拟视 频信号 电视摄像机通过电子扫描将所描述的景 物进行光电转换后，得到电信号，即用 一个电信号来表征景物，这种电视信号 称为模拟电视信号
不可见地隐藏其中! 发 布
含水印艺术品
原始艺术品
嵌入
水印
“攻击”
?
检测的水印
抽取
可疑艺术品
数字视频水印分类
根据嵌入水印的可见性，视频水印可分为
无损/有损压缩
从信息在压缩过程中有否丢失来区分 无损压缩
压缩前和压缩后还原的数据完全一致
多采用概率统计编码
如winrar文档压缩
无损/有损压缩
有损压缩
压缩过程中会丢失视频中的一些信息
通常压缩比例比较大
如现有的绝大多数视频压缩标准
视频压缩标准
ITU-T
VCEG
模拟视频(Analog Video)
电视接收机通过显示器进行电光转换，产 生为人眼所接受的“模拟”信号的光图像 模拟视频指的是视频的记录、存储和传输 以模拟的形式进行，通常在普通电视上看 到的、摄像机录制的、录像机播放的信号 都是模拟视频信号 模拟视频图像可由摄影用电子摄像机获得 ，并记录在录像带上；也可用电影摄像机 采集，并存入电影胶片中
III)
MPEG-2/H.262
由ITU和ISO/IEC联合提出
采用更高的目标码率（ 4Mbps---15Mbps，
最大80Mbps,），更高的图像分辨率（最 大1920x1152），以获得更好的图像质量 典型应用：DVD，有线电视网、卫星直 播提供的广播级的数字视频
H.263
由ITU提出
未经过压缩的原始视频的码率
标清电视
720×576×25×8×1.5 ＝ 119Mbps
未经过压缩的原始视频的码率
720p高清电视
1280×720×30×8×1.5 ＝ 316Mbps
1080p高清电视
1920×1080×60×8×1.5 ＝ 1424Mbps
100分钟的标清视频节目大小可达
H.261
由ITU提出 针对ISDN网络上的视频应用，目标码率为 n×64kbps (64-2048 kbps)，典型为128kbps
首次提出变换编码＋预测编码的混合编码
架构，并一直被后续编码标准采用
支持较小的分辨率图像
MPEG-1
由ISO/IEC 提出 针对视频存储应用，如CD-ROM存储，最 大目标码率1.86Mbps(1.2Mbps---1.5Mbps) 典型应用：VCD、MP3(MPEG Audio Layer
MPEG专家组
MPEG（Moving Picture Expert Group）诞 生于1991年，由国际标准化组织 (International Organization for Standardization，ISO)和国际电工委员会 (International Electrotechnical Commission， IEC)联合成立的专家组，负责开发影视图 象、声音的处理、压缩、解压缩、编码和 它们的组合标准。这个专家组开发标准称 为MPEG标准
国际电报电话咨询委员会CCITT
CCITT是国际电报电话咨询委员会的简称， 它是国际电信联盟（ITU）的常设机构之 一。主要职责是研究电信的新技术、新业 务和资费等问题，并对这类问题通过建议 使全世界的电信标准化
从1993年3月1日起，国际电报电话咨询委 员会（CCITT）改组为国际电信联盟 （ITU）电信标准化部门，简称ITU-T
以召开多方会议为目的，采用数字化、编
码压缩技术，同时双向多方传输图像和声
音，能够满足人们开会需求的新型高科技
通信系统
视频会议
长距离传输
多方同时召开 实时交流 多种媒体结合 使用经济的网
络和带宽
视频会议给用户带来的好处
降低商用费用 更加方便的沟通 和信息共享
低 低
反应时间 高
国际电信联盟ITU
随着电话与无线电的应用与发展，ITU的 职权不断扩大。1906年，德、英、法、美、 日等27个国家的代表在柏林签订了《国际 无线电报公约》
1932年，70多个国家的代表在西班牙马德 里召开会议，将《国际电报公约》与《国 际无线电报公约》合并， 制定《国际电 信公约》，并决定自1934年1月1日起正式 改称为“国际电信联盟”
显示分辨率(Display Resolution)
显示分辨率是指显示屏上能够显示出的 像素数目。屏幕能够显示的像素越多， 说明显示设备的分辨率越高
分辨率
图像分辨率与显示分辨率是两个不同的 概念。图像分辨率是确定组成一幅图像 的像素数目，而显示分辨率表示显示屏 上可用于显示图像的像素的数量
以不管复制时采用的精确度多高，失真总是不 可避免的，经过多次复制以后，误差会很大。 数字视频可以不失真地进行无限次复制，其抗 干扰能力是模拟图像无法比拟的。它不会因存 储、传输和复制而产生图像质量的退化，从而 能够准确地再现图像
数字视频优点
适合于网络应用：在网络环境中，视频信息
可以很方便地实现资源的共享，通过网线，数 字信号可以很方便地从资源中心传到办公室和 家中。视频数字信号可以长距离传输而不会产 生任何不良影响（无传输差错条件），而模拟 信号在传输过程中会有信号损失
交流程度
高
提升整体办公效 率，增加竞争力
1.2.3 数字视频水印
数字视频水印技术是近十几年兴起的一种
新兴技术，它横跨信号处理、数字通信、
密码学、计算机网络技术等多门学科。数
字水印技术主要用于多媒体版权保护等领 域
水印
人们对“水印”一词并不陌生，纸张中的
水印可以跟踪纸张的来源以及对纸张的式
MPEG-4 (1998) AVS (2003)
CHINA
1990 1992 1994 1996
1998 2000 2002 2004 2006 2008 2012
Video Encoding/Decoding
国际电信联盟ITU
国际电信联盟ITU（International Telecommunication Union） ITU的历史可以追溯到1865年。为了顺利 实现国际电报通信，1865年5月17日，法、 德、俄、意、奥等20个欧洲国家的代表在 巴黎签订了《国际电报公约》，国际电报 联盟（International Telegraph Union ，ITU） 也宣告成立
(a)
视觉冗余
…
利用视频冗余性，对视频
(b)
帧内地面结构相似
帧间运动员动作连续
进行压缩编码
数据与信息的区别
数据用来记录和传送信息，是信息的载体； 数据的处理的结果是信息 压缩的对象是数据，而不是“信息”
压缩的目的是在传送和处理信息时，尽量 减小数据量 数据量与信息量的关系：数据量=信息量 +冗余数据量
视频(Video)
视频是一组图像序列按时间顺序的连续展示，
是利用人类视觉暂留（视觉惰性）的原理，通 过播放一系列的图像，使人眼产生运动的感觉 序列(Sequence) 帧(Frame) 像素(Pixel)
y
序列 像素 p(x, y, t) t
帧
x
像素
“像素”（Pixel） 是由 Picture(图像) 和 Element(元素)这两个单词的字母所组成 的 一个像素通常被视为图像的最小的完整 采样
约86.9GB！
视频压缩的必要性
有限的信道带宽
在不经过数据压缩情况下，CD/DVD视 频播放机根本无法达到实用目的
结论：要使数字视频信号适合于实际存储 和传输，必须压缩数据量，降低传输数据 码率
前提：压缩后图像质量要满足视觉要求
视频的冗余性
时间冗余
空间冗余
信息熵冗余
知识冗余
H.261 (1990)
H.263 (1995/96) MPEG-2 (H.262) (1994/95)
H.263+ (1997/98)
H.263++ (2000) H.264 (MPEG -4 Part10) ( 2003)
H.265 (2013- )
ISO/IEC
MPEG
MPEG-1 (1993)
数字视频特点
以离散的数字信号形式记录视频信息
用数字化设备编辑处理
通过数字化宽带网络传播
存储在数字存储媒体上
数字视频优点
视频信号数字化以后，克服了模拟视频的 局限性，有着模拟信号无可比拟的优点： 再现性好：模拟信号由于是连续变化的，所
典型应用：视频会议，视频监控等
编码效率是MPEG-4/H.263的两倍以上
AVS
由中国的音视频编码专家组提出，有关政
府部门认可的
我国具备自主知识产权的编码标准，节省
音视频标准专利费
在节省很大计算资源的情况下取得与 H.264相近的编码效果 典型应用：视频会议、视频监控等
1.2.2 视频会议
数字视频处理
Digital Video Processing
第一章 绪论
1.1数字视频基本概念
图像(Picture/Image)
当光辐射能量照在物体上，经过它的反射 或投射，或由发光物体本身发出的光能量 在人眼中所重现出的物体的视觉信息 图像分类：
按色调分：无色调的灰度(黑白)图像和有 色调的彩色图像两种 按产生机制或捕捉方法分：红外图像、微 波图像、CT图像、遥感图像 …
视频
其内容随时间变化的一组动态图像，所 以又叫运动图像或活动图像(Motion picture) 它是一种信息量最丰富、直观、生动、 具体的承载信息的媒体
图像分辨率(Picture Resolution)
图像分辨率是指组成一幅图像的像素密 度的度量方法，一般用图像水平和垂直 的像素数目表示 A×B 对同样大小的一幅图像，如果组成该图 像的像素数目越多，则说明图像的分辨 率越高，看起来越逼真；相反，图像显 得越粗糙
针对低带宽条件下的视频通信应用
以附录的形式引入编码工具，增加灵活性 典型应用：可视电话
H.263+/H.263++
由ITU提出 进一步提高视频压缩率，同时针对网络传 输应用，提高错误鲁棒性 以附录的形式引入编码工具 过多的附录选项阻碍了H.263+/H.263++的
应用
模拟视频特点
以连续的模拟信号形式记录视频信息
模拟设备编辑处理
用模拟调幅的手段在空间传播
在磁带或胶片中存放
视频信号随存储时间、拷贝次数和传输距 离的增加衰减较大，产生信号的损失，不 适合网络传输，也不便于分类、检索编辑
数字视频(Digital Video)
要使计算机能够对视频进行处理，必须把 模拟视频信号进行数字化，形成数字视频 信号
MPEG-4
由ISO/IEC提出
不仅是针对一定码率(5～64kbps)下的编码，
更加注重多媒体系统的交互性和灵活性
面向对象的编码概念（并没有实质应用）
典型应用：视频监控，把DVD里面的文 件转换为数据量更小的文件
H.264/MPEG-4 Part10/AVC
由ITU和ISO/IEC的JVT(联合视频组)提出 与其它现有的视频编码标准相比，在相同 的带宽下提供更加优秀的图像质量
样、质量和价格进行鉴定，纸币中的水印
可以起到标识和防伪的作用 数字水印与纸张水印的基本思想相似，即 数字作品中的水印，可以起到标识和防伪 的作用
数字视频水印定义
顾名思义，数字视频水印就是加载在数字
视频上的数字水印
把表征版权的水印信息嵌入到数字视频内
容中，以此作为版权保护的依据和凭证， 从而既不影响视频质量，又能达到版权保 护的目的
数字视频优点
便于编辑处理：模拟信号只能简单调整亮度、
对比度和颜色等，极大地限制了处理手段和应 用范围。而数字视频信号可以传送到计算机内 进行存储、处理，很容易进行创造性的编辑与 合成，并进行动态交互
第一章 绪论
1.1 数字视频基本概念
1.2 数字视频的典型应用
1.2.1 视频压缩（视频编Байду номын сангаас）
80X60
160X120
320X240
640X480
视频
按照视频的存储与处理方式不同，可分为 模拟视频和数字视频两种
模拟视频(Analog Video)
一种用于传输视频图像的随时间连续变 化的电信号 普通广播电视信号是一种典型的模拟视 频信号 电视摄像机通过电子扫描将所描述的景 物进行光电转换后，得到电信号，即用 一个电信号来表征景物，这种电视信号 称为模拟电视信号
不可见地隐藏其中! 发 布
含水印艺术品
原始艺术品
嵌入
水印
“攻击”
?
检测的水印
抽取
可疑艺术品
数字视频水印分类
根据嵌入水印的可见性，视频水印可分为
无损/有损压缩
从信息在压缩过程中有否丢失来区分 无损压缩
压缩前和压缩后还原的数据完全一致
多采用概率统计编码
如winrar文档压缩
无损/有损压缩
有损压缩
压缩过程中会丢失视频中的一些信息
通常压缩比例比较大
如现有的绝大多数视频压缩标准
视频压缩标准
ITU-T
VCEG
模拟视频(Analog Video)
电视接收机通过显示器进行电光转换，产 生为人眼所接受的“模拟”信号的光图像 模拟视频指的是视频的记录、存储和传输 以模拟的形式进行，通常在普通电视上看 到的、摄像机录制的、录像机播放的信号 都是模拟视频信号 模拟视频图像可由摄影用电子摄像机获得 ，并记录在录像带上；也可用电影摄像机 采集，并存入电影胶片中
III)
MPEG-2/H.262
由ITU和ISO/IEC联合提出
采用更高的目标码率（ 4Mbps---15Mbps，
最大80Mbps,），更高的图像分辨率（最 大1920x1152），以获得更好的图像质量 典型应用：DVD，有线电视网、卫星直 播提供的广播级的数字视频
H.263
由ITU提出
未经过压缩的原始视频的码率
标清电视
720×576×25×8×1.5 ＝ 119Mbps
未经过压缩的原始视频的码率
720p高清电视
1280×720×30×8×1.5 ＝ 316Mbps
1080p高清电视
1920×1080×60×8×1.5 ＝ 1424Mbps
100分钟的标清视频节目大小可达
H.261
由ITU提出 针对ISDN网络上的视频应用，目标码率为 n×64kbps (64-2048 kbps)，典型为128kbps
首次提出变换编码＋预测编码的混合编码
架构，并一直被后续编码标准采用
支持较小的分辨率图像
MPEG-1
由ISO/IEC 提出 针对视频存储应用，如CD-ROM存储，最 大目标码率1.86Mbps(1.2Mbps---1.5Mbps) 典型应用：VCD、MP3(MPEG Audio Layer
MPEG专家组
MPEG（Moving Picture Expert Group）诞 生于1991年，由国际标准化组织 (International Organization for Standardization，ISO)和国际电工委员会 (International Electrotechnical Commission， IEC)联合成立的专家组，负责开发影视图 象、声音的处理、压缩、解压缩、编码和 它们的组合标准。这个专家组开发标准称 为MPEG标准
国际电报电话咨询委员会CCITT
CCITT是国际电报电话咨询委员会的简称， 它是国际电信联盟（ITU）的常设机构之 一。主要职责是研究电信的新技术、新业 务和资费等问题，并对这类问题通过建议 使全世界的电信标准化
从1993年3月1日起，国际电报电话咨询委 员会（CCITT）改组为国际电信联盟 （ITU）电信标准化部门，简称ITU-T
以召开多方会议为目的，采用数字化、编
码压缩技术，同时双向多方传输图像和声
音，能够满足人们开会需求的新型高科技
通信系统
视频会议
长距离传输
多方同时召开 实时交流 多种媒体结合 使用经济的网
络和带宽
视频会议给用户带来的好处
降低商用费用 更加方便的沟通 和信息共享
低 低
反应时间 高
国际电信联盟ITU
随着电话与无线电的应用与发展，ITU的 职权不断扩大。1906年，德、英、法、美、 日等27个国家的代表在柏林签订了《国际 无线电报公约》
1932年，70多个国家的代表在西班牙马德 里召开会议，将《国际电报公约》与《国 际无线电报公约》合并， 制定《国际电 信公约》，并决定自1934年1月1日起正式 改称为“国际电信联盟”
显示分辨率(Display Resolution)
显示分辨率是指显示屏上能够显示出的 像素数目。屏幕能够显示的像素越多， 说明显示设备的分辨率越高
分辨率
图像分辨率与显示分辨率是两个不同的 概念。图像分辨率是确定组成一幅图像 的像素数目，而显示分辨率表示显示屏 上可用于显示图像的像素的数量
以不管复制时采用的精确度多高，失真总是不 可避免的，经过多次复制以后，误差会很大。 数字视频可以不失真地进行无限次复制，其抗 干扰能力是模拟图像无法比拟的。它不会因存 储、传输和复制而产生图像质量的退化，从而 能够准确地再现图像
数字视频优点
适合于网络应用：在网络环境中，视频信息
可以很方便地实现资源的共享，通过网线，数 字信号可以很方便地从资源中心传到办公室和 家中。视频数字信号可以长距离传输而不会产 生任何不良影响（无传输差错条件），而模拟 信号在传输过程中会有信号损失
交流程度
高
提升整体办公效 率，增加竞争力
1.2.3 数字视频水印
数字视频水印技术是近十几年兴起的一种
新兴技术，它横跨信号处理、数字通信、
密码学、计算机网络技术等多门学科。数
字水印技术主要用于多媒体版权保护等领 域
水印
人们对“水印”一词并不陌生，纸张中的
水印可以跟踪纸张的来源以及对纸张的式
MPEG-4 (1998) AVS (2003)
CHINA
1990 1992 1994 1996
1998 2000 2002 2004 2006 2008 2012
Video Encoding/Decoding
国际电信联盟ITU
国际电信联盟ITU（International Telecommunication Union） ITU的历史可以追溯到1865年。为了顺利 实现国际电报通信，1865年5月17日，法、 德、俄、意、奥等20个欧洲国家的代表在 巴黎签订了《国际电报公约》，国际电报 联盟（International Telegraph Union ，ITU） 也宣告成立
(a)
视觉冗余
…
利用视频冗余性，对视频
(b)
帧内地面结构相似
帧间运动员动作连续
进行压缩编码
数据与信息的区别
数据用来记录和传送信息，是信息的载体； 数据的处理的结果是信息 压缩的对象是数据，而不是“信息”
压缩的目的是在传送和处理信息时，尽量 减小数据量 数据量与信息量的关系：数据量=信息量 +冗余数据量
视频(Video)
视频是一组图像序列按时间顺序的连续展示，
是利用人类视觉暂留（视觉惰性）的原理，通 过播放一系列的图像，使人眼产生运动的感觉 序列(Sequence) 帧(Frame) 像素(Pixel)
y
序列 像素 p(x, y, t) t
帧
x
像素
“像素”（Pixel） 是由 Picture(图像) 和 Element(元素)这两个单词的字母所组成 的 一个像素通常被视为图像的最小的完整 采样
约86.9GB！
视频压缩的必要性
有限的信道带宽
在不经过数据压缩情况下，CD/DVD视 频播放机根本无法达到实用目的
结论：要使数字视频信号适合于实际存储 和传输，必须压缩数据量，降低传输数据 码率
前提：压缩后图像质量要满足视觉要求
视频的冗余性
时间冗余
空间冗余
信息熵冗余
知识冗余
H.261 (1990)
H.263 (1995/96) MPEG-2 (H.262) (1994/95)
H.263+ (1997/98)
H.263++ (2000) H.264 (MPEG -4 Part10) ( 2003)
H.265 (2013- )
ISO/IEC
MPEG
MPEG-1 (1993)