电子视频技术

电子视频技术
1．Huffman编码、算术编码、行程编码的原理、算法及适用范围。

1.1Huffman编码
HUFFMAN编码又称哈夫曼编码，是一种可变长编码方式，是由美国数学家David Huffman创立的，是二叉树的一种特殊转化形式。

编码的原理是：将使用次数多的代码转换成长度较短的代码，而使用次数少的能够使用较长的编码，同时保持编码的唯一可解性。

Huffman算法的最根本的原则是：累计的(字符的统计数字*字符的编码长度)为最小，也就是权值(字符的统计数字*字符的编码长度)的与最小。

由于Huffman编码需要扫描两次，第一次是统计数字，第二次是编码写文件，大大影响了速度，因此有人发明了enhanced Huffman aglorithm。

这种算法只扫描一遍文件，动态产生Huffman 树，即每读n个字节就重新编码一次Huffman树，以达到提高速度的目的。

在解码的过程中使用动态还原技术。

Huffman编码是Huffman树的一个应用。

Huffman编码应用广泛，如JPEG中就应用了Huffman编码。

1.2算术编码
算术编码是图像压缩的要紧算法之一。

是一种无损数据压缩方法，也是一种熵编码的方法。

与其它熵编码方法不一致的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足(0.0 ≤ n < 1.0)的小数n。

在给定符号集与符号概率的情况下，算术编码能够给出接近最优的编码结果。

使用算术编码的压缩算法通常先要对输入符号的概率进行估计，然后再编码。

这个估计越准，编码结果就越接近最优的结果。

算术编码是用符号的概率与它的编码间隔两俩个基本参数来描述的（见下文教程）。

算术编码能够是静态的或者是自习惯的。

在静态算术编码中，信源符号的概率是固定的。

在自习惯算术编码中，信源符号的概率根据编码时符号出现的频繁程度动态地进行修改。

在编码期间估算信源符号概率的过程叫建模。

需要开发动态算术编码的原因，是由于事先明白精确的信源符号概率是很难的，而且是不切实际的。

动态建模是确定编码器压缩效率的关键。

算术编码在图像数据压缩标准(如JPEG，JBIG)中扮演了重要的角色。

在算术编码中，消
息用0到1之间的实数进行编码，算术编码用到两个基本的参数：符号的概率与它的编码
间隔。

信源符号的概率决定压缩编码的效率，也决定编码过程中信源符号的间隔，而这些间隔包含在0到1之间。

编码过程中的间隔决定了符号压缩后的输出。

1.3行程编码
在对图像数据进行编码时，沿一定方向排列的具有相同灰度值的像素可看成是连续符号，用字串代替这些连续符号，可大幅度减少数据量。

行程编码分为定长行程编码与不定长行程编码两种类型。

行程编码是连续精确的编码，在传输过程中，假如其中一位符号发生错误，即可影响整个编码序列，使行程编码无法还原回原始数据。

假如一幅图象是由很多块颜色相同的大面积区域构成，那么使用行程编码的压缩效率是惊人的。

然而，该算法也导致了一个致命弱点，假如图象中每两个相邻点的颜色都不一致，用这种算法不但不能压缩，反而数据量增加一倍。

因此现在单纯使用行程编码的压缩算法用得并不多，PCX文件算是其中的一种.
2．预测编码的基本原理、DPCM编码原理、最佳线性预测、自习惯预测编码、自习惯帧间预测等有关内容。

2.1预测编码
预测编码对有经历信源的剩余度进行压缩的一种时域编码方法。

预测编码是根据离散信号之间存在着一定关联性的特点，利用前面一个或者多个信号预测下一个信号进行，然后对实际值与预测值的差（预测误差）进行编码。

假如预测比较准确，误差就会很小。

在同等精度要求的条件下，就能够用比较少的比特进行编码，达到压缩数据的目的。

预测编码中典型的压缩方法有脉冲编码调制（PCM，Pulse Code Modulation）、差分脉冲编码调制（DPCM，Differential Pulse Code Modulation）、自习惯差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation）等，它们较适合于声音、图像数据的压缩，由于这些数据由采样得到，相邻样值之间的差相差不可能很大，能够用较少位来表示。

2.2 DPCM编码
在PCM系统中，原始的模拟信号通过采样后得到的每一个样值都被量化成为数字信号。

为了压缩数据，能够不对每一样值都进行量化，而是预测下一样值，并量化实际值与预测值之间的差值，这就是DPCM（Differential Pulse Code Modulation，差分脉冲编码调制）。

1952年贝尔（Bell）实验室的C. C. Cutler取得了差分脉冲编码调制系统的专利，奠定了真正有用的预测编码系统的基础。

DPCM系统工作时，发送端先发送一个起始值x0，接着就只发送预测误差值ek = xk – x^k，而预测值x^k可记为
x^k = f（x'1，x'2，…，x' N，k），k > N （04-01-1）
式中k > N表示x'1，x'2，…，x' N的时序在xk之前，为所谓因果型（Causal）预测，否则为非因果型预测。

接收端把接收到的量化后的预测误差e^k 与本地算出的x^k相加，即得恢复信号x'k。

假如没有传输误差，则接收端重建信号x'k与发送端原始信号xk之间的误差为：
xk - x' k = x k - ( x^k + e^k )
= ( xk - x^k ) - e^k
= ek - e^k
= qk （04-01-2）
这正是发送端量化器产生的量化误差，即整个预测编码系统的失真完全由量化器产生。

因此，当xk已经是数字信号时，假如去掉量化器，使e^k = ek，则qk = 0，即x'k = xk 。

这说明，这类不带量化器的DPCM系统也可用于无损编码。

但假如量化误差qk ≠ 0，则x'k ≠xk，为有损编码。

假如预测方程式（04-01-2）的右方是各个x'i的线性函数，即
N
x' k = Σai(k) x' i k > N (04-01-3)
i=1
即得常用的线性预测，又称线性预测编码（LPC，Linear Predictive Coding）。

LPC在语音处理中得到广泛应用，并在此基础上进展了许多算法，典型的有：多脉冲线性预测编码（MPLPC），规则脉冲激励编码（RPE），码激励线性预测（CELP），代数激励线性预测（ACELP），矢量与激励线性预测（VSELP），QCELP（Qualcomm CELP，变速率CELP），低延时码激励线性预测（LD-CELP），共轭结构代数激励线性预测（CS-ACELP），混合激励线性预测（MELP），间隔同步更新码激励线性预测（PSI-CELP），松弛码激励线性预测（RCELP），残差激励线性预测（RELP），规则脉冲激励长时预测（RPE-LTP）等。

在图像信号中应用DPCM时，用作预测的像素与被预测的像素能够在同一行，也能够在不一致行（同一帧），甚至在不一致帧，分别称之一维预测、二维预测与三维预测。

声音信号中的预测只是一维预测。

DPCM的优点是算法简单，容易硬件实现，缺点是对信道噪声很敏感，会产生误差扩散。

即某一位码出错，对图像一维预测来说，将使该像素以后的同一行各个像素都产生误差；而对二维预测，该码引起的误差还将扩散到下列的各行。

这样，将使图像质量大大下降。

同时，DPCM的压缩率也比较低。

随着变换编码的广泛应用，DPCM的作用已很有限。

2.3最佳线性预测
假如对一个随机效应(如个体育种值)的预测具有线性(预测量是样本观察值的线性函数)、无偏(预测量的数学期望等于随机效应本身的数学期望)与预测误差方差最小等统计学性质，则称其为最佳线性无偏预测。

2.4自习惯预测编码
预测参数的最佳化依靠信源的特征，要得到最佳预测参数显然是一件繁琐的工作。

而使用固定的预测参数往往又得不到较好的性能。

为了能使性能较佳，又不致于有太大的工作量，能够使用自习惯预测。

为了减少计算工作量，预测参数仍使用固定的，但如今有多组预测参数可供选择，这些预测参数根据常见的信源特征求得。

编码时具体使用哪组预测参数需根据特征来自习惯地确定。

为了自习惯地选择最佳参数，通常将信源数据分区间编码，编码时自动地选择一组预测参数，使该实际值与预测值的均方误差最小。

随着编码区间的不一致，预测参数自习惯地变化，以达到准最佳预测。

2.5自习惯帧间预测
帧间预测编码是利用视频图像帧间的有关性，即时间有关性，来达到图像压缩的目的，广泛用于普通电视、会议电视、视频电话、高清晰度电视的压缩编码。

在图像传输技术中，活动图像特别是电视图像是关注的要紧对象。

活动图像是由时间上以帧周期为间隔的连续图像帧构成的时间图像序列，它在时间上比在空间上具有更大的有关性。

大多数电视图像相邻帧间细节变化是很小的，即视频图像帧间具有很强的有关性，利用帧所具有的有关性的特点进行帧间编码，可获得比帧内编码高得多的压缩比。

关于静止图像或者活动很慢的图像，能够少传一些帧，如隔
帧传输，未传输的帧，利用接收端的帧存储器中前一帧的数据作为该帧数据，对视觉没有什么影响。

由于人眼对图像中静止或者活动慢的部分，要求有较高的空间分辨率，而对时间分辨率的要求可低些。

这种方法叫帧重复方法，广泛应用于视频电话、视频会议系统中，其图像帧速率通常为1~15帧/秒。

使用预测编码的方法消除序列图像在时间上的有关性，即不直接传送当前帧的像素值，而是传送x与其前一帧或者后一帧的对应像素x' 之间的差值,这称之帧间预测。

当图像中存在着运动物体时，简单的预测不能收到好的效果，比如图象的当前帧与前一帧的背景完全一样，只是小球平移了一个位置，假如简单地以第k-1帧像素值作为k帧的预测值，则在实线与虚线所示的圆内的预测误差都不为零。

假如已经明白了小球运动的方向与速度，能够从小球在k-1帧的位置推算出它在k帧中的位置来，而背景图像（不考虑被遮挡的部分）仍往常一帧的背景代替，将这种考虑了小球位移的k-1帧图像作为k帧的预测值，就比简单的预测准确得多，从而能够达到更高的数据压缩比。

这种预测方法称之具有运动补偿的帧间预测。

具有运动补偿的帧间预测编码是视频压缩的关键技术之一，它包含下列几个步骤：首先，将图像分解成相对静止的背景与若干运动的物体，各个物体可能有不一致的位移，但构成每个物体的所有像素的位移相同，通过运动估值得到每个物体的位移矢量；然后，利用位移矢量计算经运动补偿后的预测值；最后对预测误差进行量化、编码、传输，同时将位移矢量与图像分解方式等信息送到接收端。

在具有运动补偿的帧间预测编码系统中，对图像静止区与不一致运动区的实时完善分解与运动矢量计算是较为复杂与困难的。

在实际实现时经常使用的是像素递归法与块匹配法两种简化的办法。

像素递归法的具体作法是，仍需通过某种较为简单的方法首先将图像分割成运动区与静止区。

在静止区内像素的位移为零，不进行递归运算；对运动区内的像素，利用该像素左边或者正上方像素的位移矢量D作为本像素的位移矢量，然后用前一帧对应位置上经位移D后的像素值作为当前帧中该像素的预测值。

假如预测误差小于某一阈值，则认为该像素可预测，无需传送信息；假如预测误差大于该阈值，编码器则需传送量化后的预测误差、与该像素的地址，收、发双方各自根据量化后的预测误差更新位移矢量。

由此可见，像素递归法是对每一个像素根据预测误差递归地给出一个估计的位移矢量，因而不需要单独传送位移矢量给接收端。

块匹配法是另一种更为简单的运动估值方法。

它将图像划分为许多子块，并认为子块内所有像素的位移量是相同的，这意味着将每个子块视为一个“运动物体”。

关于某一时间t,图像帧中的某一子块假如在另一时间t-t1的帧中能够找到若干与其十分相似的子块，则称其中最为相似的子块为匹配块，并认为该匹配块是时间t-t1的帧中相应子块位移的结果。

位移矢量由两帧中相应子块的坐标决定。

考虑到一定时间间隔内物体可能的运动速度、运动范围与匹配搜索所需的计算量，在匹配搜索时通常仅在一个有限范围内进行。

假设在给定时间间隔内最大可能的水平与垂直位移为d h与d v个像素，则搜索范围SR为
其中M、N为子块的水平与垂直像素数。

在块匹配方法中需要解决两个问题：一是确定判别两个子块匹配的准则；二是寻找计算量最少的匹配搜索算法。

推断两个子块相似程度的准则能够利用两个块间归一化的二维互有关函数、两子块间亮度的均方差MSE或者两子块间亮度差绝对值的均值MAD等。

通过对不一致判别准则的比较研究说明，各类判别准则对位移矢量的估值精度影响差别不是很大。

由于MAD准则的计算不含有乘法与除法运算而成为最常使用的匹配判别准则。

MAD准则定义如下：
其中Xk与Xk-1分别表示图像在第k帧与第k-1帧的像素值。

当MAD最小时，表示两个子块匹配。

关于匹配搜索算法，最简单与直接的方法就是全搜索方式，马上第k-1帧中的子块在整个搜索区内逐个像素移动，每移动一次计算一次判决函数。

总的移动次数为(2d h + 1)(2d v + 1)。

当d h = d v = 6时，总的计算次数为169。

显然，全搜索的运算量是相当大的。

为了加快搜索过程，人们提出了许多不一致的搜索方法，其中应用较广的有二维对数法、三步法、共轭方向法与正交搜索法。

这几种方法都基于如下的假设：当偏离最小误差方向时，判决函数是单调上升的，搜索总沿着判决函数值减小的方向进行。

上述几种方案所需的搜索步骤与计算点数略有差异，但基本思路是一致的。

通过上面介绍的两种运动矢量估值方法能够看出，像素递归法对每一个像素给出一个估计的位移矢量，因而对较小面积物体的运动估值较为精确。

但像素递归法在估值时需要进行叠代运算，从而存在着收敛速度与稳固性问题。

块匹配法对同一子块内位移量不一致的像素只能给出同一个位移估值，限制了对每一像素的估值精度。

但关于面积较大的运动物体而言，使用块匹配法的预测要比使用像素递归法的预测效果好。

另外，从软硬件实现角度看，块匹配算法相对简单，在实际活动图像压缩编码系统中得到较为普遍的应用。

3．变换编码的基本原理、DCT变换、DWT变换等有关内容。

3.1变换编码
变换编码不是直接对空域图像信号进行编码，而是首先将空域图像信号映射变换到另一个正交矢量空间（变换域或者频域），产生一批变换系数，然后对这些变换系数进行编码处理。

其中关键问题是在时域或者空域描述时，数据之间有关性大，数据冗余度大，通过变换在变换域中描述，数据有关性大大减少，数据冗余量减少，参数独立，数据量少，这样再进行量化，编码就能得到较大的压缩比。

目前常用的正交变换有：傅立叶(Fouries)变换、沃尔什(Walsh)变换、哈尔(Haar)变换、斜(Slant)变换、余弦变换、正弦变换、K-L(Karhunen-Loeve)变换等。

在变幻编码中的比特分配中，分区编码是基于最大方差准则；阈值编码是基于最大幅度准则。

3.2DCT变换
离散余弦变换（DCT）是N.Ahmed等人在1974年提出的正交变换方法。

它常被认为是对语音与图像信号进行变换的最佳方法。

为了工程上实现的需要，国内外许多学者花费了很大精力去寻找或者改进离散余弦变换的快速算法。

由于近年来数字信号处理芯片（DSP）的进展，加上专用集成电路设计上的优势，这就牢固地确立离散余弦变换（DCT）在目前图像编码中的重要地位，成为H.261、JPEG、MPEG 等国际上公用的编码标准的重要环节。

在视频压缩中，最常用的变换方法是
DCT,DCT被认为是性能接近K-L变换的准最佳变换，变换编码的要紧特点有：（1）在变换域里视频图像要比空间域里简单。

（2）视频图像的有关性明显下降，信号的能量要紧集中在少数几个变换系数上，使用量化与熵编码可有效地压缩其数据。

（3）具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码。

通常,对高质量的图像，DMCP要求信道误码率，而变换编码仅要求信道误码率。

3.3DWT变换
离散小波变换（Discrete Wavelet Transform）是指在特定子集上采取缩放与平移的小波变换，是一种兼具时域与频域多分辨率能力的信号分析工具。

此变换运用能够缩放平移的小波代替固定的窗进行计算分析，要紧应用于信号编码与数据压缩。

4．MPEG系列标准的内容、特点与应用简介与比较。

4.1MPEG的内容
MPEG的全名为Moving Pictures Experts Group/Motin Pictures Experts Group，中文译名是动态图像专家组。

MPEG-1
MPEG-1标准于1992年正式出版，标准的编号为ISO/IEC11172，其标题为“码率约为1.5Mb/s用于数字存贮媒体活动图像及其伴音的编码”。

MPEG-1层1 数字盒式录音带
MPEG-1层2 DAB,VCD
MPEG-1层3 Internet,MP3音乐
MPEG-1 audio layer 1
类型：Audio
制定者：MPEG
所需频宽：384kbps（压缩4倍）
特性：编码简单，用于数字盒式录音磁带，2声道，VCD中使用的音频压缩方案就是MPEG-1层Ⅰ。

优点：压缩方式相对时域压缩技术而言要复杂得多，同时编码效率、声音质量也大幅提高，编码延时相应增加。

能够达到“完全透明”的声音质量（EBU音质标准）
缺点：频宽要求较高
应用领域：voip
版税方式：Free
备注：MPEG-1声音压缩编码是国际上第一个高保真声音数据压缩的国际标准，它分为三个层次：
--层1(Layer 1)：编码简单，用于数字盒式录音磁带
--层2(Layer 2)：算法复杂度中等，用于数字音频广播(DAB)与VCD等
--层3(Layer 3)：编码复杂，用于互联网上的高质量声音的传输，如MP3音乐压缩10倍
MUSICAM(MPEG-1 audio layer 2,即MP2)
类型：Audio
制定者：MPEG
所需频宽：256～192kbps（压缩6～8倍）
特性：算法复杂度中等，用于数字音频广播(DAB)与VCD等，2声道，而MUSICAM由于其适当的复杂程度与优秀的声音质量，在数字演播室、DAB、DVB 等数字节目的制作、交换、存储、传送中得到广泛应用。

优点：压缩方式相对时域压缩技术而言要复杂得多，同时编码效率、声音质量也大幅提高，编码延时相应增加。

能够达到“完全透明”的声音质量（EBU音质标准）
缺点：
应用领域：voip
版税方式：Free
备注：同MPEG-1 audio layer 1
MP3(MPEG-1 audio layer 3)
类型：Audio
制定者：MPEG
所需频宽：128～112kbps（压缩10～12倍）
特性：编码复杂，用于互联网上的高质量声音的传输，如MP3音乐压缩10倍，2声道。

MP3是在综合MUSICAM与ASPEC的优点的基础上提出的混合压缩技术，在当时的技术条件下，MP3的复杂度显得相对较高，编码不利于实时，但由于MP3在低码率条件下高水准的声音质量，使得它成为软解压及网络广播的宠儿。

优点：压缩比高，适合用于互联网上的传播
缺点：MP3在128KBitrate及下列时，会出现明显的高频丢失
应用领域：voip
版税方式：Free
备注：同MPEG-1 audio layer 1
MPEG-2
MPEG-2编码标准希望囊括数字电视、图像通信各领域的编码标准，MPEG-2按压缩比大小的不一致分成五个档次(profile)，每一个档次又按图像清晰度的不一致分成四种图像格式，或者称之级别(level)。

五个档次四种级别共有20种组合，但实际应用中有些组合不太可能出现，较常用的是11种组合。

这11种组合分别应用在不一致的场合，如MP@ML(主档次与主级别)用在具有演播室质量标准清晰度电视SDTV中，美国HDTV大联盟使用MP@HL(主档次及高级别)。

MPEG-2 audio layer
类型：Audio
制定者：MPEG
所需频宽：与MPEG-1层1，层2，层3相同
特性：MPEG-2的声音压缩编码使用与MPEG-1声音相同的编译码器，层1, 层2与层3的结构也相同，但它能支持5.1声道与7.1声道的围绕立体声。

优点：支持5.1声道与7.1声道的围绕立体声
缺点：
应用领域：voip
版税方式：按个收取
备注：MPEG-2的声音压缩编码使用与MPEG-1声音相同的编译码器，层1, 层2与层3的结构也相同，但它能支持5.1声道与7.1声道的围绕立体声。

MPEG-4
MPEG-7
MPEG-7(它的由来是1+2+4=7, 由于没有MPEG-3、MPEG-5、MPEG-6)于1996年10月开始研究。

确切来讲，MPEG－7并不是一种压缩编码方法，其正规的名字叫做’多媒体内容描述接口，其目的是生成一种用来描述多媒体内容的标准，这个标准将对信息含义的解释提供一定的自由度，能够被传送给设备与电脑程序，或者者被设备或者电脑程序查取。

MPEG-7并不针对某个具体的应用，而是针对被MPEG-7标准化了的图象元素，这些元素将支持尽可能多的各类应用。

建立MPEG-7标准的出发点是依靠众多的参数对图象与声音实现分类，并对它们的数据库实现查询，就象我们今天查询文本数据库那样。

可应用于数字图书馆，比如图象编目、音乐词典等；多媒体查询服务，如电话号码簿等；广播媒体选择，如广播与电视频道选取；多媒体编辑，如个性化的电子新闻服务、媒体创作等。

MPEG－21
MPEG在1999年10月的MPEG会议上提出了“多媒体框架”的概念，同年的12月的MPEG会议确定了MPEG-21的正式名称是“多媒体框架”或者“数字视听框架”，它以将标准集成起来支持协调的技术以管理多媒体商务为目标，目的就是懂得如何将不一致的技术与标准结合在一起需要什么新的标准与完成不一致标准的结合工作。

4.2MPEG的应用
远程通信、计算机与电视/电影工业之间的传统界限极为模糊。

历史上原本属于某一领域的内容现已渗透到其他两个领域中。

视频、声音与通信已进入计算机；交互性进入了电视；视频与交互性则进入了远程通信领域。

看起来像一种聚集,实际上并非如此。

这三种行业是从不一致的技术角度来研究音像应用的。

在当今世界,应对三种要紧趋势予以关注：
1、向无线通信进展的趋势；
2、向交互式计算机应用进展的趋势；
3、视听数据的综合应用不断增长的趋势。

基于内容的交互性包含人与音像画面中有意义的对象相互作用的能力。

目前,这种交互作用局限于计算机图形，即人工合成的内容。

关于新的交互式音像应用，能够提供与自然的、人工的及自然/人工混合的音像对象的相互作用极为重要。

为了有效使用存储空间与传送带宽,需要有较高的压缩比。

关于低比特率的应用,改善压缩效率非常重要。

高度的灵活性与可扩展性由句法描述语言来保证，这种句法描述语言称之
‘MPEG-4句法描述语言’(MSDL)。

MSDL将在下面介绍。

目前的视听标准是为从照相机与麦克风获取的自然内容的编码重现而设计的。

由于上述三个领域的相互渗透，人工内容的应用在不断增长。

因此，很显然的需求是一种既适合于自然对象又适合于人工对象的模式，它能够用来产生单一的音像序列。

4.3MPEG的应用
a.新的或者改进的功能。