矢量量化原理 第六章

形心由下式给出：
Yi
1 Si
X
xsi
▪ 式中|Si|表示集合Si中元素的个数（即Si集中有| Si |个X
）。
32
6.4 矢量量化器的设计算法
6.4.1 LBG算法
设计矢量量化器的主要任务是设计码书
。码字数目N给定时，由Linde，Buzo，和
Gray三人1980年首次提出矢量量化器的一个 设计算法，通常称为LBG算法。
4
三、矢量量化技术的发展历程
1956年 1957年 1978年
最佳矢量量化问题
如何划分量化区间 及求量化值问题
Steinhaus Loyd和Max
1980年
提出实际矢量量化器
Buzo
LBG算法
Linde,Buzo和Gray
5
四、矢量量化的优点
矢量量化优于标量量化，为不可逆压缩方法，采用矢量 量化技术对信号波形或参数进行压缩处理，可以获得很好 的效益，具有存储要求低、比特率低、解码简单、失真较 小和计算量小等优点。 采用矢量量化的效果优于标量量化的原因： ➢ 矢量量化能有效的应用矢量中各分量之间的四种相互关 联性质来消除数据中的冗余度。这四种相互关联的性质是 线性依赖(相关性)、非线性依赖(统计不独立)、概率密度 函数的形状和矢量量化的维数，而标量量化仅能利用线性 依赖和概率密度函数的形状来消除冗余度。
8
6.2.1 矢量量化的定义
一、矢量量化基本概念：
标量量化可以说是K＝1的矢量量化。 矢量量化过程和标量量化过程相似。矢量
量化是先把信号序列的每K个样点分成一组 ，形成K维欧氏空间中的一个矢量，然后对
此矢量进行量化。
9
1.四维矢量形成示意图
{xn}
X1
X2 X3
X4
Xn/4
图示输入信号序列{xn}，每4 个样点构成一个矢量
为基准时的失真度。它描述了当输入矢量用码书所 对应的矢量来表征时所付出的代价。
15
6.2.2 失真测度
▪ 失真测度的选择直接影响矢量量化系统的性能。 ▪ 失真测度（距离测度）：是将输入矢量Xi用码本
重构矢量Yi来表征时所产生的误差或失真的度量 方法，它可以描述两个或多个模型矢量间的相似 程度。
▪ 失真测度是以什么方法来反映用码字Yi代替信源
译码端：
先把信道传送来的编码信号译成序号j，再根据 序号（或码字Yj 所在地址），从码本中查出相应 的码字Yj 。Yj 是输入矢量X的重构矢量。
21
矢量量化器的特点：
➢传输存储的不是矢量本身而是其序号，所
以据有高保密性能
➢收发两端没有反馈回路，因此比较稳定 ➢矢量量化器的关键是编码器的设计，译码
χ——信源空间
RK ——k维欧式空间 Y——量化矢量
N ——输出空间（码书）
N——码书的大小（即码字的数目）
13
二、说明
▪ 矢量量化系统通常可以分为两个映射的乘积：
Q
式中:α是编码器，它是将输入矢量 X RK
映射为信道符号集IN={i1, i2, …, iN}中的一个元 素ij ；
▪ β是译码器，它是将信道符号集ij映射为码书中的
（取K=4），共得到n/4个4维矢量：
X1，X2，X3，…，Xn/4
10
2.二维矢量量化示意图
▪ 矢量量化就是先集体量化X1 ,然后量化X2，
▪ 依次向下量化。下面以K=2为例说明其量化过
程。
a2
a2
Y3
Yi
Si a1
Y4
S1
Y1
Y2 a1
Y5
Y7
Y6
(a)
(b)
图 7.2 矢量量化示意图
11
3.几个概念
器只是简单的的查表过程。
22
矢量量化器表示方法：
▪ 码书： N Yi, | i 1,2,, N,Yi RK
▪ 空间划分：S= Si | i 1,2,, N ▪ 映射：q：RK s N
其中，Si是Rk的一个子集且满足
Si X RK , q(X ) Yi
矢量量化器Q( N , S )的性能，以其输入矢量X和
或存储器
从码本找出 y j min
失真 测度
码本 y j
定义
j=0,1……
L-1 矢量量化原理框图
码本 y j j=0,1……L-1
20
矢量量化器工作过程：
编码端： 输入矢量X与码本中的每一个或部分码字进行比
较，分别计算出它们的失真。搜索到失真最小的
码字Yj 的序号(或此码字在码本中的地址)，并将 j的编码信号通过信道传送到译码端；
31
（2）最佳码书
▪ 给定了划分Si（并不是最佳划分）后，为了使码书的平均
失真最小，码字Yi 必须为相应划分Si (i=1，2，…N)的形
心，即：
Yi
min 1 E d YRk
X, Y
X Si
式中min-1表示选取的Yi使平均失真E[d(X,Y)|X∈Si]为最 小的Y。
▪ 对于由训练序列定义的样点分布和常用的均方失真测度，
▪ 量化矢量(或称重构矢量) ：利用最小失真原则
，分别计算用量化矢量Yi（i=1，2，……7）替 代X所带来的失真，其中最小失真所对应的那个 矢量Yj，就是模拟矢量X 的量化矢量；
▪ 码书（码本）：所有N个量化矢量构成的集合 Yi
称为码书或码本 (Codebook)；
▪ 码字（码矢）：码书中的每个矢量Yj （i=1，2
一.已知训练序列的LBG设计算法：
33
34
一.已知训练序列的LBG设计算法：
▪ 必须保证平均失真存在并可计算
易于硬件实现
17
常用的失真测度
▪ 1、平方失真测度
d(X ,Y ) 1
K
X
Y
2
1 K
K
( xi
i 1
yi )2
这是最常用的失真测度，易于处理和计算，且在主观评
价上有意义，即小的失真值对应好的主观评价质量。
▪ 2、绝对误差失真测度
dX, Y
XY
1 K
K i 1
输出矢量Y=q(X)的失真平均值而定，失真平均值
为： D(Q,F)=E[d(X,Y)]=E[d(X,q(X))]
23
矢量量化器的速率定义：
r=B/K=(log2N)/K （bit/样值或每维）
▪ 式中： B=log2N表示每个码字的编码比特数；
N—码书的大小； K—维数。
▪ 信道中传输速率RT与矢量量化速率r的关系为：
一个码字Yi 。即
α( X )= ij β(ij )= Yi
X∈χ， ij ∈ IN ij ∈ IN Yi∈ YN
14
三、存在的问题
▪ 1、如何划分N个区域边界 ➢具体方法：将大量欲处理的信号的矢量进行统计划
分，进一步确定这些划分边界的中心矢量值来得到 码书。
▪ 2、如何确定两矢量在进行比较时的测度 ➢这个测度就是两矢量间的距离，或以其中某一矢量
，……N）称为码字(Codeword)。
12
4.矢量量化定义:
把一个K维模拟矢量的有序集（称为信源矢量集合）
RK 中的某个矢量X∈ χ 映射为N个量化矢量构
成的有限集（码书或码本）中的某个矢量（码字或码
矢）Y∈ N ，这种映射称为矢量量化。
N Y1,Y2 ,,YN | Yi RK
其中： X——输入矢量
语音信号处理
Speech Signal Processing
内蒙古科技大学
第六章 矢量量化原理
1 6.1 概述 2 6.2 矢量量化基本原理 3 6.3 最佳矢量量化器 4 6.4 矢量量化器的设计算法 5 6.5 降低复杂度的矢量量化系统
2
6.1 概述
一、概念及分类
▪ 矢量量化（VQ，即Vector Quantization）是一种
化的失真明显的小；
▪ （3）在相同的失真条件下，矢量量化所需要的速
率比标量量化所需的速率低的多；
26
矢量量化特点：
▪ （4）矢量量化是一种多维模式匹配、多维优化过
程，而标量量化是一维模式匹配、一维优化过程 。一般来说，用一维优化是得不到多维优化的结 果的。
▪ （5）矢量量化的复杂度随维数成指数增加，所以
6
五、矢量量化研究的目的
针对特定的信息源和矢量维数，设计 出一种最优化的量化器，在R（量化速率） 一定的情况下，给出的量化失真尽可能接 近D(R)(最小量化失真)。
7
6.2 矢量量化的基本原理
标量量化是对信号的单个样本或参数的幅 度进行量化；标量是指被量化的变量，为 一维变量。
矢量量化的过程是将语音信号波形的K个样 点的每一帧，或有K个参数的每一参数帧构 成K维空间的一个矢量，然后对这个矢量进 行量化。
X i d(X ,Yi ) d(X ,Yj ) j IN
▪ 式中
IN={1,2,……,i,……N}； N —码书的大小；
▪ 符号 表示充分必要条件。
19
矢量量化基本原理：
N 维输入 Xi 矢量
计算最小距离 d min (xi , y j )
找到相应角标 jmax
jmax 信道
jmax
矢量量化的复杂度比标量量化的复杂度高。
▪ 归结起来，正如率-失真理论所指出的，组编码总
是优于单个输出的逐个编码的，当编码长度K趋于
无穷大时，可以达到率失真界。
27
6.3 最佳矢量量化
▪ 一.最佳矢量量化器的概念
▪ 给定条件下，失真最小的矢量量化器，称为这个
条件下的最佳矢量量化器。给定矢量量化器的码
3
二、矢量量化的理论基础
矢量量化的理论基础是仙农的率-失真理论。 ➢ 率-失真理论指出，利用矢量量化，编码性能有 可能任意接近率-失真函数，其方法是增加维数K； 该理论指出了矢量量化的优越性。 率-失真理论在实际应用中的重要指导意义： ➢ 常作为一个理论下界与实际编码速率相比较， 分析系统还有多大的改进余地。 率-失真理论是一个存在性定理而非构造性定理， 因为它没有指出如何构造矢量量化器。
且 d(,Yj ) d(,Yi ) i j,i
N
则Sj为最佳划分。
▪ Voronoi划分：把信源空间划分成与码书大小相同的
N个区间Sj (j=1,2,…,N)。这种划分称为Voronoi划
分。
▪ Voronoi胞腔：Voronoi划分对应子集Sj
(j=1,2,…,N)称为Voronoi胞腔(Cell)，简称胞腔。
矢量X时所付出的代价。这种代价的统计平均值(
平均失真)描述了矢量量化器的工作特性，即
D E[d(X,Q(X))]
式中E[·]表示求期望。
16
失真测度具备的特征
必须在主观评价上有意义，即小的失真应 该对应于好的主观语音质量
必须是易于处理的，即在数学上易于实现 ，这样可以用于实际的矢量量化器的设计
得到最佳划分。下图为K=2的最佳划分示意图。
29
最佳划分示意图
•Y3
S2
•Y6 •Y4
•Y2
•
· •Y1
•Yj S1
•YN
• •X Sj
•
••
•
•
30
最佳划分定义：
▪ 信源空间χ中任一点X,若X∈Sj，当且仅当矢量X与码
字Yj的失真小于X和其它码字 Yi N 的失真，即：
J s | j
RT = f s r
结论： N越大，速率越高；而维数K越大，速率越低。
24
补充：矢量量化与标量量化的比较
矢量量化是把一个K维模拟矢量映射为一个K维量 化矢量。标量量化实际是维数K=1的矢量量化。一 般情况下，矢量量化均指K≥2的多维量化。
与标量量化的两个主要步骤相对应，矢量量化首
先要将抽样值构成的矢量即K维空间的无穷多点划
分成有限个胞腔，然后从每一个胞腔取一个代表 值，凡是落入该胞腔的矢量均用该代表值进行量 化。
25
矢量量化特点：
▪ （1）矢量量化是把量化矢量（码字）分别存储在
编码器和译码器两端的码书中，在信道中传输的
并不是输入矢量X的量化矢量Y本身，而是码字Y的 下标j的编码信号；
▪ （2）在相同的速率下，矢量量化的失真比标量量
Xi
Yi
主要优点：计算简单，硬件容易实现。
▪ 3、加权平方失真测度
dX, Y X YT WX Y
式中 T —— 矩阵转置符号；
W —— 正定加权矩阵。
18
6.2.3 矢量量化器
▪ 通常用ቤተ መጻሕፍቲ ባይዱ小失真的方法-最近邻准则NNR（
Nearest Neighbor Rule)）来设计矢量量化器， 也就是要满足下式：
极其重要的信号压缩方法。VQ在语音信号处理中占 十分重要的地位。广泛应用于语音编码、语音识别 和语音合成等领域。
▪ 量化分为两类：
* 标量量化：将取样后的信号值逐个地进行量化。
* 矢量量化：将k(k≥2)个取样值形成K维空间Rk中
的一个矢量，然后将此矢量进行量化。
▪ 凡是要用量化的地方都可以采用矢量量化。
书大小N，求最小失真：
(N)
min
QQN
E[d(X ,Q(X
))]
▪ 式中QN为所有码书大小为N的K维矢量量化器的集
合。
28
二.设计最佳矢量量化器的必要条件
▪ 一是在给定码书的条件下，寻找信源空间的最佳 划分，使平均失真最小；
▪ 二是在给定划分的条件下，寻找最佳码书，使平
均失真最小。
▪ （1）最佳划分 ▪ 给定码书 N Y1,Y2,,YN ，可以用最近邻准则NNR