预测编码

§5.1 DPCM的基本原理 §5.2 最佳线性预测 §5.3 语音信号的预测编码 §5.4 静止图像预测编码 §5.5 活动图像的预测编码
31
5.3 语音信号的预测编码
语音压缩的依据 语音信号本身的冗余度和人类的听觉感知机理。
语音压缩的质量要求：下面三方面的折中 保持可懂度和音质； 限制比特率； 降低编码过程的计算代价。
使得预测误差的均方值

2 e

E{( xk

xˆk
)2}
最小。
19
当N 给定后，σe2是依赖预测系数ai的函数，使MSE最小， σe2对ai求导等于0，有 ：

2 e
ai

E 2(xk


xˆk
)
xˆk ai
0,
i 1, 2,L , N
将式(5.2-1)之 xˆk 带入, 得到:
34
⑤ 静止系数(话音间隔): 话音间隙使得全双工话路的典型效率为通话时间40%(或静 止系数为60%)，话音间隙本身是一种冗余，若能检测(或预 测出)该静止段,便可“插空”传输更多的信息。
⑥ 长时间自相关函数: 在较长的时间间隔(短时间隔一般为20ms，长时为几十秒) 进行统计,便得到长时的自相关函数。长时统计表明，8kHz 取样语音的相邻样本间，平均相关系数高达0.9。
同年，该实验室的C.C.Culter取得了DPCM (Differential Pulse Code Modulation, 差分脉冲 编码调制)系统的专利，奠定了真正实用的预测 编码系统的基础。
10
直观理解： 预测编码技术： 从过去的符号样本来预测下一个符号样本的值。
根据：
认为在信源符号之间存在相关性。如果符号的预测值 与符号的实际值比较接近，它们之间的差值幅度的变 化就比原始信源符号幅度值的变化小，因此量化这种 差值信号时就可以用比较少的位数来表示差值。
26
例5-2
设{xi}为N一 阶马尔可夫过程，其相关系数为：
r(k) R(k) |k|, 0 1
R(0)
则式(5.2-8)变为：
1 2 L N1 a1


1

L

N
2


a2




2

M M M O M M M
但当考虑到人的主观感知效果特别是用于图像信号 时，MMSE并不是一个好的准则。
电视编码中：采用主观准则(例如使“大误差” 出
“预测器+熵编码现”概的率保最持小型的D准P则CM); 系统: 采用“误差熵”最小准则;
遥测信号等广泛的信源： 采用对各种信源保持一定预测增益的 预测系数不xk xˆk )xki 0, i 1, 2,L , N
(5.2-3)
因此：
最小误差 (xk xˆk )min 必须与预测采用的所有数据正交。
20
定义数据的自相关函数：
R(i, j) E xi xj
得到：
N
R(k,k i) ajR(k j,k i), i 1,2,L , N

R(0)
(1 2 )R(0) R(0)
(5.2-13)
这时有E{ek ek+j }=0。
28
若N=2， 有: xˆk a1xk1 a2xk2
式(5.2-12)变为： 1


1

a1 a2



2

解得最佳线性预测系数为：
常常用用的的简简化化方方法法：：分分别别讨讨论论，，得得到到局局部部最最优优解解。。
16
DPCM系统的核心问题：预测器的设计 预测器越好，差值就越集中分布 在零附近，码率就能压缩越多。
17
线性预测：
N
xˆk ai (k)xi' , i 1
kN
简化，令ai(k) = ai 与 k无关, 用原始 取样值代xi替量化恢复值x’i
N
线性预测： xˆk ai (k)xi' , k N i 1
接收端
接收到量化后的误差 相加,得到恢复信号
eˆk与本地算出的预测值 x'k ;
xˆk
13
如果没有传输误码，预测编码系统的误差为： (5.1-3)
正是发送端量化器造成的量化误差。
对于xk 已经是数字信号，去掉量化器， qk = 0 ： 可用于“信息保持型”(Lossless)编码；
7
5.1 DPCM的基本原理
基础理论： 对于具有M 种取值的符号序列{xk},其第L个符号的熵满足: log 2 M ≥H(xL)≥ H(xL|xL-1) ≥ H(xL|xL-1, xL-2) ≥···≥ H(xL|xL-1, xL2, ···, x1) >H∞
知道前面的符号 xL(k<L) , 再猜后续符号 xL , 则知道得越多,熵越小。
R(i)=0(即{xi}的互不相关),方差σe2min=R(0)大, 此时利用预测起不到数据压缩的目的。
24
例5-1 令N=1，a1=1，即有：xk a1xk1 ，则

2 e

E
( xk

xˆk
)2

E
xk2

2xk
xk
1

x2 k 1
=
2
1
R(1) R(0)


N
1
N2
N3 L
1

aN



N

(5.2-12)
27
若N=1, 式(5.2-12)只有一行:
a1= , 则 xˆk xk1 ;
则由式(5.2-10)
2 e min

R(0)
a1R(1)

1 a1
R(1)
R(0)
N
时不变线性预测： xˆk ai xki
i 1
N
差值信号: ek x k xˆk xk ai xki
i1
(5.2-1) (5.2-2)
为了使预测误差在某种测度下最小,就要按
照一定的准则,对线性预测系数进行优化。
18
MMSE线性预测
经典方法：
最小均方误差准则(MMSE)
如果qk≠ 0: 可用于“非信息保持型”(Lossy)编码。
14
第五章 预测编码
§5.1 DPCM的基本原理 §5.2 最佳线性预测 §5.3 语音信号的预测编码 §5.4 静止图像预测编码 §5.5 活动图像的预测编码
15
5.2 最佳线性预测
含含有有量量化化器器的的DDPPCCMM系系统统：： 带反馈的非线性系统，难以对预测器和量化器 进行严格的全局优化设计。

R(0)

2(1
)R(0)
(5.2-11)
其中 =R(1)/R(0) 为信号的自相关系数。
显然只要0.5<≤1, 就可使σe2 < R(0)。
对于通常的电视图像， =0.95~0.98 , 此时σe2为R(0)
的1/10~1/25, 意味着误差信号的功率比原始信号降低 了10~14dB, 对它的平均编码位数自然可以减少了。
自相关矩阵为实对称的Toeplitz矩阵, 因为是正定矩阵, 故可逆，可解得N个预测系数使均方误差最小。
22
如果{xi}是各态历经的且N足够大，则R(k)可用下式估计:
1 N
R(k ) N i1 xi xik
(5.2-9)
最小均方误差为 :
N
2 e min

R(0)
ai R(i)
25
预测阶数的选择
直观上，增大预测阶数N可提高预测准确度； 实际上，
当N较小时，增大N有助于减小σe2； 当N足够大时，再加大N就不会有明显的结果了。 一般情况下，若{xi}为N 阶马尔可夫过程，则用N 阶预测。
当 N足够大使预测误差不相关即 E{ek ek+j }=0 (j≠0)时, 再增大N值将不会使σe2再减小。
i 1
(5.2-10)
最佳预测条件下必然有ek的方差σe2小于xi的方差R(0),
甚至可能σe2 << R(0)
意味着误差序列{ek}的相关性弱于原始信号序列{xi}的
相关性,甚至可能弱很多。
23
利用条件概率进行预测，传送去除了大部分相关性的
误差序列{ek}，有利于压缩数据。
R(i)越大(即{xi}的相关性越大),方差σe2越小, 所能达到的压缩比就越大;
DPCM的基础— 对预测的样本值与原始的样本值之差进行编码。
11
DPCM系统
xk
ek 量化器
eˆk
Sk
编码器
信道
- xˆk
xk'
预测器
接收端
解码器 eˆk
xk'
预测器
发送端
图5.1 DPCM系统原理框图
12
发送端
先发送一个其始值 x0 ;
接着就只发送预测误差值 ek xk xˆk ; 式中 xˆk f (x1' , x2' , , xN' , k), k N
(b)清音
浊音或嗓音(又称“有声声音”,voiced sound);
清音或非嗓音(又称“无声声音”,unvoiced 图(a)的浊s音ou显nd示)周; 期之间的信息冗余度，而且还展示了对应于音调间隔
周期的长期重复图形。对语音浊音编码：对一个音调间隔波形来编码，并
以其作为同样声音中其他基音段的摸板。
35
频域冗余度 ① 非均匀的长时功率谱:
5
第五章 预测编码
❖ 通常预测器的设计不是利用数据源的实际数学模型， 因为数据源的实际数学模型是非常复杂，而且是时变的。 ❖ 实验结果表明以最小均方预测误差设计的预测器不但 能获得最小均方预测误差，同时在视觉效果上也是比较 好的。
6
第五章 预测编码
§5.1 DPCM的基本原理 §5.2 最佳线性预测 §5.3 语音信号的预测编码 §5.4 静止图像预测编码 §5.5 活动图像的预测编码
32
语音信号的冗余度
时域冗余度
① 幅度非均匀分布: 语音中小幅度样本出现的概率高;
② 样本间的相关: 语音波形取样数据的最大相关性存在于邻近样本之间;
③ 周期之间的相关: 当声音中只存在少数几个基本频率时,会像某些振荡 波形一样,在周期与周期之间,存在一定的相关性；
33
④ 基音之间的相关：
(a) 浊音
j 1
(5.2-4) (5.2-5)
自相关函数满足：
R(k i, k j) R(k j, k i)
(5.2-6)
当{xi}广义平稳时，有：
R(k i,k j) R( j i) R(i j) R(| i j |) (5.2-7)
21
将式(5.2-6)和式(5.2-7)代入式(5.2-5), 并用矩阵表示有:
a1 a2


1
1
2
1


1



2



0

解得： xˆk xk1
N=2 和 N=1的预测表达公式完全相同。
29
结论：
设{xi}为平稳的m 阶马尔可夫过程，则N=m 阶最佳 线性预测器就是在MMSE意义上最好的预测器，而 且这样得到误差序列{ek}将是不相关的。
压缩编码技术
1
第五章 预测编码
“时间序列分析” 概 念
压缩相关信源
预测编码(Predictive Coding) 理论分支
2
预测编码的基本概念
已有样本值
采用线性或非线性 预测函数，最小均 方误差为准则
现时的系统输出
3
第五章 预测编码
预测编码是统计冗余数据压缩理论的重要分支之一。 预测编码的理论基础是现代统计学和控制论，它主要减
意味着该信源的不确定度减小,数码率自然降低。
8
实际上 数据源不可能用一个数学模型完全表示，并 使得源的输出始终和该模型的输出完全一致， 精确预测(或产生)这些数据。
实际情况中只能争取设计最好的预测器，以 某种最小化的误差对下一个取样值进行预测。
9
发展历史
1952年，Bell实验室的B.M.Oliver 等人开始线性 预测编码理论研究。
R(0)

R(1)
M
R(N 1)
R(1) L R(0) L
MO R(N 2) L
R(N 1) a1 R(1)
R(
N

2)

a2



R(2)

M M M
R(0)

aN

R( N )
(5.2-8)
少了数据在时间和空间上的相关性。 对于静止图像来说，预测编码被图像变换编码所取代。 而预测编码对于视频信号来说，它充分利用了连续帧之
间的统计冗余性，是当今主流技术并且还会流行于未来。
4
第五章 预测编码
❖ 预测编码是根据图像数学模型利用以往的样本值对 于新样本值进行预测，然后将样本的实际值与其预测值 相减得到一个误差值，对这一误差值进行编码。 ❖ 如果模型足够好且样本序列在时间上相关性较强， 那么误差信号的幅度将远远小于原始信号，从而可以用 较少的电平类对其差值量化得到较大的数据压缩效果。