信源编码的基本方法

S1
0.24
S2
0.20
S3
0.18
S4
0.16
S5
0.14
0
S6
0.08
1
S'1 0
2
S(1)
0.24 0.22 0.20 0.18 0.16
S(2) 0.54 0 0.24 1 0.22 2
0
1 2
平均码字长度：
n 1 0.24 2 0.20 2 0.18 2 0.16 2 0.14 2 0.08
则对最后这D个符号分别赋予码字元素Z1、Z2、…、ZD；
L kD 1 D
霍夫曼编码的步骤：
(6)从最后赋予的码符号开始，沿着每一信源符号在各次缩减过程 中得到的码字元素进行路线前向返回，达至每一信源符号，按前 后次序，把返回路途中所遇到的码元素排成序列，这个序列，就 是相应信源符号对应的码字；
1
C6：22
S6
0.08
2
平均码字长度
n 2 0.24 2 0.20 2 0.18 2 0.16 2 0.14 2 0.08
2码字符号 信源符号
码字长度的均匀性和方差
在同样的平均码字长度的情况下，码字长度越均匀，对传输 越有利。
定义4.5.16 码字长度的方差
2 C
E
ni
n
2
L i 1
就称为失真函数。
失真函数的取值通常反映失真产生的代价。
失真函数的示例：
1 d xk , xˆk xk xˆk 2
2 d xk , xˆk xk xˆk p p 0
3
dH
xk
,
xˆk
1, 0,
xk xˆk 有失真时 xk xˆk 无失真时
4
d
x
t
,
xˆ
t
lim
T
1 T
T T
p
y j / xi
平均失真度是从统计意义上来说每个符号失真的平均值。
在通信系统中，失真通常在信道中产生，平均失真度与信道 的关系可由转移概率的函数来描述。
给定信源的统计特性
p xi , i 1, 2,...M
和失真函数的定义
d xi , y j
平均失真度由信道转移概率决定
D D p y j / xi
1.失真的概念
失真是指用某种尺度衡量的理想信源样值 xk 与“变换”后的样 值 xˆk 间的差异。
这里所谓的“变换”，可以是某种有损的编码，或者是经传输 后受到劣化的信号。
失真函数：对由符号 xk 变为符号 xˆk 产生失真造成的影响，可
根据不同的情况定义一个非负函数 d xi , xˆi 0来描述，该函数
示例：已知信源符号集 S
Si :
S1 S2 S3 S4 S5 S6
PSi : 0.24 0.20 0.18 0.16 0.14 0.08
编码输出的码字符号集为
解：已知：L 6 D 3 尝试 Z : 0,1,2 L kD 1 6 23 1 2 3
k 2
需要增加虚假符号数为
m D L kD 1 3 6 23 1 1
新构建的信源满足：
L'kD 1 7 23 1 3 D
改造后的符号概率场为:
Si :
S1 S2 S3 S4 S5 S6 S '1
PSi : 0.24 0.20 0.18 0.16 0.14 0.08 0
编码过程如下
码字 消息符号 符号概率P(Si)
C1：1 C2：00 C3：01 C4：02 C5：20 C6：21 C7：22
若待编码的符号序列的不同组合个数为 X J LJ
码字集中不同的码字个数
YnJ DnJ
唯一可译码的条件
DnJ LJ
定义4.5.2 编码表示一个信源符号所需的平均信息量的定义为
编码速率 R 。
码字长度为常数的编码称为等长编码，发之称为不等长编码。 等长编码的编码速率
R
nJ J
log2
Biblioteka Baidu
D
不等长编码的编码速率
码字 消息符号 符号概率P(Si)
S(1)
S(2)
S(3)
0.6 0
C1：00 C2：10
S1
0.4
S2
0.2
0.4
0.4 1
0.4
0.4 0
0.2
0.2 1
0.2 0
C3：11
S3
0.2
0.2 1
C4：010
S4
0.1 0
C5：011
S5
0.1 1
平均码长：
nB 20.4 20.2 20.2 30.1 30.1 2.2码字符号 信源符号
(4) 在允许一定失真的条件下，如何实现高效率的编码。
2.离散无记忆信源 (DMS: Discrete Memoryless Source） 离散无记忆信源的输出序列：
... X 2 X 1X 0 X1X 2... X n... 各个符号间彼此独立
其中
X i S S : Si , i 1,2,...L
J
X
m
k
S : Si ,i
1,2,...L
编码输出
YNmJ
C
X
m
J
其中 YNmJ Y1mY2m...YNmJ Ykm C : Ci ,i 1,2,..., D
C : Ci ,i 1,2,...D 为输出的码元集。
接收端的译码输出
X 'Jm C1 YnJm
XJ
YnJ
记 信源符号集为： S : Si , PSi ,i 1,2,..., L 编码输出符号集为：Z : Zi ,i 1,2,..., D
霍夫曼编码的步骤：
(1)将L个信源符号按概率大小，以递减次序，从上到下排成一列； (2)对处于最下面的概率最小的D个信源符号，一一对应地分别赋 予码字元素Z1、Z2、…、ZD，把这D个概率最小的信源符号相应的 概率相加，所得的值用一个虚拟的符号代表，与余下的L-D个符号 组成含有(L-D)+1=L-(D-1)个符号的第一次缩减信源S(1)； (3)对缩减信源S(1)仍按其概率大小以递减次序从上到下排列，按 照步骤(2)的方法处理，得到一个含有[(L-D)+1]-D+1=L-2(D-1)个 符号的第二次缩减信源S(2)； (4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是 D-1个；只要缩减后的信源Si符号的个数大于D，缩减就继续进行； (5)当进行第k次缩减后信源S(k)符号个数刚好等于D，即有
p yN / xM
失真函数：
d xi , yj 0 i 1, 2,......, M; j 1, 2,......N
其中 xi 为输入符号； y j 为输出符号
(2).平均失真度
失真函数矩阵 与转移概率矩阵对应，可定义相应的失真度
矩阵：
d x1, y1 d x1, y2 ... d x1, yN
2 2
x
t
xˆ
t
2
dt
x t ，xˆ t 为连续信号
2.率失真理论研究的问题
率失真理论研究的是限定失真条件下信源的编码和信息传 输问题的方法。
分析在允许一定失真的条件下，要重构信源的符号，至少 应获得多少信源的信息量；
(1) 率失真理论在通信系统中应用时的参数
输入信号集： X : xi , i 1,2,..., M
D
d
x2 , ...
y1
d x2, y2
...
d
x2
,
yN
...
...
...
d
xM
,
y1
d xM , y2
...
d xM , yN
定义 4.6.1 平均失真度定义为
D
M i 1
Nd
j 1
xi , y j
p
xi y j
M i 1
Nd
j 1
xi , y j p xi
DMS
CX J
无扰信道
YnJ
C1 YnJ
X 'J
信宿
待编码码组
X J X1 X 2 ,..., X J X k S : Si ,i 1,2,...L
编码输出码组(码字)
YNJ Y1 Y2 ...YnJ Yk C : Ci ,i 1, 2,..., D
定义4.5.1 若对信源的每个不同的符号或不同的符号序列，编 码后产生的码字不同的，则称该码为唯一可译码。
4.5 信源编码的基本方法
一.信源编码的基本方法
1.信源编码的目的：提高传输效率
（1）去除信息中的冗余度，使传输的符号尽可能都是独立的， 没有多余的成分(如语音、图像信号压缩)；
（2）使传输的符号所含的信息最大化。例如，通过编码使符 号以等概分布的形式出现，使每个符号可能携带的信息量达到 最大；
（3）采用不等长编码，让出现概率大的符号用较短的码元序 列表示，对概率小的符号用较长的码元序列；
P
Si
ni
n
2
其中 n
LP
i 1
Si
ni
编码过程的排序过程不同会影响码长的方差。
码字长度的均匀性和方差 示例：信源的符号空间为
Si : S1 S2 S3 S4 S5
PSi : 0.4 0.2 0.2 0.1 0.1
编码输出码字集 Z : 0,1
编码方式1 将局部概率和置于相同概率的最低位置
4.6 率失真理论
一.实际系统中的权衡问题
实际系统中通常需要考虑性能与经济性之间的权衡问题；
可采用以某些不可察觉或可察觉但不影响应用的信号失真代 价，来换取所需的传输速率、存储空间、运算复杂度和系统实 现成本的降低；
电话系统采样8kHz采样，8比特量化；
数字音响系统采样44kHz采样，16或24比特量化；
(7)若进行k次缩减后，当进行第k次缩减后信源S(k)符号个数不等 于D，即有
L kD 1 D
则中止缩减，增加 m D L kD 1 个概率为0的虚假信源
符号 X :
x1
x2 ... xL x1 x2 ... xm
Pxi : Px1 Px2 ... PxL 0 0 ... 0
重新编码，使在k次编码后一定有 L kD 1 D 。
方差：
2 B
5P
i 1
Si
2
ni n
0.4 2 2.22 0.2 2 2.22 0.2 3 2.22 0.1 3 2.22 0.1 3 2.22
0.16
可见
2 B
2 A
虽然平均码长一样，但编码方法2使得输出的码长更为均匀。
在编码过程中，当对缩减信源概率重新排列时，应使合并 得到的局部概率和，尽量使其处于最高位置；使得合并元素重 复编码的次数减少，有利于降低码字长度的方差。
平均失真度与信道转移概率的关系
示例
已知信源统计特性
X P
:
x0 1 2
x1 1 2
信道转移概率矩阵
p
y j / xi
p p
y0 y0
/ /
x0 x1
p p
y1 y1
1.76码字符号 信源符号
示例(续)：
如果不加入虚假符号，直接进行编码，则有
码字 消息符号 符号概率P(Si)
S(1)
S(2) 0.62 1
0.38
0.38 2
C1：10
S1
0.24
0.24
0
C2：11
S2
0.20
0.20
1
C3：12
S3
0.18
0.18
2
C4：20
S4
0.16
0
C5：21
S5
0.14
反之，若输出的各符号间有一定的相关性，则其为一种 有记忆的信源。 有记忆的信源，经过处理后，有可能变为一种无记忆的信 源。如有记忆的信源，经过理想的、完全去除冗余的 压缩编码后产生的输出。
若将信源输出的符号按每J个为一组进行编码，则任意的第m
个分组可以表示为
X
m
J
X1m
X
m
2
,...,
X
m
输出信号集： Y : y j , j 1,2,..., N
对离散无记忆信道，有
p y1 / x1 p y2 / x1 ... p yN / x1
p
Y
/
X
p
y1 / ...
x2
p y2 / x2
...
p
yN
/
x2
...
...
...
p
y1
/
xM
p y2 / xM
...
nA 10.4 20.2 30.2 40.1 40.1 2.2码字符号 信源符号
方差：
2 A
5P
i 1
Si
2
ni n
0.4 1 2.22 0.2 2 2.22 0.2 3 2.22 0.1 4 2.22 0.1 4 2.22
1.36
编码方式2 将局部概率和置于相同概率的最高位置
R
nJ J
log2
D
其中 nJ 为不等长编码的平均码长。
定义4.5.3 信源的熵 H S 与编码速率R 的比值定义为编码效率
C
H S
R
要保证编码没有信息丢失，要求
R H S C 1
3. 霍夫曼(Huffman)编码 霍夫曼编码是一种异字头不等长编码，其基本思想是： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较多的码字表示。 由此可提高编码效率。 霍夫曼编码： 定理4.5.17 霍夫曼编码一种最佳的不等长编码。 霍夫曼编码的应用条件： 信源的分布(统计)特性已知。
码字 消息符号 符号概率P(Si)
C1：1
S1
C2：01
S2
C3：000
S3
C4：0010
S4
C5：0011
S5
0.4 0.2 0.2 0.1 0 0.1 1
S(1)
0.4 0.2 0.2 0 0.2 1
S(2)
0.4 0.4 0 0.2 1
S(3)
0.6 0 0.4 1
示例：编码方式1 平均码长：