第四章 离散信源编码

第4.3节 单义可译定理
1.单义可译码:
对于一个有限长度的信源消息序列，若编码得 到的码字序列不与其他任何信源序列所对应的 码字相同
当信源消息序列不同 码字序列必然不同
对应的编码得到的
逗点码(comma code) （书上59页，例4.2）
即时码(instantaneous code) 译码时不需要考察
不存在单义可译码 存在单义可译码
4.平均码长界定
H(X) b H(X) 1
LbD
LbD
无失真信源编码. 单一可译码
bmin
H(X)
下界
LbD
• 若 D 给定，给定信源 ( H ( X ))，则 bmin 也确定
第4.4节 无失真信源编码定理
组编码
Bi (K重扩展).
Bi / K
单个符号编码
bi
后续码元
单义可译码
• 逗点码： (例4.2)
10 s1 1 0
s2 1 0
s3 1 0
s4 1 0
s5 1 s6
•延长码(extended code)
•非延长码：
即时码
2.即时码的构造(充分必要条件)
设 si (ai1ai2 aik ) 是码 s 中的任一码字， 则 s 为即时码的充分必要条件为：
第四章 离散信源编码
消息集合
X
编码器
S
代码集合
A 信道基本符号集合
第4.1节 信源编码的模型
① X：消息集合，Ｎ个元素 X x1, x2, , xn ② A ：信道基本符号集合， A a1, a2, , an Ｄ种信道基本符号
③ S ：代码集合，个数为Ｎ S S1, S2, , SN
2.信源编码器的主要任务：完成输入消息集合与输 出代码的集合之间的映射。
N
即时码存在定理： Dbi 1 Kraft不等式 i 1
•
书上举例
62页 例4.4
X : x1, x2 , x3, x4
P(X ) : 1 , 1 , 1 , 1 2488
{0,1}集
N
1
1
1
1
Dbi 22 24 28 28
1
i1
存在即时码. 简单地说
若b
bmin
b bmin
对于单符号信源. 熵H(X ).每个码字为b个码元
R H ( X ) / b (bit / 码元)
对于k重扩展信源. 熵H(X k ).每个码字为B个码元
R H (X k ) / B (bit / 码元)
(2)变长码的信息传输速率
N个单符号消息: 变长码编码的代码组长度:
x1,
x2 ,..., xN b1,b2 ,...,
8 01110, 9 10011.
4. 信源编码的目的
(1) 把信源发出的信息一一对应地变换维信道 基本符合构成的代码组
(2) 尽可能减小代码组的平均长度. 编码效率
第4.2节 信息传输速率和编码效率
1.信源编码的信息传输速率(信息率)R： 单位时间内所包含的信息量
(1) 等长码的信息传输速率 R
(1)信道容量C： 消息不失真传输下，信道允许的
最大信息传输速率 C Rmax • 信道编码目标：使代码组的长度与信源中各个消
息的概率分布达到统计匹配，即 使得信息传输速
率
最接近信道容量
(2)信源编码器的编码效率 R 100%
C
(1)若R C, 100%, 最佳
(2)R
C,
100%,
有改进余地
正规编码举例
0 1 1 01
• 举例：汉字编码
查标准电报电码
十～二进制转换
汉字
电码
二进制码字组
信息论
（0207）、（1873）、（6158）
01101 11001 01101 11100
每个汉字20bits，5bits等重码组，码字中1的个数相同。
0 01101, 1 01011, 2 11001, 3 10110, 4 11010, 5 00111, 6 10101, 7 11100,
(3)R C, ? , 失真.(丢失)
编码效率η
或 k重扩展
H ( X ) / b 100%
H max ( X ) / b
H ( X k ) / B 100%
H max ( X k ) / B
η
1：最佳编码
3.最佳编码的两原则
(1)对信源中出现概率大的消息(或符号)，尽可能用短的代 码组来表示，即短码; 反之，用长码。
B b
组编码优于单个符号编码
K
当k ,则有
香农第一定理.
lim
B H K
k
(
X
)
Nk
B PK j Bj j 1
举例. 书上P67 举例4.5
X : x1, x2
P(X ) : 0.2, 0.8
(1) x1
s1
Hale Waihona Puke Baidu
0,
x2
s2
1.求b和
(2)二重扩展(k 2). 求B和
解: (1)
H ( X ) 0.2Lb 1 0.8Lb 1 0.72 bit / 字符
对于任意的 m < k， 任意的 s j (a j1a j2 a jm ) 不是 si (ai1ai2 aik ) 的前缀.
即 s 的任何一个码子不是另一个码子的前缀
3. 单义可译定理
信源消息集合 X {x1, x2,..., xN }
信道基本符号的种类为 D 码子集合为 S {s1, s2 ,..., sN } 码长集合为 b {b1, b2 ,..., bN }
(2)不使用间隔, 采用可区分码字
信源： x1 , ..., xN P( x1 ), ..., P( xN ) 输出代码组：s1 , ..., sN b1 , ..., bN 若 P( x1 ) P( x2 ) ... P( xN )
b1 b2 ... bN
则
b
P(
xi
)b i
最短！
信源编码的 3 个基本要求
①选择合适的信道基本符号
使输出代码能适应于信道。
（考虑信道的信源编码： 如信源信道联合编码）
②有效的编码方法
使得信源发出消息 输出代码组
③编码方法应满足：消息集合与代码组集合一一对应。
3. 正规编码：满足 “信源编码的 3个基本要求” 的编码 非奇异码：正规编码得到的码
0.2
0.8
b 0.21 0.81 1 bit / 字符
bN
对应的概率为 :
P(b1), P(b2 ),..., P(bN )
N
变长码的平均长度为: b P(bi ) bi 码元/符号
i 1
• 信息传输速率为： R H ( X ) / b
• K重扩展信源:
B N P(Bi ) Bi
i 1
R H ( X k ) / B
码元/符号序列
2. 编码效率