信息论与编码理论基础(第四章).
合集下载
信息论与编码_曹雪虹__第4章
以得到（ 4.5）式。 证毕。
30
例4.3 设试验信道输入符号 {a1, a2 , a3} ，概率
分别为1/3，1/3，1/3，失真矩阵如下所示，
2°绝对误差失真函数 d ( xi , yj ) = | xi - yj |
3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi |
4°误码失真函数
0 i j
d( xi , y j ) 1 其他
失真函数1°,2°,3°用于连续信源 , 失真函数4°用
于离散信源 , 失真函数4°也称Hanmming失真函数
min
R ( D )0
D
因此可以得到R(D)的定义域为
D 0, Dmax
n
Dmax min j 1,2, ,m
pi dij
i 1
25
Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0， 这时试验信道输入与输出是互相独立的，所以条 件概率p(yj/xi)与xi无关。即
pij p( y j / xi ) p( y j ) p j
存储容量(如各种数据库、电子出版物、多媒体娱乐)
、传输时间(如数据通信和遥测)、或占有带宽(如多媒
体通信、数字音频广播、高清晰度电视)，要想方设法
压缩给定消息 集合占用的空间域、时间域和频率域资
源。
3
4.1.1 引 言
4.1 实际生活中的需要
基
实际生活中，人们一般并不要求获得完全无失真的消息 ，通常只要求近似地再现原始消息，即允许一定的失真
凡满足保真度准则的这些试验信道称为D失真许 可的试验信道。把所有D失真许可的试验信道 组成一个集合PD。
20
（2）信息率失真函数R(D)
信息论和编码理论基础第四章
第四章
4
§4.2 离散无记忆信道
一、有关DMC的容量定理
（所说的DMC都是离散无记忆平稳信道）
设
DMC在某个时刻输入随机变量为X，输出随机变量为Y。
信道响应特性为转移概率矩阵
[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]，
它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。
2021/2/28
第四章
2
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p104) 如果
（1变）量信X道u的的事输件入集为合随都机是变{量0, 序1, 列…X, K1,-X1}2,，X3, …，其中每个随机 （2变）量信Y道u的的事输件出集为合随都机是变{0量, 1序, …列,YJ1-,1Y}2，, Y3, …，其中每个随机 则称该信道为离散信道。如果更有
x0 y0
w( y)
K 1 J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 y0
q(z)p(y | z)
z0
K 1
J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 2021/2/28
y0
信息论和编码q (理z论) p基( y础| z ) 第z 四0 章
信道及其容量
§4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道
信息论和编码理论基础
2021/2/28
第四章
1
§4.1 信道分类
信道是传输信息的媒质或通道。（输入→信道→输出）
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
信息论与编码理论-全
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
信息论发展简史
电磁理论和电子学理论对通信理论技术发展起重要的 促进作用
1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 量子力学使通信进入量子通信领域
信息论发展简史
1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技术， 1993年Turbo编译码技术，1999年LDPC编码技术。 1959年，Shannon提出率失真函数和率失真信源 编码定理 1961年，Shannon的“双路通信信道”开拓了网 络信息论的研究，目前是非常活跃的研究领域。
熵的性质
对称性 非负性 确定性 扩展性 可加性 极值性 是H(P)上凸函数
熵的性质－可加性
q11 q13
p1
q12 q14
H(p1q11,p1q12,…,p4q44)=H(p 1…,p4)+p1H(q11,…,q14)+…+ p4H(q41,…,q44)
p2
p3
p4
熵的极值性
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系 统
信息论与编码(第四章PPT)
q
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
《信息论与编码》第四章习题解答
习题 4.4（3）图
（3）N 个相同 BSC 的积信道，求这时积信道容量 C N ，且证明 lim C N = ∞
N →∞
［证明］ （1）见例 4.3.2 （2）首先因为
I ( X ; Y1 , Y2 ,L , YN ) = H ( X ) − H ( X | Y1 , Y2 LYN )
≤ H(X )
利用切比雪夫不等式
1 P[ Z N = 1| X = 0] = P Z ' N > | X = 0 2 1 = P Z ' N − p > − p | X = 0 2 1 ' ≤ P| Z N − p |> − p p 2 p(1 − p ) = 1 N ( − p )2 2
2
2
二元对称信道C2
4
退化信道容量为 C1 = 0 ，二元对称信道容量为 C2 = 1 − H (ε ) ， 所以和信道的容量为
C = log 1 + 21− H ( ε )
达到信道容量的输入分布为
[
]
p ( X = 0) = 2 C1 − C 1 = 1 + 21− H (ε ) p ( X = 1) = p( X = 2)
所以满足定理 4.2.2 所规定的达到信道容量的充要条件，信道容量为
C=
（e）
3 bit/次 4
1 3 P = 0 1 3
1 3 1 3 0
0 1 3 1 3
1 3 1 3 1 3
信道是准对称信道，当输入分布为均匀分布时达到信道容量，即
p ( X = 0) = p( X = 1) = p ( X = 2) =
0 1
0 1
《信息论与编码》PPT第四章
→ →
L
L
2）误差准则：
→ → e( f , g ) p ε 即P g f (uL ) ≠ uL p ε差准则： E [e ( f , g )] p ε 即E P g f (u ) ≠ u p ε ，
四、 密码 它是研究信息与通信系统在传输最安全的指标下， 系统中的信源和信宿，在什么样条件下能实现统计匹 配，即最优的加、解密密码存在； 反之，又在什么样条件下不能实现统计匹配，即 最优的加、解密密码不存在。
定理： 设掌握密钥的信宿V，它对应的系统传送的互信息 R=I（U，V，）不掌握密钥的信宿V’，它对应的系统传 送的互信息R’=I（U，V’），信源的信息熵为H（U）。 则：掌握密钥的信宿V，通过最优化的加、解密码 V （f2,g2），使得R=I（U，V）=H（U）。 反之，对不掌握密钥的信宿V’，几乎找不到最优化密钥 （f2,g2’）=（f2,g2），即R’=I（U，V’）→0. ——1949年，香农给出的密码学基本定理。 * 概率分布分析： P (ϕ ) = P (u L ).P (cm | sm ).P ( sm | cm ) ′ ′
定理：若系统要求达到的实际传输速率为R，无失真 信源的可用信息熵为H（U），则若R＞H（U）时， 最有效的信源编、译码 ( f1 , g1 ) 存在，反之R＜ H（U）则不存在。——香农编码第一定理。 从另一角度来理解定理——用系统的概率分布函数
′ 由无失真准则，则 即 P ( sm | uL ) = P (vL | sm ) → → 所以 P(ϕ ) = p(uL ) f .g = p(uL ) 即系统与信源匹配。
•系统优化其物理实质： 就是要研究系统在某种优化指标下，上述两类 参数在满足什么条件时对应的编、译码存在； 又在什么条件下，对应的编、译码不存在。
L
L
2）误差准则：
→ → e( f , g ) p ε 即P g f (uL ) ≠ uL p ε差准则： E [e ( f , g )] p ε 即E P g f (u ) ≠ u p ε ，
四、 密码 它是研究信息与通信系统在传输最安全的指标下， 系统中的信源和信宿，在什么样条件下能实现统计匹 配，即最优的加、解密密码存在； 反之，又在什么样条件下不能实现统计匹配，即 最优的加、解密密码不存在。
定理： 设掌握密钥的信宿V，它对应的系统传送的互信息 R=I（U，V，）不掌握密钥的信宿V’，它对应的系统传 送的互信息R’=I（U，V’），信源的信息熵为H（U）。 则：掌握密钥的信宿V，通过最优化的加、解密码 V （f2,g2），使得R=I（U，V）=H（U）。 反之，对不掌握密钥的信宿V’，几乎找不到最优化密钥 （f2,g2’）=（f2,g2），即R’=I（U，V’）→0. ——1949年，香农给出的密码学基本定理。 * 概率分布分析： P (ϕ ) = P (u L ).P (cm | sm ).P ( sm | cm ) ′ ′
定理：若系统要求达到的实际传输速率为R，无失真 信源的可用信息熵为H（U），则若R＞H（U）时， 最有效的信源编、译码 ( f1 , g1 ) 存在，反之R＜ H（U）则不存在。——香农编码第一定理。 从另一角度来理解定理——用系统的概率分布函数
′ 由无失真准则，则 即 P ( sm | uL ) = P (vL | sm ) → → 所以 P(ϕ ) = p(uL ) f .g = p(uL ) 即系统与信源匹配。
•系统优化其物理实质： 就是要研究系统在某种优化指标下，上述两类 参数在满足什么条件时对应的编、译码存在； 又在什么条件下，对应的编、译码不存在。
信息论与编码(第三版) 第4章 离散信源编码理论-0525
1
1
N log p(x1x2...xN ) N i log p(xi )
-E log p(x) 以概率
H(X)
定义4.1 关于p(x)的典型集合 A( N ) 是序列 (x1x2...xN ) X 的集合，具有下列性质 2N (H ( X ) ) p(x1x2...xN ) 2N (H ( X ) )
)
H(X
)
|
}
1
得到性质2
性质(3) 2 | A | 1 p(X)
p(X)
2N (H ( X ) )
XxN
XA ( N )
XA( N )
N (H ( X ) ) (N )
渐近等同 分割含义
典型序列 定义
相同数据 相加
性质(4) 对于充分大的N p{A (N)} 1
2 | A | 1 p{A(N)}
前
缀
典型序列数量不大于2N(H(X)+ε)
编码：0+序列编号
码
码长 N(H ) 2
非典型序列
编码：1+序列编号
码长： N log | X | 1
这是一种无失 真编码方法
❖ 上述的编码方案具有下列性质：
码与序列之间是一一对应的，第一位是前缀码，表示码的长 度或者类型。
非典型序列采用的是枚举法，尽管没有考虑非典型序列的长
X p(x)
0 p(0)
p
1 p(1) q
主要关心典型序 列，典型序列的 任何特性都是以 大概率成立的， 而且决定了样点
值的主要特性
如果随机变量 X1, X2,..., X N 都服从独立同一分布
那么序列 (x1x2...xN ) 的概率为
信息论与编码第四章
r li ⒄1
i 1
码长 li ，码符号集中符号个数r，信源符号个数q，称作kraft
不等式。
说明：唯一可译码一定满足不等式，反之，满足不等 式的码不一定是唯一可译码。
• 充分性证明：假定满足不等式的码长为 l1,l2 , ，,lq 在q个码字
中可能有长度相同的码字。设码长为1的有n1个，长度为2
111111
同价码：每个码符号（元）所占的传输时间都相
同
§4.2 等长码和等长信源编码定理
实现无失真编码的条件：
1、信源符号与码字一一对应 2、任意一串有限长的码符号序列与信源s的符号序列也 是一一对应，即N次扩展后仍满足一一对应关系。 同时满足上述条件称为唯一可译码
s : s1 s2 s3 s4 w j c : 0 10 00 01
N
N
I (ai ) log p(ai ) log pik I (sik )
k 1
k 1
E[I (ai )] H (S N ) NH (S )
E(x) xP （x） m H(s)
x
D[I (ai )] ND[I (si )] N{E[I 2 (si )] [H (s)2 ]
q
n
r li
nl m ax
Ajr j
i 1
jn
q
n
r
li
nl max
r j •rj
上界 ⑻
1 (N, ) p(G) MG • max p(ai ) ⑼
max p(ai ) 2 N[H (s) ]
下界 M G [1 (N , )]2 N[H (⑽ s) ]
我们可以只对集G中MG个信源序列进行一一对应的等长编码，
这就要求码字总数不小于MG就行，即
信息论 第4章(哈夫曼编码和游程编码).ppt
- log2 p(xi)
2.34 2.41 2.48 2.56 2.74 3.34 6.66
码长 3 3 3 3 3 4 7
香农编码分析
可求得该信源的信源熵：
H ( X ) pxi log pxi 2.61(比特/符号) xi X
以及平均码长：
N ni p(xi ) 3.14 (码元/符号) i1
下面是对例1进行哈夫曼编码：
X1:0.20 X2:0.19 X3:0.18 X4:0.17
0.39 0.35
0.61
1.00
X6:0.10 X5:0.15
0.26
X7:0.01 0.11
对应的编码如下：
信源 x1
编码 10
码长 2
x2
x3
x4
x5
x6
x7
11 000 001 010 0110 0111
消息码 标识码 游程长度
该编码方式就称为游程编码(RLC).
例如：有一个信源: BBBBBBBBBBXXXXXXXXJJJJJJJJJAAAAAAAAAAAAA AAAAUUUUUUUUUUUUUUUUUUUU
经过游程编码，得到： B#10X#8J#9A#17U#20
其中＃为标识码.
游程编码用于二值图像的压缩
游程编码的基本原理
很多信源产生的消息有一定相关性,往往 连续多次输出同样的消息,同一个消息连续输 出的个数称为游程(Run-Length).我们只需要 输出一个消息的样本和对应重复次数,就完全 可以恢复原来的消息系列.原始消息系列经过 这种方式编码后,就成为一个个编码单元(如下 图),其中标识码是一个能够和消息码区分的特 殊符号.
2.61 2.74
信息论与编码课件chapter4_part2
无失真信源编码定理(香农第 香农第一定理 定理)，还可以称为无噪声 信道编码定理，若信道的信息传输率R不大于信道容量C， 总能对信源的输出进行适当的编码，使得在无噪声信道 上能 失真的以最大信息传输率C传输信息；但是要使信 上能无失真的以最大信息传输率 传输信息 但是要使信 道的信息传输率R大于信道容量C而无差错地传输信息则 是不可能的
信息论与编码
4-5 变长编码方法
4.5.3 霍夫曼编码方法（Huffman）
信息论与编码
若以X :{a1 , a2 , , ar }为码符号集，用霍夫曼编码方法， s2 S s1 对信源空间为 = P p( s1 ) p( s2 ) 忆信源S，进行无失真信源编码 进行无失真信源编码 其步骤如下： sq 的离散无记 p ( sq )
i = 1,2, , q N
信息论与编码
4-4 变长编码定理 4.4.3 离散平稳无记忆序列变长编码定理 定理：
将信源S的N次扩展信源SN的消息作为编码对象， 的消息作为编码对象 使非延长码的码字与消息一一对应，则当信源扩 展次数N足够大时，信源 足够大时 信源S的每 的每一个信源符号 个信源符号si所 需要的平均码符号数，即平均码长可以无限接近 于下界H(S)/logr ，接近的程度随 接近的程度随N增加而增加
S : {s1 , s 2 , , s q }
W : {w1 , w2 , , wq }
a1
信 源
s1 s2 sq
编码器
X : {a1 , a 2 ,, a r }
a2 ar
信 道
n1 n2 nq
w1 w2 wq
信源空间：
S s1 P = p( s ) 1
信息论与编码
4-5 变长编码方法
4.5.3 霍夫曼编码方法（Huffman）
信息论与编码
若以X :{a1 , a2 , , ar }为码符号集，用霍夫曼编码方法， s2 S s1 对信源空间为 = P p( s1 ) p( s2 ) 忆信源S，进行无失真信源编码 进行无失真信源编码 其步骤如下： sq 的离散无记 p ( sq )
i = 1,2, , q N
信息论与编码
4-4 变长编码定理 4.4.3 离散平稳无记忆序列变长编码定理 定理：
将信源S的N次扩展信源SN的消息作为编码对象， 的消息作为编码对象 使非延长码的码字与消息一一对应，则当信源扩 展次数N足够大时，信源 足够大时 信源S的每 的每一个信源符号 个信源符号si所 需要的平均码符号数，即平均码长可以无限接近 于下界H(S)/logr ，接近的程度随 接近的程度随N增加而增加
S : {s1 , s 2 , , s q }
W : {w1 , w2 , , wq }
a1
信 源
s1 s2 sq
编码器
X : {a1 , a 2 ,, a r }
a2 ar
信 道
n1 n2 nq
w1 w2 wq
信源空间：
S s1 P = p( s ) 1
王育民信息论与编码理论第四章答案2
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11。
令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。
题图 4.5(a)求Q t 的表达式。
(b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。
解：(a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1)由已知得，但各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=⎥⎦⎤⎢⎣⎡--p p p p 11⎥⎦⎤⎢⎣⎡--p p p p 11=()()()()⎥⎦⎤⎢⎣⎡-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为：P N =()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+N N N N p p p 1221211221211221211-2p 2121 则Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡-+即Q t 的表达式为：Q t =()()012122121Q p p t t -+-- t=0,1,……,N (b) 由(a)可得到：Q N =()()012122121Q p p t t -+-- 由0<p<1，则0<2p<2，-1<2p-1<1，即|2p-1|<1 则21lim =∞→N N Q ，与Q 0取值无关。
信息论编码第四章答案
解：
唯一可译码是Ａ，Ｂ，Ｃ，Ｅ 唯 可译码是Ａ，Ｂ，Ｃ，Ｅ,非延长码为A，C，E Ａ的平均码长：n = p( si )ni
i =1 6
= 3(1 / 2 + 1 / 4 + 1 / 16 + 1 / 16 + 1 / 16 + 1 / 16)
= 3码符号 / 信源符号
编码效率：
η=
H (s) 2 = * 100% = 66.67% n log r 3
2. 有一个信源X如下：
x2 x3 x4 x5 x6 X x1 p ( x) = 0.32 0.22 0.18 0.16 0.08 0.04
(1)、求信源熵; (2)、用Shannon编码法编成二进制变长码，并计算其编码效 率； (3)、用 用Fano编码法编成二进制变长码，并计算其编码效率； 编码法编成二进制变长码 并计算其编码效率 (4)、用Huffman码编码成二进制变长码，并计算其编码效率； (5)、用Huffman码编码成三进制变长码，并计算其编码效率； (6)、比较三种编码方法的优缺点。
H ( X ) 2.3522 = × 100% = 98% n log l r 2.4 log l 2
三进制Huffman编码 ? 首先, 判断q − (r − 1)α = r 6 − (3 − 1) × 2 = 2 < 3
选择m = r − [q − (r − 1)α ] = 3 − 2 = 1个虚假符号
0.40 0.60 0 0.37 0 0.40 1 0 0.23 1 1
L = P( si )li = 2.63
i =1
二元符号／灰度级
通过哈夫曼最佳二元编码后，每个像素平均需要用 2.63个二元符号，则此图象平均共需要用263个二元符 号来表示。因此，需2.63秒才能传送完这幅图象。 (3)在(2)题中计算时没有考虑图象的像素之间的依赖 关系，但实际此图象的像素之间是有依赖的。例如，若 考虑像素前后之间灰度的依赖关系，就有灰度“1”后 面只可能出现灰度“1”或 “2”；灰度“2”后只可能 出现“2” 或“3” ，等等。这时，此图象灰度值信源 Ｓ可以看成一阶马尔可夫信源。还可以进一步看成为m 阶马尔可夫信源。因此，在考虑了这些依赖关系后，像 素的灰度值信源Ｓ的实际信息熵 H ∞ < H ( S ) 。根据香农第 一理，总可以找到一种编码，使每个灰度级的平均码 长L → H ∞ (极限熵)。所以，这幅图象还可以进一步压缩， 平均每个像素(灰度)所需要的二元码符号数 L < H ( S ) 。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
信息论与编码习题与答案第四章
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。
其失真函数ij d 与信道转移概率ij p 分别定义为j i j i d ij =≠⎩⎨⎧=,0,1 ，j i j i p ij =≠⎩⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。
解：由题意得，失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ，信道转移概率矩阵为P ⎥⎦⎤⎢⎣⎡--=εεεε11)(i j 平均失真为εεεεε=⨯-+⨯+⨯+⨯-==∑0)1(211211210)1(21),()()(,j i d i j p i p D ji 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。
解：由题意，得 0min =D.则symbol bit X H R D R /24log )()0()(2min ====这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010*********)j (i P ∑===303,2,1,0max ),()(min i j j i d i p D，，141141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=}041141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯， 43}43,43,43,43min{== 则0)(max =D R此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P]4-5 具有符号集{}10,u u U =的二元信源，信源发生概率为：2/10,1)(,)(10≤<-==p p u p p u p 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/9/7 3
§4.2 离散无记忆信道
关于定义4.2.1和定义4.2.2的注解 “离散”的含义是时间离散，事件离散。即：信道的输入、 输出时刻是离散的，且输入随机变量和输出随机变量都是 离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出 只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 “离散无记忆平稳信道”是最简单的信道，信道在某一时 刻u的响应特性 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}， 就能很简单地计算出信道在任意时间段的响应特性。
2018/9/7 5
§4.2 离散无记忆信道
（1）转移概率矩阵的每一行都是一个概率向量。
p(1 | 0) p( J 1 | 0) p(0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) p ( 0 | K 1 ) p ( 1 | K 1 ) p ( J 1 | K 1 )
定义4.2.3(p105) 离散无记忆信道的信道容量定义为如下的C。 达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称 为最佳输入分布。 其中
C
2018/9/7
q {q ( x ), x{0 ,1,, K 1}}跑遍所有的 K维概率向量
max
I ( X ;Y )
2018/9/7 4
§4.2 离散无记忆信道
一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道）
设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
2018/9/7 2
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p104) 如果 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机 变量Xu的事件集合都是{0, 1, …, K-1}， （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机 变量Yu的事件集合都是{0, 1, …, J-1}， 则称该信道为离散信道。如果更有 （3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有 （4）对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时 刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道。
对任意x，
p( y | x) P(Y {0,1,, J 1} | X x) 1
y 0
J 1
2018/9/7
6
§4.2 离散无记忆信道
（2）对任意y∈{0, 1, …, J-1}，由全概率公式有
w( y ) q( x) p( y | x)
x 0
K 1Βιβλιοθήκη ( w(0), w(1),, w( J 1)) p(1 | 0) p( J 1 | 0) p ( 0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) (q(0), q(1),, q( K 1)) p(0 | K 1) p(1 | K 1) p( J 1 | K 1)
x 0 y 0 z 0 K 1 J 1
p ( y | x)
q( z ) p( y | z )
8
2018/9/7
§4.2 离散无记忆信道
（4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。则见定理2.6.2。
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
2018/9/7
1
§4.1 信道分类
信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称 为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率 分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信 道分类：离散信道（又称为数字信道）；连续信道（又称 为模拟信道）；特殊的连续信道——波形信道；恒参信道 和随参信道；无记忆信道和有记忆信道；等等。
2018/9/7 7
§4.2 离散无记忆信道
（3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率 矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
K 1 J 1
p( y | x) I ( X ; Y ) P(( XY ) ( xy)) log w( y ) x 0 y 0 q( x) p( y | x) log K 1
9
§4.2 离散无记忆信道
定理4.2.2(p106) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
§4.2 离散无记忆信道
关于定义4.2.1和定义4.2.2的注解 “离散”的含义是时间离散，事件离散。即：信道的输入、 输出时刻是离散的，且输入随机变量和输出随机变量都是 离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出 只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 “离散无记忆平稳信道”是最简单的信道，信道在某一时 刻u的响应特性 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}， 就能很简单地计算出信道在任意时间段的响应特性。
2018/9/7 5
§4.2 离散无记忆信道
（1）转移概率矩阵的每一行都是一个概率向量。
p(1 | 0) p( J 1 | 0) p(0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) p ( 0 | K 1 ) p ( 1 | K 1 ) p ( J 1 | K 1 )
定义4.2.3(p105) 离散无记忆信道的信道容量定义为如下的C。 达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称 为最佳输入分布。 其中
C
2018/9/7
q {q ( x ), x{0 ,1,, K 1}}跑遍所有的 K维概率向量
max
I ( X ;Y )
2018/9/7 4
§4.2 离散无记忆信道
一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道）
设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
2018/9/7 2
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p104) 如果 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机 变量Xu的事件集合都是{0, 1, …, K-1}， （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机 变量Yu的事件集合都是{0, 1, …, J-1}， 则称该信道为离散信道。如果更有 （3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有 （4）对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时 刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道。
对任意x，
p( y | x) P(Y {0,1,, J 1} | X x) 1
y 0
J 1
2018/9/7
6
§4.2 离散无记忆信道
（2）对任意y∈{0, 1, …, J-1}，由全概率公式有
w( y ) q( x) p( y | x)
x 0
K 1Βιβλιοθήκη ( w(0), w(1),, w( J 1)) p(1 | 0) p( J 1 | 0) p ( 0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) (q(0), q(1),, q( K 1)) p(0 | K 1) p(1 | K 1) p( J 1 | K 1)
x 0 y 0 z 0 K 1 J 1
p ( y | x)
q( z ) p( y | z )
8
2018/9/7
§4.2 离散无记忆信道
（4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。则见定理2.6.2。
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
2018/9/7
1
§4.1 信道分类
信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称 为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率 分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信 道分类：离散信道（又称为数字信道）；连续信道（又称 为模拟信道）；特殊的连续信道——波形信道；恒参信道 和随参信道；无记忆信道和有记忆信道；等等。
2018/9/7 7
§4.2 离散无记忆信道
（3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率 矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
K 1 J 1
p( y | x) I ( X ; Y ) P(( XY ) ( xy)) log w( y ) x 0 y 0 q( x) p( y | x) log K 1
9
§4.2 离散无记忆信道
定理4.2.2(p106) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1