第3章_离散信源()题与答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
第3章 离散信源
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
第3章 离散信源
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
信息论与纠错编码题库
第三章 离散信源无失真编码3.2离散无记忆信源，熵为H[x]，对信源的L 长序列进行等长编码，码字是长为n 的D 进制符号串，问：（1）满足什么条件，可实现无失真编码。
（2）L 增大，编码效率 也会增大吗？ 解：（1）当log ()n D LH X ≥时，可实现无失真编码；（2）等长编码时，从总的趋势来说，增加L 可提高编码效率，且当L →∞时，1η→。
但不一定L 的每次增加都一定会使编码效率提高。
3.3变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长n 满足D X H log )(≤n <D X H log )(+L 1,试问在n >D X H log )(+L1时，能否也找到惟一可译码？ 解：在n >D X H log )(+L1时，不能找到惟一可译码。
证明：假设在n >D X H log )(+L1时，能否也找到惟一可译码，则由变长编码定理当n 满足D X H log )(≤n <D X H log )(+L 1，总可以找到一种惟一可译码知：在n ≥DX H log )( ① 时，总可以找到一种惟一可译码。
由①式有：Ln ≥L X H )(logD ② 对于离散无记忆信源，有H(x)=L X H )( 代入式②得：n L ≥ Dx H log )( 即在nL≥Dx H log )(时，总可以找到一种惟一可译码；而由定理给定熵H （X ）及有D 个元素的码符号集，构成惟一可译码，其平均码长满足D X H log )(≤n L <DX H log )(+1 两者矛盾，故假设不存在。
所以，在n >D X H log )(+L1时，不能找到惟一可译码。
3.7对一信源提供6种不同的编码方案：码1~码6，如表3-10所示表3-10 同一信源的6种不同编码 信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u71/161111111000000000000111111111（1） 这些码中哪些是惟一可译码？ （2） 这些码中哪些是即时码？（3） 对所有唯一可译码求出其平均码长。
第三章离散信源及离散熵
电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。
解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。
(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。
解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
信息论与编码理论—第三章习题解答
2013-8-4
0.020
15
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 0 1 0 1 0 1 0.036
2013-8-4
7
(c) “当收到1时得到多少关于信源的平均信息”，这是求信 源随机变量U与事件“收到1”的（半平均）互信息量。 以码A为例。
I(收到1；U)=
P ( a1 , 且收到1) P ( a1 | 收到1) log P ( a1 ) P (收到1) P ( a2 , 且收到1) P ( a2 | 收到1) log P ( a2 ) P (收到1) P ( a3 , 且收到1) P ( a3 | 收到1) log P ( a3 ) P (收到1) P ( a4 , 且收到1) P ( a4 | 收到1) log P ( a4 ) P (收到1)
0.036
0.024
2013-8-4
0.020
17
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
第3章离散信源习题与答案
3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。
题表 3.2(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。
信息论基础第3章
则该信源称为离散平稳信源。 对于平稳信源来说，其条件概率也与时间起点 无关。
12
3.3 离散平稳信源
(m+1)维离散平稳信源
如果离散平稳信源某时刻发出什么符号只与 前面发出的m个符号有关联，而与更早些时 刻发出的符号无关联，则该信源称为(m+1) 维离散平稳信源。
P (x i +m | x 1 x i +m-1 ) = P (x i +m | x i x i +m-1 )
信息论基础
第3章 离散信源和熵
通信与信息工程学院 雷维嘉
本章内容
3.1 3.2 3.3 3.4 3.5
离散信源的分类 离散信源的N次扩展信源 离散平稳信源 马尔可夫信源 信源的相关性和剩余度
2
3.1 离散信源的分类
按照离散信源输出的是一个消息符号还是消息 符号序列，可分为单符号离散信源和多符号离 散信源。 按输出符号之间依赖关系分类，多符号离散信 源可分为无记忆信源和有记忆信源。 按照信源输出的符号序列的统计特性是否随时 间变化，多符号离散信源可分为平稳信源和非 平稳信源。
P (x 1 = 1) = 1/ 2, P (x 1 = 2) = 1/ 4, P (x 1 = 3) = 1/ 4
信源输出符号只与前一个符号有关，其条件概率 P (xl +1 | xl ) (l = 1,2, )具有时间推移不变性，如下表 所示。试问该信源是否为二维离散平稳信源？
xl xl+1 1 2 3
3.2 离散信源的N次扩展信源
6
N次扩展信源的数学模型
设单符号离散信源的数学模型为
é X ù é a ù a a 1 2 q ê ú=ê ú êP (x )ú êP (a ) P (a ) P (a )ú 1 2 q ú êë úû êë û
第三章 离散信源
Wuhan University
3.1 信源及其分类 3.2 离散无记忆信源的等长编码
1
信源的描述及分类
Wuhan University
信源的统计特性 信源是信息的来源,是产生消息(符号)或消 息序列的来源。 由于消息的不确定性，因此，信源是产生随 机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。
Wuhan University
二进制无记忆信源的N次扩展：把每
N个二进制数字组成一组，则信源等 效成一个具有2N个符号的新信源，把 它称为单符号二进制无记忆信源的N 次扩展信源。
7
单符号信源的扩展
Wuhan University
例1：电报系统中，可以认为每二个二进制数
字组成一组。这样信源输出的是由二个二进 制数字组成的一组组符号。这时可以将它们 等效看成一个新的信源，它由四个符号00， 01，10，11组成，把该信源称为二进制无记 忆信源的二次扩展。
≥LlogK 没有考虑信源统计特性，认为每个 信源符号独立等概。 考虑信源统计特性时，无错编码的 条件： NlogD ≥LH(U) R≥H(U)
统计平均，仅当L 为无限时
22
离散无记忆信源的等长编码
Wuhan University
R ≥H(U) 在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U)时，无论怎样编码都是有错 编码。 当logK>R>H(U)时，可以适当地编码 和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”。
K k 1 k
15
离散无记忆信源的等长编码
Wuhan University
西电邓家先版信息论与编码第3章课后习题解答
3.1 设信源⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。
求：（1） 信源X 中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3） 信源X 和信源Y 的信息熵。
（4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。
（5） 接收到消息Y 后获得的平均互信息。
解：（1）由定义得：I （X1）= －log0.6=0.74bitI （X2）= －log0.4=1.32bit（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]= log[P （yj|xi ）/p （yj ）]则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit（3）由定义显然 H （X ）=0.97095bit/符号H （Y ）=0.72193bit/符号（4）H （Y|X ）=∑P （xy ）log[1/P （y|x ）]=2211i j ==∑∑p （xi ）P （yj|xi ）log[1/P （yj|xi ）]=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号图3.1 二元信道1/63/41/45/6x 1y 1y 2x 23.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
信息论第三章作业
第三章作业1、将某六进制信源进行二进制编码，如表所示，求： （1）哪些是唯一可译码？ （2）哪些是非延长码（即时码）？（3）所有唯一可译码的平均码长和编码效率。
解：（1）C1,C2,C3,C6是唯一可译码。
（2）C1, C3,C6是即时码。
（3）H(X)=2bit/符号，符号码元/31=l ，%7.6632)(11===l X H η 符号码元/125.2)(612==∑=i i i l u p l ，%1.94125.22)(22===l X H η 符号码元/125.2)(613==∑=i i i l u p l ，%1.94125.22)(33===l X H η 符号码元/5.2)(616==∑=i i i l u p l ，%805.22)(66===l X H η 2、某信源有8个符号{x 1,x 2,…,x 8}，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。
求： （1）信源的符号熵； （2）出现一个1或0的概率； （3）这种码的编码效率； （4）相应的香农码和费诺码； （5）该码的编码效率。
解：（1）符号/98.1)(log )()(bit x p x p X H iii=-=∑（2）8.03/)1*12811*6412*3211*1612*812*413*21()0()0(=++++++==l l p 2.0)0(1)1(=-=p p（3）%66398.1)(===l X H η费诺码：（码字不唯一）（5）符号码元/98.1)(81==∑=ii i lx p l ，因此香农码和费诺码的编码效率均为：%10098.198.1)(===l X H η 4、设有离散无记忆信源p(X)={0.37,0.25,0.18,0.10,0.07,0.03}。
（1）求信源符号熵（2）用霍夫曼编成二元变长码，计算编码效率。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
第3章_离散信源(1)题与答案
3、23 设信源产生A, B, C三种符号,,,,,,,。试计算冗余度。
解:
3、26 一阶马尔可夫信源得状态图如下图所示。信源X得符号集为{0, 1, 2}。
(1) 求平稳后信源得概率分布;
(2) 求信源得熵H∞。
解:
(1)
(2)
(3) 试计算H(X4)并写出X4信源中可能有得所有符号。
解:
(1)
这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”
(2)
(3)
3、11 有一马尔可夫信源,已知转移概率为,,,。试画出状态转移图,并求出信源熵。
解:
3、21黑白传真机得信息元只有黑色与白色两种X={黑,白},一般气象图上黑色出现得概率为P(黑)= 0、3,白色出现得概率为P(白)= 0、7,黑白消息前后没有关联,其转白/黑)= 0、2,P(黑/黑)= 0、8。求该一阶马尔可夫信源得不确定性H(X/X),并画出该信源得状态转移图。
此消息得信息量就是:
(2)
此消息中平均每符号携带得信息量就是:
3、2 某一无记忆信源得符号集为{0, 1},已知信源得概率空间为
(1) 求信息符号得平均熵;
(2) 由100个符号构成得序列,求某一特定序列(例如有m个“0”与(100m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
3、1 设有一离散无记忆信源,其概率空间为
该信源发出得信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求:
(1) 此消息得自信息量就是多少？
(2) 此消息中平均每符号携带得信息量就是多少？
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：
(1)此消息的自信息量是多少？
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)
此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是：
此消息的信息量是：I二-log p =87.811 bit
3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为
;x 口0 1:
]P(X)」J/4 3/4：
(1)求信息符号的平均熵；
⑵ 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“1”)
的自信息量的表达式；
⑶计算⑵中序列的熵。
解：
(1)
丁"133、
H(X)二一p(X|) log p(X|) log log 0.811 bit
i\_4 4 4 4 J
100 -m
3
—,100
4
3〔00 -m
l(xj - -log p(xj - -log 10厂=41.5 1.585m bit
4
H(X100) =100H(X) =100 0.811 =81.1 bit
其概率空间为
；X L X1 = 0 X2 =1 X3 = 2 X4 = 3
J P(X)J '、3/8 1/4 1/4
1/8
离散无记忆信源
⑵
此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bit
z-m 100 -m
g盯(4〕
3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列
(1)求信息的符号熵；
(2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；
(3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现
0和1的无条件概率P o和P i，求相邻码间的条件概率P o/1、P l/0、P i/1、P o/o。
解：
(1)
「1 1 1 1 1 1 1 1 \
H(X) - p(xjlogp(x) log log log log 1.75 bit
i(2 2448888 丿
⑵
- 丁1111
L =E(h)=為p(x)h 1 ——2 — 3 — 3=1.75
i 2 4 8 8
1 1
H N(X) H (X) H(X) =1 bit
N L
设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N /8, N/8个。
N N N N 7N
则0的个数为一1 — 1 — 1 — 0 =——
2 4 8 8 8
N N N N 7N
而1的个数为0 1 2 3 =
2 4 8 8 8
因而p0 = p1 = 0.5
P0/1 二P10 / P1 =屮P
0/0 = P00 / P0
P1/0 二p
01
/ p
1
二2__2
1
P1/1 二
p
11
/ p
1
3.7设有一个信源，它产生0, 1序列的信息。
该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4 ，P(1) = 0.6 的概率发出符号。
(1)试问这个信源是否是平稳的；
⑵ 试计算出乂)，H(X3/X I XQ及Hs
(3)试计算出乂)并写出乂信源中可能有的所有符号。
解：
⑴
这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间而且不论以前发生过什么符号
⑵
2
H(X ) =2H(X) 一2 (0.4log0.4 0.6log0.6) =1.942 bit
H(X3/X!X2)=H(X3)-八P(xjlog p(xj (0.4log0.4 0.6log0.6) =0.971 bit
i
H 一- 二lim H(X N/X!X2...X NI^H(X N^0.971 bit
-N _^O
⑶
H(X4) =4H (X) —4 (0.4log 0.4 0.6log 0.6) = 3.884 bit
X4的所有符号：
0000 0001 0010 0011
0100 0101 0110 0111
1000 1001 1010 1011
1100 1101 1110 1111
3.11有一马尔可夫信源，已知转移概率为p(S/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，P(S2/S2)= 0。
试画出状态转移图，并求出信源熵。
解:
P
(S
1
)
= p(S i
) p(S l / S
1
)+
p(S 2
) p(S 1
/ S 2
)
p( S 2
) = p(S 2
)p(S 2
/ S 2
) + p(
S )
p(S
2
/ S j ) 2
p(S 1 )
P(S
2) 3 1 -3 p(S 1) 1 p(S 1)
3 p(S i )
P
（S 2） P （S 2
） P(SJ p(S 2) =1 jp(S 1)=3/4 :p(S 2)=1/4 H ：：-八、p(S)p(S j /S)log p(S j /S i ) i j 3 2 2 3 1 1 log log 4 3 3 4 3 3 = 0.689 bit 3.21黑白传真机的信息元只有黑色和白色两种 X=｛黑，白｝，一般气象图上黑色出现的概率为 P(黑)=0.3，白色出现的概率为P(白)=0.7，黑白消息前后没有关联，其转移概率为 P(白 /白)=0.9，P(黑/白)=0.1 ，P(白/黑)=0.2，P(黑/黑)=0.8。
求该一阶马尔可夫信源 的不确定性H(X/X)，并画出该信源的状态转移图 解： ds) = p(S 1)p(S 1/sj + p(S 2)p(s/S 2) < 、P( S 2 ) = P(S 2 ) P( S 2 / S 2 )
* p( S 1 ) p( S 2 / S 1 )
；P(SJ =0.8p(SJ +0.1p(S 2)
p©) =0.9p(S 2)+0.2p(SJ ；p(S 2)=2p(S) PS 1) +p(S 2)=1 :P(SJ =1/3 PS 2) =2/3 H ：：-八 ' p(S i )p(S j /S)log p(S j /S i ) i j ,Z
1 1
2 2〕 —汉 0.8log0.8 + —汉 0.2log0.2+—^0.1log0.1 + — ^0.9log0.9 1 <
3 3 3 3 J = 0.553 bit I
S 2
-/ p(白/
白)=0.9
)=°.2
3.23 设信源产生 A, B, C 三种符号 p(B/B)=1/2，p(A/B) = p(C / B) = 1/4，p(A/A) = 5/8， p(B/A)=1/4， p(C/A)=1/8，p(C/C)=5/8， p(B/C) =1/4，p(A/C) =1/8。
试计算冗余 度。
解：
5 11 P(S A )=石 P(S A )+;P(S B )
P(S c )
8 4
8 1
1
1
^P(S B ) = ：P (S A ) +；；P (S B )
P(S C )
4 2 4 115
p(S c )=匚 P(S A ) P(S B ) +匚 P(S C )
8 4 8
P(S A )二 P(S B )二 P(S C ) P(S A ) P(S B ) p(S c ) =1
3
3
3
H 比=—E Z Z p(e)p(q /e)log p(e j /ej
j k
1 5 1
r 1111 log log p log — |I3 8
8 3 4 4 3 8 8
1 1 1 1 1 1 1 1 1
log log log- 3 4 4 3 2 2 3 4 4 11111115 5
log log log 3 8 8 3 4 4 3 8 8 = 1.366 bit
R =1_H
―迦=o.138
H o log 3
P(S A ) P(S B ) .P(S C ) = 1/3 = 1/3
= 1/3
3.26 一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0, 1,2}
(1)求平稳后信源的概率分布；
⑵求信源的熵比。
3
3
3
H 八 p(e)p(n / e)log p(e j /e)
i j
k
4
3 3
4 1 1 log log — _11 4 4 114 4 3^2311
log
log - 11 3 3 113 3
—1 log 1 — -log-
解:
⑴ P(S i
) P （S 2） P （S 3） P(S i ) P （S 2） P （S 1） P （S 2） P （S 3） ⑵
3 1 p(sj - P(S 3)
4 4 2 1
=3 P(S 2) 4 P(S 1) 1 3 =3 P(S 2) 4 P(S 3) 二 P （S 3）
十S 1
） =4/11
=
3/11 =4/11
11 4 4 114 4 = 0.840 bit。