南航2006-2007 信息论答案
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论第三章题解
第三章习题3.2 设一无记忆信源的符号集为{}1,0，已知信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X （1） 求消息符号的平均熵；（2） 由100个符号构成的序列，求每一序列（例如有m 个“0”和)100(m -个“1”构成）的自信息量的表达式；（3） 计算)2(中的熵。
解：（1）此消息符号的平均熵为)(8113.0)43log 4341log 41()(bit X H =+-=（2）设一特定序列含有m 个“0”和)100(m -个“1”，所以mm X p -⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛=1004341)(，3log )100(2004341log )(log )(100-+=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-=-=-m x p X I mm（4） 由定义13.818113.0100)(100)(100=⨯==X H X H 。
3.3 设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0654321a a a a a a P X 求信源的熵，并解释为什么6log )(>X H 不能满足信源的极值性。
解：因为信源是无记忆的，所以6571.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(=+++++-=-=∑Xi i x p x p X H 而log6 = 2.5850 因为107.161>=∑=i ip，所以此空间不是概率空间，H(X)不存在。
3.7 设有一个信源，它产生0，1序列的消息。
该信源在任意时间而且不论以前发生过什么消息符号，均按6.0)1(,4.0)0(==p p 的概率付出符号。
（1） 试问这个信源是否平稳；（2） 试计算)(lim ),|(),(2132X H X X X H X H N N ∞→及；（3） 试计算符号信源中可能发出的所有并写出44)(X X H 。
200907级期中考试试题及标准答案(信息论)
(5) 解： (1)
注： 题中所给的信道编码为（7，4）汉明码，可以纠正 1 个差错。 求序列熵 H ( X ) ： (5 分 )
H ( X1 , X 2 ,......, X 7 ) = H ( X 1 X 2 X 3 X 4 ) + H ( X 5 X 6 X 7 | X 1 X 2 X 3 X 4 ) ， 由检 验 方 程可 知 ， X 5 X 6 X 7 完 全由 X 1 X 2 X 3 X 4 确定， 则 H ( X 5 X 6 X 7 | X1 X 2 X 3 X 4 ) = 0 ， 所以 H ( X1 , X 2 ,......, X 7 ) = H ( X1 X 2 X 3 X 4 ) = 4H ( X 1 ) 7 7 = 4bit ， X = X1 X 2 X 3 X 4 X 5 X 6 X 7 ，所以 H ( X ) = 4bit / 序列。 (2) 求 H (X |Y ) ： (5 分 ) (5 分 ) (6 分 )
若 Y =0101110，差错序列 e 同(2)，求 X 1 X 2 X 3 X 4 ； (5 分 ) 若在信息处理过程中或无差错， 或有差错， 但差错最多为 1 比特， 差错序列 e 可表示为(1,0,…,0)， (0,1,0,…,0), … , (0,0,…,0,1)或(0,0,…,0)，且 e 与 X 独立，且等概率出现，Y = X ⊕ e ，求 H (Y ) ； (6 分 ) 求 I ( X ;Y ) 。 (4 分 )
4
对球的颜色进行三元 Huffman 编码（要求：写出编码过程、列出信源符号和码字的对应表） ； 计算平均码长和编码效率；
(4)
如果码符号集合为{0，1}，某学生哈夫曼编码后得到下表(右边)，请问是否正确，说明原因？ (6 分 )
信息论考试答案
第4章作业1. 设输入符号表与输出符号表为X ＝Y ＝{0，1，2，3}，且输入信号的分布为p (X = i ) = 1/4，i ＝0，1，2，3，设失真矩阵为0111101111011110⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦d 求D min 、D max 和R (D min )、R (D max )以及相应的编码器转移概率矩阵，并求出信源的R(D)函数，画出其曲线（取4至5个点）。
解：10110 41011A A n A P n A A n -⎡⎤⎢⎥⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥=↔==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎢⎥-⎣⎦d有114i p n ==得：()()111011i ji ij ijA AD p P d n n n A n n n-==-⨯⨯+⨯⨯=--∑∑所以1A D =-，进而：()()1111j i ji iA A q p P n n n n n-==+-⨯=-∑()()()()()()()()()1111 ,,,,,1111 ,,1,,,11 log 1log 11log11log ,1log 1 2,1log 3j ji R D H q H p AA H H A n n n n D D H H D n n n n D Dn D D n n n n H D D D n H D D D ==--⎛⎫⎛⎫=- ⎪ ⎪--⎝⎭⎝⎭⎛⎫⎛⎫=-- ⎪ ⎪--⎝⎭⎝⎭=+--+-⨯--=----=--- ()minmin 0,2D R D bit ==，此时1000010000100001⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P()maxmax 3/4,0D R D ==，此时1000100010001000⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P2. 设输入符号为X ＝{0，1}，输出符号为Y ＝{0，1}。
输入信号的概率分布为P ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =d (1，0) =α。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论第二、三章习题解答
信息论（I ）第二、三章 习题解答4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求： （1）“3和5同时出现”这一事件的自信息量。
（2）“两个1同时出现”这一事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3…12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。
（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这个结果求码序列中的一个二进制码的熵。
（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。
解答见第三章课件！4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。
（2）由100个符号构成的序列，求某一特定序列{例如有m 个“0”和（m -10）个“1”}的自信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）()()0113014408113,;;log ..i i ix p p bitH x p p symb ∈==∴=-=∑（2）这是一个求由一百个二进制符号构成的序列中的某一特定（如有m 个“0”和100－m 个“1” ）序列的自信息，问题是要求某一特定序列而不是某一类序列（如含有m 个“0”的序列）(){}[]()()()()1001001001001344m 0100-m 110013100441341515844;!!!log log ..m mm m m m mmm m m m m m m mP x where x A x P A C P x m m bit I x P x m x ---⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭=∈⎛⎫⎛⎫∴==⎪ ⎪-⎝⎭⎝⎭⎡⎤⎛⎫⎛⎫∴=-=-=+⎢⎥ ⎪ ⎪⎝⎭⎝⎭⎢⎥⎣⎦其中含有个“”和个“”（3）这里有两种解法，因为是无记忆信源序列，所以单符号熵转序列熵很容易！()()()121001008113.m bit H X H x x x H x x∴==⨯=另一种解法是利用二项式定理来解。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论课后题答案
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：b i ty p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为( 02120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/==2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
北邮信息论期末考题及答案06-07学期
----------------------- Page 1-----------------------北京邮电大学2006——2007 学年第一学期《信息论》期末考试试题（A 卷）标准答案姓名班级学号分数、判断题（正确打√，错误打×）（共10分，每小题1分）1）异前置码是即时码；（√）2）最大似然准则等价于最小汉明距离准则；（×）3）离散信源记忆的长度越大，信源的符号熵越小；（√）4）一维高斯信源的熵只与其均值和方差有关；（×）5）为达到并联加性高斯噪声信道容量，在信道输入总功率给定条件下应给噪声方差大的子信道分配更多的功率；（×）6）只要信息传输速率小于信道容量，总可以找到一种编码方式使得当编码序列足够长时传输差错率任意小；（√）7）离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍；（√）8）仙农的AWGN 信道容量公式是在信道输入的平均功率和幅度受限条件下推导出来的；（×）s x ,x ,L,x s ,s L,s9)当马氏源的初始状态和输出给定后，那么状态 1 2, n+1 就能0 0 1 n唯一确定；（√）10)当平均失真大于其上限 D 时，率失真函数R （D）= 0 。
（√）max二、填空题（共20分，每空2分）1) 设信源的熵为0.8 比特/符号，对信源序列进行单符号编码，码序列为0、1二元序列，如果编码效率为100%，那么每信源符号平均码长为0.8 ，码序列中“0”符号出现的概率为 1/2 ，信息传输速率为 1 比特/码符号。
2) 一阶平稳马氏源的符号转移概率为p X 2 |X 1 (0 | 0) = 0.2 ，p X 2 |X 1 (1| 1) = 0.6 ，那么符号的平稳分布为p X (0) = 1/3，p X (1) = 2/3 ；信源的符号熵为 0.8879 比特/符号。
3）一维连续随机变量X 在[a，b]区间内均匀分布时，其信源熵为 log2 (b-a) 。
信息论第二章答案汇总
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bit x p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-==2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2-9 “－” 用三个脉冲 “●”用一个脉冲(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415=(2) H= 14Log 4()34Log 43⎛⎝⎫⎪⎭+0.811=2-10(2) P(黑/黑)= P(白/黑)=H(Y/黑)=(3) P(黑/白)= P(白/白)=H(Y/白)=(4) P(黑)= P(白)=H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
信息论课后习题解答
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
解： 每个像素的电平亮度形成了一个概率空间，如下：
平均每个像素携带的信息量为：
每帧图像由3×105个像素组成，且像素间是独立的，因此每帧图
像含有的信息量为：
平均每个汉字携带的信息量为 择1000字来描述，携带的信息量为
bit/sym; 选
需要汉字个数为：
【2.18】设有一信源，它在开始时以P(a)=0.6， P(b)=0.3, P(c)=0.1的概率发出X1。如果X1为a时，则 X2为 a、b、c 的概 率为1/3；如果X1为b时，则X2为 a、b、c 的概率为1/3；如果X1 为c时，则X2为a、b的概率为1/2，为c的概率为0。而且后面发 出Xi的概率只与Xi-1有关，又 。试用马尔克夫信源的图示法画出状态 转移图，并计算此信源的熵H∞。
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述状态转换图，设状态分别为
P(a)、P(b) 和P(c) ，
信息论测试题与答案
信息论测试题与答案⼀、设X、Y是两个相互统计独⽴的⼆元随机变量，其取-1 或1 的概率相等。
定义另⼀个⼆元随机变量Z，取Z=YX（⼀般乘积）。
试计算：1.H（Y）、H（Z）；2.H （YZ）；3.I （X;Y）、I （Y;Z）；⼆、如图所⽰为⼀个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在⼲扰离散对称信道上传输符号 1 和0，已知P（0）=1/4,P(1)=3/4, 试求：1. 信道转移概率矩阵P2. 信道疑义度3. 信道容量以及其输⼊概率分布四、某信道的转移矩阵0.6 0.3 0.1 0P ，求信道容量，最佳输⼊概率分布。
0.3 0.6 0 0.1五、求下列各离散信道的容量（其条件概率P(Y/X) 如下：）六、求以下各信道矩阵代表的信道的容量答案⼀、设X、Y是两个相互统计独⽴的⼆元随机变量，其取-1或1的概率相等。
定义另⼀个⼆元随机变量Z，取Z=YX（⼀般乘积）。
试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1.21111（）=-（）（）=1bit/符号H Y P y logP y log logi i2222i1Z=YX ⽽且X 和Y 相互独⽴P（Z1=1）=P(Y=1)P(X1)P(Y1)P(X1)= 11111 22222P（Z2=-1）=P(Y=1)P(X1)P(Y1)P(X1)= 11111 222222故H(Z)= P(z)log P(z)=1bit/ 符号iii12.从上式可以看出:Y 与X 的联合概率分布为:P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25Z=-1 0.25 0.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符号2. X 与Y 相互独⽴，故H(X|Y)=H(X)=1bit/ 符号I （X;Y）=H(X)-H(X|Y)=1-1=0bit/ 符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/ 符号⼆、如图所⽰为⼀个三状态马尔科夫信源的转移概率矩阵3. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布； 3. 求极限熵；解：1. 状态转移图如右图32. 由公式p(E j ) P(E i ) P(E j | E i ) ,可得其三个状态的稳态概率为：i 11 1 1P(E ) P(E ) P(E ) P(E )1 12 32 2 41 1P(E ) P(E ) P(E )2 2 32 21 1P(E ) P(E ) P(E )3 1 32 4P(E ) P(E ) P(E ) 11 2 3 P(E )1P(E )2P(E )33727273. 其极限熵:33 1 1 2 1 1 2 1 1 1H = - |E = 0 + 0 +P（E）H（X ）H（，，）H（，，）H（，，）i i7 2 2 7 2 2 7 4 2 4 i 13 2 2 8= 1+ 1+ 1.5= bit/7 7 7 7符号三、在⼲扰离散对称信道上传输符号 1 和0，已知P（0）=1/4,P(1)=3/4, 试求：2. 信道转移概率矩阵P 2. 信道疑义度3. 信道容量以及其输⼊概率分布4.4.0.7110.9解：1. 该转移概率矩阵为P= 0.90.1 0.10.92. 根据P（XY）=P（Y|X）P（X），可得联合概率P（XY）Y YX=0 9/40 1/40X=1 3/40 27/40P(Y=i) 12/40 28/40由P（X|Y）=P(X|Y)/P(Y) 可得P(X|Y) Y=0 Y=1X=0 3/4 1/28X=1 1/4 27/28H(X|Y)=- i j （i j）符号P(x y ) log P x |y =0.09+0.12+0.15+0.035=0.4bit/ i ，j 3. 该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1 ）=1-0.469=0.531bit/ 符号这时，输⼊符号服从等概率分布，即XP(X ) 0 11 12 2四、某信道的转移矩阵3.0.3 0.1 0P ，求信道容量，最佳输⼊概率分布。
信息论习题答案
(2) 试求最大失真度 和 。
(3) 若最大允许失真度 ，试问信源每一个符号的平均二进制码长是多少？
答：
汉明失真函数和信道转移概率矩阵别离为
，
（1）最小失真度 和 别离为
， 。
（2）最大失真度 和 别离为
=0
9. 设一离散无经历信源 ，每秒发出个符号，通过一个二进制无噪信道传输，该信道每秒仅能传两个二进制符号，试问：
(2) 相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。
答：
（1）由于“王”不能停在当前格上，必需走一步，因此就9个状态的稳态散布为
其中 是从第 格动身能够抵达的格子数， 。通过简单的计算可得：
， ，
再依照“随机行走”的意义可得
因此最终结果为
（2）“车”不管在哪个格子，它都有4个走向，例如它在1号格子，它能够去二、3、4、7号格子，因此状态的稳态散布为均匀散布： ，车随机行走的熵率为
能够看到：做 和 两个实验比做 一个实验可多取得的信息为
（3） ，它表示做完 实验以后，从 实验可取得关于 的信息量。
，它表示做 完实验以后，从 实验可取得关于 的信息量。
6. 设信源 通过一干扰信道，接收符号为 ，信道传递概率如图2-7所示。求：
(1) 信源 中事件 和 别离携带的自信息量。
(2) 收到消息 后，取得的关于 的信息量。
(3) 求 和 ，并说明它们的含义。
答：
（1） ，要求 和 需要先求 ， ， 已知。
，要求 和 需要先求 ， ， 已知。
由 及联合概率散布与边缘概率散布的关系可得 及 ，如表2-1所示：
表2-1
0
1
0
1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求（1）H(Y)，H(Z)；（4分）
（2）H(XY)，H(XZ)，H(YZ)，H(XYZ)；（8分）
（3）I(X;Y)，I(X;Z),I(Y;Z)；（6分）
解：
1)求信源 的熵 ；（3分）
2)写出噪声 的自协方差矩阵 ，并求噪声 的熵 ；（3分）
3)设 ，i）求 的自协方差矩阵 （2分）；ii）求信源 的熵 ；（2分）iii）求 ， ， ；（2＋2＋2分）
解：
1）
；
2)
；
3），i）
， ， ； ，
， ，
ii）
iii）
=0.7619bit
=0.5bit（或 ）
（2）相应的二元Huffman编码及其编码效率；（5分）
（3）相应的三元Huffman编码及其编码效率；（5分）
（4）若要求 ，采用定长二元码要求达到第（2）问中的编码效率，至少需要多少信源符号一起编码才能实现？（5分）
解：（1）信源符号熵
；
(2)相应的二元Huffman编码
信源符号
S1
S2
s3
S4
=0.2925bit（或 ）
，
六.（14分）设某信道的转移概率矩阵为:
求（1）若 ，求I(a1;Y);I(a2;Y);I(X;Y);( 6分)
（2）求该信道的容量和达到容量时的输入输出分布(8分)
解: (1)
比特/符号
比特/符号
比特/符号
（2）该信道为准对称信道,达到信道容量时,信道的输入分布应为等概分布,即:
.
对应的输出分布为: [3/8，3/8，1/8，1/8]
（4）信源自信息方差为：
编码效率为0.96，即
=0.109
所以
至少需要 多少信源符号一起编码才能实现。
五：（共10分）若有一个 元等概率、平稳无记忆信源 ，且规定失真函数为：
试求R(D),并划出n=2,4,8情况下的R(D)的曲线。（共10分）
解：
由 ，求得
所以
取 ，4，8，有由上图可见
无失真 时
， ，
（1）
（2）
（3）
二、（15分）设有一马氏链，初始概率分布为 ， ， ， ， , ， 。
（1）写出该信源的状态转移概率矩阵；（2分）
（2）画出状态转移图；（3分）
（3）求信源的平稳状态分布；（5分）
（4）计算平稳信源的熵 。（5分）
解答：（1）（2）
（3）
（4）
三（共10分）已知AWGN信道，信号的带宽范围为300～3400Hz，信号与噪声功率比为26dB。
此时,输入输出平均互信息等于信道容量:
比特/符号
七.(共16分)一个通信系统的信源为2维高斯信源 ，通过一个线性变化A作为一个2维并联加性高斯噪声信道的输入 ，即 ， ， ，信道的输出与输入噪声分别为 ， ，其中 为独立于输入同时又相互独立的、均值为零、方差分别为1和2的高斯噪声。已知 的均值为零，自协方差矩阵为 ，系统的模型如图所示：
S5
S6
S7
概率
020
0.19
0.18
0.17
0.15
0.10
0.02
码字
10
11
000
001
010
0110
0111
平均码长 ，编码效率
（3）相应的三元Huffman编码
信源符号
S1
S2
s3
S4
S5
S6
S7
概率
020
0.19
0.18
0.17
0.15
0.10
0.02
码字
2
00
01
0210Βιβλιοθήκη 1112平均码长 ，编码效率
1）计算该信道的最大信息传输速率；（5分）
2）若信号与噪声功率比降到10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？（5分）
（1）
W=3400-300=3100Hz
SNR=26dB=398
（2）
SNR=10dB=10
四.（共17分）已知离散无记忆信源如下，试求：
（1）信源符号熵 ；（2分）