信息论与编码课后答案

信息论与编码习题参考答案(全)

证:
1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？
解:
2.21设某信道的信道矩阵为
试求：
(1)该信道的信道容量C；
(2)I(a1;Y)；
(3)I(a2;Y)。
解:
2.22设某信道的信道矩阵为
试该信道的信道容量C；
解:
2.23求下列二个信道的信道容量，并加以比较(其中0<p,q<1,p+q=1)
(1)
(2)
解:
2.27设某信道的信道矩阵为
其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。
解：
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是：
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3;
P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3;
解:
2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：

《信息论与编码》部分课后习题参考答案

若知道是星期几，则从别人的答案中获得的信息量为 0。 2.3 每帧电视图像可以认为是 3*10^5 个像素构成，所有像素均独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广播员在约 10000 个汉字的字汇中选取 1000 个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？答：由于每一象素取 128 个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为 I(X) = – lb(1/128)=lb128=7 bit/像素每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆 N 次扩展。由此，每帧图像包含的信息量为 I(XN) = NI(X)= 3×105×7 =2.1×106 bit/帧广播员在约 10000 个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为 I(Y) = – lb(1/10000)=lb1000=13.29 bit/ 字广播员述电视图像是从这个汉字字汇信源中独立地选取 1000 个字进行描述，因此广播员描述此图像所广播的信息量是 I(YN) = NI(Y)= 1000×13.29 =1.329 ×104 bit/字由于口述一个汉字所包含的信息量为 I(Y)，而一帧电视图像包含的信息量是 I(XN)，因此广播员要恰当地描述此图像，需要的汉字数量为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是信号。消息是信息的载体，信息是指消息中包含的有意义的内容，是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长，离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。

信息论与编码理论课后答案

信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。

2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

6、信息的是建立信息论的基础。

7、8、是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是。

14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。

limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。

19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。

20、一维连续随即变量x在[a，b] 。

1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。

2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。

信息论与编码陈运主编答案完整版

p x x( i1 i3 )log p x( i3 / xi1)
i1 i2 i3
i1 i3
∑∑∑ ∑∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3 i1 i2 i3 p x( i3 / xi1)
( 1)
5 / 61
⎧p e( 1 ) = p e( 2 ) = p e( 3 ) ⎨
⎩p e( 1 ) + p e( 2 ) + p e( 3 ) =1 ⎧p e( 1 ) =1/3 ⎪ ⎨p e( 2 ) =1/3 ⎪⎩p e( 3 ) =1/3
⎧p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅( 2 ) = (p + p)/3 =1/3 ⎪⎪ ⎨p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅( 3 ) = (p + p)/3 =1/3
p x( i ) = I x( i ) =−log p x( i ) = log52!= 225.581 bit
(2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：
413 p x( i ) =
C5213
413 I x( i ) = −log p x( i ) = −log C5213 =13.208 bit
解： (1)

《信息论与编码》部分课后习题参考答案

答：信源 P(M1)= P(M2)= P(M3)= P(M4)=1/4, 信道为二元对称无记忆信道，消息 Mi 与码字一一对应，所以设 M i = ( xi1 xi2 ) 设接收序列为 Y=(y1y2) 接收到第一个数字为 0，即 y1=0。那么，接收到第一个数字 0 与 M1 之间的互信息为
I ( M 1 ; y1 = 0) = log
所以 I ( M 1; y1 y2 = 00) = log
p2 = 2(1 + lbp ) 比特 1 4
得附加互信息为 I ( M 1; y2 = 0 | y1 = 0) = 1 + lbp 比特 2.6 证明如果随机变量空间 X、Y、Z 构成马尔科夫链，即 X-Y-Z,则有 Z-Y-X。答：证明：因为(X,Y, Z)是马氏链，有 P(z|xy)=P(z|y),对所有 x ∈ X , y ∈ Y , z ∈ Z 成立，而 P(x|yz)=P(xyz)/P(yz) = P(z|xy) P(xy)/ P(y) P(z|y) = P(z|xy) P(y) P(x|y)/ P(y) P(z|y) 对所有 x ∈ X , y ∈ Y , z ∈ Z 成立
1.4 从香农信息论的角度看来，分别播送半小时新闻联播和半小时的轻音乐，听众接受到的信息是否相同，为什么？答：新闻联播是语言，频率为 300~3400Hz ，而轻音乐的频率为 20~20000Hz 。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。
1 3 1 p = × × 8 8 4
14
25
6
此消息的信息量是： I = − log p = 87.811 bit (2) 此消息中平均每符号携带的信息量是： I / n = 87.811/ 45 = 1.951 bit 2.8 一个信源发出二重符号序列消息（m, n），其中第一个符号 m 可以是 A、B、C 中任一个，第二个符号 n 可以是 D、E、F、G 中的任一个。各信源符号概率及条件概率如题表 2.1 所示。试求这个信源的联合熵 H(MN)。

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。

解：该信源的香农线图为：1/3○ ○2/3 (x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳固状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p +)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无经历信源发出符号A 和B ，已知4341)(.)(==B p A p 。

求：①计算该信源熵；②设该信源改成发出二重符号序列消息的信源，采纳费诺编码方式，求其平均信息传输速度； ③又设该信源改成发三重序列消息的信源，采纳霍夫曼编码方式，求其平均信息传输速度。

解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率别离为1614141)(=⨯=AA p 1634341)(=⨯=AB p1634143)(=⨯=BA p 1694343)(=⨯=BB p用费诺编码方式代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3无经历信源 624.1)(2)(2==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时刻③三重符号序列消息有8个,它们的概率别离为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方式代码组 b iBBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3BAB 649 1 )(6418 )(644 1 101 3ABB 649 0 0 100 3AAB 6431 )(6461 11111 5 BAA 643 0 1 11110 5ABA6431 )(6440 11101 5 AAA641 0 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时刻3．已知符号集合{ 321,,x x x }为无穷离散消息集合，它们的显现概率别离为 211)(=x p ，412)(=x p 813)(=x p ···ii x p 21)(=···求： ① 用香农编码方式写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速度； ③ 计算信源编码效率。

信息论与编码课后答案

.2.1 一个马尔可夫信源有 3 个符号 u u , u ，转移概率为： p u | u1 1/2 ，1, 231p u 2 | u 1 1/ 2 ， p u 3 |u 1 0 ， p u 1 | u 21/ 3， p u 2 |u 2 0 ， p u 3 | u 2 2/3 ，p u 1 | u 31/ 3 ， p u 2 |u 32/3 ， p u 3 | u 30 ，画出状态图并求出各符号稳态概率。

解：状态图如下1/2u 11/2 u 21/3状态转移矩阵为：1/32/31/ 2 1/ 2 02/3p1/ 30 2 / 3u 3 1/ 32 /3 0设状态 u u2 u 稳定后的概率分别为 W ， W 、 W31，， 312111W 1 10 W 1W 2 W 3 233W 1WP W 1W 12W 3 W 225计算可得 9由W 2W 3 1 得 23W 2W 12W 325W 2 63W 3W 1 W 2 W 3 1252.2 由符号集 {0，1}组成的二阶马尔可夫链，其转移概率为：p(0 | 00) =0.8 ， p(0 |11) =0.2 ，p(1| 00) =0.2 ， p(1|11) =0.8 ， p(0 |01) =0.5 ， p(0 |10) =0.5 ， p(1| 01) =0.5 ， p(1|10) =0.5 。

画出状态图，并计算各状态的稳态概率。

解： p(0 |00)p(00 | 00) 0.8 p(0 | 01) p(10 | 01) 0.5 p(0 |11)p(10 |11)0.2 p(0 |10)p(00 |10) 0.5p(1| 00) p(01| 00) 0.2 p(1| 01) p(11| 01) 0.5 p(1|11)p(11|11)0.8p(1|10)p(01|10)0.5.0.8 0.2 00000.5 0.5于是可以列出转移概率矩阵：p0.5 0.5 000 0 0.2 0.8状态图为：0.8 00 0.2010.5 0.50.50.510 0.211 0.8设各状态00， 01， 10， 11 的稳态分布概率为W ,W W W4 有1 2, 3,W1 50.8W1 0.5W 3 W1 14WP W 0.2W1 0.5W 3 W 2 W 2 1 74 得0.5W 2 0.2W 4 W 3 计算得到W i 1 10.5W 2 0.8W 4 W 4 W 3i 1 7W1 W 2 W 3 W 4 1W 45 14X x1 0 x21 x2 x432.7 设有一离散无记忆信源，其概率空间为3P 3/8 1/ 4 1/ 4 1/8（ 1）求每个符号的自信息量（ 2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解： I ( x1) log 2 1 log 2 8 1.415bitp( x1) 3同理可以求得I ( x2) 2bit , I (x3) 2bit , I ( x3)3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有： I 14I ( x1) 13I (x2) 12I (x3) 6I ( x4 )87.81bit平均每个符号携带的信息量为87.811.95 bit/符号452.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1 ，，38 的数字标示，其中有两份涂绿色，18 份涂红色， 18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码陈运主编答案完整版

p x( i3 / xi1) 1 0 时等式等等当 − = p x( i3 / x xi1 2i )
⇒ p x( i3 / xi1) = p x( i3 / x xi1 2i ) ⇒ p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) ⇒ p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3i i ) ⇒ p x( i2 / xi1) (p xi3 / xi1) = p x x( i2 3i / xi1) ∴等式等等的等等是 X1, X2, X3 是马氏链_
0.25
0.75
设随机变量 Y 代表女孩子身高
Y
y1（身高>160cm）
P(Y)
0.5
ห้องสมุดไป่ตู้
y2（身高<160cm） 0.5
已知：在女大学生中有 75%是身高 160 厘米以上的
即： p y( 1 / x1) = 0.75 bit
求：身高 160 厘米以上的某女孩是大学生的信息量
p x p y( 1) ( 1 / x1 ) log 0.25×0.75 =1.415 bit 即：I
∑∑∑ =
i1 i2
i3 p x x x( i1 i2 i3 )log p x( i3 / x xi1 i2 )
∑∑∑ ≤
i1 i2
⎛ p x( i3 / xi1) 1⎞⎟⎟log2 e i3 p x x x( i1 i2 i3 )⎜⎜⎝ p x( i3 / x xi1 i2 ) − ⎠
∑∑∑ ∑∑∑ = ⎜⎛
⇒ H X( 2 ) ≥ H X( 2
/ X1 ) I X( 3;X X1 2 ) ≥ 0

《信息论与编码》课后习题答案

《信息论与编码》课后习题答案1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

6、信息的可度量性是建立信息论的基础。

7、统计度量是信息度量最常用的方法。

8、熵是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，。

19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。

21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。

22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。

25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

《信息论与编码》课后习题答案

《信息论与编码》课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

《信息论与编码》傅祖芸_赵建中_课后答案

第二章课后习题【2.1】设有12 枚同值硬币，其中有一枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现用比较天平左右两边轻重的方法来测量。

为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P =112；“假币的重量比真的轻，或重”该事件发生的概率为P = 12；为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I = log12 + log 2 = log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P = 平每一次消除的不确定性为I = log 3 比特因此，必须称的次数为13，因此天I 1 I 2 log 24log 3H 2.9 次因此，至少需称3 次。

【延伸】如何测量？分 3 堆，每堆4 枚，经过 3 次测量能否测出哪一枚为假币。

【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，..⋅因此该种情况发生的概率为 P =1 1 6 6 136，该事件的信息量为：I = log 36 H 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概率为P = 1 16 6536，因此该事件的信息量为：36I = logH 2.85 比特5“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P = 1 16 6118，因此该事件的信息量为：I = log18 H 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P = 17，因此此时从答案中获得的信息量为I = log 7 = 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。

信息论与编码习题参考答案(全)

110
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：

信息论与编码课后习题答案

1/2 W1+1/3W2 +1/3W3 = W1 1/2 W1+2/3W3 = W2 2/3W2 =W3
W1 +W2 +W3=1
32 2011/12/30
得：
W1=2/5；W2 =9/25；W3=6/25
33 2011/12/30
2-27
解： 0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1
2-20
解：（1）已知所以
1 P x ( x) 6
1 H 0 ( X ) 6 log 6dx log 6 2.58 3
26 2011/12/30
3
（2 ）
已知
1 Px ( x) 10
所以
1 H 0 ( X ) 10 log 10dx 3.322 5
27 2011/12/30
i i i
得：随意取出一球时，所需要的信息量为（1 ） P（红）= P（白）=1/2
H（X）= log 2 log 2
1 2 1 2 1 2 1 2
= 1比特
3 2011/12/30
（2）P（白）= 1/100 P（红）= 99/100 所以 1 H（X）= log 2
100
1 99 99 log 2 100 100 100
41 2011/12/30
10 2011/12/30
2-7
解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=3
11 2011/12/30
2-8

信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章2. 1 一个马尔可夫信源有3个符号｛“⑷,呵，转移概率为：〃（曲）= 1/2 , p （lll\u\） = \//l ，/?（M3l W1） = O , /2（MllW2）= l/3 ,2.2由符号集｛0, 1｝组成的二阶马尔可夫链，其转移槪£率为：p （oioo ）=0・ 8 9 p （oiii ）=0・ 2, /?（i I oo ）=0. 2, p （i111）=0. 8, P （OIOI ）=0. 59 〃（oiio ）=0・ 5, p （iioi ）= 0. 5, p（iiio ）=0. 5。

iffll 出状态图，并计算各状态的稳态概率。

解: p （0100） = /?（00100） = 0.8P （U2\U2）= O y p （m\U2）= 2/3 y 〃（"llU3）= l/3 , ”（“2丨心） = 2/3, /?（M3lM3）=O y画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：设状态5, %比稳定后的概率分别为W” W2、Ws-Wi + -W2+-Wi = Wi2 3 31 2 _Wl+_W3 = W22 3-W2 = VV33Wi + Wi + W3 = \WP = w彳曰Wl + W2 + W3=l '寸v 计算可得 W\ =VV2 =vv? =10一259256一25 /XOIOl) = p(lOIOl)=O.5于是可以列出转移概率矩阵：厂08 0.2 0 0、0 0 0.5 0.50.5 0.5 0 00 0.2 0.8 .状态图为:设各状态00, 01，10, 11的稳态分布概率为叽 w 2>w 3,w 4 有率都为1/6,求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的爛和平均信息量； (4) 两个点数之和(即2, 3,・・・,12构成的子集) 的嫡； (5) 两个点数中至少有一个是1的自信息量。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题参考答案(全)

(1,3)
(1,4)
(1,5)
(1,6)
P(X)
1/36
2/36
2/36
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
2/36
2/36
2/36
2/36
X
(3,3)
(3,4)
(3,5)
(3,6)
P(x)
1/36
2/36
2/36
2/36
X
(4,4)
(4,5)
信息论与编码习题参考答案
第一章单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
(3)信源空间：
X
(1,1)
(1,2)
解:
设电话信号的信息率为×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多少W若
F→∞则P是多少W
解:
已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少若信噪比提高到15dB,求理论上传送同样的信息率所需的频带.
(1)求状态极限概率并找出符号的极限概率;
(2)计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);
(3)信源的极限熵H∞.
解:
下图所示的二进制对称信道是无记忆信道,其中 ,试写出N=3次扩展无记忆信道的信道矩阵[P].

信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。