信息论作业原题chapter2、3

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：* (3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==?如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：！bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。

信息论第三章答案

信息论第三章答案3.2.设二元对称信道的传的矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132。

（1）、若P （0）=43,P(1)=41,求H(X),H(X/Y),H(Y/X)和I(X;Y);（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。

解：(1)、H(X)=-symbol bit x p ii /81.0)41log 4143log 43()(=+⨯-=∑H(Y/X) =-)/(log )/()(i j i jijix y p x yp x p ∑∑=-(32log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbolP )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+==31413243⨯+⨯=0.58 同理可得：p(2y )=0.42 H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbolI(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol(2)由题：C=maxI(X;Y)=logm-mi H =log2-(32log 3231log 31+)=0.082bit/symbol因为信道容量达到最大值即X 等概率出现即：p(i x )=213.6、有一个二元对称信道，其信道矩阵为⎥⎦⎤⎢⎣⎡098.02.002.098.0。

设该信源以1500二元符号/每秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设P(0)=P(1)=21,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？解：由题得：C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：1I =(1500symbol/s )×0.859bit/symbol=1288bit/s10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 21 则有：3I =14000×(21log 21×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完3.11、已知离散信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求：（1）、“输入3x ，输出2y ”的概率；（2）、“输出4y ”的概率；（3）、“收到3y 的条件下推测输入2x ”的概率。

信息论第二、三章习题解答

信息论（I ）第二、三章习题解答4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求：（1）“3和5同时出现”这一事件的自信息量。

（2）“两个1同时出现”这一事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均信息量。

（4）两个点数之和（即2，3…12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。

（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这个结果求码序列中的一个二进制码的熵。

（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。

解答见第三章课件！4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。

（2）由100个符号构成的序列，求某一特定序列{例如有m 个“0”和（m -10）个“1”}的自信息量的表达式。

（3）计算（2）中的序列的熵。

解：（1）()()0113014408113,;;log ..i i ix p p bitH x p p symb ∈==∴=-=∑（2）这是一个求由一百个二进制符号构成的序列中的某一特定（如有m 个“0”和100－m 个“1” ）序列的自信息，问题是要求某一特定序列而不是某一类序列（如含有m 个“0”的序列）(){}[]()()()()1001001001001344m 0100-m 110013100441341515844;!!!log log ..m mm m m m mmm m m m m m m mP x where x A x P A C P x m m bit I x P x m x ---⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭=∈⎛⎫⎛⎫∴==⎪ ⎪-⎝⎭⎝⎭⎡⎤⎛⎫⎛⎫∴=-=-=+⎢⎥ ⎪ ⎪⎝⎭⎝⎭⎢⎥⎣⎦其中含有个“”和个“”（3）这里有两种解法，因为是无记忆信源序列，所以单符号熵转序列熵很容易！()()()121001008113.m bit H X H x x x H x x∴==⨯=另一种解法是利用二项式定理来解。

西安交通大学信息论与编码习题作业

并说明上式取等号的条件；（c）给出 (b) 的结果的几何解释。
3-10 设一 DMC 信道（离散无记忆信道：Discrete memoryless channel）的输入与输出分别为 X 和 Y 。 (a) 证明 H (Y ) 是输入概率向量的凸函数。提示：将输出概率向量用输入概
率向量表示；
(b) 证明 − H (Y X ) 是输入概率向量的线性函数； (c) 利用(a)，(b)的结论，证明 I ( X ; Y ) 是输入概率向量的凸函数。 3-11 判断图 P3.4 中各信道是否对称，如对称，求出其信道容量。
P ( 0 0 ) = 1−α P ( 0 1 )= 0
P ( E 1 )=α
P(E 0 ) = α
P (1 0 )= 0
P ( 1 1 ) = 1−α
求信道容量 C 。
3-7 设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布、及判决电平如下图P3.3所示。试求：(a)信道模型；(b)互信息；(c)信道容量。
2-4 设一连续无记忆信源产生数符 X = [0, A] ，其概率密度函数为 p( x) = 1 /(b − a) ， 0 ≤ a ≤ x ≤ b ≤ A 。求 X 的相对信息熵 H ( X ) 。在什么条件
下， H ( X ) < 0 ，它的含义是什么？
2-5 一信源产生的时不变波形信号（即信号统计特性不随时间而变）的带宽
0p图p3133设一时间离散幅度连续的无记忆信道的输入是一个零均值方差为e的高斯随机变量信道噪声为加性高斯噪声方差为w1?2信道传输速率为64kbitssec求输入信号功率e的最小值
信息论第一章习题
1-1 设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲： “你没有不及格” ，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 1-2 一个号码锁有 3 个数字，每个数字可设置为 0~99（含 0 和 99）中的任何一个整数值。试计算打开该锁所需的信息。 1-3 中国国家标准局所规定的二级汉字共 6763 个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个 16 × 16 的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？ 1-4 一信源有 4 种输出数符： X i = i, i = 0,1,2,3 ，且 PX i = 1 / 4 。设信源向信宿发出 X 3 ，但由于传输中的干扰，接收者收到 X 3 后，认为其可信度为 0.9。于是信源再次向信宿发送该数符（ X 3 ），信宿无误收到。问信源在两次发送中发出的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？（提示：先计算第二次传输中收、发的信息量。） 1-5 一信源有 6 种输出状态，概率分别为

信息论作业原题chapter2、3

第二、三章习题4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求：（1）“3和5同时出现”这一事件的自信息量。

（2）“两个1同时出现”这一事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均信息量。

（4）两个点数之和（即2，3…12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。

（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这个结果求码序列中的一个二进制码的熵。

（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。

4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。

（2）由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（m -100）个“1”）的自信息量的表达式。

（3）计算（2）中的序列的熵4.6 有两个离散随机变量X 和Y ，其和为Y X Z +=（一般加法），若X 和Y 相互独立，求证：（1）)()(Z H X H ≤)()(Z H Y H ≤（2）)()(Z H XY H ≥4.7 对于任意的三个离散随机变量X ，Y ，Z ，求证：（1） (;)(;)(;)(;)(;)(;)I X Y Z I X Y I Y Z X I Y Z I Z X Y I Z X -=-=- （2） ()()()(;)I XYZ H XZ H Y X I Z Y X =+- （3） )()()()(X H ZX H XY H XYZ I -≤-4.9 一个等概率的信源符号有八种字母，分别是10000x =，20011x =，30101x =，40110x = ，51001x = ，61010x = ，71100x = ，81111x =，用实验测定上述码字中的每个二进制符号，可得二元输出y ，已知条件概率为00P =11P =1-ε10P =01P =ε。

信息论与编码第二章答案

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

(信息论)第二、三章习题参考答案

第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。

(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。

因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。

因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。

bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。

信息论第二章答案汇总

X2 3 4 5 6 7 8 9 10 11 12 =1 1 1 1 5 1 5 1 1 1 1 36 18 12 9 36 6 36 9 12 18 362.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；⑶两个点数的各种组合(无序)对的熵和平均信息量；(4) 两个点数之和(即2, 3,…，12构成的子集)的熵；(5) 两个点数中至少有一个是1的自信息量。

解：(1)1111 1p(x i)=6 6 6 6 181I(X)=—log p(X j) =—log 4.170 bit181 1 1p(X i):(2) 6 6 361I (xj = -log p(xj = - log 5.170 bit36⑶两个点数的排列如下:11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：1 1 1其中11, 22, 33, 44, 55, 66 的概率是、二6 6 361 1 1其他15个组合的概率是2 --=—6 6 18* 1 1 1 1 x'iH (X)= —区p(x i) log p(X i ) = - 6 乂一log 一+15 汇一log 一| = 4.337 bit / symboli \、36 36 18 18)H (X)二-' p(X i)log p(N)i--2 —log — 2 —log — ^2 —log — 2 丄log1 2 总log总丄log丄.36 36 18 18 12 12 9 9 36 36 6 6 =3.274 bit/symbol1 1 11p(X i) 11 工6 6 36(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:11I (xj = Tog p(xj = Tog 1.710 bit362-4(1)031-Log| - = 12.6掷两颗骰子,当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少? 解：1)因圆点之和为1 3 的概率p(x)二p(1,2) p(2,1)二18该消息自信息量l(x) - -log p(x) = Iog18 = 4.170bit2)因圆点之和为7的概率1pg"。

信息论基础理论与应用课后答案全

X
a1 a2
P = 0.070.93
问男同志回答“是”所获昨的信息量为：
I 问男同志回答“否”所获得的信息量为：
比特/符号
I 男同志平均每个回答中含有的信息量为
比特/符号
H(X) = −∑P(x)log P(x) = 0.366 比特/符号
同样，女同志红绿色盲的概率空间为
Y
b1
b2
P = 0.0050.995
A′ ={ai ,i =1,2,...,2q}，并且各符号的概率分布满足
Pi′= (1−e)Pi i =1,2,...,q
Pi′= ePi
i = q +1,q + 2,...,2q
试写出信源 S′的信息熵与信源 S 的信息熵的关系。
解：
H(S′) = −∑P(x)log P(x)
∑ ∑ = − (1−e)Pi log(1−e)Pi − ePi logePi ∑ ∑ ∑ ∑ = −(1−e) Pi log(1−e) − (1−e) Pi log Pi −e Pi loge −e Pi log Pi
即函数 f (x) 为减函数，因此有 f (0) ≥ f (e)，即
(p1 −e)log(p1 −e) + (p2 + e)log(p2 + e) ≤ p1 log p1 + p2 log p2
因此 H(X) ≤ H(X ′)成立。
【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：
= XP
48a11 48a12 48a13 a48148 平均自信息量为

信息论基础第二章信源熵-习题答案.doc

为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]\25X ——,4丿此消息的信息量是：/ =-log/? = 87.811 bit(2)此消息中平均每符号携带的信息量是：//〃 = 87.811/45 = 1.951 bit解释为什么> Iog6不满足信源储的极值性。

解： 6 H(X)= -工 /?(%,) log p(xji= -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbolW(X)>log 2 6 = 2.5856不满足极值性的原因是工#(兀)=1.07 > i 。

2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的*商和平均信息量；(4) 两个点数之和(即2, 3,…，12构成的子集)的储；(5) 两个点数中至少有一个是1的自信息量。

解：2.4 设离散无记忆信源X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X 'x 2 兀4 尤5 兀6 ' > P(X).[0.2 0.19 0.18 0.17 0.16 0」74H(X)=-工"(xjlog #(兀)= 2.010 /=!设信源求这个信源的储，并⑴用随机事件兀表示“3和5同时出现”，贝UI(x i ) = - log p(xj = - log — = 4.170 bit 18(2)用随机事件齐表示“两个1同吋出现”，则 p(xj = — X —=—'6 6 36/(兀)=- log p{x i ) = -log — = 5」70 bit⑶两个点数的排列如下: 1112 13 14 15 16 2122 23 24 25 26 3132 33 34 35 36 4142 43 44 45 46 5152 53 54 55 56 61 62 63 64 65 6622, 33, 44, 55, 66的概率是卜卜召其他"组合的概率是2x 肚诂H(X) =-工 p(x /)logp(x,) = -f6x-^log-^ + 15x-l-log-^/ I 3o 3b 1 o 1 o ⑷参考上而的两个点数的排列，可以得出两个点数求和的概率分布如H ：Xf 2 3 4 5 6 7 8 9 1() 11 121 1 1 1 1 5 1 5 1 1 1 1]p(X)_ 、36 18 12 9 36 6 36 9 12 18 36.H(X) = -工卩(无)log pg1 . 1 c 1 I 1,1. 1,1. 1,5, 5 1 I 1)-2x ——log — + 2x —log — + 2x — log — + 2x —log —+ 2x — log — + —log —I 36 36 18 18 12 12 9 9 36 36 6 6)= 3.274 bit/symbol⑸p(x.) = —x — xl 1 =——'6 6 36/(x z ) = - log /?(%, ) = - log= 1.710 bit 36共有21种组合：其中11,= 4.337 bit I symbol2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1) 忙闲的无条件爛；(2) 天气状态和气温状态已知时忙闲的条件爛；⑶从天气状态和气温状态获得的关于忙闲的信息。

信息论与编码习题与答案第二章

第一章信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

信息论课后题答案

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.50.5已知：在女大学生中有75%是身高160厘米以上的即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：b i ty p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为( 02120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/==2.9 设有一个信源，它产生0，1序列的信息。

它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。

(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。

信息论与编码原理-第2、3章课后习题-20140526-22点-自己整理

xz=11
xz=12
1/4
1/4
联合概率P(xyz)
P ( xyz ) z xy
Z=0 ？
Z=1 ？
Z=2 ？？？？
xy=00
xy=01 xy=10
xy=11
？？
？
？？
？
联合概率P(xyz)
P ( xyz ) z xy
Z=0
1/2 0 0 0
Z=1
0 0 1/4 0
Z=2
0 0 0 1/4
表2.12
x1
条件概率P(x2/x1)
x2
0 1 2 0 1/2 3/4 0 1 1/2 1/8 1/4 2 0 1/8
3/4
1 1 1 1 3 1 1 1 1 3 因为条件熵 H ( x2 / x1 ) H ( , , 0) H ( , , ) H (0, , ) 2 2 2 3 4 8 8 6 4 4
1 1 1 1 1 1 1 1 , , , , , , ,...., ) 36 36 36 36 36 36 18 18
2.5 某离散信源输出两个符号X1X2。已知第一个符号X1的概率分布为P(x1=0)=1/2，P(x1=1)=1/3，P(x1=2)=1/6。假定第二个符号与第一个符号之间的条件概率P(x2/x1)，如下表2.12所示。计算条件熵H(X2/X1)和联合熵H(X1X2)。
1 1 1 H (Y ) H ( , , ) 3 3 3
(3) 在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
H ( X / Y ) H ( XY ) H (Y ) 7 1 1 1 1 1 7 1 1 1 H ( , , 0, , , , 0, , ) H ( , , ) 24 24 24 4 24 24 24 3 3 3

《信息论》部分作业详解

第2章信源熵2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。

2.2一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1)!52log 2(2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415比特/符号。

提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p22log (/)log 3/8 1.415p A C ==2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为I (a i )=-log 2p (a i )，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。

消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特， (2)87.81/45=1.951比特。

2.6 设信源()1234560.20.190.180.170.160.17X a a a a a a P X ⎛⎫⎧⎫=⎨⎬⎪⎩⎭⎝⎭，求这信源的熵，并解释为什么()log 6H X >不满足信源熵的极值性。

信息论第三章答案

信息论第三章答案3.2.设二元对称信道的传的矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132。

（1）、若P （0）=43,P(1)=41,求H(X),H(X/Y),H(Y/X)和I(X;Y);（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。

解：(1)、H(X)=-symbol bit x p ii /81.0)41log 4143log 43()(=+⨯-=∑H(Y/X) =-)/(log )/()(i j i jijix y p x yp x p ∑∑=-(32log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbolP )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+==31413243⨯+⨯=0.58 同理可得：p(2y )=0.42 H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbolI(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol(2)由题：C=maxI(X;Y)=logm-mi H =log2-(32log 3231log 31+)=0.082bit/symbol因为信道容量达到最大值即X 等概率出现即：p(i x )=213.6、有一个二元对称信道，其信道矩阵为⎥⎦⎤⎢⎣⎡098.02.002.098.0。

设该信源以1500二元符号/每秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设P(0)=P(1)=21,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？解：由题得：C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：1I =(1500symbol/s )×0.859bit/symbol=1288bit/s10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 21 则有：3I =14000×(21log 21×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完3.11、已知离散信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求：（1）、“输入3x ，输出2y ”的概率；（2）、“输出4y ”的概率；（3）、“收到3y 的条件下推测输入2x ”的概率。

信息论与编码课后习题答案

信息论与编码课后习题答案信息论与编码课后习题答案第⼆章2.3 同时掷出两个正常的骰⼦，也就是各⾯呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的⾃信息； (2) “两个1同时出现”这事件的⾃信息；(3) 两个点数的各种组合（⽆序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的⼦集）的熵； (5) 两个点数中⾄少有⼀个是1的⾃信息量。

解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==+=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-===(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=? 其他15个组合的概率是18161612=?symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=??? ??+-=-=∑参考上⾯的两个点数的排列，可以得出两个点数求和的概率分布如下：bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=?+?+?+?+?+?-=-==?∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-===2.42.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r=（1）如果有⼈告诉你X 和Y 的实验结果，你得到的平均信息量是多少？（2）如果有⼈告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？解：联合概率(,)i j p x y 为 22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==?=2.3bit/符号X 概率分布 21()3log 3 1.583H Y =?=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号 Y y1 y2 y3 P8/248/248/242.15P(j/i)=2.16 ⿊⽩传真机的消息元只有⿊⾊和⽩⾊两种，即X={⿊，⽩}，⼀般⽓象图上，⿊⾊的Y X y1y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 31/247/24X x 1 x 2 x 3 P8/248/248/24出现概率p(⿊)＝0.3，⽩⾊出现的概率p(⽩)＝0.7。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论作业原题chapter2、3

信息论与编码习题参考答案(全)

信息论第三章答案

信息论第二、三章习题解答

西安交通大学 信息论与编码 习题 作业

信息论作业原题chapter2、3

信息论与编码第二章答案

(信息论)第二、三章习题参考答案

信息论第二章答案汇总

信息论 基础理论与应用课后答案 全

信息论基础第二章信源熵-习题答案.doc

信息论与编码习题与答案第二章

信息论课后题答案

信息论与编码原理-第2、3章课后习题-20140526-22点-自己整理

《信息论》部分作业详解

信息论第三章答案

信息论与编码课后习题答案

信息论与编码习题参考答案(全)

西安交通大学信息论与编码习题作业

信息论基础理论与应用课后答案全