信息论考试题及答案

1.
有二元对称信道编码：
1)已知信源X,41,4310==
p p ，求H(X),H(X|Y),I(X,Y)。

2)求信道容量C 。

解：由题意可知，（X,Y ）服从如下的联合分布Y,X
010
1/21/121
1/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210
bit p p X H i i i =-=+-=-=∑=)bit (749.07log 12
75log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+=
===∑=H H i Y X H i Y p Y X H i )bit (062.07log 12
75log 12538)|()(),(22=--=
-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。

求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。

解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i i
i p p p H log )(达到最小，
现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。

3.赫夫曼码。

考虑随机变量
⎪⎪⎭
⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。

（b）求该编码的期望码长。

（c）求X 的三元赫夫曼码。

解：（a）
该分布的赫夫曼树如下：
（b ）
)bit (02.2502.0503.02504.0312.0226.0149.0))((=⨯+⨯+⨯⨯+⨯+⨯+⨯=X L E ∑==-=7
1)
(01.2log )(i i i bit p p X H （c ）三元赫夫曼树如下：
34.1302.0303.0304.0204.0212.0126.0149.0))((=⨯+⨯+⨯+⨯+⨯+⨯+⨯=X L E ∑==-=7
1327
.1log )(i i i p p X H 4.硬币称重。

假设有n 枚硬币，可能有一枚或者没有假币。

如果是假币，它可能比其他的硬币重，也可能比其他的硬币轻。

用天平对硬币称重。

(a)若称重k 次就能发现假币（如果存在），且能正确判断出该假币是重于还是轻于其他硬币，试求硬币数n 的上界。

(b)(较难)试给出对12枚硬币仅称k=3次就能发现假币的称重策略?
解：（a）对于n 个硬币，这里有2n+1种情况或者状态。

1）其中一枚比较重
2）其中一枚比较轻
3）所有硬币都一样重
每次称重都有三种可能的结果：相等、左边盘子重或者右边盘子更重。

因此k 次称重，这里
有3k 种可能结果，因此我们最多能区分3k 种不同的状态。

所以有：
k n 312≤+或者2
/)13(-≤k n 从信息论的观点来看，每次称重给了最多3log 2比特的信息。

这里有2n+1种可能状态，有一个最大熵)12(log 2+n 比特。

因此在这种情况下，至少需要3log /)12(log 22+n 次称重来确定假币，和我们上面有相同的结果。

（b）我们用三元系统里的{-1,0,1}来表示{-12，-11，...,-1,0,1,...,12}。

比如数字8是（-1,0,1），即8313031-2
10=⨯+⨯+⨯，我们把整数的表达弄成了一个矩阵如下：
为了使得每一行的和为0，我们可以使得一些列取它的相反数，比如，将第7、9、11和12列取反，我们得到：
现在按照以下规则保持放置硬币平衡：称重#i,放置硬币n
1)
如果1-=i n ,放在左边盘子上2)
如果0=i n ,放在一边3)如果1=i n ,放在右边盘子上
三次称重结果将会找出假币，并且判断出它是轻还是重。

如果两个盘子一样重，每次称重结果将会是0，如果左边盘子更重，结果是-1，同理，右边盘子更重，结果是1.三次称重将会给出假币索引的展开式。

如果展开式和矩阵展开一样，它表明硬币更重。

如果展开式和矩阵相反，表明更轻。

比如（0，-1，-1）表示123)1(3)1(302
10-=⨯-+⨯-+⨯，因此硬币#12是重的，（1,0,-1）表示#8是轻的，（0,0,0）表示没有假币。

5.证明)
|()(),(X Y H X H Y X H +=证明：
6.简述信息论的用处
解：
信息论虽然起源于通信领域，但信息论的发展和应用已超越原有的意义。

1）信息论解答了通信理论中的两个基本问题：临界数据压缩的值（熵H)和临界通信传输速率的值（信道容量C）
2）信息论是对客观世界的更进一步抽象和描述
信息是对客观世界的抽象，信息论是对信息的抽象，也就是对客观世界的进一步抽象和描述。

这种抽象为科学工作者提供了一个更宏观的角度来审视信息，观察世界。

3）信息论对其他学科的促进
信息论在统计物理（AEP热力学、量子信息论）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、数学（不等式）以及概率论（极限定理、大偏差）和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。

信息论在经济领域、政治领域也具有重要的指导意义。

4）信息论是重要的方法论
此观点来源于吴军博士的著作《硅谷之谜》。

信息论建立在不确定性的基础之上，我们生活中时时处处都会遇到去确定性。

信息论中很多结论都可以作为我们做事的思维方式和方法论。