信息论与编码复习题

1.从大量统计中知道，男性红绿色盲的发病率为
1
16
，女性发病率为1
64，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能是“是”。

问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/32
2. 地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。

假如我们得知“身
高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？28
log 3
3.设有一连续随机变量，其概率密度函数为：2,01
()0,bx x p x others ⎧≤≤=⎨⎩，
试求这随机变量的熵。

又若1(0)Y X K K =+>，22Y X =，试分别求出
1Y 和2Y 的熵1()C H Y 和2()C H Y 。

4. 设随机变量X 取值于0{}k X k +∞==，
()k P X k P ==，0,1,,k = 已知X 的数学期望0EX A =>,求使()H X 达到最大的概率分布和该分布的熵.
5.设Markov 信源的状态空间为：12{,}{0,1}S S =，其一步转移概率如下:
11211222(|)0.25, (|)0.75, (|)0.6, (|)0.4.
P S S P S S P S S P S S ====
1)画出状态转移图？
2)求该信源的平稳分布.4/9,5/9
3)求该信源的极限分布.
6. 一信源产生概率为995.0)0(,005.0)1(==P P 的统计独立二进制数符。

这些数符组成长度为100的数符组。

我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

①求出为所规定的所有源符组都提供码字所需的最小码长。

18 ②求信源发出一数符组，而编码器无相应码字的概率。

0.00168515
7 .设有一Markov 信源，其状态集为123{,,}S s s s =，符号集为123{,,}x x x ，在某状态下发出符号的概率如图所示。

（1）、证明该信源的遍历性，并求其稳定分布； （2）、求该信源的极限熵； 10/9
（3）、求信源稳定后符号123{,,}x x x 的概率分布。

15/27,5/27,7/27
8. 离散无记忆信道的转移概率矩阵为[]12
3412340
10011102
3600101110
6
3
2b b b b a a P a a ⎡⎤⎢⎥⎢
⎥
⎢⎥=⎢
⎥⎢⎥⎢⎥⎢⎥⎣⎦
，求该信道的信道容量，及其最佳输入分布。

9.设离散无记忆信道的转移概率矩阵为⎪⎪⎪
⎭
⎫ ⎝⎛--=εεεε
1010001
Q ，求出信道容量及其达到信道容量的最佳输入概率分布。

并求当210和=ε时的信道容量。

①求该信源的熵。

②对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码
效率。

③对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码
效率。

11. 有一个含有8个消息的无记忆信源，其概率各自为0.2，0.15，0.15，0.1，0.1，0.1，0.1，0.1。

试编成两种三元非延长码，使它们的平均码长相同，但具有不同的码长的方差。

并计算其平均码长和方差，说明哪一种码更实用些。

12. 求下图中DMC的信道容量。

如果输入分布为{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。

13.
设二元对称信道的传递矩阵为
21
33
12
33
⎛⎫
⎪
⎪
⎪
⎪
⎝⎭
1)若(0)3/4,(1)1/4
P P
==，求(),(|),(|)
H X H X Y HY X和(;)
I X Y；
2)求该信道的信道容量及其达到信道容量时的输入概率分布。

3
14. 设有一离散信道，其信道转移概率矩阵为⎪⎪⎪⎪
⎪⎪⎭
⎫
⎝⎛=216
131312161
613121Q ，并设21)(1=
x P ，4
1
)()(32==x P x P ，试分别按最小错误概率准则和极大似然译码准则确定译码规则，并计算相应的平均错误概率。

15. 令{0,1}X Y ==，失真矩阵为12(,)32d x y ⎡⎤
=⎢⎥⎣⎦，对于一个等概率输入的随机变量，求率失真函数()R D 对应的定义域min D 和max D 。

16. 证明：H(X |Y ) + H(Y |Z ) ≥ H(X |Z )
17. 证明离散平稳信源有：31221(|)(|)H X X X H X X ≤
18. 试证明长度为N 的r 元不等长编码至多有(1)
1
N r r r --个码字。

简答题
1、信息通讯系统模型
答：信源，编码器，信道，译码器，信宿
2、平均互信息是什么？写出常用的三种表达式，并用语言描述。

答：平均互信息是信源与信宿间平均传递（或接收）信息量大小的度量
()()()()()
()()()
;,I X Y H X H X Y H Y H Y X H X H Y H X Y =-=-=+-
3、信源冗余度（剩余度）是什么？其有何应用？ 大：冗余度是用来衡量信源输出的符号序列中各符号之间的依赖程度的量。

从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。

冗余度大的消息具有强的抗干扰能力。

4、香农第一、第二、第三编码定理分别指什么？并描述第一定理。

答：香农第一定理：变长信源编码定理 香农第二定理：有噪信道编码定理
香农第三定理：保真度准则下的信源编码定理
香农第一定理：离散无记忆信源X 的N 次扩展信源
12(,,...,)N N q X X X X =，其熵为()N H X ，并有码符号集 A ＝
{a1,…,ar} 。

对信源进行编码，总可以找到一种编码方法，构成唯一可译码，使信源X 中每个信源符号所需的平均码长满足
()1()
log log N n H X H X N r N r
+>≥，或者1()()N r r n H X H X N N +≥≥
5、你是如何理解信源编码的？
答：信源编码的主要任务
（1）符号变换：使信源输出符号与信道的输入符号相匹配。

（2）减少冗余，具体的说，就是针对信源输出符号序列的统计特性，寻找一定的把信源输出符号序列变换为最短码字序列的方法。

6、信道的组合有哪些？并分别写出由两个信道构成的组合信道的信道容量。

积信道，信道容量为C=C1+C2。

和信道，信道容量为
12log(22)C C C =+。

级联信道，信道容量为C ≤min{C1, C2}。

7、请写出对称信道、准对称信道的信道特征，并给出对称信道信道容量的计算公式？
输入对称转移概率矩阵P 的每一行都是第一行的重新排列(包含同样元素)，称该矩阵是输入对称。

输出对称转移概率矩阵P
的每一列都是第一列的重新排列(包含同样元素)，称该矩阵是输出对称。

对称的DMC 信道输入、输出都对称。

如果转移矩阵P 的列可以划分成若干个互不相交的子集B k ，（即B 1∩B 2 …∩B k =Φ；B 1∪B 2…∪B k = P ），且每个子集所组成的子阵都是输入输出对称矩阵，则称该信道是准对称DMC 信道
C=()()1log b log b s
j j j s p p =+∑，()()(/)1,2,,j i j i i
p b p a p b a j s ==∑
8、信道容量和信息率失真函数的定义是什么？简要比较两者的相同处和不同处？
答：信道所能传送的最大信息量，即信道容量。

信息率失真函数是在D D ≤的条件下，信源必须传输的最小平均信息量。

信息率失真函数是在允许失真和信源概率分布已给的条件下，求平均互信息的最小值问题；而信道容量是在信道特征已知的条件下求平均互信息的最大问题。

9、常用的译码准则有哪些？相互之间有何关系？
答：最小错误概率准则，最大似然译码准则，最小距离译码准则。

二元对称信道中，最大似然译码准则等价于最小汉明距离译码准则。