信息论基础试卷及详细答案

为 P，信道的带宽为 W，那么信道每单位时间的容量为 C=
W log(1 +
P ) N 0W
(169 面)
8 在 BSC（二元对称信道）中，错误率为 p，则其信道容量 C= 1-H(p) 9 差熵为 h（X）的连续随机变量集合 X 的熵功率为 σ = 10.一个最小距离为 d 的二元分组码能纠错能力为 [
⎛1 ⎜ 8.一信道的转移概率矩阵为 ⎜ 3 ⎜1 ⎜ ⎝6 1 3 1 3 1 6 1 6 1⎞ ⎟ 6⎟， 求信道容量和达到容量时的输出概率(112 面) 1⎟ ⎟ 3⎠
解：设输出概率分别为 q1 , q2 , q3 , q4 。该信道为准对称信道，当输入等概率时达到信道容量 可计算输出概率为
1 1 1 1 1 1 1 1 1 1 1 1 q1 = ( + ) = ， q2 = ( + ) = ， q3 = ( + ) ， q4 = 2 6 3 4 2 3 3 3 2 6 6 4
PE =1/2，信道疑义度上界为：H(1/2)+(1/2) × log2=1.5bit
3
（2）对于规则 B，由于 1 − PE =
∑ P(ai )P(bi | ai ) =
i =1
1 1 1 1 1 3 P(bi | ai ) = × ( + + ) =1/3， ∑ 3 2 6 3 3 i =1
所以 PE =2/3，信道疑义度上界为：H(2/3)+2/3 × log2= log 2 3 （bit） 5.设 X 和 Y 时分别具有均值 mx , m y ，方差 σ x , σ y 的两个独立的高斯随机变量集合，且 U= ( X + Y ) / 2 ，V= ( X − Y ) / 2 ，试求 h(UV)。 （70 面） 解：依据题意有
R(D)=
1 2 1 4 1 2 2 log + log = log 4 D 4 D 2 D
如果仅使用 X 2 ，有 B=2D-2 和 2<B ≤ 4，得 2<D ≤ 3
R(D)=
1 4 1 2 = log log 4 2D − 2 2 D −1
由 2 Dmax =2+4，得 Dmax =3 所求 R(D)函数：
π ] = log 2 2 =0.5 比特/符号 (3 + 1)
3.一个二维独立高斯信源（ X 1 X 2 ） ，其中 X 1 , X 2 均值都为零，方差分别为 2 和 4，采用均 方失真测度，求该信源的 R(D)函数。 （201 面） 解：如果 X 1 , X 2 都使用，有 B=2D/2 和 B ≤ 2，得 D ≤ 2
2
（121 面） （72 面）
1 2h( X ) e 2πe
d −1 ] （参考第二题） 2
二．判断题 1.对称信道达到容量时，输入概率和输出概率唯一。
（√） （123 面）
⎛ 1 2 3⎞ ⎜ ⎟ 2.设试验信道输入符号{ a1 , a2 , a3 }，概率分别为 1/3，1/3，1/3，失真矩阵为 ⎜ 2 1 3 ⎟ ， ⎜ 3 2 1⎟ ⎝ ⎠
a2 a3 ⎞ ⎛ X ⎞ ⎛ a1 ⎟ ⎟ =⎜ ⎟ ⎜ ⎟ ，求其二次扩展源的熵 ⎝ P ⎠ ⎝1 / 2 1 / 4 1 / 4 ⎠
H ( X 2 ) 。 （40 面）
解： H ( X 2 ) =2H(X)=2[ −
1 1 1 1 log − ( log ) × 2 ]=3 比特/扩展符号 2 2 4 4
1 1 1 1 1 1 2 1 log − log − log = + log 2 3 (bit) 2 2 3 3 6 6 3 2 1 1 1 3 P(ai )P(bi | ai ) = ∑ P(bi | ai ) = × 3 × =1/2，所以 ∑ 3 2 3 i =1 i =1
3
（1）对于规则 A，由于 1 − PE =
总能量改为 E=15 时有： ⎨ C=
1 1 3 1 169 log(1 + 12) + log(1 + ) = log 2 2 10 2 10
7.写出错误率为 p 的二元对称信道的转移概率矩阵， 并计算其二次扩展信道的转移概率矩阵 和容量。 （121 面） 解：该信道的转移概率矩阵为 ⎜ ⎜
p ⎞ ⎛1 − p ⎟ ⎟ ⎝ p 1− p ⎠
n－1 ]，在本题中 n=6，所 2
以答案为 2) 3.I(X;Y),H(Y),H(Y|X)之间的关系为 I(X;Y)=H(Y)-H(Y|X)， H(X),H(X|Y)之间的关系为 H(X|Y) ≤ H(X) （26，27 面） 4.若信源符号数为 q，码符号数为 r，对信源符号进行编码，相应码长度为 l1.....lq ，则异前
⎧ E1 + 1 = B ⎪ ⎨ E2 + 10 = B ⎪E + E = 6 2 ⎩ 1
所以 ⎨ C=
，该方程组无非负数解，为此，应有方差大的子信道分配的能量为 0
⎧ E1 + 1 = B ⇒ E1 = 6, B = 7 ⎩ E2 = 0
1 6 1 log(1 + ) = log 7 2 1 2 ⎧ E1 − E2 = 9 有正数解 E1 =12, E2 =3 ⎩ E1 + E2 = 15
四．解答题 1.一个二阶马氏链， 符号集 A={0， 1}， 转移概率为 p(0|00)=p(1|11)=0.8,p(1|00)=p(0|11)=0.2, p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5 (1)确定所对应的马氏源的状态，写出状态转移矩阵； (2)若信源初始状态分布为平稳分布，求 8 次扩展源的熵； (3)求信源的符号熵； (4)求信源效率； (5)求信源剩余度。 （49，52，54 面） 解：(1)马氏源状态为 A2 ={ w0 = 00, w1 = 01, w2 = 10, w3 = 11 } 状态转移矩阵为
信息论基础模拟试题
命题者:08 级命题委员会小组 高级顾问：韩海清 一．填空题 1.某随机变量集合有 n 个符号，其最大熵为 logn （26 面） 2.一个线性分组码 C={000000,111111}，该分组码的纠错个数为 2 (提示：观察两个字符串不同数字的个数，设为 n，则纠错个数为[
（136 面）
⎧ (1 / 2) log 2 2 D,0 < D ≤ 2 ⎪ R( D) = ⎨(1 / 2) log 2 /( D − 1) ,2 < D ≤ 3 ⎪ 0, D ≥ 3 ⎩ ⎛1 / 2 1 / 3 1 / 6 ⎞ ⎜ ⎟ 4.已知信道的转移概率矩阵为 ⎜1 / 6 1 / 2 1 / 3 ⎟ ，现有两种判决规则： ⎜1 / 3 1 / 6 1 / 2 ⎟ ⎝ ⎠ ⎧ g ( y = b1 ) = a1 ⎪ 规则 A： ⎨ g ( y = b2 ) = a2 ⎪g( y = b ) = a 3 3 ⎩ ⎧ g ( y = b1 ) = a1 ⎪ ，规则 B： ⎨ g ( y = b2 ) = a3 ⎪g( y = b ) = a 3 2 ⎩
则
Dmin = 1, Dmax = 5 / 3 。 （√） （186 面）
3.若（X,Y,Z）为马氏链，则（Z,Y,X）也是马氏链。 （√） （60 面） 4.分组码的最小距离就是其最小重量的非零码字的重量。 （×） （135 面， 应该是线性分组码） 5.为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布。 （√） （164 面） 6.信道疑义度始终为正。 （×） （138 面，应该是非负，可以为 0） 7.信道输入和输出之间的平均互信息是下凸函数。 （×） （29 面，应该是上凸函数） 8.信息处理过程中熵是不会增加的。 （√） （26 面） 9.典型序列信源符号出现的概率近似等于其频率。 （√） （86 面） 10.若 信 道 的 输 入 与 输 出 分 别 为 X,Y ， 输 入 符 号 的 数 目 为 r ， 那 么 信 道 疑 义 度 满 足 H(X|Y) ≤ H ( p E ) + p E log r 。 （×） （138 面，应该是 r-1） 11.一个离散平稳无记忆信道的极限熵等于最小平均熵。 （√） （119 面） 12.对于离散无记忆信道，达到容量时输入概率分布是唯一的。 （×） （123 面，不唯一） 13.噪声功率相同的加性信道中以高斯噪声信道容量最大。 （×） （应该是最小） 14.R(D)函数是平均失真函数的下凸函数。 （√） （187 面） 15.MAP 准则是使译码平均错误率最小的准则。 （√） （132 面） 16.任意两个典型序列的联合序列是典型序列。 （×） 17.与离散信源一样，连续信源的平均互信息也具有对称性和非负性。 （√） （73 面） 18.通过一一变换后，连续信源的差熵一定会变化。 （×） （67 面，应该是可能会变化） 19.转移概率矩阵不随时间变化的马氏链是平稳马氏链。 （×） （47 面，那是齐次马氏链） 20.R ≥ H ⇔ 存在无失真信源编码。 （√） （7 面，还有几个类似的，如 R ≤ C ⇔ 存在译码差错 任意小的信道编码；R ≥ R ( D ) ⇔ 存在平均失真） 三．计算题 1.给定离散无记忆信源的数学模型为 ⎜ ⎜
二次扩展信道的转移概率矩阵为
p ⎞ ⎛1 − p p ⎞ ⎛1 − p ∏=⎜ ⎜ p 1− p ⎟ ⎟⊗⎜ ⎜ p 1− p ⎟ ⎟ ⎝ ⎠ ⎝ ⎠
⎛ (1 − p) 2 ⎜ ⎜ p (1 − p) =⎜ ⎜ p (1 − p) ⎜ p2 ⎝
p (1 − p) (1 − p) 2 p2 p (1 − p)
2.设直流平衡序列的滑动数字为 n，当 n=3 时写出其连接矩阵并计算其容量。(219 面)
⎛0 1 0⎞ ⎜ ⎟ 解：当 n=3 时，连接矩阵为 D3 = ⎜ 1 0 1 ⎟ ⎜0 1 0⎟ ⎝ ⎠
设 D3 的最大特征值为 λmax ，则其容量为
C(3)= log 2 λmax = log 2 [cos
所以信道容量为 C= H ( , ,
1 1 1 1 1 1 1 1 , )− H( , , , ) 4 3 6 4 3 3 6 6 1 1 1 1 1 1 1 1 1 1 1 1 = − ( log + log + log + log ) + [( log ) × 2 + ( log ) × 2] 4 4 3 3 6 6 4 4 3 3 6 6 5 1 = − log 2 3 （比特/符号） 6 2
设输入等概率，求信道的疑义度和两种译码规则下信道疑义度的上界。 （139 面） 解：由于信道为强对称信道，所以当信道输入等概率时，输出也等概率，H(X)=H(Y)。又因为 H(X)-H(X|Y)=H(Y)-H(Y|X)，所以信道疑义度： H(X|Y)=H(Y|X)=H(1/2,1/3,1/6)= −
2 2
⎛ ⎜ 所以 h(UV)=h(XY)+log det ⎜ ⎜ ⎜ ⎝
6.设有一个二维独立并联高斯信道，两个子信道的噪声的方差分别为 σ 1 = 1, σ 2 = 10 ，输 入信号的总能量为 E=6，求信道容量 C 和达到容量时的能量分配 E1 , E2 ；若其他条件不变， 将输入信号的总能量改为 E=15，结果又是多少呢？（165 面） 解：依题意得：
p (1 − p) p2 (1 − p ) 2 p (1 − p)
p2 ⎞ ⎟ p (1 − p) ⎟ p (1 − p) ⎟ ⎟ (1 − p ) 2 ⎟ ⎠
由于错误率为 p 的二元对称信道的容量 C=1-H(p)，所以信道的二次扩展信道容量为

C 2 = 2C = 2 − 2 H ( p) 比特/符号
2 2
⎛ ⎜ ⎛u ⎞ ⎜ ⎜ ⎟ = ⎜v⎟ ⎜ ⎝ ⎠ ⎜ ⎝
2 2 2 2
2 ⎞ ⎟ x ⎞ 2 ⎟⎛ ⎜ ⎟ ⎜ 2 ⎟⎝ y ⎟ ⎠ − ⎟ 2 ⎠ 2 2 2 2 2 ⎞ ⎟ 2 ⎟ =log( 2πeσ σ )+log1=log( 2πeσ σ ) x y x y 2⎟ − ⎟ 2 ⎠
q
置码存在的充要条件是：
∑r
i =1
− li
≤1
(课本 88 面，Kraft 定理) db （课本 173 面）
5.加性高斯白噪声 （AWGN） 信道实现可靠通信的信噪比的下界为 -1.59 6.一维高斯随机变量集的熵为
1 log(2πeσ 2 ) （注意 σ 是平均方差，而 σ 2 是方差，69 面） 2 N 7.一个加性高斯白噪声（AWGN）信道的噪声的功率谱密度为 0 ，输入信号平均功率限制 2