《信息论基础》试卷（期末）（B卷）

《信息论基础》试卷（期末）（B卷）
重庆邮电⼤学2007/2008学年2学期
《信息论基础》试卷（期末）（B 卷）（半开卷）
⼀、填空题（共20分，每空1分）
1、通信系统中，编码的主要⽬的有两个，分别是和。

2、离散⽆记忆信源存在剩余度的原因是。

3、当时，信源熵为最⼤值。

⼋进制信源的最⼤熵为，最⼩熵为。

4、⽆失真信源编码的平均码长最⼩理论极限制为。

5、⼀个事件发⽣概率为0.125，则⾃相关量为。

6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为和。

7、噪声瞬时值的概率密度函数服从分布，同时功率谱密度为的噪声称为⾼斯⽩噪声。

8、当时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正态分布或时，信源具有最⼤熵，其值为值。

9、在下⾯空格中选择填⼊数学符号“,,,=≥≤>”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)
（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。

在有噪⽆损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源
1
2345S P 0.250.20.20.20.15s s s s s =
（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—
L ；（4分）
（3）计算编码信息率R '；（4分）
（4）计算编码后信息传输率R ；（2分）
（5）计算编码效率η。

（2分）
四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算
（1）若信噪⽐为10，信道容量为多少？（4分）
（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）
（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）
五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：
112122321333312133(|);(|);(|);(|);(|);(|);
443344
P a a P a a P a a P a a P a a P a a ======
（1）画出状态转移图（4分）（2）计算稳态概率（4分）
（3）计算信源的极限熵（4分）
（4）计算稳态下H1，H2及其对应的剩余度。

（4分）
六、（8分）同时掷两个正常的股⼦，也就是各⾯呈现的概率都是16
，计算
（1）“3和4同时出现”事件的⾃信息量；（2分）
（2）两个点数中⾄少有⼀个是1的⾃信息；（2分）（3）两个点数中之和为3的⾃信息；（2分）（4）两个点数的各种组合（⽆序对）的熵。

（2分）
七、（22分）设离散⽆记忆信源的概率空间为1
20.750.75X x x P =
，通过⼆进制对称信道，其概率转移矩阵为2/31/31/32/3??
，信道输出端的接受符号集为12[]Y y y =
（1）计算信源熵()H X ；（4分）（2）损失熵(|)H X Y ；（4分）（3）噪声熵(|)H Y X ；（4分）
（4）受到消息Y 后获得的平均互信息量(:)I Y X （4分）（5）该信道的信道容量（4分）
（6）说明该信道达到信道容量时的输⼊概率分布。

（2分）
《信息论基础》试卷答案
⼀、填空题（共20分，每空1分）
1、通信系统中，编码的主要⽬的有两个，分别是提⾼有效性和可靠性。

2、离散⽆记忆信源存在剩余度的原因是分布不等概。

3、当信源各符号⽆相关性、等概分布时，信源熵为最⼤值。

⼋进制信源的最⼤熵为3/bit 符号，最⼩熵为0/bit 符号。

4、⽆失真信源编码的平均码长最⼩理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、⼀个事件发⽣概率为0.125，则⾃相关量为3bit 。

6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为有记忆信源和⽆记忆信源。

7、噪声瞬时值的概率密度函数服从⾼斯分布，同时功率谱密度为均匀分布的噪声称为⾼斯⽩噪声。

8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正
2x -
21
log 22
e πσ。

9,,,=≥≤>”或“?” （1）()H XY =H(Y)+H(X|Y)H(Y)+H(X)≤
（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。

在有噪⽆损信道中， H(X/Y)= 0, H(Y/X)>0,I(X;Y)=H(X)。

⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

解：该信源的相对熵：()h(X)=log b-a log(31)1bit =-= 绝对熵为+∞ 三、（16分）已知信源
1
2345S P 0.250.20.20.20.15s s s s s =
（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—
L ；（4分）
（3）计算编码信息率R '；（4分）
（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）
解：（1）霍夫曼编码后的⼆进制变长码：
S1：10， S2：00， S3：00， S4：110， S5：111，
S1 0.25S2 0.2S3 0.2S4 0.2
S5 0.15
1.0
0.4
0.35
1
10
0.61
（2）平均码长：I=0.35*3+0.65*2=2.35码元/符号；（3）编码信息率：R '=—
L *logr=2.35*1=2.35 bit/信源符号（4）编码后信息传输率：
111110.25log 0.2log 0.2log 0.2log 0.15log H(s)
0.250.20.20.20.15
R=
2.35L
0.50.6*2.3220.15*2.737
0.98
2.35
++++=+=
=—
（5）编码效率：η =
H(s)
L
—
=98%
四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算
（1）若信噪⽐为10，信道容量为多少？（4分）
（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）
（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）解：（1）根据⾹农公式：
()()6
7
Wlog 1SNR 1010log 110 3.4610C =+=??+=?
（2）当SNR 5=，
()()7Wlog 1SNR Wlog 15 3.4610C =+=+=?
则 7
73.4610W 1.33810Hz 2.585
=
=? （3）当带宽减为5MHz ，
()()6
7
Wlog 1SNR 510log 1SNR 3.4610+=??+=?
SNR =120
五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：
112122321333312133(|);(|);(|);(|);(|);(|);
443344
P a a P a a P a a P a a P a a P a a ======
（5）画出状态转移图（4分）（6）计算稳态概率（4分）
（7）计算信源的极限熵（4分）
（8）计算稳态下H1，H2及其对应的剩余度。

（4分）解：（1）
1 0.25 S
2 0.2
S3 0.2
S4 0.2
S5 0.15
1.0
0.4
0.35
1
0.61
（2）由3
113 221123 323
1
2
3
()()(|)
31
()()()
44
21
()()()()()()1 34
13
()()()
34
4
()
11
3
()
11
4
()
11
i i i i
P E P E P E E
P a P a P a
P a P a P a P a P a P a P a P a P a
P a
P a
P a
=?
=+
=+++=
=+
=
=
=
∑得
另：
联⽴得：
（3）该信源的极限熵：33
2
()(|)log(|) 431321413
***bit/ 114411331144
i i i i i
i i
H H P E P E E P E E
H H H
∞
==-
=
∑∑
（，）+（，）+（，）=0.839 符号3
1
2
1
(4) H()log() 1.572/
H0.839/
H
0.008
H
H2
0.47
H
i i
i
P a P a bit
bit
η
η
=-?=
=
=
=
∑
1
2
符号
符号
对应的剩余度：
=1-
六、（8分）同时掷两个正常的股⼦，也就是各⾯呈现的概率都是16
，计算
（1）“3和4同时出现”事件的⾃信息量；（2分）（2）两个点数中⾄少有⼀个是1的⾃信息；（2分）（3）两个点数中之和为3的⾃信息；（2分）（4）两个点数的各种组合（⽆序对）的熵。

（2分）解：（1）P （3和4同时出现）=
11
23618
= 1
log
4.169918
I bit ∴
=-= （2）P （1,1 or1,j or i,1）=1551136363636++= 11
log 1.710536I bit ∴=-= (3) P （1,2 or2,1）=1123618?= 1
log 4.169918
I bit ∴=-= (4) 相同点出现的概率为1
36，共6种组合
不同点出现的概率为1
18，共15种组合
其熵为：11
6log 3615log18 4.34/3618
H bit =??+??=事件
七、（22分）设离散⽆记忆信源的概率空间为1
20.750.75X x x P =
，通过⼆进制对称信道，其概率转移矩阵为2/31/31/32/3??
，信道输出端的接受符号集为12[]Y y y =
（1）计算信源熵()H X ；（4分）（2）损失熵(|)H X Y ；（4分）（3）噪声熵(|)H Y X ；（4分）
（4）受到消息Y 后获得的平均互信息量(:)I Y X （4分）（5）该信道的信道容量（4分）
（6）说明该信道达到信道容量时的输⼊概率分布。

（2分）解
（1）()(0.75,0.25)0.811/H X H bit ==符号；
22
11
111121221(2) (|Y)(,)log (|)
()()(|)()(|)0.75*0.25*3312
75
()1()11212
75
()(,)0.98bit/1212(|X)(x )(|)log (|)0.918/(i i i i i j i j i j i i
i
H X P x y P x y P y P x P x y P x P y x P y P y H Y H H Y P P y x P y x bit H ===-?=?+?=+= =-=-=
===-=∑∑∑∑符号
符号
2
112XY)(X)(|X) 1.729/(|Y)(XY)()0.749/DMC C=log log 0.0821(x )(x )2
ij i j j H H Y bit H X H H Y bit P P P P ==-==-=====
∑2符号符号(4)I(X:Y)=H(x)-H(X|Y)=0.062bit/符号（5）该信道为对称信道，故bit/符号(6)这时的输⼊信号概率分布为：。