《信息论基础》试卷(期末)(B卷)

重庆邮电大学2007/2008学年2学期

《信息论基础》试卷（期末）（B 卷）（半开卷）

一、填空题（共20分，每空1分）

1、通信系统中，编码的主要目的有两个，分别是 和 。

2、离散无记忆信源存在剩余度的原因是 。

3、当 时，信源熵为最大值。八进制信源的最大熵为 ，最小熵为 。

4、无失真信源编码的平均码长最小理论极限制为 。

5、一个事件发生概率为0.125，则自相关量为 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为 和 。

7、噪声瞬时值的概率密度函数服从 分布，同时功率谱密度为 的噪声称为高斯白噪声。

8、当 时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正 态分布或 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“,,,=≥≤>”或“〈” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)

（2）假设信道输入用X 表示，信道输出用Y 表示。在有噪无损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源

1

2345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—

L ；（4分）

（3）计算编码信息率R '；（4分）

（4）计算编码后信息传输率R ；（2分）

（5）计算编码效率η。（2分）

四、（12分）已知一个平均功率受限的连续信号，通过带宽W 10MHz =的高斯白噪声信道，试计算

（1）若信噪比为10，信道容量为多少？（4分）

（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）

（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）

五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：

112122321333312133(|);(|);(|);(|);(|);(|);

443344

P a a P a a P a a P a a P a a P a a ======

（1） 画出状态转移图（4分） （2） 计算稳态概率（4分）

（3） 计算信源的极限熵（4分）

（4） 计算稳态下H1，H2及其对应的剩余度。（4分）

六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是16

，计算

（1）“3和4同时出现”事件的自信息量；（2分）

（2）两个点数中至少有一个是1的自信息；（2分） （3）两个点数中之和为3的自信息；（2分） （4）两个点数的各种组合（无序对）的熵。（2分）

七、（22分）设离散无记忆信源的概率空间为1

20.750.75X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

，通过二进制对称信道，其概率转移矩阵为2/31/31/32/3⎡⎤

⎢

⎥

⎣⎦

，信道输出端的接受符号集为12[]Y y y =

（1）计算信源熵()H X ；（4分） （2）损失熵(|)H X Y ；（4分） （3）噪声熵(|)H Y X ；（4分）

（4）受到消息Y 后获得的平均互信息量(:)I Y X （4分） （5）该信道的信道容量（4分）

（6）说明该信道达到信道容量时的输入概率分布。（2分）

《信息论基础》试卷答案

一、填空题（共20分，每空1分）

1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。

2、离散无记忆信源存在剩余度的原因是分布不等概。

3、当信源各符号无相关性、等概分布时，信源熵为最大值。八进制信源的最大熵为3/bit 符号，最小熵为0/bit 符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、一个事件发生概率为0.125，则自相关量为3bit 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。

7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。

8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正

2

2x -21

log 22e πσ。

9,,,=≥≤>”或“〈”

（1）()H XY =H(Y)+H(X|Y)H(Y)+H(X)≤

（2）假设信道输入用X 表示，信道输出用Y 表示。在有噪无损信道中， H(X/Y)= 0, H(Y/X)>0,I(X;Y)=H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

解：该信源的相对熵：()h(X)=log b-a log(31)1bit =-= 绝对熵为+∞ 三、（16分）已知信源

1

2345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—

L ；（4分）

（3）计算编码信息率R '；（4分）

（4）计算编码后信息传输率R ；（2分） （5）计算编码效率η。（2分）

解：（1）霍夫曼编码后的二进制变长码：

S1：10， S2：00， S3：00， S4：110， S5：111，

S1 0.25S2 0.2S3 0.2S4 0.2

S5 0.15

1.0

0.4

0.35

1

10

0.61