信息论试题8

《信息论基础》模拟试题
一、填空题（本大题共10小空，每小空2分，共20分）
1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为
和。

2.一个八进制信源的最大熵为。

3.信源冗余度存在的原因是。

4．设有一连续随机变量X表示信号x(t)的幅度，其幅值在[-4V,4V]均匀分布，那么该信源的熵h(x)= ，则该信源的绝对熵是。

5.若某一连续信源X，其平均功率受限为8W，其概率密度函数是高斯分布时，差熵的最大值为，与其熵相等的非高斯分布信源的功率为。

6.对称离散信道的转移概率矩阵P的特点是
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1.两骰子面朝上点数之和为2，该消息包含的信息量是多少？（3分）
2.两骰子面朝上点数之和为8时，该消息包含的信息量是多少？（3分）
3.两骰子面朝上点数是3和4，该消息包含的信息量是多少？（3分）
三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z，取Z=X+Y。

试计算：
1．H(Y)、H(Z); (6分)
2．H(XY); (3分)
3．I(X;Y),I(Y;Z). (8分)
四、一阶马尔可夫链信源有3个符号｛a,b,c｝,转移概率为：P（a/a）=1/2，p(b/a)=1/4，p(c/a)=1/4,p(a/b)=1/2,p(b/b)=0,p(c/b)=1/2,p(a/c)=1/2, p(b/c)=1/2,p(c/c)=0。

1.画出状态图；写出转移概率矩阵；（6分）
2.求出各符号稳态概率；（6分）
3.计算其极限滴；（4分）
五、在干扰离散对称信道上传输符号1和0，已知p(0)=1/4,p(1)=3/4，试求：
1 该信道的转移概率矩阵P（3分）
2 该信道的信道容量及其输入概率分布（7分）
六、某信道的转移矩阵
0.50.30.20
0.30.500.2 p
⎡⎤=⎢⎥
⎣⎦
试求：该信道的信道容量及最佳输入概率分布。

（6分）
七、设在平均功率受限高斯可加波形信道中，信道宽带为5KHZ，又设信
噪比为20db
1 试计算该信道的信道容量；（3分）
2 若功率信噪比降为10db,要达到相同的最大信息传输率，信道带宽应是
多少？（3分）
八、信源符号X有6种字母，概率为0.25，0.2，0.16，0.15，0.1，0.07，0.04，0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）
1.编码前信源X的信源剩余度，
2.平均码长
3.编码效率。

《信息论基础》参考答案
试题编号：
重庆邮电大学2007-2008学年第2学期
《信息论基础》试题（期末）（B卷）（半开卷）
一、填空题（本大题共10小空，每小空2分，共20分）
1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源。

2.一个八进制信源的最大熵为 3 bit/符号。

3.信源冗余度存在的原因是多信源符号非等概分布和符号之间有相关性。

4．设有一连续随机变量X表示信号x(t)的幅度，其幅值在[-4V,4V]均匀分布，那么该信源的熵h(x)= 3bit/自由度，则该信源的绝对熵是∞。

5.若某一连续信源X，其平均功率受限为8W，其概率密度函数是高斯分布时，差
熵的最大值为lo
≥8W 。

6.对称离散信道的转移概率矩阵P的特点是：输入输出都对称
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1.两骰子面朝上点数之和为2，该消息包含的信息量是多少？（3分）
2.两骰子面朝上点数之和为8时，该消息包含的信息量是多少？（3分）
3.两骰子面朝上点数是3和4，该消息包含的信息量是多少？（3分） 解：1.“两个骰子点数之和为2” ()()()1/61/61/36P A =⨯=
∴该文件包含的信息量为：()log ()log 36 5.17I A P A bit =-== 2.两骰子的点数之和为8
()()()()()()2,6,6,2,5,3,3,5,4,41/3655/36P B P ==⨯=⎡⎤⎣⎦ 该文件包含的信息量为：()()log ()log 36/5 2.85I B P B bit =-==
3.“两个骰子点数是3和4”
()()[(3,4),(4,3)]1/3621/18P C P ==⨯=
该文件包含的信息量为：()log ()log 18 4.17I C P C bit =-==
三、设X,Y 是二个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z ，取Z=X+Y 。

试计算：
1．H(Y)、H(Z); (6分) 2．H(XY); (3分) 3．I(X;Y),I(Y;Z). (8分)
解：依题意：
;
∴1
()()log ()1/j j j H Y P Y P Y bit ==-
=∑符号
又∵Z=X+Y ∴
∴3
1
()()log ()i i i H Z P Z P Z ==-∑ ()()1/42(1/2
)11
/421.5/
b i t =⨯+⨯+⨯=符号 2.∵X,Y 是两个相互独立的变量 ∴()H(X)+H(Y)=2bit/H XY =符号
3. X;Y)=H(X)-H(X/Y)=H(X)-H(X)=0 bit/I （符号 ∵Z=X+Y
∴(Y,Z)的联合概率P(YZ)
∴()()1
1
(/)log /i i
i
i i j H Y Z P y z y
z ===-∑∑
0.75/bit =符号
∴(;)()(/)0.25/I Y Z H Y H Y Z bit =-=符号
四、一阶马尔可夫链信源有3个符号｛a,b,c ｝,转移概率为：P （a/a ）=1/2，p(b/a)=1/4，p(c/a)=1/4,p(a/b)=1/2,p(b/b)=0,p(c/b)=1/2,p(a/c)=1/2, p(b/c)=1/2,p(c/c)=0。

1.画出状态图；写出转移概率矩阵；（6分） 2.求出各符号稳态概率；（6分） 3.计算其极限滴；（4分）
解：1
转移矩阵
2.由 ()()()/i j i j p E p E p E E =得
()()()112
3()1/2()1/2()1/2()p E P E P E P E =++ ()()213()1/4()1/2()p E P E P E =+ ()()312()1/4()1/2()p E P E P E =+
123()()()1p E P E P E ++=
解得 1()1/2p E = 2()1/4p E = 3()1/4p E = 3.其极限熵：
()(),()/log /i j i j i i j
H p E p E E p E E ∞=-∑
()[][]1/21/2l o g 21/4l o g 4
1/4l o g 41/41/
2l o g 222
=+
++⨯⨯ =1.25bit/符号
五、在干扰离散对称信道上传输符号1和0，已知p(0)=1/4,p(1)=3/4，试求： 1 该信道的转移概率矩阵P （3分）
2 该信道的信道容量及其输入概率分布（7分） 解1、
2. log c s H =-(p 的行矢量)
log 2(0.6,0.4)log 2(0.6log 0.60.4log 0.4)H =-=--- 0.03/bit =符号
这时，输入概率分布为
六、某信道的转移矩阵0.50.30.200.3
0.5
0.2p ⎡⎤=⎢
⎥⎣⎦
试求：该信道的信道容量及最佳输入概率分布。

（6分）
解：将该准对称信道容量及其最佳输入概率分布的子矩阵：
0.50.30.3
0.5⎛⎫ ⎪⎝⎭；0.2
00
0.2⎛⎫ ⎪⎝⎭
且n=2,r=2；且有10.8N =，20.2N = 10.8M =，20.2M = 该信道的信道容量：
2
1
log (-N log log 2(0.5,0.3,0.2)0.8log 0.80.2log 0.21 1.020.460.720.24/k k
k C r H P Y H bit ==-=---=---=∑的矢量）符号
这时的输入概率为1
21
122x
x x p ⎛⎫⎡⎤ ⎪=⎢⎥
⎪⎣⎦⎝⎭
七、设在平均功率受限高斯可加波形信道中，信道宽带为5KHZ ，又设信噪比为20db
1 试计算该信道的信道容量；（3分）
2 若功率信噪比降为10db,要达到相同的最大信息传输率，信道带宽应是多少？（3分）
解：1.∵SNR=20db ∴SNR=100 ∴该信道的信道容量为：
3
4
log(1)510log 101 3.3310/c w SNR bit s =+=⨯⨯=⨯
2.若1010SN R dB SN R =⇒=；则在相同的信道容量下
4
3.3310l o g (1)l o g 113.47
C W
S N R W w =⨯=+== 得39.610w hz =⨯
八、信源符号X 有6种字母，概率为0.25，0.2，0.16，0.15，0.1，0.07，0.04，0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）
4. 编码前信源X 的信源剩余度，
5. 平均码长
6. 编码效率。

解：编码过程：
1、 编码前信源X 的滴为：
()()8
1
()log i i i H X p x p x ==-∑
() =
H
0.25,0.2,0.16,0.15,0.1,0.07,0.04,0.03
bit
=符号
2.73/
其剩余度为Array
2.平均码长
3.编码效率。