信息论基础》试卷(期末A卷

《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。

2.一个八进制信源的最大熵为3bit/符号
3.有一信源X ，其概率分布为1
23x x x X 1
11P 244⎛⎫
⎡⎤ ⎪
=⎢⎥
⎪⎣⎦⎝⎭
，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。

4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。

若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s.
5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为
1
log32e 2
π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

10、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。

（2）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1.当点数和为3时，该消息包含的信息量是多少？
2.当点数和为7是，该消息包含的信息量是多少？
3.两个点数中没有一个是1的自信息是多少？
解：1.P （“点数和为3”）=P （1,2）+ P （1,2）=1/36+1/36=1/18
则该消息包含的信息量是：I=-logP （“点数和为3”）=log18=4.17bit
2.P （“点数和为7”）=P （1,6）+ P （6,1）+ P （5,2）+ P （2,5）+ P （3,4）+ P （4,3）=1/36
⨯6=1/6
则该消息包含的信息量是：I=-logP （“点数和为7”）=log6=2.585bit 3.P （“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit 三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z ，取Z=YX （一般乘积）。

试计算：
1.H （Y ）、H （Z ）；
2.H （XY ）、H （YZ ）；
3.I （X;Y ）、I （Y;Z ）；
解：1.
2
i 1
1
111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号
Q Z=YX 而且X 和Y 相互独立
∴ 1(1)(1)(1)P
P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 111
22222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 111
22222
⨯+⨯=
故H(Z)=
i 2
i 1(z )log (z )i P P =-∑=1bit/符号
2.从上式可以看出:Y 与X 的联合概率分布为:
H(YZ)=H(X)+H(Y)=1+1=2bit/符号
3.Q X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号
∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号 ;I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P=11022110221114
2
4⎛⎫ ⎪ ⎪
⎪ ⎪ ⎪ ⎪ ⎪⎝⎭
1.绘制状态转移图；
2.求该马尔科夫信源的稳态分布；
3.求极限熵； 解：1.状态转移图如右图
2.由公式
3
1
()()(|)
j i j i i p E P E P E E ==∑,可得其三个状态的稳态概率为：
1123223313123111()()()()22411()()()2211
()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧
=++⎪⎪⎪=+⎪⎨
⎪=+⎪⎪⎪++=⎩
1233()7
2()72()7P E P E P E ⎧=⎪⎪⎪
⇒=⎨⎪⎪
=⎪⎩ 3.其极限熵:
3
i i 1
3112112111
H = -|E =0+0+72272274243228
=1+1+ 1.5=bit/7777
i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）
符号
五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：
1. 该信道的转移概率矩阵P;
2.信道疑义度H （X|Y ）;
3.该信道的信道容量以及其输入概率分布
解：1.该转移概率矩阵为
P=0.90.10.10.9⎡⎤
⎢
⎥
⎣⎦
2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率
由P （X|Y ）=P(X|Y)/P(Y)可得
H(X|Y)=-
i j
i
j
i j
(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P
∑，（）符号 3.该信道是对称信道，其容量为：
C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号
这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤
⎡⎤⎢
⎥=⎢⎥⎢⎥⎣⎦⎣⎦
六、某信道的转移矩阵⎥
⎦
⎤
⎢
⎣⎡=1.006.03.001.03.06.0P 试求：该信道的信道容量及其最佳输入概率分布。

解：该信道是准对称信道，分解为两个互不相交的子信道矩阵
0.60.30.30.6⎡⎤
⎢
⎥
⎣⎦ 0.1000.1⎡⎤⎢⎥⎣⎦
这里110.90.9N M == 22 0.10.1N M == ∴C=logr-H(P 的行矢量)
-
2
k 1
log 1(0.6.3.1)0.9log 0.9-0.1log 0.1K
K N
M H ==--⨯⨯∑，0，0 =0.174bit/符号
这时，输入端符号服从等概率分布，即()X P X ⎡⎤⎢⎥⎣⎦=011122⎡⎤
⎢
⎥⎢
⎥⎣⎦
七、信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。

用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率 解：
该信源在编码之前的信源熵为：
6
i i 1
()(x )log x i H S P P ==-∑（）=0.526+0.481+0.445+0.423+0.292+0.186
=2.353bit/符号
编码后的平均码长：
(0.320.220.18)20.163(0.080.04)4L =++⨯+⨯++⨯=2.4码元/信源符号
编码后的信息传输率为：
() 2.353
0.982.4H S R L
=
==bit/码元
编码效率为：max ()
0.98log R H S R L r
η
=
== 八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为10
1.试计算该信道传达的最大信息率（单位时间）；
2.若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？ 解：1. 10d SNR B =Q 10SNR ∴=
故：该信道传送的最大信息速率为：
3t 4
=log +log =bit/s
C W ⨯⨯⨯（1SNR ）=310（11）1.0410
2.若SNR=5dB ，则
，在相同t C 情况下
1.044
10⨯=Wlog （1+SNR ）=Wlog4.162 ⇒W=5.04⨯3
10Hz。