信息论与编码期末试卷

信息论与编码期末试卷
题号一二三四五六七八九十十一十二总成绩得分
一．选择题（每小题3分，共15分）
1）设信源⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
8/1
8/1
4/1
2/1
4
3
2
1
x
x
x
x
P
X
，则此信源的熵为：比特/
符号
A） 1.25 B） 1.5 C） 1.75 D） 2
2）对于离散信道⎥
⎦
⎤
⎢
⎣
⎡
=
0.5
0.5
0.5
0.5
P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 3
3）对于三个离散信源⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
6.0
1.0
3.0
3
2
1
x
x
x
P
X
、⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
3.0
4.0
3.0
3
2
1
y
y
y
P
Y
、
⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
2.0
5.0
3.0
3
2
1
z
z
z
P
Z
，其中熵最小
A） X B） Y C） Z D）无法计算
4）信源编码的变长编码中，下面说法不正确的是
A）无失真r进制变长码平均码长不得低于信源r进制符号熵
B）变长编码时，随着信源序列长度的增大，编码效率会提高
C）变长码要求各个码字的长度各不相同
D）变长编码的编码效率通常高于定长码
5）以下约束条件属于保真度准则的是
共 4 页第 1 页
共 4 页第 2 页
共 4 页第 3 页
共 4 页第 4 页
练习题一 参考答案
一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）
二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡=p q
p q
p q
P 0
00， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）
解：1）二步转移概率矩阵为P 2
P 2=
⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222
220
00
0p pq pq q p pq q p pq
pq q p q
p q p q
p q
p q p q
P P
2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：
()()⎪⎪
⎪
⎩
⎪⎪
⎪⎨
⎧-=-=-=
pq p p pq pq p pq q p 12111)0(22
3）极限熵∞H 为稳态时各个状态熵的数学期望
三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦
⎤⎢
⎢⎢
⎢⎣⎡=0100
001/21/210
001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，
输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）
解：由第一个信道的转移矩阵，以及全概率公式
()()()4,3,2,1,/4
1==∑=j x P x y P y P i i i j j
计算得到：
()()2/1)(,4/1)(,8/14321====y P y P y P y P
)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()
/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )
/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()
/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦
⎤⎢
⎢⎢⎢⎣⎡=⨯=00
2
/12/1100001000100
][/P P P X Z 从而
()()
())
/)(((log log )(20
2
0symbol bit q orH p H q q p p p H i p H i p H i i
i =--===∑∑==∞
)
/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()
/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，
⎪⎪⎩⎪⎪⎨
⎧====00-1-1432
1ββββ ()()3
/13/16/1)(6/1)()/(3log 2
43214
1======∑=x p x p x p x p symbol bit C i j
此时：β
四．信源概率分布为⎥
⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分） 解：
编码过程如下： 1)
2) 由题意
)
/(75.2)
(log )()(8
1
symbol bit x p x p X H i i i =-=∑=
而平均码长
()
75
.29
1==∑=i i i x p l K
则编码效率
()%1001===
K
x H η 五．设信源先验等概⎥
⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010
P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤
⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）
解：根据题意可知
如果信道矩阵为⎥⎦⎤
⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时
信道传输的是信源的熵
()
)
/(1)
()
0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时
{}3,21max ,min D D D D =
⎥⎦
⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦
⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦
⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦
⎤
⎢⎣⎡=100
100P
六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求
1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分） 解：
1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。

可从码字中选取
⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡=111000100110110101G
如果要得到系统形式的生成矩阵，可对G 进行线性变换，那么：
⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=100110010110001101s G
则校验矩阵为
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=111100110010001001H
七．连续分布信源的概率密度函数
()a x bx x p ≤≤=0,2，求其熵（10分）
八．信道转移概率矩阵为⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1P ，且信源()()()4/1,2/1321===x p x p x p ，分别按最小错误概率准则和最大似然译码准则
确定具体的译码准则，并计算相应的平均译码错误概率（10分）
九．设某线性分组码的生成矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=111100011110110101G 求：1)系统形式的生成矩阵；2) 求校验矩阵；3)问若接收到110101，该怎么译码？（12分）
解：
1）对生成矩阵G 进行行的线性变换，得到G s
→→→+→+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=121232111100011110110101r r r r r r G ⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=100110010110001101s G 2）从而
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=100110010100001101H 3）如果接收到11101，由于
[1 1 0 1 0 1]H T =[0 0 0]
故它本身就是码字，所有译为110101。