南邮信息论复习

（6’）
0111001
5.
已知（7，3）线性分组码的生成矩阵
G
=
1110010
，
0101110
(1) 求该码的码集；
(2) 求对应的系统形式生成矩阵 Gs 和校验矩阵 H；
(3) 该码的最小码距 dmin 是多少？纠错能力 t =？
(4) 列出可纠差错图案 E 和对应伴随式 S（针对系统码）；
(5) 若收到 R＝1110101，请译出发码估值 Cˆ 。
3．如果X、Y相互独立，则I（X;Y）= I（X;Y）= H(X) 或 H(Y) 。
0 。另一方面，如果Y是X的一一对应函数，则
4． 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公 式为：C = W log(1+ PS ) ；若通频带W为 2MHz，信道上的信噪比为 10，则其信道容量为
某一离散无记忆信源的符号集为{0，1}，已知信源的概率空间为：
P
=
1/
8
7 / 8
(1) 求消息符号的信源熵；
(2) 由 80 个符号构成的序列，求某一包含� m 个“0”和 80-m 个“1”的特定序列的信息量； (3) 计算 80 个符号组成序列 X 的熵 H ( X ) 。
解：(1)= H ( X ) H= (1 , 7) 0.54 bit / symbol （3’） 88
（4’）
(3)
1 3
1 3
1 3
w1 w1 w1
+ + +
1 4
1 2
1 4
w1 + w2
w2 + w2 + w2 + + w3
1 4
w3
= w1
1 4
w3
= w2
1 2
w3
= w3 →
= 1
w1 w2 w3
= = =
3 11
4 11
4 11
3
∑ H∞ =
wi H ( X
| Si )
=
3 11
N 0W
6.91886 Mbps 。 5． 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，
1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =1，d(1，0) = 1.5，则Dmin＝
R(Dmin)＝ 1bit/symbol
，相应的编码器转移概率矩阵[p(y/x)]＝
I
=
−
log(
p0m
p 80−m 1
)
(2) = −m log 1 − (80 − m) log 7
8
失真函数为 d(0，0) = d(1，1) = 0，d(0，1) =1，d(1，0) = 1.6. (1) 求Dmin，R(Dmin)，相应的编码器转移概率矩阵[p(y/x)]； (2) 求Dmax，R(Dmax)，相应的编码器转移概率矩阵[p(y/x)]。
解：(1) Dmin＝0 ，
R(Dmin)＝ H(1/2,1/2)=1bit/symbol ，
1 1
（8’）
7. 随机变量 X 表示信号 x(t)的幅度，均匀分布， (1) 若 0 ≤ x(t) ≤ 1，求信源熵 H c ( X ) ； (2) 若 0 ≤ x(t) ≤ 0.5 ，求信源熵 H c ( X ) 。
解：(1) px (x)= 1 0 ≤ x ≤ 1
1
∫ ∫ H c (X ) = −
（3’）
1 0 0 1 0 1 1 (2) GS = 0 1 0 1 1 1 0
0 0 1 0 1 1 1
1 1 0 1 0 0 0 H = 0 1 1 0 1 0 0
1 1 1 0 0 1 0 1 0 1 0 0 0 1
(3) dmin=4 ,t=1 （2’）
(4)
S 0000 0001 0010 0100 1000 0111 1110 1011
示例：
一、填空题
1．从信息论的研究角度出发，通常可以将通信系统的性能指标归纳为：有效性、可靠性和
安全性，它们可以用三种不同的编码方法来实现，依次为：_ 信源编码 __、 信道编
码 和 加密编码 。
2．同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“3 和 5 同时出现”事件的 自信息为 4.17 bit ，“两个 5 同时出现”事件的自信息为 5.17bit ，两个点数中至 少有一个是 1 的自信息为 1.7105bit 。
相应的编码器转移概率矩阵[p(y/x)]＝
1 0
0 1
（7’）
n
∑ (2) Dmax＝ min j
pidij
＝
min{ p1d11
j =1,2
+
p2d21,
p1d12
+
p2d22}
＝
min{0.8,
j =1,2
0.5}
=
0.5
i =1
R(Dmax)＝ 0
相应的编码器转移概率矩阵[p(y/x)]＝
0 0
能力，此时SNR为 -1.6dB ，我们将它称作香农限。
10.
X
已知信源
P
=
x0 0.2
x1 0.8
，转移概率矩阵
P
=
0.9 0.1
0.1 0.9
，输出符号集 Y
=
[ y0 ,
y1] ，则
p(y0)＝ 0.26 ，p(y1)＝ 0.74 ，H(X)＝ 0.7219 ，H(Y)＝ 0.8267 ，H(Y/X)
1/3
1/3
5/24 7/24
1/6
1/6 0
1
1/8
5/24 0 1/6 1
7
∑ = K = p(ai )Ki 2.5 码元/符号 i =1
(3)
3/8
1/3 0
1
7/24
5/8 0
1
3/8
�� 00 1 11
010
011
100
101
=η H= ( X ) 97.6% K
（7’）
符号
概率
-log(p(ui))
×1.58
+
4 11
×1.5
×
2
=
1.5232 比特/符号
i =1
（7’）
4.
设有离散无记忆信源 a1
1/ 3
a2 1/ 6
a3 1/ 6
a4 1 / 12
a5 1/8
a6 ，
1
/
8
(1) 求信源的符号熵 H ( X ) ;
(2) 求相应的哈夫曼编码（写出编码过程，否则不得分）和对应的编码效率；
解：(1)
消息
码字
系统码字
m
c
c
000 0000000 0000000
001 0101110 0010111
010 1110010 0101110
011 1011100 0111001
100 0111001 1001011
101 0010111 1011100
110 1001011 1100101
111 1100101 1110010
＝ 0.4690 ；H(X/Y)＝ 0.3642 ；I(X；Y)＝ 0.3577 。
11．已知n＝7 的循环码 g(x) = x4 + x2 + x +1，则信息位长度k为 3
。
二、判断题
1．唯一可译码一定是即时码。
（×）

2．连续信源的相对熵可以为负值。
（√ ）
3．只要传信率 R 大于信道容量 C，总存在一种信道码，并以所要求的任意小的
E 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000
(5) RHT=[0111] E=0010000 Cˆ =R+E= 1100101 (发码)
（5’） （5’）
6. 设输入符号表为 X＝{0, 1}，输出符号表为 Y＝{0, 1}。输入信号的概率分布为 p＝(1/2，1/2)，
为了保证通信系统的
有效性
、 安全性 和
可靠性 。
8．在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由
R(D) 来度量。
9. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式
为= ：_ C W log(1+ SNR) __；当归一化信道容量Ct/W→0 时，也即信道完全丧失了通信
(3’)
3. 一 马 尔 可 夫 信 源 消 息 集 X∈{ a1, a2 , a3 } ， 状 态 集 S∈{ S1, S2 , S3 } 。 条 件 转 移 概 率 为
[ ] 1 3 1 3 1 3
P(a j
/ Si )
= 1 1
4 4
12 14
1 4 ， 1 2
(1) 画出该马氏链的状态转移图；
1 0 0 1
0， ；Dmax
＝ 1/2 ，R(Dmax)＝ 0
，相应的编码器转移概率矩阵[p(y/x)]＝
0 1 0 1
。
6．若(7,3)循环码的 g(x) = x4 + x3 + x2 +1，则对应校验多项式 h(x)= x3 + x2 +1。
7．信源发出的消息在送入信道传输之前要经过信源编码、加密编码和信道编码，这分别是
结构： 一、填空题（20 分，每空 1 分） 二、判断题（10 分，每题 2 分，对的写“√”，错的写“×”） 三、计算题（70 分，每题 10 或 15 分）