信息论课后习题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(3)若信道通频带减为0.5MHz时,要保持相
同的信道容量,信道上的信号与噪声的平均功 率比值应等于多大?
解:(1)由信道容量公式C = B log(1 + S,) 得:
N
C = 1 * log(1 + 10) = log11 (bit/ s)
(2)由信道容量公式得:
B=
C
log(1 + S )
N
所以: B = log11 (Hz) log 6
i=1
H (S )
h=
= 0.8113
L1
4.6(续)
②N=2时,编码过程如下:
所以:
S2
概率
霍夫曼编码
s1s1
0.5625
0
s1s2
0.1875
11
s2s1
0.1875
100
s2s2
0.0625
101
L2 = 1? 0.5625 2? 0.1875 3? (0.1875 0.0625) = 1.6875 (码元/ 二符号)
L = 2.35
s3
0.2
11
s4
0.2
000
s5
0.15
001
4.8(续)
信源熵为:
5
å H (S ) = - P(si ) log P(si ) = 2.3037 bit / sign
i=1
编码效率为:
H (S )
h=
= 0.98
L
5.11 已知一个平均功率受限的连续编号,通过 带宽B=1MHz的高斯白噪声信道,问 (1)若信噪比为10,信道容量为多少? (2)若信道容量不变,信噪比将为5,信道带 宽应为多少?
1
p/2 p/2
2
p
2.16(续)
解:(1)一阶马尔可夫信源的状态空间 E A {0,1, 2} 。由 状态转移图中分析可知,三个状态多是正规常返态。此状 态马尔可夫链是时齐的、状态有限的和是不可约闭集。所 以具有各态历经性,平稳后状态的极限分布存在。有:
Q(Ei ) P(ai ) i 1, 2,3 Ei E, ai A 而E A {0,1, 2}
3 14
2.14(续) 这个链的极限平均符号熵为:
(3)
H
lim
N
HN
(X)
lim
N
H
(
X
N
|
X N1gggX1)
H2
33
P(ai )P(aj | ai ) log P(a j | ai )
i1 j1
1.251 bit/符号
H0 log 3 1.585 bit/符号
P(a1
)
1 2
P(a1 )
2 3
P(a2 )
2 3
P(a3 )
P(a2
)
1 4
P(a1 )
1 3
P(a3 )
P(a3 )
1 4
P(a1 )
1 3
P(a2 )
P(a1) P(a2 ) P(a3 ) 1
解得:
P(a1 )
4 7
,
P(a2
)
P(a3 )
3 2
H(X
|
S
s2 )
H
0,
1, 2
1 2
1
H ( X | S s3 ) H 1, 0, 0 0
2.17(续) (3)此马尔可夫信源的熵:
33
H H2
Q(si )P(ak | si ) log P(ak | si )
i1 k 1
3
Q(si )H (ak | si ) k 1
2.14(续)
P(a1a1a1 )
P(a1)P(a1
|
a1)P(a1
|
a1)
1 8
1
P(a1a1a2 ) P(a1)P(a1 | a1)P(a2 | a1) 16
P(a1a1a3
)
P(a1)P(a1
|
a1)P(a3
|
a1)
1 16
gggg
其满足:
333
P(aia jak ) 1
H¥ = p(S1)p(S1 | S1) + p(S1)p(S 2 | S1) + p(S 2 )p(S1 | S 2) + p(S2)p(S2 | S2) = 0.6887 bit / sign
2.14 有一个一阶平稳马尔可夫 链,X1,X2 ,,Xr ,各 X r
取值于 A a1, a2, a3 。已
1 2
Q ( S1
)
Q(S3
)
P(a2 )
1 4
Q ( S1
)
1 2
Q(S2
)
1
1
P(a3 ) 4 Q(S1 ) 2 Q(S2 )
解之得:
P(a1 )
3 7
P(a2
)
2 7
P(a3 )
2 7
(2)输出符号条件熵为:
H(X
|
S
s1 )
H
1, 2
1, 4
1 4
解之得:
Q(S1) Q(S3)
Q(S2
)
3 4
Q(S1)
1 2
Q(S2 )
Q(S3
)
1 4
Q(S1)
1 2
Q(S2
)
Q(S1) Q(S2 ) Q(S3) 1
Q(S1)
2 7
Q(S2
)
3 7
Q( S3 )
2 7
2.17(续)
符号极限概率为:
P(a1 )
2 7
H
1 2
,
1 4
,
1 4
2 7
H
0,
1 2
,
1 2
3 7
H
1, 0, 0
6 7
4.2 离散无记忆信源的概率空间为:
轾 犏 犏 犏 臌 P (Ss)
=
轾 犏 犏 犏 s31 犏 臌 4
s2 1
4
若对信源采取等长二元编码,要求编码效
率 h = 0.96 ,允许译码错误概率 d £ 10- 5 ,试计
(1)求信源平稳后的概率分布P(0), P(1), P(2). (2)求此信源的熵。
(3)近似认为此信源为无记忆时,符号的概率分布等于平稳 分布。求近似信源的上H(XH)并 与 进行比较。
(4)对一阶马尔可夫信源p取何值时H 取最大值,又当p=0 和p=1时结果如何?
p
0
p/2
p/2
p/2 p/2
H
p log
p
p log
p 2
1
bit/符号
2.17 设马尔可夫信源的状态集合 S {S1, S2 , S3} ,
符号集 X {a1, a2 , a3}
在某状态Si{i 1, 2, 3下} 发出符
号:ak (i 1, 2, 3)的概率为:
S
s 1
P(ak | Si )(i 1, 2,3; k 1, 2,3)
根据状态转移得状态一步转移矩阵:
p
P= p / 2
p
/
2
p/2 p p/2
p / 2
p / 2
p
2.16(续)
QQQ(((102)))
PT
Q(0)
Q(1)
Q(2)
p p p
/ /
2 2
Q(0) Q(1) Q(2) 1
|
S1 )
1 3
,P(S1
|
S2 )
1,P(S2
|
S2 )
0
试画出状态转移图,并求出信源熵。
解:根据转移概率,得状态转移图如下所示:
2/3
1/3
S1
S2
1
å 求解信源熵: p(S j ) = p(Si )p(S j | Si )
得:
p(S1) =
3 4
,p(S
2
)
=
1i 4
p(S1) + p(S2) = 1
知起始概率 P(x) 为:
1
1
p1
P( X1
a1)
, 2
p2
p3
4
转移概率如右表所示:
j1
i
1 1/2 2 2/3 3 2/3
23
1/4 1/4 0 1/3 1/3 0
2.14(续)
(1)求X1X2X3的联合熵和平均符号熵; (2)求这个链的极限平均符号熵; (3)求H0,H1,H2和它们所对应的冗余度。
则: 所以:
L 2 = 0.84375 (码元/ 符号) 2
H (S )
h2
=
= 0.84375
0.962
4.6(续)
③当 N = ? 时,由香农第一定理可知,必然
存在唯一译码,使
lim
N
LN N
= Hr (S )
而霍夫曼编码为最佳码,即平均码长最短 的码,故
lim
N
LN N
=
Hr (S ) =
H (S ) =
i1 j 1 k 1
所以:
333
H (X1X2X3)
P(aia jak ) log P(aia jak )
i1 j1 k 1
3.967 bit
平均符号熵:
H3
(
X
)
1 3
H
(
X1
X
2
X
3
)
1.322
bit/符号
2.14(续)
(2)因为这信源是一阶马尔可夫链,其状态极限概率分布 就是信源达到平稳后的符号概率分布。所以可以根据其转 移概率计算出平稳后的符号概率分布。
0.8113
即:
lim
N
hN
=
1
4.8 已知离散无记忆信源的概率空间为:
轾犏犏犏臌P (Ss) =
轾犏犏犏臌0s.125
s2 0.2
s3 0.2
s4 0.2
s5 0.15
用霍夫曼编码法编成二进制变长码,计算平均码长
和编码效率。
S
概率 霍夫曼编码
解:如右图的编码,得: s1
0.25
01
s2
0.2
10
P(ai
)
1 /
3,
1/ 3,
1/ 3
3
H ( X ) P(ai ) log P(ai ) 1.585 bit/符号 i 1
由此计算结果可知:H ( X ) H
(4)求一阶马尔可夫信源 H 的最大值。因为
H (1 p)log(1 p) p log p p
p/2 p p/2
p p
/ 2
/ 2
p
Q(0)
Q(1)
Q(2)
计算得: 所以:
Q(0) Q(1) Q(2) 1
P(0) P(1) P(2) 1 3
(2)根据一阶马尔可夫信源的熵得:3
3
H H2 Q(Ei )P( X | Ei ) i 1
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变量 Z = X ? Y 求:
(1)H(X),H(Y)
Y b1=0 b2=0
(2)H(X|Y),H(Y|X),H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源,已知转移概率为:
P(S1
|
S1 )
2 3
,P(S2
如图所示。
a1 1
(1)求状态极限概率并找出符号的极限概率。
1 a1 2
1
a2
14
a3 4
S3
S2 1 a3 2
1 a2 2
(2)计算信源处在 S j{ j 1, 2,3} ,状态下输出符号的
条件熵 H ( X | S j )
(3)求信源的极限熵 H
2.17(续) 解:(1)状态极限概率:
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.14(续)
它们对应的剩余度(冗余度)分别为:
0
1
H0 H0
0
1
1
H1 H0
0.11
2
1
H2 H0
0.21
2.16 一阶马尔可夫信源的状态分布如下图所示,信源X的符号 集{0,p1,12},p 并定义:
解:(1)一阶平稳马尔可夫链 X1,X2 ,,Xr , 序列X1X2X3的联合熵:
的起始
H (X1X2X3)
P(x1x2x3) log P(x1x2x3)
X1 X2 X3
已知起始概率分布和转移概率分布,得:
P(x1x2x3) P(x1)P(x2 | x1)P(x3 | x1x2) P(x1)P(x2 | x1)P(x3 | x2) x1 A, x2 A, x3 A
当
p
2 时,
3
H 达到最大值等于log3 1.585
bit/符号
2.16(续)
对其求一阶导数,并令其值等于0,可以得到:
当 当
p2
p 3
时,H
0时,
达到最大值;等于
H p log p p log
log3 1.585
p 2
0
bit/符号
当 p 1 时,
轾 犏 犏 犏 臌 P (Ss) = 轾 犏 犏 犏 犏 臌 s431
s2 1
4
对信源进行N次扩展,采用二元霍夫曼编码。
当N=1,2,¥ 时的平均码长和编码效率为
多少?
解:①将s1编程0,s2编程1,则L1=1(码元/符号)
所以,
2
å H (S ) = - P(si ) log P(si ) = 0.8113 bit / sign
1 H ( p, p , p ) 1 H ( p , p, p) 1 H ( p , p , p)
3
22 3 2 2 3 22
p log p p log p p bit / 符号
2.16(续)
(3)信源近似为无记忆信源,符号的概率分布等于 平稳分布,则此信源:
得:
X 0, 1, 2
算需要的心愿序列长度N为多少?
解:
H (S ) = H ( 3 , 1) = 0.8113 44
h = H (S ) H (S ) + e
? e 0 pi (log pi )2 - H (S )2 = 0.471
同的信道容量,信道上的信号与噪声的平均功 率比值应等于多大?
解:(1)由信道容量公式C = B log(1 + S,) 得:
N
C = 1 * log(1 + 10) = log11 (bit/ s)
(2)由信道容量公式得:
B=
C
log(1 + S )
N
所以: B = log11 (Hz) log 6
i=1
H (S )
h=
= 0.8113
L1
4.6(续)
②N=2时,编码过程如下:
所以:
S2
概率
霍夫曼编码
s1s1
0.5625
0
s1s2
0.1875
11
s2s1
0.1875
100
s2s2
0.0625
101
L2 = 1? 0.5625 2? 0.1875 3? (0.1875 0.0625) = 1.6875 (码元/ 二符号)
L = 2.35
s3
0.2
11
s4
0.2
000
s5
0.15
001
4.8(续)
信源熵为:
5
å H (S ) = - P(si ) log P(si ) = 2.3037 bit / sign
i=1
编码效率为:
H (S )
h=
= 0.98
L
5.11 已知一个平均功率受限的连续编号,通过 带宽B=1MHz的高斯白噪声信道,问 (1)若信噪比为10,信道容量为多少? (2)若信道容量不变,信噪比将为5,信道带 宽应为多少?
1
p/2 p/2
2
p
2.16(续)
解:(1)一阶马尔可夫信源的状态空间 E A {0,1, 2} 。由 状态转移图中分析可知,三个状态多是正规常返态。此状 态马尔可夫链是时齐的、状态有限的和是不可约闭集。所 以具有各态历经性,平稳后状态的极限分布存在。有:
Q(Ei ) P(ai ) i 1, 2,3 Ei E, ai A 而E A {0,1, 2}
3 14
2.14(续) 这个链的极限平均符号熵为:
(3)
H
lim
N
HN
(X)
lim
N
H
(
X
N
|
X N1gggX1)
H2
33
P(ai )P(aj | ai ) log P(a j | ai )
i1 j1
1.251 bit/符号
H0 log 3 1.585 bit/符号
P(a1
)
1 2
P(a1 )
2 3
P(a2 )
2 3
P(a3 )
P(a2
)
1 4
P(a1 )
1 3
P(a3 )
P(a3 )
1 4
P(a1 )
1 3
P(a2 )
P(a1) P(a2 ) P(a3 ) 1
解得:
P(a1 )
4 7
,
P(a2
)
P(a3 )
3 2
H(X
|
S
s2 )
H
0,
1, 2
1 2
1
H ( X | S s3 ) H 1, 0, 0 0
2.17(续) (3)此马尔可夫信源的熵:
33
H H2
Q(si )P(ak | si ) log P(ak | si )
i1 k 1
3
Q(si )H (ak | si ) k 1
2.14(续)
P(a1a1a1 )
P(a1)P(a1
|
a1)P(a1
|
a1)
1 8
1
P(a1a1a2 ) P(a1)P(a1 | a1)P(a2 | a1) 16
P(a1a1a3
)
P(a1)P(a1
|
a1)P(a3
|
a1)
1 16
gggg
其满足:
333
P(aia jak ) 1
H¥ = p(S1)p(S1 | S1) + p(S1)p(S 2 | S1) + p(S 2 )p(S1 | S 2) + p(S2)p(S2 | S2) = 0.6887 bit / sign
2.14 有一个一阶平稳马尔可夫 链,X1,X2 ,,Xr ,各 X r
取值于 A a1, a2, a3 。已
1 2
Q ( S1
)
Q(S3
)
P(a2 )
1 4
Q ( S1
)
1 2
Q(S2
)
1
1
P(a3 ) 4 Q(S1 ) 2 Q(S2 )
解之得:
P(a1 )
3 7
P(a2
)
2 7
P(a3 )
2 7
(2)输出符号条件熵为:
H(X
|
S
s1 )
H
1, 2
1, 4
1 4
解之得:
Q(S1) Q(S3)
Q(S2
)
3 4
Q(S1)
1 2
Q(S2 )
Q(S3
)
1 4
Q(S1)
1 2
Q(S2
)
Q(S1) Q(S2 ) Q(S3) 1
Q(S1)
2 7
Q(S2
)
3 7
Q( S3 )
2 7
2.17(续)
符号极限概率为:
P(a1 )
2 7
H
1 2
,
1 4
,
1 4
2 7
H
0,
1 2
,
1 2
3 7
H
1, 0, 0
6 7
4.2 离散无记忆信源的概率空间为:
轾 犏 犏 犏 臌 P (Ss)
=
轾 犏 犏 犏 s31 犏 臌 4
s2 1
4
若对信源采取等长二元编码,要求编码效
率 h = 0.96 ,允许译码错误概率 d £ 10- 5 ,试计
(1)求信源平稳后的概率分布P(0), P(1), P(2). (2)求此信源的熵。
(3)近似认为此信源为无记忆时,符号的概率分布等于平稳 分布。求近似信源的上H(XH)并 与 进行比较。
(4)对一阶马尔可夫信源p取何值时H 取最大值,又当p=0 和p=1时结果如何?
p
0
p/2
p/2
p/2 p/2
H
p log
p
p log
p 2
1
bit/符号
2.17 设马尔可夫信源的状态集合 S {S1, S2 , S3} ,
符号集 X {a1, a2 , a3}
在某状态Si{i 1, 2, 3下} 发出符
号:ak (i 1, 2, 3)的概率为:
S
s 1
P(ak | Si )(i 1, 2,3; k 1, 2,3)
根据状态转移得状态一步转移矩阵:
p
P= p / 2
p
/
2
p/2 p p/2
p / 2
p / 2
p
2.16(续)
QQQ(((102)))
PT
Q(0)
Q(1)
Q(2)
p p p
/ /
2 2
Q(0) Q(1) Q(2) 1
|
S1 )
1 3
,P(S1
|
S2 )
1,P(S2
|
S2 )
0
试画出状态转移图,并求出信源熵。
解:根据转移概率,得状态转移图如下所示:
2/3
1/3
S1
S2
1
å 求解信源熵: p(S j ) = p(Si )p(S j | Si )
得:
p(S1) =
3 4
,p(S
2
)
=
1i 4
p(S1) + p(S2) = 1
知起始概率 P(x) 为:
1
1
p1
P( X1
a1)
, 2
p2
p3
4
转移概率如右表所示:
j1
i
1 1/2 2 2/3 3 2/3
23
1/4 1/4 0 1/3 1/3 0
2.14(续)
(1)求X1X2X3的联合熵和平均符号熵; (2)求这个链的极限平均符号熵; (3)求H0,H1,H2和它们所对应的冗余度。
则: 所以:
L 2 = 0.84375 (码元/ 符号) 2
H (S )
h2
=
= 0.84375
0.962
4.6(续)
③当 N = ? 时,由香农第一定理可知,必然
存在唯一译码,使
lim
N
LN N
= Hr (S )
而霍夫曼编码为最佳码,即平均码长最短 的码,故
lim
N
LN N
=
Hr (S ) =
H (S ) =
i1 j 1 k 1
所以:
333
H (X1X2X3)
P(aia jak ) log P(aia jak )
i1 j1 k 1
3.967 bit
平均符号熵:
H3
(
X
)
1 3
H
(
X1
X
2
X
3
)
1.322
bit/符号
2.14(续)
(2)因为这信源是一阶马尔可夫链,其状态极限概率分布 就是信源达到平稳后的符号概率分布。所以可以根据其转 移概率计算出平稳后的符号概率分布。
0.8113
即:
lim
N
hN
=
1
4.8 已知离散无记忆信源的概率空间为:
轾犏犏犏臌P (Ss) =
轾犏犏犏臌0s.125
s2 0.2
s3 0.2
s4 0.2
s5 0.15
用霍夫曼编码法编成二进制变长码,计算平均码长
和编码效率。
S
概率 霍夫曼编码
解:如右图的编码,得: s1
0.25
01
s2
0.2
10
P(ai
)
1 /
3,
1/ 3,
1/ 3
3
H ( X ) P(ai ) log P(ai ) 1.585 bit/符号 i 1
由此计算结果可知:H ( X ) H
(4)求一阶马尔可夫信源 H 的最大值。因为
H (1 p)log(1 p) p log p p
p/2 p p/2
p p
/ 2
/ 2
p
Q(0)
Q(1)
Q(2)
计算得: 所以:
Q(0) Q(1) Q(2) 1
P(0) P(1) P(2) 1 3
(2)根据一阶马尔可夫信源的熵得:3
3
H H2 Q(Ei )P( X | Ei ) i 1
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变量 Z = X ? Y 求:
(1)H(X),H(Y)
Y b1=0 b2=0
(2)H(X|Y),H(Y|X),H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源,已知转移概率为:
P(S1
|
S1 )
2 3
,P(S2
如图所示。
a1 1
(1)求状态极限概率并找出符号的极限概率。
1 a1 2
1
a2
14
a3 4
S3
S2 1 a3 2
1 a2 2
(2)计算信源处在 S j{ j 1, 2,3} ,状态下输出符号的
条件熵 H ( X | S j )
(3)求信源的极限熵 H
2.17(续) 解:(1)状态极限概率:
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.14(续)
它们对应的剩余度(冗余度)分别为:
0
1
H0 H0
0
1
1
H1 H0
0.11
2
1
H2 H0
0.21
2.16 一阶马尔可夫信源的状态分布如下图所示,信源X的符号 集{0,p1,12},p 并定义:
解:(1)一阶平稳马尔可夫链 X1,X2 ,,Xr , 序列X1X2X3的联合熵:
的起始
H (X1X2X3)
P(x1x2x3) log P(x1x2x3)
X1 X2 X3
已知起始概率分布和转移概率分布,得:
P(x1x2x3) P(x1)P(x2 | x1)P(x3 | x1x2) P(x1)P(x2 | x1)P(x3 | x2) x1 A, x2 A, x3 A
当
p
2 时,
3
H 达到最大值等于log3 1.585
bit/符号
2.16(续)
对其求一阶导数,并令其值等于0,可以得到:
当 当
p2
p 3
时,H
0时,
达到最大值;等于
H p log p p log
log3 1.585
p 2
0
bit/符号
当 p 1 时,
轾 犏 犏 犏 臌 P (Ss) = 轾 犏 犏 犏 犏 臌 s431
s2 1
4
对信源进行N次扩展,采用二元霍夫曼编码。
当N=1,2,¥ 时的平均码长和编码效率为
多少?
解:①将s1编程0,s2编程1,则L1=1(码元/符号)
所以,
2
å H (S ) = - P(si ) log P(si ) = 0.8113 bit / sign
1 H ( p, p , p ) 1 H ( p , p, p) 1 H ( p , p , p)
3
22 3 2 2 3 22
p log p p log p p bit / 符号
2.16(续)
(3)信源近似为无记忆信源,符号的概率分布等于 平稳分布,则此信源:
得:
X 0, 1, 2
算需要的心愿序列长度N为多少?
解:
H (S ) = H ( 3 , 1) = 0.8113 44
h = H (S ) H (S ) + e
? e 0 pi (log pi )2 - H (S )2 = 0.471