彭代渊王玲-信息论与编码理论-第三章习题解答

H (Y | X ) p(ai ) p(b j | ai ) log p(b j | ai )
i , j 1
2
p [(1 1 ) log(1 1 ) 1log(1 )] (1 p)[(1 2 ) log(1 2 ) 2 log( 2 )] p H (1 ) (1 p) H ( 2 )
C= max{H(X)}=log(2)=1 bit/符号 p(x)
1 1 输入最佳概率分布： , 2 2
3-3 设 4 元删除信道的输入量 X {1, 2,3, 4} ，输出量 Y {1, 2,3, 4, E} ，转移 概率为
P (Y i | X i ) 1 P (Y E | X i ) 1-ε 0 0 0 ε 0 1-ε 0 0 ε P= 0 0 1-ε 0 ε 0 0 0 1-ε ε 1-ε 0 0 0 0 1-ε 0 0 p1= 0 0 1-ε 0 0 0 0 1-ε
本信道的信道容量与两个并联删除信道信道容量相等。 3-4 设 BSC 信道的转移概率矩阵为
1 1 1 Q 2 1 2
1）写出信息熵 H (Y ) 和条件熵 H (Y | X ) 的关于 H (1 ) 和 H ( 2 ) 表达式，其中
H ( ) log (1 )log(1 ) 。
H(Y|X)= p(a i ,b j )logp(b j |a i ) p(b j |a i )logp(b j |a i )
i, j j
2
2
2 2 1 1 log( ) log( ) 0.9183(bit / 符号) 3 3 3 3
I(X;Y)=H(Y) H(Y|X)=0.9799 0.9183 0.0616(bit / 符号) H(X|Y)=H(X) I(X;Y)=0.8113 0.0616 0.7497(bit / 符号)
2）计算该信道的信道容量； 3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示：
其中 i 1, 2,3, 4
ε p2= ε ε ε

1）该信道是对称 DMC 信道吗？
1-ε 0 0 0 ε 1-ε 0 0 0 0 1-ε 0 0 ε 0 1-ε 0 0 可以分解为两个矩阵： p1= P= 0 0 1-ε 0 ε 0 0 1-ε 0 0 0 0 1-ε ε 0 0 0 1-ε
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量
H(P)= -plog(p)-(1-p)log(1-p) 1 1 2 2 C = 1-H(P)= 1+ log( )+ log( )= 0.0817(bit/符) 3 3 3 3
BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位 3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
p1 ,p2 , p3
p1 +p2 + p3 1
输出概率分布为：
q1,q2 , q3 q1 +q2 + q3 1 C max I ( X ; Y ) max[ H (Y ) H (Y | X )]
q1 p(b1 ) p(a1 ) p(b1 | a1 ) p(a2 ) p(b1 | a2 ) p(a3 ) p(b1 | a3 ) p1 1 p2 0 p3 0 p1 q2 p(b2 ) p(a1 ) p(b2 | a1 ) p(a2 ) p(b2 | a2 ) p(a3 ) p(b2 | a3 ) p1 0 p2 (1 p) p3 p p2 (1 p) p3 p q3 p(b3 ) p(a1 ) p(b3 | a1 ) p(a2 ) p(b3 | a2 ) p(a3 ) p(b3 | a3 ) p1 0 p2 p p3 (1 p ) p2 p p3 (1 p )
P( X )
C max{I ( X ; Y )} max{H ( X ) H ( X | Y )}
p( x) p( x)
H (X |Y) 0 C max{I ( X ; Y )} max{H ( X )}
p( x) p( x)
离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，
ε p2= ε ε ε

可以看出该信道不是对称 DMC 信道，它是准对称 DMC 信道。 （2）该信道的信道容量为： （直接套用准对称信道计算公式）
C log n p (b j | ak ) log p (b j | ak ) N s log M s
2 0
0 2
1-p-ε p-ε 2ε 0 p-ε 1-p-ε 与 0 2 两个对称形式
C 2 1 H (1-p-ε,p-ε,2ε,0) (1 2ε) log(1 2ε) 2εlog(2ε) bit/符号
C1 C 2 2ε<0
2 3 3 1 1 H(X)= p(a i )log p(a i ) log( ) log( ) 0.8113(bit / 符号) 4 4 4 4 i=1
3 2 1 1 7 p(b1 )=p(a1 )p(b1|a1 )+p(a 2 )p(b1|a 2 )= 4 3 4 3 12 3 1 1 2 5 p(b 2 )=p(a1 )p(b 2 |a1 )+p(a 2 )p(b 2 |a 2 )= 4 3 4 3 12 2 7 7 5 5 H(Y)= p(b j )log(b j )= log( ) log( ) 0.9799(bit / 符号) 12 12 12 12 j=1
p( x) p( x)
H (Y | X ) 0 C max{I ( X ; Y )} max{H (Y )}
p( x) p( x)
H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率： p(a1 )+p(a 2 )=0.5,p(a 3 )=0.5 信道容量： C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：
1
第3章
信道容量
X a1 a2 a3
1 1 1
Y b1 b2 b3
X a1 a2 a3
1 1 1
Y b1
X a1
0.3 0.7
b2 a2
1
Y b1 b2 b3
1 0 0 第一种：无噪无损信道，其概率转移矩阵为： P= 0 1 0 0 0 1
信道容量： C
max I ( X ; Y ) bit/符号
2 0
0 2
1-p-ε p-ε 2ε 第一个：可以写成： 与 p-ε 1-p-ε 2ε
C1 1 H (1-p-ε,p-ε,2ε) (1 2ε)log(1 2ε) 2εlog(4ε) bit/符号
第二个：
p 1 p 1 p p
1 Q 1
信道容量：
1 2 C 1- log - (1- ) log(1- ) 1- H ( )
3-5 求下列两个信道的容量，并加以比较。
1-p-ε p-ε 2ε p-ε 1-p-ε 2ε
p 1 p p 1 p
j s
log 2 (4) H (1 , ) (1 ) log(1 ) log(4 ) 2 (1 ) log(1 ) log( ) (1 ) log(1 ) log(4 ) 1 2 log( ) 2 2 (bit / 符号) 4
（3）两个独立并联的二元删除信道其转移概率如下：
1-ε 0 ε 1-ε ε 0 0 ε 1-ε 可以写成： 0 1-ε 与 ε 的形式
3
第3章
信道容量
独立并联的二元信道的信道容量为两个信道容量的和。 其信道容量为： C 1 H (1-ε,ε ) (1-ε)log(1-ε) εlog(2ε)=1-ε bit/符号 两个独立并联和删除信道的信道容量=2C= 2 2 bit/符号
2）根据 H ( ) 的变化曲线，定性分析信道的容道容量，并说明当 1 2 的 信道容量。 解： （1）设输入信号的概率颁布是{p,1-p}
p(b1 ) p(a1 ) p(b1 | a1 ) p(a2 ) p(b1 | a2 ) p (1 1 ) (1 p) 2
Cቤተ መጻሕፍቲ ባይዱlog3=1.5850 bit/符号
1 1 1 输入最佳概率分布如下： , , 3 3 3
1 0 第二种：无噪有损信道，其概率转移矩阵为： P= 0 1 ，离散输入信道， 0 1
C max{I ( X ; Y )} max{H (Y ) H (Y | X )}
（2） H () 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容量。
4
信息论与编码理论
C max{I ( X ; Y )} max{H (Y ) H (Y | X )}
p( x) p( x)
max{H [ p (1 1 ) (1 p) 2 ] p H (1 ) (1 p) H ( 2 )}
信息论与编码理论
第3章
信道容量
2 / 3 1/ 3 3-1 设二进制对称信道的转移概率矩阵为 1/ 3 2 / 3
解 : (1) 若 P(a1 ) 3/ 4, P(a2 ) 1/ 4 ，求 H ( X ), H (Y ), H (X |Y ),H ( Y | X和 )
I ( X ;Y ) 。
p( x)
由于函数 H（ε）是一个凸函数，有一个性质：
f (1 (1 ) 2 ) f (1 ) (1 ) f (2 )
可知： C 假 设 1 2 时 此 信 道 是 一 个 二 元 对 称 信 道 ， 转 移 概 率 分 布 为 ：
p(b2 ) p(a1 ) p(b2 | a1 ) p(a2 ) p(b2 | a2 ) p 1 (1 p) (1 2 )
H (Y ) p(b1 ) log p(b1 ) p(b2 ) log p(b2 ) [ p (1 1 ) (1 p) 2 ]log[ p (1 1 ) (1 p) 2 ] [ p 1 (1 p) (1 2 )]log[ p 1 (1 p) (1 2 )] H [ p (1 1 ) (1 p) 2 ]
所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。 3-6 设信道前向转移概率矩阵为
5
第3章
信道容量
0 0 1 Q 0 1 p p 0 p 1 p
1）求信道容量和最佳输入概率分布的一般表达式； 2） 当 p 0 和 p 1/ 2 时， 信道容量分别为多少？并针对计算结果做出说明。 （1）此信道为非对称信道，设输入概率分布为：
C max{I ( X ; Y )} max{H ( X ) H ( X | Y )}
p( x) p( x)
H (X |Y) 0 C max{I ( X ; Y )} max{H ( X )}
p( x) p( x)
输入为等概率分布时可达到信道容量，此时信道容量
2
信息论与编码理论