第三章 习题课

0 0.98 0.02 0
0.02 1 0.98 1
2013-7-14
9
习题3
第三章 信道容量
解答：消息是一个二元序列，且为等概率分布，即 P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。 则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输 速率： 信道传递矩阵为： 0.98 0.02 P 0.02 0.98 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol
2013-7-14 8
习题3
第三章 信道容量
3.有一个二元对称信道，其信道矩阵如下图所示。设该 信道以1500个二元符号/秒的速度传输输入符号。现有 一消息序列共有14000个二元符号，并设在这消息中 P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟 内能否将这消息序列无失真地传送完？
2013-7-14
2

求信道容量的方法

第三章 信道容量
当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。
调整 p(xi)，在接收端就能获得不同的信息量。由平均互 信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能 找到一种概率分布 p(xi)（即某一种信源），使信道所能 传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当 输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性 有关；
p ( y1 ) p ( xi ) p ( y j / xi ) 0.6 6 0.4 4 0.8
X
p ( y 2 ) 0.6 1 0.4 1 0.2; 满足归一性即 p ( y1 ) +p ( y 2 ) 1 6 4 可算得： I ( x1 ; y1 ) log 2 I ( x2 ; y1 ) log 2
2013-7-14 11
习题4
第三章 信道容量
4.求下图中信道的信道容量及其最佳的输入概率分 布。
1/3 1/6 1/3 1/6 1/6 1/6 1/2 1/6 1/3 1/2 1/3
1/3 1/6 1/3
1/3 1/6 1/2
（a）
2013-7-14
(b)
12
习题4
解答：图中两个信道的信道矩阵分别为
X 1 0 Y 0
1-ε
1 1
ε ε
2
1-ε
2
2013-7-14
14
习题5
解答：图中信道的信道矩阵如下
0 1 P 0 1 0 此信道为一般信道。
(1)求 j
3
第三章 信道容量
0 1
p( y
j 1
j
/ xi ) j p ( y j / xi ) log 2 p ( y j / xi ), i 1, 2, 3
j 1
3
1 0 (1 ) 2 3 (1 ) log 2 (1 ) log 2 (1 ) log (1 ) log (1 ) 3 2 2 2 1 0 解方程得： 2＝ 3 (1 ) log 2 (1 ) log 2
2013-7-14
17
练习题1
第三章 信道容量
若已知信道输入分布为等概率分布，且有如下两个信道， 其转移概率矩阵分别为：
1 1 0 0 2 2 0 1 1 0 2 2 P 1 0 0 1 1 2 2 1 1 2 0 0 2 1 1 0 0 0 0 0 0 2 2 0 0 1 1 0 0 0 0 2 2 P2 0 0 0 0 1 1 0 0 2 2 1 1 0 0 0 0 0 0 2 2
1
1
x2
1/4
y2
2013-7-14
4
习题1 (1) I ( x ) log
1
2
p ( x1 ) log 2 0.6 0.737 bit
第三章 信道容量
I ( x2 ) log 2 p ( x2 ) log 2 0.4 1.32it 可见，ห้องสมุดไป่ตู้率越小的事件含有的自信息越大。
2013-7-14
10
习题3
第三章 信道容量
得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小 于这消息序列所含有的信息量，故从信息传输的角度 来考虑，不可能在10秒钟内将这消息无失真的传送完。
第三章 信道容量
解答：(1)已知二元对称信道的传递矩阵和输入信源的概率分布， p(y=0)=7/12;p(y=1)=5/12;p(x=0/y=0)=6/7;p(x=1/y=0)=1/7 p(x=0/y=1)=3/5;p(x=1/y=1)=2/5 进一步可算得：H(X) 0.811bit/symbol H(Y/X) 0.918bit/symbol;H(X/Y) 0.749bit/symbol 因此，I(X;Y)=H(X)-H(X/Y) 0.062bit/symbol (2)此信道为二元对称信道，所以信道容量为 C 1 H ( p ) 1 H ( 2 ) 0.082 bit/symbol 3 当输入符号为等概率分布时信道的信息传输率才能达到该值。
2013-7-14 6
习题2
2.设二元对称信道的传递概率为
第三章 信道容量
2 3 1 3
1 3
2 3
①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 ②求该信道的信道容量及达到信道容量时的输入概率分 布。
2013-7-14
7
习题2
可求出输出Y的概率分布和后验概率
解答：
(2) p ( y1 / x1 ) 5 / 6, p ( y 2 / x1 ) 1/ 6, p ( y1 / x2 ) 3 / 4, p ( y 2 / x2 ) 1/ 4
互信息可以为正值也可以为 由互信息公式：
负值，负值表明由于噪声的 p ( xi / y j ) p ( y j / xi ) I ( xi 存在，接收到一个消息后， ; y j ) log 2 log 2 p ( xi ) p( y j ) 对另一个消息是否出现的不 计 算互信息一般取第二个等式，必须先计算出 p ( y j ) 确定性反而增加了。 5 3
2 2
第三章 信道容量
H (Y ) 0.8 log 2 0.8 0.2 log 2 0.2 0.722 bit / symbol
解答：
(4) p ( y1 / x1 ) 5 / 6, p ( y 2 / x1 ) 1/ 6, p ( y1 / x2 ) 3 / 4, p ( y 2 / x2 ) 1/ 4 由公式： p ( xi / y j ) p ( xi ) p ( y j / x i ) p( y j )
2013-7-14
25 24 15 16
0.059bit ; I ( x1 ; y 2 ) log 2
5 6
0.263bit 5 4 0.322bit
5
0.093bit ; I ( x2 ; y 2 ) log 2
习题1 (3) H ( X ) 0.6 log 0.6 0.4 log 0.4 0.971bit / symbol



2013-7-14
信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。
3
习题1
1.设信源
X x1 P ( x ) 0.6 x2 0.4
第三章 信道容量
通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如 下图所示。求 ①信源X中事件x1和x2分别含有的信息量。 ②收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息 x y 量。 5/6 1/6 ③信源X和信源Y的信息熵。 ④信道疑义度H(X/Y)和噪声熵H(Y/X)。 3/4 ⑤接收到消息Y后获得的平均互信息。
1 6 1 3
, ,
1 3 1 6
,
1 6
) 0.0817 bit / symbol
) 0.126bit / symbol
最佳输入分布（即达到信道容量的输入分布）是等概率 分布
2013-7-14 13
习题5
第三章 信道容量
5.求下图中信道的信道容量及其最佳的输入概率分 布。并求当ε =0和1/2时的信道容量C。
2013-7-14 15
习题5
(2)求C C log 2 2
j
第三章 信道容量
j
log 2 [1 2(1 )1 ] (3)求 p ( y j ) 1 p ( y1 ) 2 1 C 1 2(1 )1 (1 )1 p ( y2 ) 1 2(1 )1 p ( y3 ) p ( y 2 ) (4)求 p ( xi ) 根据 p ( y j )
第三章 信道容量
子曰：“不愤不启，不 悱不发，举一隅不以三隅 反，则不复也”
－孔子
2013-7-14
1
第三章总结

第三章 信道容量
信道容量 C：在信道中最大的信息传输速率，单位 是比特/信道符号。

单位时间的信道容量 Ct：若信道平均传输一个符号 需要 t 秒钟，则单位时间的信道容量为
Ct 实际是信道的最大信息传输速率。
i 1 j 1 2 2
噪声熵： H (Y / X ) p ( xi ) p ( y j / xi ) log 2 p ( y j / xi ) 0.7145bit / symbol
i 1 j 1 2 2
(5)接收到Y后获得的平均互信息I(X;Y) I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) 0.0075bit/symbol
2013-7-14
16
习题5
第三章 信道容量
当 ＝0时，此信道为一一对应信道，即 C log 2 3, p ( x1 ) p ( x2 ) p ( x3 ) 1 / 3 当 ＝1 / 2时 C 1, p ( x1 ) 1 / 2, p ( x2 ) p ( x3 ) 1 / 4
可得： p ( x1 / y1 ) 5 / 8, p ( x1 / y 2 ) 1/ 2, p ( x2 / y1 ) 3 / 8, p ( x2 / y 2 ) 1/ 2 信道疑义度： H ( X / Y ) p ( xi ) p ( y j / xi ) log 2 p ( xi / y j ) 0.9635bit / symbol
Pa 1 6
1 3 1 6 1 3 1 3 1 6
第三章 信道容量
1 2 1 1 6 , Pb 6 1 3 1 3
1 3 1 2 1 6
1 3 1 2
1 6
均满足对称性，所以这两个信道是对称离散信道。由对 称离散信道的信道容量公式得：
C1 log 2 4 H ( 1 , 3 C 2 log 2 3 H ( 1 , 2
i 1 3
0 1 P 0 1 0
0 1
1 p ( x1 ) 1 2(1 )1 p ( xi ) p ( y j / x i ) 1 p ( x ) p ( x ) (1 ) 2 3 1 2(1 )1