信息论课程总结

1 离散信道容量的计算
I ( X , Y ) 0 a
log(1 a) log(1 a) 2 0
1 a 4 1 a
1 a log 2 1 a
p(x1)= a=3/5; p(x2)=1-a=2/5
3 2 8 1 2 1 C log log log 5 1 0.16 10 5 5 10 5 2
这时因为：H(X/Y)=0; 所以：H(Y/X)=H(Y)-H(X) 因为：H(Y/X) ≥0， 所以：H(Y) ≥ H(X)； 得到的结论为： 这时的信宿熵将大于信源熵，因此称为扩展信道。
2013-12-20
14
[3] 归并性无噪声信道
x1 x2 x3 x4 x5 1 1 1 1 1 y2 y1
2013-12-20 10
[1] 一一对应的无噪声信道
x1 x2 x3 1 y1 y2 y3
1
1
1 0 [P ] 0
0 1 0
0 0 1
信道特点：n=m，每行只有一个元素为1，每列只有一个元素为 1,其转移概率不为1，就为0。可以看出：
H (Y / X ) p( xi ) p( y j / xi ) log p ( y j / xi ) 0
2013-12-20 5
1 离散信道容量的计算
1 (1 a) (1 a) (1 a) (1 a) H (Y ) p( yj) log p( yj) log log 2 4 4 4 4 j 1
3
3 (1 a) (1 a) log(1 a) log(1 a) 2 4 4
已知p(yj)=1/n,和信道转移概率，可以得到以下线性方程组。
p( y j ) p( xi ) p( y j / xi )
i 1
n
从这个方程组可得，当p(xi)=1/n时，能使p(yj)=1/n。 对于强对称信道，只有当信源等概分布时，才能使其达到信 道容量C。 对于强对称信道，当信源等概分布时，
2013-12-20 7
1 离散信道容量的计算
p( yj / xi )
j 1
m j 1
m
j

p( yj / xi ) log p( yj / xi )
j 1
m
(i=1,2,…n)
C log 2
j
p( yj ) 2
p( yj )
( j C )
( j 1,2,... m)
2013-12-20
9
交互信息量与信道容量问题
对于离散随机变量X，Y及离散无记忆信道p(y/x)
X
P(y/x)
Y
平均交互信息量:
I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=I(Y,X)
信道容量:
C=maxR=max{I(X,Y)}=max{I(Y,X)}
关于p(x)的最大值; 假设符号速率n=1;
i 1 j 1 2 3
先求联合概率p(xi,yj)=p(xi)p(yj/xi) 假设：p(x1)=a; p(x2)=1-a。
0 a/2 a/2 P ( X , Y ) 1 a 1 a 1 a 2 4 4
2013-12-20 4
1 离散信道容量的计算
H (Y / X ) 1.5 0.5a
2013-12-20 16
[4] 强对称信道
如果离散信道的输入/输出符号空间及信道转移矩阵如下：
X={x1,x2,……xn} P[X]={p(x1), p(x2),……p(xn)}
Y={y1,y2,……yn} P[Y]={p(y1), p(y2),……p(yn)} n=m
x1
x2
y1
y2
xn
yn
1 n 1 [ P] n 1 1 ... ... ... n 1
1 1 1 1 1 y2 y1
1 0 1 0 [P ] 1 0 0 1 0 1
这时因为：H(Y/X)=0; 所以：H(X/Y)=H(X)-H(Y) 因为：H(X/Y) ≥0， 所以：H(X) ≥ H(Y)； 得到的结论为： 这时的信源熵将大于信宿熵，因此称为归并信道。
n 1 ... n 1 ... ... 1 n 1
...

2013-12-20
17
求平均交互信息量：I(X,Y)=H(Y)-H(Y/X)
H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi )
已知一个离散无记忆信道的转移概率矩阵为：
求： 噪声熵H(Y/X)； 信道容量C及先验概率p(x1)，p(x2)。
1 / 2 1 / 2 0 P 1 / 2 1 / 4 1 / 4
2013-12-20
3
1 离散信道容量的计算
(1)计算噪声熵H(Y/X)：
H (Y / X ) p( xi , y j ) log p( y j / xi )
i 1 j 1
3
3
因此：I(X,Y)=I(Y,X)=H(Y)；
2013-12-20
C=maxH(Y)=logm
11
还可以看出：无论p(xi)如何分布，
p( xi / yj)
p( xi) p( yj / xi)
p( xi) p( yj / xi)
i 1
3
1 0
H ( X / Y ) p( y j ) p( xi / y j ) log p( xi / y j ) 0
( j 1,2,... m)
p( xi ) p( yj / xi )
i 1
n
2013-12-20
8
1 离散信道容量的计算
0 1 P 1
1 0 P 0 0 1 0 1

1/ 4 3 / 4 P 3 / 4 1/ 4
H(X)=H(Y)=logn,
对于强对称信道，当信源等概分布时，
H(Y/X)=H(X/Y)
2013-12-20 20考试来自知2013-12-20
1
《信息与编码理论》课程总结
• 第一章 引论 • 第二章 离散信源的熵
• 第三章 连续信源熵与信道容量
• 第四章 信源编码（平均码长、H码）
• 第五章 纠错编码原理（定理、准则）
• 第六章 线性分组码
• 第七章 卷积码（编码、维特比算法）
2013-12-20 2
1 离散信道容量的计算
因为[P]矩阵中每列只有一个非0元素，所以：疑义度H(X/Y)=0。 有： I(X,Y)=H(X)，则： 具有扩展性的无噪声信道的信道容量等于信源的最大熵。
因此：I(X,Y)=H(X)；
p( xi / yj )
2013-12-20
n
C=maxH(X)=logn
1, 0, p( yj / xi ) 0 p( yj / xi ) 0
3 (1 a) (1 a) 3 a I ( X , Y ) H (Y ) H (Y / X ) log(1 a) log(1 a) 2 4 4 2 2
a (1 a) (1 a) log(1 a) log(1 a) 2 4 4
2013-12-20 6
(2)计算信道容量：
C max{I ( X , Y )} max{H (Y ) H (Y / X )}
p( x ) p( x )
n n
p ( y j ) p( x i , y j ) p( x i ) p ( y j / x i )
i 1 i 1
p(y1)=1/2; p(y2)=(1+a)/4; p(y3)=(1-a)/4
i 1 j 1
n
n
根据熵函数的对称性，有：
H (Y / X ) H ( ) log(n 1)
上式说明，强对称信道的噪声熵H(Y/X)就是信道转 移矩阵中任一行n个元素组成的熵函数值，它决定于 信道的错误概率ε和符号个数n，与p(x)无关。
2013-12-20
18
上式说明，强对称信道的噪声熵H(Y/X)就是信道转 移矩阵中任一行n个元素组成的熵函数值，它决定于 信道的错误概率ε和符号个数n。 根据信道容量的定义：
i 1 j 1
3
3
因此：I(X,Y)=H(X)；
C=maxH(X)=logn
I(X,Y)=H(X)=H(Y)； C=maxH(X)=logn=logm
2013-12-20 12
[2] 扩展性无噪声信道
p(y1/x1) x1 y1 y2 y3 x2 y4 y5
0 p( y1 / x1 ) p( y2 / x1 ) p( y3 / x1 ) 0 [ P] 0 0 0 p ( y 4 / x2 ) p ( y5 / x 2 )
C max{I ( X , Y )} max{H (Y ) H (Y / X )}
P( X ) P( X )
max{H (Y )} H ( ) log( n 1)
P( X )
C log n H ( ) log(n 1)
2013-12-20 19
1 0 1 0 [P ] 1 0 0 1 0 1
由于信道转移矩阵中的元素均为1和0， 所以：这个信道的噪声熵H(Y/X)=0。有：I(X,Y)=H(Y) 因此：I(X,Y)=I(Y,X)=H(Y)；
C=maxH(Y)=logm
2013-12-20
15
x1 x2 x3 x4 x5
13
p( xi ) p( yj / xi )