信息理论基础第四章课件

p( x ) p( x ) p( x )
2.具有归并性能的无噪信道
其信道矩阵如下。
1 1 P 0 0 0 0 0 1 1 1
无噪信道的噪声熵H(Y|X)=0,于是信道容量为：
C max I ( X ;Y ) max H (Y ) H (Y | X ) max H (Y ) log s
称 p( xi ) 为先验概率 称 p( yi | xi ) 为前向概率(信道传递概率)
称 p( xi | y j ) 为后验概率(后向概率)
2.由全概率公式，根据先验概率和前向概率可以求得输
出符号的概率：
p ( y j ) p( x i ) p ( y j | x i )
i 1
r
3.由贝叶斯公式，根据先验概率和前向概率可以求得后
p( y2 | x1 ) p( y2 | x2 ) p( y2 | xr )
p( y s | x1 ) p( y s | x2 ) p( y s | xr )
为了表述方便，通常写成：
p11 p 21 P pr1
p12 p22 pr 2
p1s p2 s prs
§4.1 离散单符号信道及其信道容量
离散单符号信道的数学模型
干扰
X
P(Y|X)
Y
它是最简单的信道。 设输入随机变量X有r个不同的取值xi,i=1,2,…,r,输出随机 变量Y有s个不同的取值yj,j=1,2,…,s,由于噪声的存在，符号 在传输的过程中会产生错误，可以用传递概率(条件概率)来 描述。
定义
信道容量为平均互信息关于输入概率分布的最大值。
C max I ( X ;Y )
p( x )
单位为比特/符号。
如果考虑平均传输一个符号需要t秒，则信道在单位时间 内平均传输的最大信息量为：
1 Ct max I ( X ;Y ) t p( x )
注：1.信道容量是信道传输信息的最大能力的度量。 2.信道实际传输的信息量不能大于信道容量。(例4.1)
下面给出一般的离散单符号信道的一些概率关系。
设信道输入随机变量的概率空间为：
X x1 p( x ) p( x ) 1
满足非负性和完备性。
x2 p( x2 )
xr p( xr )
设信道输出随机变量的概率空间为：
Y y1 p( x ) p( y ) 1
按记忆性分两大类：有记忆信道和无记忆信道。 按平稳性(统计特性是否随时间变化)可以分为平稳信道 （恒参信道）和非平稳信道（随参信道）。 根据输入和输出信号之间的关系可以分为有噪信道和无噪 信道。 根据用户可以分为单用户信道(两端信道)和多用户信道 （多端信道） 还可以将以上类型进行组合，得到多种不同性质的信道。 但都可以用条件概率分布来描述。
, ps )
p , ) r 1 p p log r p log p ( r 1) log( ) r 1 r 1 p log r p log p p log( ) r 1 log r p log( r 1) H ( p)
注：1. 当r=2时，通常称为二元对称信道，其信道容量 是多少？。 2. 对于一般的行对称信道，信道容量可以如何表示？ 有什么问题？。 3.对于准对称信道，也是达不到理想中的信道容量? 但有如下定理。
p( yi | xi ) Pr Y yi | X xi , i 1, , r , j 1, , s
信道传递概率实际上是一个传递概率矩阵，称为信道矩阵。
y1 y2 ys
P p( yi | xi )r s
x1 p( y1 | x1 ) p( y1 | x2 ) x2 xr p( y1 | xr )
信道矩阵中，每一行都是第一行元素的不同排列， 则称此类信道为行对称信道（输入对称信道）。
定义
定义
信道矩阵中，每一列都是第一列元素的不同排列， 则称此类信道为列对称信道(输出对称信道)。
信道矩阵中，每一行都是第一行元素的不同排列， 每一列都是第一列元素的不同排列，则称此类信道 为对称信道。
定义
信道矩阵中，每一行都是第一行元素的不同排列， 但每一列并不是第一列元素的不同排列，但可以按 列将信道矩阵划分成若干对称子阵，则称此类信道 为准对称信道。
j 1 s
注：1. 要达到信道容量，必须输出分布为等概分布。 2. 如何保证？看如下定理。
定理
对于离散对称信道，当输入分布是等概分布时，输 出分布必能达到等概分布。
证明：（思考讨论） 于是如下定理成立。
定理
对于离散对称信道，当输入分布是等概分布时，达 到信道容量。
s
C log s H (Y | xi ) log s pij log pij
• 离散输入、连续输出信道
X Y
+
G
pY ( y / ai )
1 2
e
( y ai ) 2 / 2 2
• 波形信道（模拟信道）
x(t)
y(t)
+
n(t)
pY ( y / x) pY ( y1 , y 2 , y L / x1 , x2 , x L ) pY ( y / x) p x , y ( x, y ) p x ( x) p x , y ( x, n ) p x ( x) p n ( n)
§4.1 信道的分类与数学模型
干扰
X
P(Y|X)
Y
•分类方法有很多，主要是从时间和幅度上的取值、记忆性、 平稳性、输入和输出信号之间的关系、用户等方面考虑。 •时间 离散 连续 •幅度 离散 连续 时间和幅度取值都是离散的信道为离散信道（数字信道）； 时间离散、幅度连续的信道为连续信道； 时间连续、幅度连续的信道为模拟信道； 时间连续、幅度离散的信道无价值。
无损信道的信道疑义度H(X|Y)=0和噪声熵H(Y|X)=0,于是 信道容量为：
C max I ( X ;Y ) max H ( X ) max H (Y ) log r log s
p( x ) p( x ) p( x )
§4.2.4 离散对称信道的信道容量。 定义
定理
对于离散准对称信道，当输入分布是等概分布时， 可以达到信道容量。
C log r N k log( Mk ) H ( p1 , p2 ,
k 1
n
, ps )
其中Nk为第k个子阵中行元素之和，Mk为第k 个子阵中列元素之和。 例子4.2-4.3
§4.2.5 一般离散信道的信道容量。
p( x ) p( x ) p( x )
注：1. 要达到信道容量，必须输出分布为等概分布。 2. 如何保证？。 只有在某些特殊的情况下可以达到此要求。
3.具有意义对应关系的的无噪无损信道
其信道矩阵如下:
1 0 P 0 0
0 1 0 0
0 0 1 0
0 0 0 1
C＝max I ( X ;Y ) max[ H ( X ) H ( X | Y )]
p( x ) p( x )
max[ H (Y ) H (Y | X )]
p( x ) p( x )
max H (Y ) H (Y / X )
C log s H (Y | xi ) log s pij log pij
§4.2.3 几种特殊信道的信道容量。
1.具有扩展性能的无损信道
其信道矩阵如下。
1 2 P 0
1 2 0
0 1 3
0 1wenku.baidu.com3
0 1 3
无损信道的信道疑义度H(X|Y)=0,于是信道容量为：
C max I ( X ;Y ) max H ( X ) H ( X | Y ) max H ( X ) log r
常见的离散单符号信道
• 二进制对称信道（BSC）
1-p 0 p p 0
1 1-p
1
p 1 p P p 1 p
• 离散无记忆信道
a1 a2 b1 b2
an
bm
p11 p 21 P pn1
p12 p22 pn 2
p1m p2 m pnm
向概率：
p( xi | y j )
p( xi y j ) p( y j )

p( xi ) p( y j | xi )
p( x
k 1
r
k
) p( y j | xk )
§4.2.2 信道容量的概念
平均互信息I(X;Y)是收到输出符号集Y以后所获得关于输 入符号集X的信息量，由于干扰的存在，收到Y以后对信源 仍然存在不确定，其不确定性为H(X|Y), H(X|Y)又称为信道 疑义度。 平均互信息I(X;Y)也可以理解为每传输一个符号流经信 道的信息量，因此，又称为信息传输率。通常用R表示。
j 1
log s H ( p1 , p2 ,
, ps )
均匀信道是一种特殊的对称信道，其信道容量有如下推论。
推论
对于均匀信道，当输入分布是等概分布时，达到信 道容量，信道容量如下：
C log s H ( p1 , p2 , p log r H ( p, , r 1
p11 p 21 P pr1
p12 p22 pr 2
p1s p2 s prs
1.输入输出随机变量的联合分布为：
Pr { X xi ,Y y j } p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
第四章 信道与信道容量
前言：1. 信道是传输信息的通道。 2. 信息传输包括空间是时间意义上的传输。 3. 信道的主要问题有： 模型（建模）、信道传输信息的能力的计算(信 道容量)、在有噪信道中实现信息的传输问题。 本章解决前两个问题，第6章解决第三个问题。 信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
R I ( X ;Y ) H ( X ) H ( X | Y )
如果考虑平均传输一个符号需要t秒，则信道平均每秒传 输的信息量为：
1 Rt I ( X ;Y ) t 通常称之为信息传输率。
平均互信息I(X;Y)在给定的信道转移概率分布下是关于 输入分布上凸函数。因此，存在最大值，称此最大值为信 道容量。相应的输入概率分布称为最佳输入分布。
例子：
1 3 1 6
1 3 1 6
1 6 1 3
1 6 1 3
1 2 1 6 1 3
1 3 1 2 1 6
1 6 1 3 1 2
0.8 0.1 0.1 0.1 0.1 0.8
定义
若信道中输入符号与输出符号个数相同，且信道中 总的错误概率分布为p,平均分配给r-1个输出符号， 则称此类信道为均匀信道(强对称信道)。
y2 p( y2 )
ys p( ys )
也应该满足非负性和完备性。
给定信道矩阵为：
p( y1 | x1 ) p( y | x ) 1 2 P p( y1 | xr )
或者写成：
p( y2 | x1 ) p( y2 | x2 ) p( y2 | xr )
p( y s | x1 ) p( ys | x2 ) p( y s | xr )
信道容量定义为平均互信息在固定条件分布下的极 大值，前面已经给出平均互信息是输入概率分布的上凸 函数，因此极大值必定存在(可以用拉格朗日乘子法求 这个条件极值)。 设辅助函数：
F I ( X ;Y ) p( xi )
p p p r 1 r 1 p p p r 1 r 1 P p p p r 1 r 1 p p p r 1 r 1 r 1 p r 1 p r 1 p r 1 p
• 对称信道容量