第9章 高斯信道的信道容量

X(t)
p[y(t)/x(t)]
Y(t)
p[y(t)/x(t)]为信道转移概率密度函数
其中 [ y ( t ) / x ( t )] dy ( t ) 1 p
c d
2、带宽有限高斯信道
定义
作用下带宽限定为 W 的波形信道
2 均值 0 、方差 N 的白色高斯加性噪声 WGAN
表示






p (x )p (z )log p (z )dxdz
p (z )dz p(z)log

1 h ( Z ) log( 2 eN ) 2
3、高斯信道的信道容量 单符号连续信道固定时，I(X;Y)对于信源概率密 度函数p(x) 严格上凸——总能找到一种信源概率 密度函数p(x)，使I(X;Y)达到最大
ຫໍສະໝຸດ Baidu
达到信道容量的信源概率密度函数
1 p(x) e 2P
x2 2P
9.3 香农公式
波形信道习惯于信道单位时间内平均互信息的最 大值——最大信息传输速率/单位时间的信道容量 1、最大信息传输速率
定义
单位时间的信道容量，用Ct表示
表示
C 1 C I ( X ;Y ) t max ( x ) T Tp
3、香农公式的意义
信噪功率比小于1时最大信息传输速率仍大 于0 最大信息传输速率正比于所传输信号的带宽， 正比于信噪功率比 所传输信号的带宽趋于无穷时，最大信息传 输速率趋于有限值
P limCt log e w N 0
1 P P P N0W2 log( 1 ) 1 N0W N0W limCt lim lim loge w w w 1 1 2 W W 1 P P lim loge loge w P N0 N0 1 N0W
1 p(x) e 2P
x2 2P
9.2 带宽有限高斯信道的信道容量
1、波形信道
定义
对应于波形信源和波形信宿的信道
表示
信源——连续型随机过程X(t) 信宿——连续型随机过程Y(t)
X ( t ) x ( t ) [ a ,b ] dP [ X ( t ) x ( t )] p [ X ( t ) x ( t )] p [ x ( t )] dX ( t )
第9章 高斯信道的信道容量
高斯信道可靠传输信息的能力如何度量？
9.1 高斯信道的信道容量
1、高斯信道
加性噪声——信道中噪声与信号相互独立且对信 号的作用表现为线性叠加
定义
作用下的单符号连续信 道
2 均值 0 、方差 N 的白色高斯加性噪声 WGAN
表示
X Z
X x ( , ) dP ( X x ) p ( X x )p (x ) dX Y y ( , ) dP ( Y y ) p ( Y y )p (y ) dY
定义
信道固定时平均互信息I(X;Y)的最大值，用C表示
表示
C max I ( X ;Y )
p (x )
C max I ( X ;Y ) max { h ( Y ) h ( Y /X )}
p ( x ) p ( x )
1 max h ( Y ) h ( Z ) max h ( Y ) log( 2 eN ) p ( x ) p ( x ) 2
随机过程X(t)在t时刻的取值x(t)为信源发出的消息 Y ( t ) y ( t ) [ c ,d ] 通常 [ c ,d ] [ a ,b ] dP [ Y ( t ) y ( t )] p [ Y ( t ) y ( t )] p [ y ( t )] dY ( t )
随机过程Y(t)在t时刻的取值y(t)为信宿收到的消息
信源平均功率受限下，信宿高斯分布是否可达？
2 2 2 高斯分布，且均值 0 ，方差 P N Y Y X Z
2 信源取均值 0 ，方差 P 的高斯分布，信 X X
信道容量 1 1 1 P C log[ 2 e ( P N )] log( 2 eN ) log( 1 ) 2 2 2 N P 式中— —信噪功率比 SNR N 达到信道容量的信源概率密度函数
Y ( t ) [ X ( t ) Z ( t )] h ( t )
式中 h (t)— —带宽为 W 的理想低通滤波器的 激响应
3、带宽有限高斯信道的信道容量 根据采样定理，不失真传输一条消息的最小时间 T=1/2W [0,T]时间，波形信道→单符号连续信道 信源平均功率受限下 信道容量 1 P / 2 W 1 P C log( 1 ) log( 1 ) 2 N / 2 W 2 N
Y=X+Z
Z z ( , ) dP ( Z z ) 1 p ( Z z ) p ( z ) e dZ 2 N
2 z 2 N
2、高斯信道的噪声微分熵
设坐标变换 f : x x , f : z y x 1 2
雅可比行列式
f1 x J f1 y f2 x 1 1 1 f2 0 1 y
2 z 2 N
p ( xy ) p ( x ) p ( y / x ) p ( xy ) p ( xz ) J p ( xz ) p ( x ) p ( z )
1 p ( y /x ) p ( z ) e 2 N
h ( Y / X ) ( x ) p ( y / x ) log p ( y / x ) dxdy p
最大信息传输速率一定时，增大所传输信号 的带宽，可以降低对信噪功率比的要求
其中T为平均传输一条消息所需的时间
最大信息传输速率的单位为bit/sec(bps)
2、香农公式
T=1/2W C 1 P1 P P C log( 1 ) / W log( 1 ) W log( 1 ) t T 2 N 2 W N N W 0 N 式中 N — — WGAN 的单边功率谱密度 0 W