连续信道

当信道频带较窄时，可以通过提高信噪功率比来补 偿。(N0 B为高斯白噪声在带宽B内的平均功率。)
当信道的频带很宽（无限）时，其信道容量与信号 功率成正比，这一比值是加性高斯噪声信道信息传 输率的极限值。
当B 时，取2为底的对数，则
C lim B log(1
2 X
)
2 X
log
e
1.44
2 X
4
时间离散加性噪声信道中互信息量最大值
p (y | x ) = p N (y - x ) = p N (z) 则有
H(Y
|
X) = - ∞ ∞ p (x y )lo g p (y -∞ -∞
|
x )dx dy
= -
∞ -∞
∞ -∞
p
X
(x
)p
(y
|
x )lo g p (y
|
x )dx dy
由于信道的带宽有限，可以把一个时间连续
的信道变换成时间离散的随机序列进行处理。
设输入随机序列为：Xi ,i 1, 2,..., n ;
噪声随机序列为：Ni ,i 1, 2,..., n ;
输出随机序列为：Yi ,i 1, 2,..., n ;
则有 Yi Xi Ni i 1, 2,..., n 。
11
单位时间窄带高斯信道容量
对于窄带高斯信道，即N (t)为零均值的高斯过程， 信道带宽为B，若时间变化范围为[0,T ],由采样定理 可知，可用n 2BT个样本近似表示X (t)和N (t)。 对于时间连续信源，常常采用单位时间的信道容量， 把n 2BT 代入信道容量表示式，则
C
BT
log 1
z22 L
2
2 N
zn2
对于加性噪声信道，由概率论可知
n
n
p( y | x) p(z) p(zi ) p( yi | xi )
i 1
i 1
10
时间连续的（高斯）信道容量
由于信道是无记忆信道，那么n 维随机序列的平均
n
交互信息量满足 I ( X ;Y ) I ( Xi;Yi ) i 1
第3章 信道容量
3.1 3.2 3.3 3.4 3.5 3.6
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道 信道编码定理
1
连续信道的信道容量
信道容量：指信道对信源一切可能的概率分 布而言能够传送的最大熵速率。
连续信道，分为时间离散和时间连续两大类型 离散时间信道：即时间为离散值，信道的输
高斯分布时，其信源Y的熵H (Y )最大；由概率论，只有
当X
满足均值为0、方差为
2 的高斯分布时，才能使得
X
Y
X
N
满足高斯分布，且均值为0、方差为
2 X
2 N
.
由于高斯噪声的熵为
H (N ) 1 log 2
2
e
2 N
且
H (Y )
1 2
log
2
e(
2 X
2 N
)
故信道容量为
C
H (Y )
H (N )
证明从略。
结论：当噪声功率给定后，高斯型干扰是最坏的干扰，
此时其信道容量C最小。因此，在实际应用中，往往把 干扰视为高斯分布，这样分析最坏的情况是比较安全的8。
时间连续的容量
时间连续信道可用随机过程描述，
加性噪声信道模型一般表示为：
Y (t) X (t) N (t),
式中X (t)、Y (t)和N (t)均为随机过程。
B
N0B N0
N0
14
香农公式的物理意义
香农公式把信道的统计参量（信道容量）和实际物 理量（带宽B、时间T和信噪功率比PX/Pn）联系了 起来。它表明一个信道可靠传输的最大信息量完全 由B、T和PX/Pn所决定。一旦这三个物理量给定， 理想通信系统的极限信息传输率就确定了。
由此可见，对一定的信息传输率来说，带宽B、时 间T和信噪功率比PX/Pn三者之间可以互相转换。
= -
∞ -∞
∞ -∞
p
X
(x
)p
N
(y
-
x )lo g p N (y
-
x )dx dy
= -
∞ -∞
p
X
(x
)
∞ -∞
p
N
(z
)lo
g
p
N
(z
)d
z
d
x
=
∞ -∞
p
X
(x
)H(N)d
x
=
H(N)
其中H(N)为信道噪声的熵，因此交互信息量为
I(X;Y) = H(Y) - H(Y/ X) = H(Y) - H(N)
X X1, X 2 ,..., X N Y Y1,Y2,...,YN
若信道转移概率密度满足
p(y | x) p( y1 | x1) p( y2 | x2 )L p( yn | xn ) 则称信道为无记忆连续信道，同离散信道情况相同，
存在
n
I (X; Y) I ( Xi ,Yi ) nC i 1
实际信道往往是非高斯信道，但由于高斯白噪声信道 是平均功率受限情况下最差信道，所以香农公式可用 于确定非高斯信道容量的下限值。
香农公式对实际通信系统有非常重要的意义，因为香 农公式给出了理想通信系统的极限信息传输率。 13
香农公式的含义
当信道容量一定时，增大信道带宽，可以降低对信 噪功率比的要求；反之
2 XLeabharlann 2 N单位时间信道容量
C
B
log
1
2 X 2 N
B log 1
PX PN
12
香农公式
当噪声功率谱密度为N0 / 2的高斯白噪声时，
上式可以表示为
C B log(1
2 X
)
N0B
称为香农（Shannon）公式。
香农公式适用于加性高斯白噪声信道。只有输入信号 为功率受限的高斯白信号时，其信道容量才能达到该 极限值。
当B 3103 Hz时，求得
信噪比
2 X
N0B
24
1
15, 信号功率PX
'
4.5 104
N0
。
可见,带宽减少了25%, 信噪功率比必须增加约一倍。
带宽很小地改变,信噪功率比就有较大的改变。
若增加较少的带宽,就能节省较大的信噪功率比。 16
作业
3.6 3.7(4) 3.19
17
e
2 N
)
I
(
X
;Y
)
1 2
log(1
2 X 2 N
)
由于实际中信号和噪声的功率是有限的，所以研究时间
离散连续信道的容量是在功率受限条件下进行的。
6
高斯噪声信道的信道容量
平均功率受限的时间离散平稳可加高斯噪声 信道的交互信息量为：I(X,Y) = H(Y) - H(N)
当输入信源均值为0、方差一定的情况下，信源Y 满足
5
时间离散加性噪声信道分析
简单加性噪声信道的互信息量由输出熵和噪声熵决定。
若输入信源X 和噪声源N分别为均值0、方差
为
2 X
和
N2的高斯分布，则随机变量Y为均值为0、
方差为
2 X
2的高斯分布，因此
N
I ( X ;Y ) H (Y ) H (N )
1 2
log[2
e(
2 X
2 N
)]
1 2
log(2
入和输出只能在特定的时刻变化；
连续信道或波形信道：即时间为连续值，信 道的输入和输出取值是随时间变化的。
2
时间离散信道的容量
连续信道的输入和输出为随机过程X (t)和Y (t)。
设N (t )为随机噪声，那么简单的加性噪声信道模型 可以表示为 Y (t) X (t) N(t)
根据采样定理将随机信号离散化，对于时间离散 信道的输入和输出序列可以分别表示为
例：若要保持信道的信息传输率C=12x103bit/s，当 信道的带宽B从4x103Hz减小到3x103Hz，则就要求 增加信噪比。
15
举例-香农公式
当B 4103 Hz时，有
12 103
4 103
log 1
2 X
N0B
信噪比
2 X
N0B
23
1 7, 信号功率PX
2 X
2.8104 N0 ；
9
平均功率受限时间连续高斯信道
设高斯噪声的平均功率为
N2，即D[
N
(t
)]
2 N
对于随机序列Ni ,i 1, 2,L
,
n,
则有D[
N
i
]
2 N
由于高斯白噪声的各样本彼此独立，
那么 n 维高斯分布的联合概率密度为：
p(z) p(z1, z2,L , zn )
1
2
2 N
n/2
exp
z12
1 2
log
1
2 X 2 N
7
非高斯型加性噪声信道容量
非高斯型加性噪声信道容量的计算相当复杂， 下面定理给出了其上、下限。
假设输入信源的平均功率小于
2，信道加性
X
噪声平均功率为 N2，可加噪声信道容量C满足
1 2
log(1
2 X
2
)
C
1 2
log(
2 X
2
2 N
)
式中 2为噪声的熵功率。
3
信道容量定义
信道容量C定义为 C max I (X ;Y ) p(x)
由于输入和干扰是相互独立的，对于一维随 机变量，其信道模型可以表示为 Y=X+N， 式中 X 为输入随机变量，Y 为输出随机变量， N 为随机噪声，且 X 和 N 统计独立。
设随机变量 X 和 N 的概率密度分别为pX (x)和pN (z), 根据概率论及坐标变换理论，可以求得随机变量Y 在X 条件下的概率密度为 p( y / x) pN ( y x) pN (z)
因此时间连续的信道容量为
n
C
max p(x)
I ( X ;Y )
max
p( xi )
i 1
I ( Xi ;Yi )
i 1, 2,L , n
若信道为高斯信道，则时间连续的高斯信道容量为
C
n 2
log 1
2 X
2 N
达到该信道容量则要求n维输入随机序列中的每一分量
都必须是零均值、方差为
2 X
且相互独立的高斯变量。