第4章：连续信号与连续信道容量

Hc(X
)

1 2
log 2
2e
2
4.2 连续信道容量
连续信道的数学模型 连续信道容量---香农公式 举例
连续信道：输入输出随机变量都取值于连续集合的信道
一、单维连续通信系统数学模型：
X
Y
p(Y/X)
b
a p(x)dx 1
数学描述：X p( y / x) Y
两类情况
(b / s)
式中 S － 信号平均功率 （W）；
N － 噪声功率（W）；
B － 带宽（Hz）。
设噪声单边功率谱密度为n0，则N = n0B；
故上式可以改写成：
Ct

B log 2 1

S n0 B

(b / s)
由上式可见，连续信道的容量Ct和信道带宽B、信号功 率S及噪声功率谱密度n0三个因素有关。
【例】已知黑白电视图像信号每帧有30万个像素；每个像素有8个亮 度电平；各电平独立地以等概率出现；图像每秒发送25帧。若要求 接收图像信噪比达到30dB，试求所需传输带宽。
【解】因为每个像素独立地以等概率取8个亮度电平，故每个像素的
信息量为 Ip = -log2(1/ 8) = 3 (b/pix)
pXY (xy) xy pXY (xy) pX ( x) pY / X ( y / x) pY ( y) pX /Y ( x / y)
边缘概率密度函数满足：
pX ( x) R pXY ( xy)dy pY ( y) R pXY (xy)dx
2、 连续信源的熵
单变量连续信源数学模型：
Ct

B log21
S n0 B

(b / s)
上式还可以改写成如下形式：
Ct

B log 2 1

S n0 B


B log 2 1

Eb / Tb n0 B


B log 2 1

Eb n0

式中 Eb －每比特能量； Tb = 1/B － 每比特持续时间。 上式表明，为了得到给定的信道容量Ct，可以增大
的概率密度、变量间的条件概率密度和联合概率密度描述。
① 一维概率密度函数
随机变量 X 的一维概率密度函数（边缘概率密度函数）为：
dF( x) pX ( x) dx
dF( y) pY ( y) dy pX ( x)、pY ( y)分 别 为 变 量X、Y的 一 维 概 率 密 度 函 数 F ( x)、F ( y)分 别 为 变 量X、Y的 一 维 概 率 分 布 函 数
Hc (X ) R p(x) log 2 p(x)dx
上式定义的熵在形式上和离散信源相似，也满足离散熵 的主要特性，如可加性，但在概念上与离散熵有差异因 为它失去了离散熵的部分含义和性质。
连续信源的联合熵和条件熵 两个连续变量的联合熵：
Hc (XY) p(xy)log2 p(xy)dxdy R2
高斯加性信道 非高斯加性信道
加性信道 [X,p] 入
x∈R1
x
加加加加
N
p( y / x) p(n)
出
[Y,q]
y∈R1
Y
y=x+n(迭加性）
Y=x+n
加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数
H (Y / X ) H N
条件熵是由噪声引起的，所以称为噪声熵
C maxI X ;Y maxH Y H Y / X
R
X
:

p(
x)
并满足：R p( x)dx 1
R 是连续变量 X 的取值范围。
先将连续信源在时间上离散化，再对连续变量进行量化 分层，并用离散变量来逼近连续变量。量化间隔越小， 离散变量与连续变量越接近，当量化间隔趋近于零时， 离散变量就等于连续变量。
p(x)
x
a
b
a+(i-1)Δ
x
F ( x) P( X x) pX ( x)dx
y
F ( y) P(Y y) pY ( y)dy
② 条件概率密度和联合概率密度函数
条件概率密度函数： 联合概率密度函数： 它们之间的关系为：
pY / X ( y / x), pX /Y ( x / y) F ( xy)
i 1
i 1
i 1
当n , 0时，若极限存在，即得连续信源的熵为：
n
n
lim H( X )
n 0
lim n 0
i 1
p( xi ) log2
p( xi ) lnim(log2
0
)
i 1
p( xi )
b
b
a p( x) log2 p( x)dx lnim(log2 ) a p( x)dx
x 1/ x
lim ln(1 x)1/ x 1
x0
log 2 a log 2 e ln a
上式变为
lim
B
Ct
lim x0
S n
log 2 (1 x)1/ x

S n
log 2
e
1.44
S n
lim
B
Ct
S lim
n x0 0
log 2 (1 x)1/ x
x)



i 1
(bi

ai
)
i 1

0
N
x (bi ai )

i 1
Hc ( X )
Hc ( X1 X 2
XN)
bN
aN
b1 a1
p( x) log2
p( x)dx1
dxN
bN aN
b1 a1
N

1 (bi
a
i
)
log
2
1
p(
x)

b
1
a
0
a xb
x b, x a Hc(X)=log2(b－a)
若 N 维矢量 X=(X1X2…XN) 中各分量彼此统计独立， 且分别在 [a1,b1][a2,b2] …[aN,bN] 的区域内均匀分布，
即：
1 N
N
x (bi ai )
p(
a+iΔ
设 p(x) 如图所示。把连续随机变量 X 的取图2值.3.1分概率割密度成函数n 个小
区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第 i 个
小区间的概率为：
a i
P(a (i 1) X a i)
p( x)dx
a ( i 1)
p( xi )
两个连续变量的条件熵：
Hc (Y / X ) p(xy) log2 p( y / x)dxdy R2
Hc (X / Y ) p(xy) log2 p(x / y)dxdy R2
3、 几种特殊连续信源的熵
(1) 均匀分布的连续信源的熵
一维连续随机变量 X 在 [a,b] 区间内均匀分布时的熵为:
N
dx1
(bi ai )
dxN
N
log2 (bi i 1
ai )
i 1
i 1
N
log2 (bi ai ) Hc ( X1 ) Hc ( X 2 ) Hc ( X N ) i 1
(2) 高斯分布的连续信源的熵
一维随机变量 X 的取值范围是整个实数轴 R，概率密
0.5
plot(x,z2) subplot(3,1,3);
0
-4
-3
Biblioteka Baidu
-2
-1
0
1
2
3
4
plot(x,z3)

Hc ( X ) p( x) log2 p( x)dx

p( x) log2
1
e dx
(
xm )2 2 2
2 2

p( x)( log2
关；
熵描述的是信源的整体特性，由图2.3.2看出，当均值
m 变化时，只是 p(x) 的对称中心在横轴上发生平移，曲 线的形状没有任何变化，即数学期望 m 对高斯信源的总
体特性没有任何影响；
若方差σ2 不同，曲线的形状随之改变，所以高斯连续信
源的熵与方差有关而与数学期望无关。这是信源熵的总体
特性的再度体现。
px
px
maxH Y H N px
由于加性噪声N和信源X相互统计独立，X的概率密度函数p(x) 的变动不会引起噪声熵H(N)的改变，因此加性信道的容量C就 是选择p(x)，使输出熵H(Y)达到最大。
连续信道容量
可以证明
Ct

B
log
2
1

S N

其中 xi 是 a+(i－1)Δ 到 a+iΔ 之间的某一值。当 p(x) 是 X 的连续函数时，由中值定理可知，必存在一个 xi 值使上式成
立。
这样连续变量 x 就可用取值为 xi(i=1,2,…,n) 的离散
变量近似。连续信源被量化成离散信源。
n
n
n
H( X ) p( xi ) log2 p( xi ) p( xi ) log2 p( xi ) p( xi ) log2
z2=(1/sqrt(2*pi*n2))*exp0.5((-1/2)*(x-m2).^2/n2^2);
z3=(1/sqrt(2*pi*n3))*exp((-1/2)*(x-m3).^2/n3^2);
subplot(3,1,1);
0
-4
-3
-2
-1
0
1
2
3
4
1
plot(x,z1)
subplot(3,1,2);
信息论与编码
西安工业大学电子信息工程学院 赵黎
第四章 连续信源和连续信道容量
本章内容
连续信源 连续信道容量
4.1 连续信源
连续信源的统计特性 连续信源的熵 几种特殊连续信源的熵
1、连续信源的统计特性
连续信源，指输出消息在时间和取值上都连续的信源； 连续信源输出的消息是随机的，与随机过程相对应； 连续信源的统计特性---概率密度函数； 单变量连续信源的输出是取值连续的随机变量。可用变量
2 2 )dx

p( x)(log2
e)
( xm)2 2 2
dx
因为： p( x)dx 1, ( x m)2 p( x)dx 2


所以：Hc ( X ) log 2
2
2

1 2
log 2
e

1 2
log 2
2e
2
说明
高斯连续信源的熵与数学期望 m 无关，只与方差σ2 有
0
b
a p( x) log2 p( x)dx lnim(log2 )
0
b
lim H( X )
n
a
p( x)log2
p(
x)dx

lim(log
n
2

)
0
0
上式右端的第一项一般是定值，而第二项在 Δ→0 时是
一无限大量。丢掉后一项，定义连续信源的熵为：
度函数呈正态分布，即：
p(x) e 1

(
xm )2 2 2
2 2
m是X的均值：m E[X ]

xp( x)dx

2是X的方差： 2 E[( X m)2 ] ( x m)2 p( x)dx
当m 0时， 2就是随机变量的平均功率：P x2 p( x)dx
由这样随机变量X所代表的信源称为高斯分布的连续信源。
p(x)
m
x
图2.3.2 一维正态分布的概率密度函数
x=-4:0.3:4;
1
m1=1;n1=0.5;
m2=2;n2=0.5;
0.5
m3=1;n3=0.3;
0
-4
-3
-2
-1
0
1
2
3
4
z1=(1/sqrt(2*pi*n1))*exp1((-1/2)*(x-m1).^2/n1^2);

S n0
S log 2 e 1.44 n0
上式表明，当给定S / n0时，若带宽B趋于无穷大， 信道容量不会趋于无限大，而只是S / n0的1.44倍。这 是因为当带宽B增大时，噪声功率也随之增大。
Ct和带宽B的关系曲线：
Ct
1.44(S/n0)
S/n0
S/n0
B
图4-24 信道容量和带宽关系
Ct

B log 2 1

S n0 B

(b / s)
当S ，或n0 0时，Ct 。
但是，当B 时，Ct将趋向何值？
令：x = S / n0B，上式可以改写为：
Ct
利用关系式
S n0
Bn0 S
log 2 1

S n0 B


S n0
log 2 1
带宽B以换取Eb的减小；另一方面，在接收功率受限的 情况下，由于Eb = STb，可以增大Tb以减小S来保持Eb 和Ct不变。
香农公式的主要结论：
（1）信道容量C随S/N增大而增大；
（2）N－>0, C－>∞，无扰信道的容量为无穷大；
（3）
lim C
W

S n0
log，2 en0为1.4噪4 nS声0 功率谱密度；