第5章 连续信源和连续信道

exp{
2(1
1

2
)

(
x


mx
2 x
)2

2(x mx )(y my ) x y

(y my )2
y2
}
求：(1) H(X)和H(Y)各为多少?
(2) H(X‫׀‬Y)和H(Y‫׀‬X)各为多少?
(3) H(X,Y)是多少？
(4) I(X;Y)是多少？
连续信道分时间离散和时间连续两种情况讨论，信道上 的噪声主要讨论了加性高斯噪声。给出了不同情况下的 信道容量。
返回
【定义5-4】两个连续随机变量X和Y之间的平均互信息量为
I(X;Y) H(X ) H(X Y) H(Y) H(Y X )
由该定义可以得到 I (X ;Y ) H (X ) H (Y ) H (X ,Y )
2 X 2 N

【定理5-1】假设输入信源的平均功率小于2X ，信道加性噪 声平均功率为2N ，则可加噪声信道容量C满足
1 2
log1


2 X
2


C

1 2

log
2 X

2
2 N

式中， 2为噪声的熵功率。 证明
说明：
✓ 当噪声功率2N给定后，高斯型干扰是最坏的干扰，此 时信道容量最小；
n
H (X ) p(xi ) log p(xi )
• 联合熵i1
H ( X ,Y ) p(xy) log p(xy)
XY
• 条件熵
H (Y | X ) p(xy) log p( y | x)
XY
• 平均互信息
连续信源

H (X ) p(x) log p(x)dx
证明：I ( X ;Y ) H ( X ) H ( X Y )

H ( X ) p(xy) log p(x y)dxdy
H (X )

p( xy)
p(xy) log
dxdy

p( y)

H ( X ) p( y) log
1

dy p(xy) log p(xy)dxdy
说明： ✓与离散信源熵形式相同，但意义不同； ✓连续信源不确定性是无穷大，因此熵无穷大； ✓连续信源熵只是相对值。
【定义5-2】设有两个连续随机变量X和Y，其联合熵为

H ( X ,Y ) p(xy) log p(xy)dxdy
式中，p(xy)是二维联合概率密度函数。
【定义5-3】设有两个连续随机变量X和Y，其条件熵为

(y my )2 (1 2 ) y 2

(
y

m
2 y
y
)
2

ln
edxdy
ln
2
x 2 (1 2 )

ln e 1 2 1 2
2 2
1 2
1
1 2
1 ln

2e x 2 (1 2 )
熵的例子3
【例，增】求均匀分布信源的熵。
• 概率密度函数
1
p(x)


b

a
a xb
• 则熵为
0 other

b1
1
H (X ) p(x) log p(x)dx
log dx

a ba ba

log(b a) ba
x
|ba

log(b ba
a)

说明：
✓
当
2 X
/
2 N
任意大时，I(X;Y)也任意大；
✓ 但实际系统功率受限。
【定义5-5】对于平均功率受限、最简单的一维时间离散可加 高斯噪声信道的互信息为
I (X ;Y ) H (Y ) H (N)
因此信道容量为
C

H (Y )

H(N)

1 2
log 1


第5章 连续信源和连续信道
5.1 连续信源 5.2 连续信道及其信道容量
本章小结
5.1 连续信源
5.1.1 连续信源的数学模型 5.1.2 连续信源的熵和互信息
5.1.1 连续信源的数学模型
• 离散信源
• 连续信源


X P



x1 p( x1
)
x2 p(x2 )

H ( X Y ) p(xy) log p(x y)dxdy
或者

H (Y X ) p(xy) log p( y x)dxdy
式中，p(x‫׀‬y)、p(y‫׀‬x)是条件概率密度函数。
【定义5-4】两个连续随机变量X和Y之间的平均互信息量为
I(X;Y) H(X ) H(X Y) H(Y) H(Y X )
✓ 这就是在科学研究中通常假设噪声为高斯噪声的原因。 （分析最坏的情况比较安全）。
5.2.2 连续信道
• 设连续信道的输入、输出、噪声分别为X(t), Y(t), N(t)。 • 则对于加性噪声模型，有：Y(t) = X(t) + N(t) • 由于信道带宽有限，根据随机信号采样定理，可以将一个
时间连续的信道转换为时间离散的随机序列进行处理。 • 设输入、噪声和输出随机序列分别为Xi(i=1,2,…,n)，

p( y)

H ( X ) H (Y ) H ( X ,Y )
证毕
返回
I(X;Y) 0
证明：
H (X ,Y ) H ( X ) H (Y )

p(x) p(y)
p(xy) log p(xy) dxdy
p(xy)[ p(x) p( y) 1]log edxdy 0
i 1
I ( Xi ;Yi )
(i 1, 2,L , n)
• 若信道为高斯信道，则时间连续信道的信道容量为
C

n 2
log 1


2 X

2 N

• 达到该信道容量的条件是，n维输入随机序列中，每一分 量都必须是均值为0，方差为2N且相互独立的高斯变量。
本章小结
连续信源主要讲了信源的模型、熵、共熵、条件熵和平 均互信息。需要注意的是连续信源的熵不同于离散信源 的熵。连续信源的熵是相对熵，与离散信源的熵相比， 去掉了一个无穷大项。
• （2）
H ( X Y ) p(xy) log p(x y)dxdy

p(xy)ln


2
x 2 (1 2 )

1

(x mx )2
2 (1 2 ) x 2

2(x mx )(y my ) (1 2 ) x y
2
}
dx
• 如果取对数的底为e，有
H (X )



p(x) ln
2

1
2
2
(x

m)2
dx
ln 2 1 2 ln 2e 2 2
熵的例子2
【例5-3，P78】设随机变量X和Y的联合概率密度为
p(xy)

2
1
x y
1 2
xn p(xn )

X P



x p(x)



p(x)dx

1

5.1.2 连续信源的熵和互信息
【定义5-1】对于连续信源X，其概率密度函数为p(x)，则 该连续信源的熵为

H (X ) p(x) log p(x)dx

p( xy)
证毕
H(Y X ) H(N)
返回
证明： 设随机变量X和随机噪声N的概率密度分别为pX(x)和pN(z)，
不难求得
p(y x) pN (y x) pN (z)
则有
wk.baidu.com
H (Y X ) p(xy) log p( y x)dxdy


pX (x) p( y x) log p( y x)dxdy
(b

a)

log(b

a)
5.2 连续信道及其信道容量
连续信道：输入和输出均为连续的随机信号； • 时间离散：离散时间信道（或时间离散信道） • 时间连续：连续信道（或波形信道）
5.2.1 时间离散信道 5.2.2 连续信道
5.2.1 时间离散信道
• 设时间离散信道的输入和输出集分别为为X和Y。 • 则对于加性噪声模型，有：
结论：
I ( X ;Y ) H ( X ) H (Y ) H ( X ,Y )
✓ 上述定义与离散信源的对应关系式完全类似。
✓ 同样可用图2-6的维拉图表示；
✓ 由于连续熵是相对熵，因此它不具有非负性和极值性。
H(X)
H(X|Y)
I(X;Y) H(Y|X)
H(Y) H(X,Y)
小结
离散信源
熵的例子1
【例5-1，P77】求均值为m，方差为σ2的高斯分布信源的熵。
•
概率密度函数
p(x)
1
2
exp{
(x m)2
2 2 }
• 则熵为

H ( X ) p(x) log p(x)dx





p( x) log
1
2
exp{
(
x m)
2 2
Ni(i=1,2,…,n)和Yi(i=1,2,…,n)，则有Yi = Xi + Ni • 由于信道是无记忆的，那么n维随机序列的平均互信息满
足 n I ( X ;Y ) I ( X i ;Yi ) i 1
• 时间连续信道的信道容量为
n
C

max p(x)
I ( X ;Y )

max p(x)

ln[2e x y
(1 2 )]
熵的例子2（续）
• （4）由互信息定义有
I(X;Y) H(X ) H(X Y)
ln 2e x ln 2e x 2 (1 2 ) ln (1 2 )
• 讨论 ✓ 两个高斯随机变量的熵只与各自的方差有关； ✓ 条件熵与相关系数ρ有关； ✓ 当ρ=0时，即X与Y互不相关，或者说互相独立时， H(X)=H(X‫׀‬Y)和H(Y)=H(Y‫׀‬X)； ✓ 联合熵与ρ有关； ✓ 互信息量仅与ρ有关，与方差无关。当ρ=0时， I(X;Y)=0
Y=X+N 其中N为随机加性噪声，且X和N统计独立。
• 定义信道容量为 C max{I (X ;Y )} p(x)
• 可以证明： H(Y X ) H(N)
证明
• 因此
I(X;Y) H(Y) H(Y X ) H(Y) H(N)
即简单加性信道的互信息由输出熵和噪声熵决定。
• 加性噪声模型互信息的计算：若输入信源X和噪声N分别
由该定义可以得到
I (X ;Y ) H (X ) H (Y ) H (X ,Y ) 证明
由上述推导可以看出，有 I (X ;Y ) I (Y; X ) 且有 I (X ;Y ) 0 证明
I(X;Y) H(X ) H(X Y)
I ( X ;Y ) H (Y ) H (Y X )
同理 H (Y X ) ln 2e y 2 (1 2 )
• （3）由联合熵定义有

H ( X ,Y ) p(xy) log p(xy)dxdy

p(xy)ln


2
x 2 (1
2)

1 2

( (1
x
mx ) 2 )
解： • （1）

p(x) p(xy)dy
1
2
x
exp{
(x mx
2 x2
)2
}

则有
H (X ) p(x) log p(x)dx ln
2e x
同理

H (Y ) p( y) log p( y)dy ln
2e y
熵的例子2（续）
为均值为0、方差为2X和2N的高斯分布，则随机变量Y为 均值为0、方差为2X+2N的高斯分布。此时
I ( X ;Y ) H (Y ) H (N )

1 log 2
2e(
2 X


2 N
)

1 log 2
2e
2 N

1 2
log1


2 X 2 N
• 联合熵

H ( X ,Y ) p(xy) log p(xy)dxdy
• 条件熵

H (Y X ) p(xy) log p( y x)dxdy
• 平均互信息
I(X;Y)=H(X)-H(X|Y)
I(X;Y)=H(X)-H(X|Y)
=H(Y)-H(Y|X)
=H(Y)-H(Y|X)
2 x
2

2(x mx )(y my ) (1 2 ) x y

(y my )2 (1 2 ) y 2

ln
edxdy

ln 2 x y
(1 2 )

ln e 1 2 1 2
2 2
1 2
1
1 2