信息论_连续信源和波形信道

∑ ∑ C
=
max p(x)
I (X; Y)
=
max p(x)
n i =1
I ( Xi ;Yi )
=
1 2
n i =1
log(1 +
PX i PNi
)
⇒ C = n log(1+ PX
)
=
n
log(1 +
σ
2 X
)
2
PN 2
σ
2 N
当且仅当输入随机矢量X中各分量统计独立，并且均 为高斯分布时达到信道容量。
p(x)
说明：加性连续信道的信道容量取决于噪声N（即 信道）的统计特性和输入随机变量X所受的限制条 件。对于不同的限制条件，连续随机变量具有不同 的最大熵值。
讨论平均功率受限下的高斯白噪声信道的信道容量。
[ ( )] ( ) C
=
max h(Y )− h(N ) =
p(x)
1 2
log
2πe
⎥⎦
∫ ∫ b p(x)dx = 1
+∞
p(x)dx = 1
a
−∞
5
1.1 连续信源的概率密度函数 pi = p( xi )Δ
连续随机变量X的取值分割成n个等宽区间，Δ=(b-a)/n。则
∫ P(a + (i −1)Δ ≤ X
≤ a + iΔ) =
a+iΔ a + (i −1) Δ
p( x)dx
⎟⎟⎠⎞ = W
log ⎜⎜⎝⎛1 +
PS PN
⎟⎟⎠⎞
bit / s
25
2.4 波形信道及其信道容量
单位时间的信道容量为 ：
Ct
= lim C T →∞ T
=W
⎞ = W
log⎜⎜⎝⎛1 +
PS PN
⎟⎟⎠⎞
bit / s
其中N0为高斯白噪声的单边功率谱密度
相互关系：
R2
h( XY ) = h(Y | X ) + h( X ) = h( X | Y ) + h(Y )
h(Y | X ) ≤ h(Y )
h(X | Y ) ≤ h(X )
9
1.2 差熵 – 波形信源的差熵
¾ 平稳随机过程可通过时间取样分解为取值连续的无穷
平稳随机序列
→
X = X1X2K X N
2πσ 2
∫ m是X的均值
∞
m = E[ X ] = xp(x)dx
−∞
∫ σ 2是X的方差 σ 2 = E[( X − m)2 ] = ∞ (x − m)2 p(x)dx −∞
∫ m = 0时，σ 2是随机变量的平均功率 P = ∞ x2 p(x)dx −∞
则：随机变量X代表的信源称为高斯分布的连续信源1。2
离散无记忆信源的N 次扩展： X中各随机 变量统计独立，且取 自同一概率空间
有限记忆信源：X中 各随机变量之间有依 赖关系，但记忆长度 有限
2
回顾信道的分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道（数字信道），对讨 论纠错编码时有用
连续 离散 连续信道
连续 连续 模拟信道（波形信道），是实 际信道，有重要意义！
16
2.1 定义和数学模型
{x(t)}
r X = X1X 2...X N
波形信道
取样
连续信道
{y(t)} r Y = Y1Y2...YN
p(Y1Y2...YN | X1X 2...X N )
实际波形信道的频宽总是受限的，在有限观 察时间内，总满足限频限时的条件。根据取 样定理，可将波形信道的输入和输出离散化 为时间离散、取值连续的平稳随机序列。
2W 2
在[0， T ]时间内，信道容量为：
C
=
n 2
log ⎜⎜⎝⎛1 +
PS / 2W N0 /2
⎟⎟⎠⎞
=
n 2
log ⎜⎜⎝⎛1 +
PS N 0W
⎟⎟⎠⎞
= WT
log ⎜⎜⎝⎛1 +
PS N 0W
⎟⎟⎠⎞
单位时间的信道容量为 ：
Ct
= lim C T→∞ T
=W
log ⎜⎜⎝⎛1 +
PS N 0W
b − a < 1 h( X ) < 0 微分熵无非负性，可为负值
b − a > 1 h(X ) > 0
11
1.2 连续信源的微分熵/差熵 – 例题
例8.2 求高斯分布的连续信源的微分熵：
p(x) =
1
− ( x−m)2
e 2σ 2
2πσ 2
X : (−∞, ∞)
p(x) = e 1
−
(
x−m )2 2σ 2
n
n
∑ ∑ H (X )
=
lim{−
Δ→0 i=1
p(xi )Δ log
p(xi ) −
i =1
p(xi )Δ logΔ}
n
∑
p(xi )Δ
=
n
∑
pi
=
∫ab
p( x)dx
=1
i=1
i=1
b
∫ = − p(x) log p(x)dx − lim log Δ
a
Δ→0
微分熵： h(X) 又称为差熵
无限大常数项
22
2.4 波形信道及其信道容量 高斯白噪声加性波形信道是经常假设的通信
信道。
¾ 高斯噪声是指N维概率密度函数服从高斯分布 ¾ 白噪声是指功率谱密度是均匀分布 ¾ 限频的高斯白噪声过程可分解成N维统计独立的
随机序列
波形信道根据抽样定理可以转化成多维连续 信道来分析。
23
2.4 波形信道及其信道容量 设某信道的频带限于(0, W)，则其输入、输出
=
p(xi )Δ
数其时中，xi是由a中+(值i-1定)Δ理到可a知+iΔ，之必间存的在某一一个值xi值。使当上p(式x)是成X立的。连续函 6
1
1.2 连续信源的信息熵
信息熵： X ⎯Δ⎯→ X n ⎯Δ⎯→0⎯→ X
n
∑ H ( X n ) = − pi log pi
i =1 n
∑ = − p(xi )Δ log[ p(xi )Δ] i =1
∫ ∫ = −
p( x) p(n) log p(n)dxdn
−∞ −∞
+∞
∫ = − p(n) log p(n)dn = h(N ) −∞
20
2.3 加性噪声信道的信道容量
C = max I (X ;Y ) = max{h(Y ) − h(N )}= max h(Y ) − h(N )
p(x)
p(x)
σ
2 X
+
σ
2 N
−
1 2
log
2πeσ
2 N
=
1 2
log⎜⎜⎝⎛
σ
2 X
+σ
σ
2 N
2 N
⎟⎞ ⎟⎠
=
1 2
log⎜⎜⎝⎛1
+
σ σ
2 X
2 N
⎟⎞ ⎟⎠
=
1 2
log⎜⎜⎝⎛1 +
PX PN
⎟⎟⎠⎞
21
2.3 多维高斯加性信道的信道容量
n
∑ I (X; Y) ≤ I (Xi ;Yi )
i =1
2)非负性：
I (X ;Y ) ≥ 0
18
3
2.3 加性噪声信道的信道容量
连续信道的信道容量:
C = max I (X ;Y ) = max{h(Y ) − h(Y | X )}
p(x)
p(x)
一般连续信道的容量并不容易计算，当信道为加性 信道时，情况要简单一些。
19
2.3 加性噪声信道的信道容量
17
2.2 平均互信息和信道容量
连续随机变量集合X和Y之间的平均互信息定义为:
I(X;Y)
=
∫∫ p(xy)
p(xy) log
dxdy
R2
p(x) p(y)
连续随机变量的平均互信息的主要性质如下：
1) 对称性： I (X ;Y ) = h(X ) − h(X | Y ) = I (Y;X ) = h(Y ) − h(Y | X ) = h(X ) + h(Y ) − h(XY )
10
1.2 连续信源的微分熵/差熵 – 例题
例8.1 求均匀分布的随机变量的微分熵：
p(
x)
=
⎧⎪ ⎨
b
1 −
a
x ∈[a,b]
⎪⎩0
elsewise
∫ 解： h(X )
=
−
b a
p(x) log
p(x)dx
=
∫b
−
1
log
1
a b−a b−a
dx
= log(b − a)
b − a = 1 h(X ) = 0
→
→
→→
h( X ) = h( X1X 2 K X N ) = −∫ p( X ) log X d X
R
¾ 平稳随机过程 {x(t)}的差熵为：
Δ
→
h(x(t)) = lim h(X )
N →∞
¾ 对于限时T，限频F的随机过程，可用N=2FT的有限 维随机矢量表示
→
h(X) = h(X1X2KXN ) = h(X1) + h(X2 | X1) + h(X3 | X1X2) +...+ h(XN | X1X2...XN−1)
定理2 对于平均功率受限的连续随机变量，当服从
高斯分布时具有最大熵。
p(x) =
1 2πσ
2
exp⎪⎨⎧− ⎪⎩
(x − m)2 2σ 2
⎪⎫ ⎬ ⎪⎭
h(X ) = 1 log(2πeP)
2
15
主要内容
连续信源和波形信源 连续信道和波形信道
定定义义与与数数学学描描述述 信信道道容容量量的的定定义义 加加性性信信道道CC的的求求解解 波波形形信信道道CC的的求求解解
n
n
∑ ∑ = − p(xi )Δ log p(xi ) − p(xi )Δ log Δ
i =1
i =1
Δ → 0, n → ∞, 则 X n → X
H
(
X
)
=
lim
Δ→0
H
(
X
n
)
n
n
∑ ∑ =
lim{−
Δ→0 i=1
p(xi )Δ log
p(xi ) −
i =1
p(xi )Δ logΔ}
7
1.2 连续信源的信息熵 –微分熵/差熵
加性噪声信道：噪声为连续随机变量N，且与X相互
统计独立。 输入X
加性信道 Y=X+N
噪声N
+∞ +∞
∫ ∫ h(Y | X ) = −
p( xy) log p( y | x)dxdy
−∞ −∞
+∞ +∞
∫ ∫ = −
p( x) p( y | x) log p( y | x)dxdy
−∞ −∞
+∞ +∞
m=0
⇒ P = σ 2 ⇒ h(X ) = 1 log(2πeP)
2
微分熵只与平均功率有关
（平均功率 P =直流功率 m2 +交流功率 σ 2 ）
14
1.3 连续信源的最大熵
定理1 在输出幅度受限的情况下，服从均匀分布的 随机变量具有最大熵。
p(
x)
=
⎪⎧ ⎨b
1 −
a
⎪⎩ 0
a≤ x≤b 其它
h( X ) = log(b − a)
香农公式说明： 1）当信道容量一定时，增大信道的带宽可以降低对信号噪
声功率比的要求。 2） 反之当信道频带较窄时，可以通过提高信号噪声功率比 来补偿。
26
2.4 波形信道及其信道容量 – 例题
例8.3 已知信道的传输带宽，对于给定的信噪 比，求解对应的信道容量。
2
1.2 连续信源的微分熵/差熵 – 例题
解：
p(x) =
1
− ( x−m)2
e 2σ 2
2πσ 2
X : (−∞, ∞)
h( X ) = −∫ p(x) log p(x)dx
∫ = − p(x) log(
1
− (x−m)2
e 2σ 2 )dx
2πσ 2
∫ ∫ = − p(x) log
1
− (x−m)2
平稳信源：描述信源输出消息的随机序列X是平稳的随机序列
取 样 定 理
随机过程{x(t)}:
随机波形信源， 信源输出消息是 时间和取值都连 续的函数
离散平稳信源：输出随机 序列X中每个随机变量Xi 取值离散，且各维概率分 布不随时间而改变。
连续平稳信源：输出随机 序列X中每个随机变量Xi 取值连续，且各维概率密 度函数不随时间而改变。
8
1.2 差熵 – 两个连续随机变量的熵
两个连续随机变量的联合熵：
h( XY ) = −∫∫ p(xy) log p(xy)dxdy
条件熵：
R2
h(Y | X ) = −∫∫ p(xy) log p( y | x)dxdy
R2
h( X | Y ) = −∫∫ p(xy) log p(x | y)dxdy
dx − p(x) log e 2σ 2 dx
2πσ 2
∫ =
1 2
log(2πσ
2)
+
1 2σ
2
log
e
(x − m)2 p(x)dx
( ) ( ) = 1 log 2πσ 2 + 1 log e = 1 log 2πeσ 2
2
2
2
13
1.2 高斯分布随机变量的微分熵分析
高斯分布的微分熵与方差有关，与均值无关
第八章 连续信源和波形信道
2009-12-22
回顾信源的分类
随机变量X 描述信源 输出的消息
离散信源：输出消息数为有限或可数的，每次只输出一个消息 分层（量化）
连续信源：输出消息数不可数，每次只输出一个消息
随机序列X
非平稳信源：描述信源输出消息的随机序列是非平稳随机序列 ——马尔可夫信源（记忆长度有限）
信号和噪声都是限频的随机过程，频带限于 (0, W)。
根据抽样定理，可把一个时间连续的信道变 换成时间离散的信道来处理。
抽样频率为2W，即每秒传送2W个样值。
24
4
2.4 波形信道及其信道容量
信号的平均功率受限为PS，噪声的功率谱密度为N0
每个信号样本值的平均功率为: PS
2W
每个噪声样本值的平均功率为: N0W = N0
离散 连续 （理论和实用价值均很小）
3
主要内容
连续信源和波形信源
数数学学模模型型 熵熵的的求求解解 微微分分熵熵//差差熵熵 最最大大差差熵熵定定理理
连续信道和波形信道
4
1.1 数学模型
连续信源的数学模型
⎡( a, b )⎤
X :⎢ ⎥ ⎣ p(x) ⎦