连续信源熵和信道容量

E Xti
xp( x)dx
E X ti x(t)
满足上述条件的{x(t)}称为遍历的随机过程。
3
6.1.1 连续信源熵的定义
计算连续信源熵的两种方法： 1 将连续信源离散化，再用离散熵计算；
2 先进行抽样，再把抽样序列看作量化 单位△趋于0时的情况， 然后定义计算信源熵。
一维概率密度函数(边缘概率密度函数)：
b a
p(x) log2
p(x)dx
b a
b
1
a
log
2
1 dx ba
log2 (b a) , (b a) 1
均匀分布的连续信源熵 7
连续信源熵
相对熵
离散信源熵
绝对熵
其他连续熵的定义：
Hc ( XY ) p(xy) log p(xy)dxdy R2
Hc ( X Y ) p(xy) log p(x y)dxdy R2
Ic ( X ; Z ) Ic ( X ;Y ), Ic ( X ; Z ) Ic (Y ; Z )
(6.1.30a) (6.1.30b)
(6.1.31) (6.1.32)
15
4 最大连续熵定理
1 限峰值功率的最大熵定理 若代表信源的N维随机变量取值被限定在一定范围 内，在有限定义域内均匀分布的连续信源有最大熵。
第6章
6.1 连 续 信 源 熵
6.2 熵
功
率
6.3 连 续 信 道 的 信 道 容 量
1
连续 信源
平稳信源 非平稳信源
连续信源的分类
统计特性与时间起点无关的 连续信源。
遍历的随机过程
统计平均以概率1等于时间平 均的平稳随机过程。
2
时间平均： 统计平均：
lim 1
T
x(t)dt x(t)
T 2T T
Hc ( X ) p(x) log2 p(x)dx p(x) log2(
1
( x m)2
e 22 )dx
2
log2
22
p(x)dx
log e
(x m)2
p(x)
22
dx log2
(6.1.16) 2e2
11
高斯信源的熵仅与方差有关。
原因 2影响信源的整体特性，m对整体特性无影响。
R
R2
Hc ( X ) Hc (Y X )
14
3 平均互信息量的非负性
Ic(X ;Y ) Hc(X ) Hc(X Y ) 0 Ic (Y ; X ) Hc (Y ) Hc (Y X ) 0 证明过程和方法与离散信源类似。 连续信源的平均互信息量也满足对称性。
Ic ( X ;Y ) Ic (Y ; X ) 连续信源的平均互信息量还满足数据处理定理。
N
Hc ( X ) log(bi ai ) i1
(6.1.11)
Hc(X1) Hc(X2) Hc(X N )
10
2 高斯分布的连续信源的熵
概率密度函数：
p(x)
1
( xm)2
e 22
2
均值：m xp(x)dx
方差：2 = (x m)2 p(x)dx
m=0时的平均功率： P 2
n
n
0
0
6
连续信源熵(相对熵)定义：
为了在形式上与离散信源熵统一，定义连续信源熵。
Hc ( X ) p(x) log p(x)dx
(6.1.6)
熵差仍然具有信息的特征: Ic ( X ;Y ) Hc ( X ) Hc ( X Y )
p(x)
b
1 a
a xb
0
x b, x a
Hc (X )
9
Hc (X )
bN aN
b1 a1
p( x) log2
p( x) dx1
dxN
bN aN
b1
a1
N
1 log (bi ai )
N
1 dx1
(bi ai )
dxN
(6.1.10)
i 1
i 1
N
log (bi ai ) i 1
当随机矢量中各分量相互统计独立时，总熵等于各随机变量熵之和。
中值定理：
ai
P(a (i 1) X a i) a(i1) p(x)dx p(xi )
n
H ( X ) p(ai ) log p(ai ) i 1
n
n
p(ai ) log p(ai ) p(ai ) log
i 1
i 1
lim H ( X ) p(x) log p(x)dx lim log p(x)dx
1 连续信源熵可为负值 2 连续信源熵的可加性
Hc ( XY ) Hc ( X ) Hc (Y X ) Hc ( XY ) Hc (Y ) Hc (X Y ) 推广到N个变量的情况
Hc (X1X2 XN ) Hc (X1) Hc (X2 X1) Hc (X3 X1X2 ) Hc (XN X1X2 XN )
p(x)
pX
(x)
dF (x) dx
F (x) : X的概率分布函数。
dF ( y) p( y) pY ( y) dy
F ( y) : Y的概率分布函数。
4
单变量连续信源的数学模型为：
R
X
:
p( x)
并满足
p(x)
p(x)dx 1 ba n
a
a (i 1) xi a i b
x
图6.1.1 概率密度函数 5
3 指数分布的连续信源的熵
p(x)
1
x
em
(x 0)
均值
m
Hc (X )
0
p(x) log2
p(x)dx
0
p(
x)
log
2
(
1 m
e
x m
)dx
x
log2 m 0 p(x)dx log2 e 0 p(x) m dx log2 (me)
12
Βιβλιοθήκη Baidu
6.1.3 连续信源熵的性质和定理
13
证明：
Hc ( XY ) p(xy) log2 p(xy)dxdy R2
p(xy) log2 p(x)dxdy p(xy) log2 p( y x)dxdy
R2
R2
p(xy)dylog2 p(x)dx p(xy) log2 p( y x)dxdy
R2
R2
p(x) log2 p(x)dx p(xy) log2 p( y x)dxdy
Hc (Y X ) p(xy) log p( y x)dxdy R2 8
6.1.2 几种特殊连续信源的信源熵
1 均匀分布的连续信源的熵
一维： log2 (b a)
N维： X X1X 2 X N
1
N
p(
x)
i
1
(bi
ai
)
0
N
x (bi ai ) i 1
N
x (bi ai ) i 1
N
X (ai;bi ), bi ai i 1
1 N
N
X (ai ; bi )
p( x)