连续信源和连续信道共37页文档

N
Hc(X)lo2g (bi ai) lo2g (bi ai)
i1
i1
HcX1HcX2HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
设一维随机变量 X的取值范围是整个实数轴R，概 率密度函数呈正态分布
n
n
p (x i) lo g 2p (x i) ln i m lo g 2
p (x i)
i 1
i 1
0
0
0
a bp(x)log2p(x)dxlni m log2a bp(x)dx
0
b
ap(x)log2p(x)dxl i m 0log2
定义连续信源熵:
HC(X)Rp(x)log2p(x)dx
2.3.1连续信源熵
连续信源基本的数学模型为
R
Xp(x),Rp(x)dx1
其中 R是全实数集，是连续变量X的取值范围，p(x)为X 的概率密度。
假设x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i1)Δ，a+iΔ］，p(x)为连续变量X的概率密度函数，则利 用中值定理X落在第i个小区间的概率是
P (a i 1 X a i ) a a ( ii 1 ) p (x ) d x p (x i)
根据离散信源熵的定义，则
n
H(X) p(xi)log2 p(xi) i1
n
n
p(xi)log2 p(xi) p(xi)log2
i1
i1
n→∞时，即Δ→0 时，得：
n
n
lim H (X ) lim
lo g 2m 0 pxd xlo g m 2e0 xpxd x log2 me
指数分布的相对熵只取决于信源的均值m
2.3.3 连续信源熵的性质及最大连续熵定理
1. 连续熵可为负值
2. 可加性 HcXYHcXHcY/X HcXYHcYHcX/Y
推广到N个变量：
H c X 1 X 2 L X N H c X 1 H c X 2 /X 1 H c X 3 /X 1 X 2 L H c X N /X 1 X 2 L X N 1
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得 H c ( X ) P ( x )lo g 2 P ( x ) d x 3 1 lo g 2 1 d x 1 b it
12 2
由图(b)得 H c ( X ) P ( x ) lo g 2 P ( x ) d x 6 1 lo g 2 1 d x 2 b it
若： ba1 Hc(X)0 ba1 Hc(X)0
相对熵无非负性，可为负值
N维均匀分布：N维矢量（X1 X2 …XN）中各分量彼
此统计独立，且分别在[a1，b1] [a2，b2] …[aN，bN] 的
区域内均匀分布，即
1
N
p(x)
i1
bi
ai
0
N
xbi ai i1 N
xbi ai i1
N
4. 最大连续熵定理 在不同的限制条件下，信源的最大熵也不同。
（1）限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，
2.3.2 几种特殊连续信源的熵
1. 均匀分布的连续信源的熵，其大小仅与区域的边界有关。
一维均匀分布： p(x)b1a (x[a,b]) 0 (x[a,b])
b
H c(X)ap(x)log2p(x)dx
abb1alog2b1adx
1
b
balo g2(ba )a1 d xlo g2(ba )
1 2 lo g 222 2 1 2lo g 2e p (x )(x m )2 d x
1ຫໍສະໝຸດ Baidu2
log2
2e
2
与方差有关，与均值无关
当均值m=0，X的方差就是随机变量的平均功率
2 E X m 2 ( x m ) 2 p ( x ) d x x 2 p ( x ) d x P
2 4 4
同理，可定义两个连续变量X，Y的联合熵和条件熵：
H c(X Y ) p(xy)lo g2p (xy)d xd y R 2
Hc(Y| X) p(x)p(y| x)log2 p(y| x)dxdy R2 H c(X |Y ) p (x )p (x|y )lo g 2p (x|y )d x d y R 2
Hc(X)12lo2g2eP
相对熵只与平均功率有关
3. 指数分布的连续信源的熵：只取决于均值
若一维随机变量X的取值空间是[0，∞］，其概率密
度函数为 p(x)1em x，且 (x0)
m
其中：m E [X ] x(x p )d x x1e m xd x m
0
0m
H c (X ) 0 p x lo g 2 p x d x 0 p x lo g 2 m 1 e m x d x
3. 平均互信息的非负性
Ic (X;Y) Ic (Y; X ) Hc(X ) Hc(X /Y) Hc (Y) Hc (Y / X ) Hc (X ) Hc (Y) Hc (XY)
连续信道的平均互信息量和离散信道下平均互信息量 的关系式完全类似，且保留了离散信道平均互信息量的所有 含义和性质。可见，将差熵定义为连续信源的熵是有重要实 际意义的。
p(x) 1 e(x2m2)2
22
mEX x(px)dx
2EXm2 (xm)2p(x)dx
H c (X ) p (x )lo g 2p (x )d x p (x )lo g 2 2 12e (x 2 m 2 ) 2 d x p (x )lo g 2 2 12d x p (x )(x 2 m 2 )2lo g 2 e d x
上式定义的连续信源的熵并不是实际信源输出的绝对熵， 连续信源的绝对熵应该再加上一项无限大的常数项。因为连 续信源的可能取值有无限多个，若其取值是等概率分布的， 那么，信源不确定性为无限大。当确知输出为某值后，所获 得的信息量也将为无限大。可见，Hc(X)已不能代表信源的 平均不确定性大小，也不能代表连续信源输出的信息量。