第三章连续信源及信源熵

当m0时，2就是随机变量的平均功率 P x2p(x)dx
由这样随机变量X所代表的信源称为高斯分布的连续信源。
这个连续信源的熵为
Hc(X) p(x)log2 p(x)dx
p(x)log2
1
e dx (
xm)2 22
22
p(x)(log2
22 )dx
p(x)(log2
e)
(xm)2
22
dx
因为
p(x)dx 1,
p(x)
(xm)2
22
dx
1 2
所以
Hc(X) log2
22
（1） 连续信源定义
连续信源：输出消息在时间和取值上都连 续的信源。
例子：语音、电视等。 连续信源输出的消息是随机的，与随机过 程{x(t)}相对应。可用有限维概率密度函数 描述。
(2) 随机过程及其分类
① 随机过程 ② 随机过程的分类
① 随机过程
随机过程定义：随机过程{x(t)}可以看成由 一系列时间函数xi(t)所组成，其中 i=1,2,3,…，并称xi(t)为样本函数。
② 随机过程的分类
可以分为两类：根据统计特性，连续随机 过程可分为平稳与非平稳随机过程两大类。
(3) 通信系统中的信号
一般认为，通信系统中的信号都是平稳的 随机过程。
(4) 平稳遍历的随机过程
随机过程{x(t)}中某一样本函数x(t)的时间平均
值定义：
T
x(t)Tli m21T
x(t)dt
H c(X ) H c(X1X 2L X N )
L bN aN
b1 a1
p(x)
log 2
p ( x)dx1 L
dxN
L bN aN
b1
1
1
lo g d x L d x a1
N
(bi ai )
2N
1
(bi ai )
N
i1
i1
N
log 2 (bi ai ) i1
N
lo g 2 (bi a i ) i1
4）这种定义可以与离散信源在形式上统一起 来；
5）在实际问题中常常讨论的是熵之间的差值 问题，如信息变差、平均互信息等。在讨 论熵差时，两个无限大量互相抵消。所以 熵差具有信息的特征；
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
H c(X Y) p(xy)log2p(xy)dxdy R 2
两个连续变量的条件熵
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy R2
3.6.3 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 (2) 高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵
(1) 均匀分布的连续信源的熵
第二种方法：通过时间抽样把连续消息变 换成时间离散的函数，它是未经幅度量化 的抽样脉冲序列，可看成是量化单位Δx趋 近于零的情况来定义和计算连续信源熵。
(2) 连续信源的熵 ① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
① 单变量连续信源数学模型 单变量连续信源数学模型
T
统计平均值：
E(xti
)
xp(t)dx
遍历的随机过程：时间平均与统计平均相等，
即
x(t)E(xti )
3.6.2 连续信源的熵
(1) 计算连续信源熵的两种方法 (2) 连续信源的熵 (3) 连续信源的联合熵、条件熵
(1) 计算连续信源熵的两种方法
第一种方法：把连续消息经过时间抽样和 幅度量化变成离散消息，再用前面介绍的 计算离散信源的方法进行计算。即把连续 消息变成离散消息求信源熵
H c(X1) H c(X 2) L H c(X N )
(2) 高斯分布的连续信源的熵
一维随机变量X的取值范围是整个实数轴R，概
率密度函数呈正态分布，即
p(x) e 1
( x2m2)2
22
m是X的均值
m E[X] xp(x)dx
2是X的方差 2 E[(X m)2] (xm)2 p(x)dx
R X: p(x)
并 满 足Rp(x)dx1
② 连续信源的熵
P a ( i 1 ) x a i a a ( ii 1 ) p (x )d x p x i
n
n
n
H(X) p(xi)log2 p(xi) p(xi)log2 p(xi) p(xi)log2
i1
i1
1）连续信源熵并不是实际信源输出的绝对熵，是 相对熵
2）连续信源的绝对熵还有一项正的无限大量，虽 然log2(b-a)小于0，但两项相加还是正值，且一般 还是一个无限大量。因为连续信源的可能取值数 有无限多，若假定等概率，确知其输出值后所得 信息量也将为无限大；
3）Hc(X)不能代表信源的平均不确定度，也不能代 表连续信源输出的信息量
i1
当n , 0时，若极限存在，即得连续信源的熵为
n
n
limH(X)
n 0
lim n 0
i1
p(xi )log2
百度文库p(xi) lnim(log2
0
)
i1
p(xi )
b
b
a p(x)log2 p(x)dx lnim(log2 ) a p(x)dx
0
b
a p(x)log2 p(x)dx lnim(log2 )
一维连续随机变量X在[a,b]区间内均匀分布 时的熵为 Hc(X)=log2(b-a)
若N维矢量X=(X1X2…XN)中各分量彼此统计独 立，且分别在[a1,b1][a2,b2] …[aN,bN]的区域内 均匀分布，即
1
N
p(x)
(bi i1
ai
)
0
N
x (bi ai ) i1
N
x (bi ai ) i1
3.6 连续信源及信源熵
3.6.1 一些基本概念 3.6.2 连续信源的熵 3.6.3 几种特殊连续信源的熵 3.6.4 连续熵的性质 3.6.5 最大连续熵定理
3.6.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程
0
连续信源的熵
H c(X )Rp (x)lo g 2p (x)d x
③举 例
若连续信源的统计特性为均匀分布的概率密度
函数
p(x)b01a
axb xb,xa
则 Hc(X)－abb 1alog2b 1adxlog2(ba)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
④连续信源熵的意义