4连续信源及信源熵

（1） 连续信源定义
连续信源：输出消息在时间和取值上都连 续的信源。
例子：语音、电视等。 连续信源输出的消息是随机的，与随机过 程{x(t)}相对应。可用有限维概率密度函数 描述。
(2) 随机过程及其分类
① 随机过程 ② 随机过程的分类
① 随机过程
随机过程定义：随机过程{x(t)}可以看成由 一系列时间函数xi(t)所组成，其中 i=1,2,3,…，并称xi(t)为样本函数。
(2) 连续信源的熵 ① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
① 单变量连续信源数学模型 单变量连续信源数学模型
X
:

R p(x)
并满足 R p(x)dx 1
② 连续信源的熵
Pa (i 1) x a i
(1) 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布 时的熵为 Hc(X)=log2(b-a)
若N维矢量X=(X1X2…XN)中各分量彼此统计独 立，且分别在[a1,b1][a2,b2] …[aN,bN]的区域内 均匀分布，即
1
N
p(x)

(bi i1
ai
)
0
N
x (bi ai ) i 1
N
x (bi ai ) i 1
Hc(X ) Hc(X1X2 L XN )
L bN aN
b1 a1
p(x) log2
p(x)dx1 L
dxN
L bN aN
b1
1
1
log dx L dx a1
Hc (XY ) p(xy) log2 p(xy)dxdy R2
两个连续变量的条件熵
Hc (Y / X ) p(xy) log2 p( y / x)dxdy R2
Hc (X / Y ) p(xy) log2 p(x / y)dxdy R2
3.6.3 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 (2) 高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵

lim(log
n
2
)
0
连续信源的熵
Hc (X ) R p(x) log2 p(x)dx
③举 例
若连续信源的统计特性为均匀分布的概率密度
函数
p(
x)


1 ba
0
a xb x b, x a
则
Hc ( X
)
－
b a
1 ba
log2
1 ba
dx
② 随机过程的分类
可以分为两类：根据统计特性，连续随机 过程可分为平稳与非平稳随机过程两大类。
(3) 通信系统中的信号
一般认为，通信系统中的信号都是平稳的 随机过程。
(4) 平稳遍历的随机过程
随机过程{x(t)}中某一样本函数x(t)的时间平均
值定义：
T
x
(t)

lim
T
1 2T
n
n
lim H (X )
n 0

lim n 0
i1
p(xi ) log2
p(
xi
)

lim(log
n
2
0
)
i1
p(xi )
b
b


a
p(x) log2
p(
x)dx

lim(log
n
2
)
Biblioteka Baidu
a
p(x)dx
0
b


a
p(x) log2
p(
x)dx

log2 (b
a)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
④连续信源熵的意义
1）连续信源熵并不是实际信源输出的绝对熵，是 相对熵
2）连续信源的绝对熵还有一项正的无限大量，虽 然log2(b-a)小于0，但两项相加还是正值，且一般 还是一个无限大量。因为连续信源的可能取值数 有无限多，若假定等概率，确知其输出值后所得 信息量也将为无限大；
3.6 连续信源及信源熵
3.6.1 一些基本概念 3.6.2 连续信源的熵 3.6.3 几种特殊连续信源的熵 3.6.4 连续熵的性质 3.6.5 最大连续熵定理
3.6.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程
ai
p(x) dx p
a ( i 1)
xi

n
n
n
H (X ) p(xi ) log2 p(xi ) p(xi ) log2 p(xi ) p(xi ) log2
i1
i1
i1
当n , 0时，若极限存在，即得连续信源的熵为
N
(bi ai )
2N
1
(bi ai )
N
i1
i1
N
log2 (bi ai ) i 1
N
log2 (bi ai ) i 1
Hc(X1) Hc(X2) L Hc(XN )
(2) 高斯分布的连续信源的熵
一维随机变量X的取值范围是整个实数轴R，概
率密度函数呈正态分布，即
3）Hc(X)不能代表信源的平均不确定度，也不能代 表连续信源输出的信息量
4）这种定义可以与离散信源在形式上统一起 来；
5）在实际问题中常常讨论的是熵之间的差值 问题，如信息变差、平均互信息等。在讨 论熵差时，两个无限大量互相抵消。所以 熵差具有信息的特征；
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
x(t)dt
T

统计平均值：
E(xti )
xp(t)dx

遍历的随机过程：时间平均与统计平均相等，
即
x (t) E(xti )
3.6.2 连续信源的熵
(1) 计算连续信源熵的两种方法 (2) 连续信源的熵 (3) 连续信源的联合熵、条件熵
(1) 计算连续信源熵的两种方法
p(x) e 1

(
xm )2 2 2
2 2
m是X的均值

m E[X ] xp(x)dx
2是X的方差
2 E[( X m)2 ] (x m)2 p(x)dx
第一种方法：把连续消息经过时间抽样和 幅度量化变成离散消息，再用前面介绍的 计算离散信源的方法进行计算。即把连续 消息变成离散消息求信源熵
第二种方法：通过时间抽样把连续消息变 换成时间离散的函数，它是未经幅度量化 的抽样脉冲序列，可看成是量化单位Δx趋 近于零的情况来定义和计算连续信源熵。