第2章2.3连续信源

第2章 信源熵
HUST --- Information and Cod来自百度文库ng Theory
2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源
2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量
-
随机
F (x)为单调非降函数；
变量X F (x)左连续，即F (x) F (x 0);
满足：
lim F (x) 0, lim F (x) 1.
x
x
6
HUST --- Information and Coding Theory
连续信源熵的计算方法
简单连续信源的模型可写为
X x
P
p(x)
i 1
i 1
n
n
[ p(xi ) log p(xi )]Vx p(xi )Vx logVx
i 1
i 1
当n ,即Vx 0时，由积分定义，则有
H
(
X
)
lim
n
H
n
(
X
)
b
b
H (X ) p(x) log p(x)dx lim p(x) logVxdx
a
Vx0 a
b
H ( X ) p(x) log p(x)dx lim logVx
1
连续信源
HUST --- Information and Coding Theory
实际应用：信源的输出往往是时间的连续函数，如语 音信号、电视图像等。由于它们的取值既是连续的又 是随机的，称为连续信源，且信源输出的消息可以用 随机过程描述。
连续信源的数学描述：对于某一连续信源X(t),当给定某 一时刻t=to时，其取值是连续的，即时间和幅度均为连 续函数。 由于连续信源中消息数是无限的，其每一可
p(
x)dx
1
假设x x[a,b],令Vx (b a) / n,xi [a (i 1)Vx, a iVx],
则连续信源模型可改写成离散信源模型
X
P
xi
a (i 1)Vx, a iVx
a i Vx
pi
p( x)dx
a ( i 1)Vx
由积分中值定理得到
若F x1,x2 ,L ,xn;t1,t2 ,L ,tn 的 n 阶偏导数存在，则有
p(x1x2 L
xn ;t1t2 L
tn
)
nF
(x1, x2 ,L x1x2
xn;t1, t2 ,L L xn
tn )
则称上式为随机过程X (t)的 n 维概率密度函数。
n
若满足 p(x1x2 L xn;t1t2 L tn ) pxi (xi , ti ) i 1
a i Vx
pi a(i1)Vx p(x)dx p(xi )Vx
7
HUST --- Information and Coding Theory
连续信源熵的计算方法-续
根据离散信源熵的定义，则
n
n
Hn ( X ) pi log pi p(xi )Vx log p(xi ) •Vx
由于实际应用中常常关心的是熵之间的差值，无穷项 可相互抵消，故这样定义连续信源的熵不会影响讨论 所关心的交互信息量、信息容量和率失真函数。
需要强调的是连续信源熵的值只是熵的相对值，不是 绝对值，而离散信源熵的值是绝对值。
9
第2章 信源熵
HUST --- Information and Coding Theory
4
连续信源的数学模型
HUST --- Information and Coding Theory
若给定 n 个时刻ti , i 1,2,L ,n 随机变量 X (ti ),i 1,2,L ,n 的联合分布函数为：
F x1,x2 ,L ,xn;t1,t2 ,L ,tn PX (t1) x1, X (t2 ) x2,..., X (tn ) xn
T
x(t)dt
T 2T T
集平均：
E X ti
xp ( x)dx
E X ti x(t)
3
连续信源
HUST --- Information and Coding Theory
研究方法一：取样、量化。时间离散、取值离散，简 化为离散信源（上一节已讨论）
研究方法二：只取样、不量化。时间离散、取值连续。 研究一个随机序列，序列中的每个分量的取值是连续 的（本节研究的重点）
能的消息是随机过程的一个样本函数，可以用有限维 概率分布函数或有限维概率密度函数来描述连续信源。
2
连续信源
HUST --- Information and Coding Theory
平稳随机过程：统计特性不随时间的平移而变化的随 机过程。
平稳遍历的随机过程：集平均与时间平均相等。
时间平均： x(t) lim 1
简单的连续信源可以用一维随机变量描述
若随机变量X 存在非负函数p(x),且 p(x)dx 1，
并且
x
F(x) P(X x) p(a)da
称X 为具有连续型分布，或称X 为连续型随机变量。
其中，p(x)为概率密度函数，F (x)为概率分布函数。
连续
p(x) 0；
p(x)dx 1;
2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源
2.3.1 连续信源的熵 2.3.2 几种特殊连续信源的熵 2.3.3 最大连续熵定理 2.3.4 联合熵、条件熵和平均交互信息量
a
Vx0
上式中第一项具有离散信源熵的形式，第二项为无穷项8。
定义 连续信源的熵
HUST --- Information and Coding Theory
对于连续信源X，若其概率密度为p(x)，则连续信源
的熵为
H (X ) p(x) log p(x)dx
解释
连续信源的熵与离散信源的熵具有相同的形式，但其 意义不相同。连续信源熵与离散信源熵相比，去掉了 一个无穷项，连续信源的不确定性应为无穷大。
式中 pxi (xi ,ti )为X (t) 的边沿概率密度，则称为独立的随机过程。
任何一个随机过程都可用一组随机变量来描述，研究连续信源
可以首先对单个随机变量情况进行讨论，然后推广到 n 维情况5。
2.3.1连续信源的熵
HUST --- Information and Coding Theory