2.6连续信源的熵

2.6连续信源的熵

所谓连续信源就是指其输出在时间上和取值上都是连续的信源。见图2.6.1。

各采样值的概率可用其概率分布密度函数来确定。图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。

设各种采样值之间无相关性，信源熵可写成：

]

)(log[)(dx x p dx x p i i

i ∑

[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。

连续信源的熵不再具有非负性，这与离散信源显然不同。

同样可以定义两个连续变量的联合熵：

⎰⎰-=dxdy xy lbp xy p XY H )()()(

以及定义两个连续变量的条件熵；

⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(

连续信源的共熵、条件熵、单独熵之间也存在如下关系：

)()()(Y H X H XY H +≤

2.6.1三种特定连续信源的最大熵

与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。

1．输出幅度范围受限（或瞬时功率受限）的信源

2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理

若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 设N 维随机变量

∏=∈N

i i

i

b a X 1

),( i

i

a b

>

其均匀分布的概率密度函数为

⎪

⎪

⎩

⎪⎪⎨⎧-∉-∈-=∏∏∏===N

i i i N

i i i N

i i i a b x a b x a b x p 1

11

)

(0)

()

(1)(

除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c

),(和[]X x q H c

),(分别表示均匀分布和任意非均匀分布连续信源的熵。在

1)()(1

1

1

1

21

21

==

⎰⎰⎰⎰N b a b a N b a b a dx dx dx

x q dx dx dx

x p N N

N N

的条件下有

[]⎰⎰-=1

1

12

)(log

)(),(b a N

b a

c dx dx x q x q X x q H N

N

⎰⎰⎰⎰⎰⎰+

-=⎥⎦⎤

⎢⎣⎡∙=1

1

1

1

1

1

12

12

12)

()(log

)()(log

)()()()(1log )(b a N

b a b a N b a b a N

b a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q N

N

N

N

N N

令0,)

()(≥=

z x q x p z

显然

运用著名不等式

1ln -≤z z 0>z 则

]

),([11)(log

1)()()()

(1

log

)(]),([1

2

111

2

1

1

1

1

X x p H a b

dx dx x q x p x q dx dx a b

x q X x q H c N

i i i

b a N

b a b a N N

i i i

b a

c N N N

N

=-+-=⎥⎦⎤

⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==

则证明了，在定义域有限的条件下，以均匀

分布的熵为最大。

在实际问题中，随机变量i X 的取值限制在i b ±之间，峰值为||i b 。如果把取值看作是输出信号的幅度，则相应的峰值功率就是2i

b 。所以上述定理被称为峰值功率受限条件下的最大连续熵定理。此时最大熵值为：

∏∏===--=N

i N

i i

i i

c b b b

X x p H 1

1

2

2

2log

)]([log

]),([

(2)限平均功率的最大熵定理

若信源输出信号的平均功率P 和均值m 被

限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。

单变量连续信源X 呈高斯分布时，PDF

22

2)(2

21)(σ

πσ

m x e

x p --

=

当X 是高斯分布以外的其它任意分布时 ，PDF 记为)(x q ,由约束条件已知

P

x q x dx x p x m x xq dx x xp x q dx x p ==

==

==⎰

⎰

⎰

⎰⎰

⎰∞

∞

-∞

∞

-∞

∞

-∞

∞-∞

∞

-∞

∞-)()()()(1)()(2

2

由于随机变量的方差

2

2

2

2

2

2

][])[(σ=-=-=-m P m X E m X E

当均值m 为0时，平均功率就等于方差

P =2

σ

，可见对平均功率和均值的限制就等

于对方差的限制。用[]X x p H c

),(和[]X x q H c

),(分别表示高斯分布和任意非高斯分布连续信源的熵

由前面的讨论已知