2.6连续信源的熵

2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。

见图2.6.1。

各采样值的概率可用其概率分布密度函数来确定。

图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。

设各种采样值之间无相关性，信源熵可写成：])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。

连续信源的熵不再具有非负性，这与离散信源显然不同。

同样可以定义两个连续变量的联合熵：⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵；⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系：)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。

1．输出幅度范围受限（或瞬时功率受限）的信源2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。

设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。

在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了，在定义域有限的条件下，以均匀分布的熵为最大。

在实际问题中，随机变量i X 的取值限制在i b ±之间，峰值为||i b 。

如果把取值看作是输出信号的幅度，则相应的峰值功率就是2ib 。

所以上述定理被称为峰值功率受限条件下的最大连续熵定理。

此时最大熵值为：∏∏===--=Ni Ni ii ic b b bX x p H 11222log)]([log]),([(2)限平均功率的最大熵定理若信源输出信号的平均功率P 和均值m 被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。

单变量连续信源X 呈高斯分布时，PDF222)(221)(σπσm x ex p --=当X 是高斯分布以外的其它任意分布时 ，PDF 记为)(x q ,由约束条件已知Px q x dx x p x m x xq dx x xp x q dx x p ======⎰⎰⎰⎰⎰⎰∞∞-∞∞-∞∞-∞∞-∞∞-∞∞-)()()()(1)()(22由于随机变量的方差222222][])[(σ=-=-=-m P m X E m X E当均值m 为0时，平均功率就等于方差P =2σ，可见对平均功率和均值的限制就等于对方差的限制。

用[]X x p H c),(和[]X x q H c),(分别表示高斯分布和任意非高斯分布连续信源的熵由前面的讨论已知)2(log 21]),([22σπe X x p H c =]),([11)2(log 211)()()()2(log 21)()(log )()(log)()()()(1log )()(log )(]),([22222222X x p H e dxx q x p x q e dx x q x p x q dx x p x q x p x p x q x q dxx q x q X x q H c c =-+=⎥⎦⎤⎢⎣⎡-+≤⎥⎦⎤⎢⎣⎡+-=⎥⎦⎤⎢⎣⎡∙=-=⎰⎰⎰⎰⎰∞∞-∞∞-∞∞-∞∞-∞∞-σπσπ总结：在上两种情况下，信源的统计特性与两种常见噪声—均匀噪声和高斯噪声的统计特性相一致。

（3）均值受限条件下的最大连续熵定理若连续信源X 输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X 具有最大熵值。

连续信源X 为指数分布时PDF 为)0(1)(≥=-x em x p mx用[]X x p H c),(和[]X x q H c),(分别表示指数分布和任意非指数分布连续信源的熵。

记限制条件为：mx xq dx x xp x q dx x p ====⎰⎰⎰⎰∞∞∞∞0)()(1)()( meX x p H c 2log ]),([=,任意其它分布的信源熵为]),([log11)(log)(log 1)()()(1log )()()(log )()(log)()()()(1log )()(log)(]),([222222202X x p H me dx x q mx e dx x q m dxx q x p x q dx e mx q dx x q x p x q dx x p x q x p x p x q x q dxx q x q X x q H c mxc ==-++=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡-≤⎥⎦⎤⎢⎣⎡+-=⎥⎦⎤⎢⎣⎡∙=-=⎰⎰⎰⎰⎰⎰⎰⎰∞∞∞∞-∞∞--∞∞-∞∞-∞∞总结：连续信源与离散信源不同，它不存在绝对的最大熵。

其最大熵与信源的限制条件有关，在不同的限制条件下，有不同的最大连续熵值。

对三种限制条件下的连续信源的最大熵分析结果表明，连续信源的最大熵与离散信源不同，它不存在绝对的最大熵，而随限定条件不同有各自不同的最大连续熵值。

2.6.2熵功率为了表示冗余的程度，定义熵功率，所谓熵功率就是指与某个平均功率为（幅度分布为非高斯分布）的非高斯信源有同样熵的高斯信源的平均功率。

熵功率是无差错传送必要信息的最小功率。

设连续信源X 在PDF 为)(x p 时达到最大熵值]),([X x p H c,除此之外的其它任何PDF )(x q 达到的熵值为]),([X x q H c,两熵之差即表示信源的剩余,记为q p I ,，也叫信息变差(或信源的冗余)。

即信源从一种PDF )(x p 转到另一种PDF )(x q 时，信源所含信息量发生的变化。

]),([]),([,X x q H X x p H I c c q p -=从信息变差的概念出发，连续信源的熵可理解为最大熵与信息变差之间的差值。

qp c c I X x p H X x q H ,]),([]),([-=讨论均值为零、平均功率限定为P 的连续信源的冗余问题。

当PDF 为高斯分布时达到最大熵ePX x p H c π2log21]),([2=仅随限定功率P的变化而变化。

假定限定的功率为P ，相应的熵为]),([p cX x p H，若P P ≤，则有]),([]),([X x p H X x p H c p c ≤当PDF 为其它任何分布)(x q 时，也有 ]),([]),([X x p H X x q H c c ≤总能找到某一个P P ≤，使Pe X x p H X x q H p c c π2log 21]),([]),([2==此即P 的大小决定了实际信源的熵值。

称P 为连续信源X 在PDF 为)(x q 时的熵功率。

它与信息变差之间的关系：PPI q p 2.log21=总结:信源的冗余度决定于平均功率的限定值P 与信源的熵功率P 之比。