2.4连续信源熵

2.4 连续信源熵
信源的数学模型
信源的信息测度
–随机变量、随机序列
–简单离散信源：H(X)
–离散无记忆信源：H ∞(X)–离散有记忆信源：H ∞(X)= H L (X)=H(X)离散信源
≤H L (X) ≤H(X)
复习
输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。

连续信源输出的状态概率用概率密度来表示。

连续信源的数学模型
(,)()()()1
b
a X a
b p x p x p x dx ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦=∫并满足
定义
∫−=b
a c dx
x p x p X H )(log )()(1) 连续熵为相对熵，其值为绝对熵减去一个无穷大量(因为连续信源有无穷多个状态）2) 连续熵不具有非负性，可以为负值；4) 尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。

3) 连续熵不等于一个消息状态具有的平均信息量，其值是有限的，而信息量是无限的；连续熵
连续变量的联合熵和条件熵
222()()log ()(/)()log (/)(/)()log (/)c xy
c xy
c xy
H XY p xy p xy dxdy
H X Y p xy p x y dxdy
H Y X p xy p y x dxdy
=−=−=−∫∫∫∫∫∫连续熵
(;)()(|)
()(|)()()()
C C C C C C C I X Y H X H X Y H Y H Y X H X H Y H X Y =−=−=+−平均互信息量
–连续熵可为负值（连续熵的相对性所致）–可加性–平均互信息的非负性，对称性，信息处理定理
)
/()()/()()(Y X H Y H X Y H X H XY H c
c
c
c
c
+=+=连续熵的性质
()()()()()
()()()()()
|||,(;)0(;)(;)(;)(;)
c c c c c c c c c c c c c c c H X Y H X H Y X H Y H X Y
H Y X H Y H X Y H X H Y I X Y I X Y I Y X I X Z I X Y =+=+≤≤+≥=≤
最大连续熵定理
连续信源与离散信源不同，
1)它不存在绝对最大熵;
2)其最大熵与信源的限制条件有关。

•峰值功率受限的最大熵定理
若连续随机变量X 的峰值不超过M ，即X 限于(-M,M)内取值，则X 的相对熵
()ln 2c H X M
≤当且仅当X 为均匀分布时等号成立。

最大连续熵定理
思考
作业2.23 2.28 2.29。