马尔可夫信源极限熵

第2章信源与信息熵

香农信息论的基本点

用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。

信源的分类

按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类.

单符号信源概率空间描述

自信息量

单位：bit（一个比特表示一个等概率的二进制符号信息量）

自信息量与不确定度的关系

✓不确定度:

⏹随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不

相同．

⏹一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度

就很小。

⏹一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含

的不确定度就很大。

⏹若是确定性事件，出现概率为1，则它包含的不确定度为0。

✓说明:

⏹具有某种概率分布的随机事件不管发生与否，都存在不确定度，

⏹不确定度表征了该事件的特性，

⏹而自信息量是在该事件发生后给予观察者的信息量。

联合自信息量为：

条件自信息量为：

信源熵

=【信源的平均不确定度】=【平均自信息量】

条件熵：

∑∑==i

j i j i j

i j i j i y x p y x p y x I y x p Y X H )|(log ),()|(),()/(,

联合熵

∑∑==i

j i j i j

i j i j i y x p y x p y x I y x p Y X H ),(log ),(),(),(),(,

联合熵、条件熵与信源熵的关系

H(XY)=H(X)+H(Y/X)，H(XY)=H(Y)+H(X/Y) 互信息定义：后验概率与先验概率比值的对数

)

()

/(log

);(i j i j i x p y x p y x I =

平均互信息量

∑==y

x x p y x p y x p Y X I ,)

()/(log

),();(

疑义度

条件熵H(X/Y)：信道上的干扰和噪声所造成的对信源符号x 的平均不确定度． 噪声熵或散布度

条件熵H(Y/X)：可看作唯一地确定信道噪声所需要的平均信息量．

互信息量与熵的关系 H(XY)=H(X)+H(Y/X)

=H(Y)+H(X/Y)

H(X)≥H(X/Y)，H(Y)≥H(Y/X) I(X;Y)=H(X)-H(X/Y)

=H(Y)-H(Y/X)

=H(X)+H(Y)-H(XY) H(XY)≤

H(X)+H(Y)

信息不增性：

数据处理过程中只会失掉一些信息，绝不会创造出新的信息． 最大熵定理

(1) 限峰功率最大熵定理：

对于定义域为有限的随机矢量X ，当它是均匀分布时，具有最大熵。 (2) 限平均功率最大熵定理：

若连续变量 X 的方差一定 ，当它是正态分布时具有最大熵。 信源的序列熵：

（请注意：序列X 的多种写法！）

H(X L )＝H(X 1X 2…X L )＝H(X 1)＋H(X 2/X 1)＋…＋H(X L /X 1X 2…X L-1) 平均每个符号的熵为

)X X H(X 1

)(L 21 L

X H L =

若当信源退化为无记忆时，有

()()L 21L 21X H X H )H(X )X X H(X )( ++==X H 若进一步又满足平稳性时，则有

)H(X )(1L X H = 推广结论

马尔可夫信源

✓ 表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。

✓ 当记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。也就是信源每次发出的符号只与前m 个符号有关，与更前面的符号无关。 稳态分布概率

定义：若齐次马尔可夫链对一切i,j 存在不依赖于i 的极限，则称其具有遍历性，Wj 称为稳态分布概率

马尔可夫信源极限熵：

∑∑⋅==∞i

i i i

i i s X H W s X H s p H )/()/()()(X

())/s p(x )log /s p(x X/s H i j j

i j i ∑-=其中，

冗余度：

它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).

)

()(11:

)()(:

X H X H X H X H m m ∞∞-

=-==

ηγη定义冗余度定义信息效率

其中：H ∞(X)为信源实际熵，Hm(X)信源最大熵。

习题2 信源与信息熵

习题2-1

2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，

()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：

✓ 状态图如下

✓ 状态转移矩阵为：

✓ 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

✓ 由1231WP W W W W =⎧⎨++=⎩

， 得：1231132

231231112331223231

W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩