信息论基础— 信源及其平均不确定性ch03.article

信息论基础—信源及其平均不确定性

Contents

1 信源的分类和建模1

2 离散平稳信源的熵率3

3 离散马尔可夫信源及其熵率4

3.1 离散马尔可夫信源. . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3.2 离散马尔可夫信源的熵率. . . . . . . . . . . . . . . . . . . . . . . 4

4 离散信源的相关性和剩余度4

5 连续信源6

5.1 连续信源的微分熵. . . . . . . . . . . . . . . . . . . . . . . . . . . 6

5.2 连续信源的最大熵. . . . . . . . . . . . . . . . . . . . . . . . . . . 7

5.3 连续信源的熵功率. . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1 信源的分类和建模

?信源(Information Source) 是信息的来源。信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量X、随机序列X 和随机过程X(t, ω) 的源。信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。

?信源的描述与分类

–单消息（符号）信源：它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围X 和对应概率分

布P (X) 共同组成的二元序对[X, P (X)] 来表示。

[

X ]

P (X) =

[

x1 x2 . . . x r

p(x1) p(x2) . . . p(x r )

]

(1)

1

2

– 实际信源（多符号信源）在离散情况下是消息序列信源，在连续情况 下是随机过程信源，它们分别代表数字与模拟信源。

X = (X i 1 , X i 2 , . . . , X i l , . . . , X i N )

(2) 简记

=(X 1, X 2, . . . , X l , . . . , X N )

(3)

其中，i = 1, 2, . . . , r 为每个消息（符号）取值的种类数，l = 1, 2, . . . , N 为消息（符号）序列的长度

信源输出是一组随机序列（矢量）：

X = (X 1, . . . , X l , . . . , X N ) ∈ X N

(4)

其样值为： 对应概率为：

αi = (x 1, . . . , x l , . . . , x N ) (5)

p (αi ) = p (x 1, . . . , x l , . . . , x N ) (6)

由于每个随机变量 X = {1, 2, . . . , r } 有 r 种取值，则随机矢量共有 r N 种可能取值。

多符号信源的模型为：

[ X ] P (X ) = [ α1 α2 . . . αr N

p (α1) p (α2) . . . p (αr N ) ] (7) 此时信源的熵为 H (X ) = H (X 1X 2 . . . X N )。

– 根据样本空间的取值特性可将信源分为取值离散、取值连续两种。 – 根据样本的时间特性可将信源分为时间离散、时间连续两种。

– 根据信源发出的相邻符号之间的依赖关系可分为无记忆信源、有限 记忆信源、无限记忆信源等： * 离散无记忆信源

N p (α) = p (x 1, . . . , x l , . . . , x N ) = ∏

p (x l )

(8)

l =1

* 离散有记忆信源

p (α) = p (x 1)p (x 2|x 1)p (x 3|x 2x 1) . . . p (x N |x N ?1x N ?2 . . . x 2x 1)

(9)

– 在实际的连续信源中，可以采用两种方法进行分析：

* 一类是将连续信源离散化

* 另一类是仍然采用随机过程来分析

– 若信源的统计特性与时间起点无关，则称为平稳信源，否则为非平稳 信源。

3

2 离散平稳信源的熵率

Definition 1 (离散平稳信源). ? 若当 t = i, t = j (?i, j ∈ N , i = j )，有 p (x i ) =

p (x j ) = p (x )，则称信源是一维平稳的，即任意两个不同时刻信源发出符 号的概率分布完全相同；

? 若一维平稳信源还满足 p (x i x i +1) = p (x j x j +1)，则称 信源是二维平稳的， 即任意时刻信源连续发出两个符号的联合概率分布也完全相同；

? 如果各维联合概率分布均与时间起点无关，则称信源是完全平稳 的，简 称离散平稳信源。

Corollary 2. 离散平稳信源的各维条件概率均与时间起点无关，只与关联长度 N 有关。

Definition 3. N 维离散平稳无记忆信源 X = X 1X 2 . . . X N 可能发出的消息 数，由离散无记忆信源 X 的 r 种扩展到 r N 种，其概率分布 p (α) 可由离散 无记忆信源的概率分布 p (x ) 求得。因此，我们将 N 维离散平稳无记忆信源 X = X 1X 2 . . . X N 称为 离散无记忆信源 X 的 N 次扩展信源，记为：

X N = X 1X 2 . . . X N .

(10)

Theorem 4. 离散无记忆信源 X 的 N 次扩展信源 X N 的熵为：

若 X 是平稳的，则： N H (X N

) = ∑

H (X i ),

(11)

i =1

H (X N ) = N H (X ).

(12)

Definition 5 (平均符号熵).

△ 1

H N (X ) = N

H (X 1X 2 . . . X N ) (13)

表示 N 长信源符号序列中平均每个信源符号所携带的信息量。 Definition 6 (极限熵（熵率）).

H ∞(X ) = lim N →∞

H N (X )

(14)

Theorem 7. 对于离散平稳信源，若 H 1(X ) < ∞，则 H ∞(X ) 存在，且

H ∞(X ) = lim N →∞

H (X N |X 1X 2 . . . X N ?1)

(15)

Lemma 8. 对于离散平稳信源，若 H 1(X ) < ∞，则

? 条件熵 H (X N |X 1X 2 . . . X N ?1) 随 N 的增加单调不增；

4

? N 给定时 H N (X ) ? H (X N |X 1X 2 . . . X N ?1)； ? 平均符号熵 H N (X ) 随 N 的增加单调不增。

Corollary 9.

log r = H 0(X ) ? H 1(X ) ? H (X 2|X 1) ? . . .

? lim N →∞

H (X N |X 1X 2 . . . X N ?1) = H ∞(X ) ? 0

(16)

3 离散马尔可夫信源及其熵率

3.1 离散马尔可夫信源

? 信源在某一时刻发出的符号的概率除与该符号有关外，只与此前发出的有

限个符号相关。将这有限个符号记为一个状态，则信源发出的符号的概率 除与该符号有关外，只与该时刻信源所处的状态有关，信源将来的状态及 其发出的符号只与信源现在的状态有关，而与信源过去的状态无关。

? 设信源符号表为 {a 1, a 2, . . . , a r }，信源输出的序列为 x 1, x 2, . . . , x N 。且信 源输出某一符号的概率与以前的 m 个符号有关，则我们将此 m 个符号合在 一起看成是一个状态，信源全部可能的状态集合为 S = {b 1, b 2, . . . , b r m }。 信源在各个时刻的状态组成信源状态序列s 1, s 2, . . . , s N 。信源在时刻 n 由状态 b i 进入时刻 n + 1 的状态 b j 的概率称为状态转移概率：p ij (n ) = Pr {s n +1 = b j |s n = b i }。

3.2 离散马尔可夫信源的熵率

? 根据熵率的定义，有：

H ∞ = lim N →∞

H (X N |X 1X 2 . . . X N ?1)

(17) = H (X m +1|X 1X 2 . . . X m ) = H m +1

(18)

p (x k m +1 |x k m , . . . , x k 1 ) = p (x k m +1 |s i )

(19)

? 将其取对数并对 x k m +1 , x k m , . . . , x k 1 和 s i 取均值。可得：

H m +1 = ∑

p (j )H (X |s j )

(20)

j

4 离散信源的相关性和剩余度

? 平均符号熵随着关联长度 N 的增加而单调减少，表明信源符号间的关联 性会降低信源的平均不确定性。

? 对于无记忆信源而言，分布的不均匀性也会使得信源的熵变小。

5

H

Definition 10. 一个信源的熵率与具有相同符号集合的最大熵的比值称为熵的相 对率：

信源剩余度定义为：

η =

△ H ∞

H 0

(21)

γ =△

1 ? η = 1 ? H ∞

(22)

Example 11. 已知英文的统计信息如下：

下面，首先求得独立等概率情况下的熵，即

H 0 = log 2 27 ≈ 4.755 bit/symbol

(23)

其次，计算独立不等概率情况下的熵，

27 H 1 = ? ∑

p i log 2 p i ≈ 4.041 bit/symbol

(24)

i =1

再次，若仅考虑字母有一维相关性，求得

H 2 ≈ 3.100 bit/symbol

(25)

最后，利用统计推断方法求出 H ∞：

H ∞ ≈ 1.400 bit/symbol

(26)

这样，可以计算出

η = 0.294, γ = 0.706

(27)

这一结论说明，英文信源，从理论上看 70.6% 是多余成分。1

1Gadsby is a 50,000 word novel written without the letter E.

5 连续信源

5.1 连续信源的微分熵

?连续随机变量X 对应的熵函数定义可以从离散随机变量的熵函数的形式扩展推导得到.

?设连续随机变量X 可能的取值为整个实数域R，即x ∈(?∞, +∞)，其概

率密度函数为p(x)。

?将X 的值域分成间隔为?x 的小区间，则X 的值在小区间(x i, x i + ?x)

内的概率近似为p(x i)?x。于是，熵函数的近似值为：

H?x(X) = ??当?x →0 时，有

+∞

∑

i=?∞

p(x i)?x log (p(x i)?x) , (28)

lim ?x→0

[

H?x(X) = lim ?

?x→0

+∞

∑

i=?∞

]

p(x i)?x log (p(x i)?x)

∫+∞

= ?

?∞

∫+∞

p(x) log p(x) d x ?lim

?x→0

log ?x

∫+∞

?∞

p(x) d x

= ?p(x) l og p(x) d x ?lim

?∞?x→0

log ?x (29)

?当?x →0 时，上式中的后一项的极限值为无穷大，这个结果符合熵函数

的物理意义，但是不便于理论分析。因此，香农直接将上式的第一项作为连

续随机变量的熵函数的定义：

Definition 12 (微分熵). 连续随机变量X 的熵函数为：

∫+∞

h(X) = ?p(x) log p(x) d x (30)

?∞

为了区别该定义与离散熵的定义，通常称其为微分熵。

?微分熵由于去掉了无穷大项，只能作为连续随机变量的不确定程度的一种相对度量。

?微分熵的概念可以推广到多个随机变量：

Definition 13 (联合微分熵). 设两个连续随机变量X和Y 的联合概率密度函数

为p(xy)，则其联合微分熵定义为：

∫∫

h(XY ) = ?p(xy) log p(xy) d x d y (31)

6

7

+ x

μ

Definition 14 (条件微分熵). 设两个连续随机变量 X 和 Y 的概率密度函数分别 为 p (x ) 和 p (y )，联合概率密度函数为 p (xy )，条件概率密度函数分别为 p (x |y ) 和 p (y |x )，则其条件微分熵定义为：

∫ ∫

h (X |Y ) = ? ∫ p (xy ) log p (x |y ) d x d y

∫

= ? p (y ) d y ∫ ∫

p (x |y ) log p (x |y ) d x (32)

h (Y |X ) = ? ∫ p (xy ) log p (y |x ) d x d y

∫

= ? p (x ) d x p (y |x ) log p (y |x ) d y (33)

? 多个随机变量下离散熵之间的一些关系式在连续随机变量下仍然成立：

h (XY ) = h (X ) + h (Y |X ) (34) = h (Y ) + h (X |Y ) (35) h (X |Y ) ? h (X ) (36) h (Y |X ) ? h (Y )

(37) h (XY ) ? h (X ) + h (Y )

(38)

5.2 连续信源的最大熵

Theorem 15. 在输出幅值受限的条件下：

a ? x ?

b ∫ b

(39)

p (x ) d x = 1

a

服从均匀分布（p (x ) = 1 b?a

, x ∈ [a, b ]）的随机变量

X 具有最大微分熵：

h (X ) = log(b ? a )

(40)

Theorem 16. 在输出幅值的均值受限的条件下

∫ +∞ p (x ) d x = 1

?∞ ∫ ∞

xp (x ) d x = μ

?∞

(41)

服从指数分布（p (x ) = 1 e ? μ , x > 0）的随机变量 X 具有最大微分熵：

h (X ) = log(μe) (42)

8

2

Theorem 17. 在平均输出功率受限的条件下：

∫ +∞

?∞

∫ p (x ) d x = 1

+∞

?∞ xp (x ) d x = μ

(43) ∫ +∞ (x ? μ)2p (x ) d x = σ2

服从高斯分布（p (x )=√1 ?∞ exp (

? (x?μ)

)

）的随机变量 X 具有最大微分熵：

2πσ

2σ2

h (X ) = log √

2πe σ

(44)

5.3 连续信源的熵功率

Definition 18. 假设限定的平均功率为 P 的某连续信源的微分熵为 h (X )，则与 此信

源具有相同微分熵的高斯信源的平均功率 P

ˉ 定义为熵功率，即：

P

ˉ = 1 2πe

e 2h (X ) (45)

? 由连续信源的最大熵定理可知：P

ˉ ? P ，当此连续信源为高斯信源时等号 成立。

Definition 19. 将信源平均功率与熵功率之差定义为连续信源的剩余度： Γ = P ? P ˉ

(46)

The End of Chapter 3.