(完整版)老师整理的信息论知识点

Chp02知识点： 自信息量：

1）

)(log )(i i x p x I -=

2）对数采用的底不同，自信息量的单位不同。

2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件i x 发生以前，表示事件i x 发生的不确定性的大小；事件i x 发生以后，表示事件i x 所含有或所能提供的信息量。

平均自信息量（信息熵）：

1）)(log )()]([)(1i q

i i i x p x p x I E x H ∑=-==

2）对数采用的底不同，平均自信息量的单位不同。 2----比特/符号、e----奈特/符号、10----哈特/符号。 3）物理意义：对信源的整体的不确定性的统计描述。 表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。

4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息：

1）)

()|(log

)|()();(i j i j i i j i x p y x p y x I x I y x I =-=

2）含义：已知事件j y 后所消除的关于事件i x 的不确定性，对

信息的传递起到了定量表示。

平均互信息：1）定义：

2）性质：

联合熵和条件熵：

各类熵之间的关系：

数据处理定理：

Chp03知识点：

依据不同标准信源的分类： 离散单符号信源：

1）概率空间表示：

2）信息熵：)(log )()]([)(1

i q

i i i x p x p x I E x H ∑=-==，表示离散单符号信

源的平均不确定性。

离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。

平均符号熵：)...(1

)(21N N X X X H N

X H =

极限熵（熵率）：)(lim )(X H X H N N ∞

>-∞= （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。）

（2）离散无记忆信源：信源各消息符号彼此互不相关。

①最简单的二进制信源：01()X p x p q ⎡⎤⎡⎤

=⎢⎥⎢⎥

⎣

⎦⎣⎦，信源输出符号只有两个：“0”和“1”。

②离散无记忆信源的N 次扩展：若信源符号有q 个，其N 次扩展后的信源符号共有q N 个。

离散无记忆信源X 的N 次扩展信源X N

的熵：

()

()()()()12121

01,(1,2,,);1

r r r

i i i a a a X p a p a p a P p a i r p a =⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣

⎦

≤≤==∑L

L

L

等于信源X 的熵的N 倍，表明离散无记忆信源X 的N 次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X 每输出1个消息符号所提供信息熵的N 倍。

离散无记忆信源X 的N 次扩展信源X N

极限熵（熵率）

为：)()(1

lim )(lim )(X H X NH N

X H X H N N N =⨯==∞

>-∞>-∞ （3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链

1）用分布律描述： 2）转移概率：即条件概率。

3）转移概率矩阵：用

)(n p ij 表示

n 步转移概率矩阵。且

n ij ij p n p ))1(()(=，

，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n 步转移概率矩阵。

4）遍历性的概念：

求解马氏信源的遍历性，即找一正整数m ，使m 步转移概率矩阵)(m p ij 中无零元。

求解马氏遍历信源的信息熵步骤：

（1） 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；

（2） 根据状态转移图写出一步转移概率矩阵，计算信源的

极限分布{}q W W W W ,......,,21=即是求解方程组：⎪⎩⎪⎨⎧==∑=q

i i W WP

W 1

1

（3） 根据一步转移概率矩阵和极限概率W 计算信源的信息熵：极限熵H ∞ 等于条件熵H m+1。（m 阶马尔可夫信源的熵率）

信源的相关性和剩余度：，

用来衡量信源输出的符号序列中各符号之间的依赖程度。 当剩余度＝0时，信源的熵＝极大熵H 0，表明信源符号之间： (1)统计独立无记忆;(2)各符号等概分布。

连续信源： （1） 微分熵：

i. 定义： ii.

物理意义：

（2） 连续信源的联合熵和条件熵 （3） 几种特殊连续信源的熵：

a) 均匀分布的连续信源的熵：)(log )(2a b X H c -=

b) 高斯分布的连续信源的熵：222log 2

1)(σπe X H c =【概率密度函数：

2

22)(2

21)(σπσ

m x e

x p --

=

】

c) 指数分布的连续信源的熵：me X H c 2log )(= 【概率密度函数：

m x

e m

x p -

=1)(】

（4） 最大连续熵定理：

11H H γη∞

=-=-