信息论与编码 曹雪虹 PPT

马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) P Sm1 s j / Sm si pij
pij 0

j
pij 1
k步转移概率为:
p(k ij
)
(m)

P
Smk

j / Sm i

p(k) ij
信息论基础B
马尔可夫信源
定义：若齐次马尔可夫链对一切I,j存在不 依赖于I的极限，则称其具有遍历性，pj称 为平稳分布
lim
k
p(k) ij

pj
pj 0

p j pi pij
i0
pj 1
j
信息论基础B
19
2.1信源描述与分类
马尔可夫信源 定理：设有一齐次马尔可夫链，其状态转 移矩阵为P，其稳态分布为wj
信息论基础B
5
2.1信源特性与分类
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出 的符号与前m个符号有关联性，而与更前 面的符号无关。
p( X1, X 2, , X L ) p( X1) p(X 2 / X1) p( X L / X1 X Lm )
信息论基础B
6
2.1信源描述与分类
7
2.1信源描述与分类
连续信源

U p(u)

(a, b) p(u)
u U (,), p(u)为概率密度函数
信息论基础B
8
2.1信源描述与分类
离散序列信源

UL p(u)

U

u1 ,
p(u1),
U u2, p(u2 ),

I p(x1 )I (x1 ) p(x2 )I (x2 ) p(xi ) log p(xi )
i
信息论基础B
33
2.2离散信源熵与互信息
单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定 义的随机变量I的数学期望为信源的信息熵， 单位为比特/符号
H ( X ) E[I (x)] p(xi ) log p(xi )
信息论基础B
14
2.1信源描述与分类
马尔可夫信源
更一般，经过n-m步后转移至sj的概率
pij (m, n) P Sn s j / Sm si P s j / si
pij (m, n) 0


j
pij (m, n) 1
信息论基础B
15
2.1信源描述与分类
I (xy) I (x) I ( y) 推广
I (x1x2 xN ) I (x1) I (x2 / x1)
I (xN / x1x2 xN 1)
信息论基础B
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
信息论基础B
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信源，
x=ai事件所对应的（自）信息为
1
I ( xi ai ) log p( xi ) log
以2为底，单位为比特（bit)
p( xi )
以e为底，单位为奈特（nat) 1nat=1.433bit
以10为底，单位为笛特（det) 1det=3.322bit
熵
事件集的平均不确定性
信息论基础B
25
2.2离散信源熵与互信息
直观推导信息测度
信息I应该是消息概率p的递降函数

pi pi
, I ( pi ) ,且当pi , I ( pi ) ,且当pi
0时, 1时,
I I
( (
pi pi
) )

0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
p(X1, X 2, , Xl , X L ) p(X1) p(X 2 ) p(X L )
信息论基础B
4
2.1信源特性与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个 球的颜色组成的消息就是符号序列。若先 取出一个球，记下颜色不放回布袋，再取 另一个球。
p( X1, X 2 , , X L ) p( X1) p( X 2 / X1) p( X L / X1 X L1)
信源的基本特性是具有随机不确定性
信息论基础B
2
2.1信源特性与分类
分类
时间
离散
连续
幅度
离散
连续
记忆
有
无
三大类：
单符号离散信源
符号序列信源（有记忆和无记忆）
连续信源
信息论基础B
3
2.1信源特性与分类
离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两 个球的颜色组成的消息就是符号序列。若 先取出一个球，记下颜色放回布袋，再取 另一个球。
i
信息论基础B
34
2.2离散信源熵与互信息
离散信源条件熵
定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
H ( X / y) E[I ( X / y)] p(xi / y) log p(xi / y)
信息论基础B
21
2.1信源描述与分类
Eg. 一个相对编码器，求平稳分布
X
Y
+
T
信息论基础B
22
2.1信源描述与分类
Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态
00 01 10 11
S1(00) 1/2 0 1/4 0
S2(01) 1/2 0 3/4 0
S3(10) 0 1/3 0 1/5
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
信息论基础B
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连续消 息的来源。从数学上，由于消息的不确定性， 因此，信源是产生随机变量、随机序列和随机 过程的源

X P


x1 0.8
x2 0.2
信息论基础B
32
2.2离散信源熵与互信息
I (x1 ) log 2 p(x1 ) log 2 0.8bit IN(次x2后) 所获log得2 的p(x信2 )息量 l为og 2 0.2bit I Np(x1 )I (x1 ) Np(x2 )I (x2 ) 平 (均0每.8l次og所2 0获.8得 0的.2信log息2量0.为2)N
16
2.1信源描述与分类
马尔可夫信源 系统在任一时刻可处于状态空间的任意一 状态，状态转移时，转移概率是一个矩阵 ， 一步转移转移矩阵为
p { pij , i, j S}
p11 p12
P


p21
pQ1 pQ2
p1Q
p2Q

pQQ
信息论基础B
i
H (X / Y ) E[H (X / y)] p( y j ) p(xi / y j ) log p(xi / y j )
i, j
信息论基础B
35
2.2离散信源熵与互信息
信Leabharlann Baidu论基础B
12
2.1信源描述与分类
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出 的符号与前m个符号有关联性，而与更前 面的符号无关。
p( X1, X 2, , X L ) p( X1) p(X 2 / X1) p( X L / X1 X Lm )
信息论基础B
13
2.1信源描述与分类
信息论基础B
28
2.2离散信源熵与互信息
联合自信息、条件自信息与自信息间的关系
p(x, y) p(x) p( y / x) p( y) p(x / y)
I (x, y) log p(x, y) log p(x) p( y / x)
log p(x) log p( y / x) I (x) I ( y / x) 当x和y相互独立
,
U 001,
1 8
,

U 111 1 8
信息论基础B
10
2.1信源描述与分类
离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两 个球的颜色组成的消息就是符号序列。若 先取出一个球，记下颜色放回布袋，再取 另一个球。
p(X1, X 2, , Xl , X L ) p(X1) p(X 2 ) p(X L )
以3位PCM信源为例
U

unL

p(unL )
UL p(u)

U
000, p03 ,
U 001, p02 p1,

U 111 p13
信息论基础B
9
2.1信源描述与分类
当p=1/2
UL p(u)

U
000,
1 8
信息论基础B
30
2.2离散信源熵与互信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此 棋子在棋盘中所处位置为二维等概率分布
（1）联合（自）信息量为
p(xi , y j )
1 64
（2）条件（自）信息量为
I (xi ,
yj)

log 2
p(xi ,
yj)

log 2
1 64

6bit
马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行 分析，现方法将矢量转化为状态变量。定 义状态：
si (xi1, xi2 , xim ) xij A a1, an
信源在某一时刻出现符号概率xj与信源此 时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
S4(11) 0 2/3 0 4/5
信息论基础B
23
2.2离散信源熵与互信息
信息量
自信息量 联合自信息量 条件自信息量
单符号离散信源熵
符号熵 条件熵 联合熵
信息论基础B
24
2.2离散信源熵与互信息
信息
不确定性的消除
信息的度量
随机性、概率 相互独立符合事件概率相乘、信息相加
信息论基础B
11
2.1信源描述与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个 球的颜色组成的消息就是符号序列。若先 取出一个球，记下颜色不放回布袋，再取 另一个球。
p( X1, X 2 , , X L ) p( X1) p( X 2 / X1) p( X L / X1 X L1)
I (xi
/ y j ) log 2
p(xi
/ y j ) log 2
p(xi , y j ) p( y j )
log 2
1 8
3bit
信息论基础B
31
2.2离散信源熵与互信息
Eg2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色，求平 均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
描述：通过概率空间描述
单符号离散信源

U p(u)

U
u1, p1 ,
U u2, p2 ,
, ,
U un pn
例如：对二进制数字与数据信源
U p


0, p0 ,
1 p1


0,

1 2
,
1 1 2
信息论基础B
信息论基础B
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的
条件（自）信息量为：
1 I( xi / y j ) log p( xi / y j ) log p( xi / y j )
wj 1
j
WP W
信息论基础B
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在至 少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大的 公因子。
定理：设P是某一马尔可夫链的状态转移 矩阵，则该稳态分布存在的充要条件是存 在一个正整数N，使矩阵PN中的所有元素 均大于零。
17
2.1信源描述与分类
马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率之 间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率与 m无关，则称这类MovKov链为齐次 对于齐次马尔可夫链，一步转移概率完全 决定了k步转移概率。
信息论基础B
18
2.1信源描述与分类