信息论基础第二章

Pr { X 1 X 0 X n x1 x0 xn } P( x1 x0 ) P( xi 1 | xi , xi 1 )
i 0 n 1
14
平稳信源
称离散随机过程为平稳的，若对任意的 正整数k，及任意的正整数 t1, t2 ,, tk , h, {X t ,, X t }与 {X t h , X t h }有相同的联合分布 ， 即
24
§2.2随机过程的信息度量 设 X {X1, X n }是一个取值于有限字母 集的离散随机过程，记
def h(n) H ( X1, X 2 ,, X n ) 为n维随机变量的联合熵，则有：
H ( X 1 , X 2 , X m , X m n ) H ( X1 ,, X m ) H ( X m1, X mn )
4
离散随机过程的定义
一个离散信源的输出为一个取值于有限 字母集 的一个随机过程，记为 X {X1, X n } 其中 称为状态集。一个离散随机过程是一 系列随机变量，它是由一簇联合分布
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) n , n 1, 2
21
一个信源序列如果使强大数定律成立， 称它为平均遍历的。 一个无记忆信源在适当条件下是平均遍 历的。平稳遍历信源是平均遍历的，但反之 不成立。逆反命题是：一个信源如不满足平 均遍历性（即强大数定律），则必是非遍历 的。
22
信源熵如何度量？
[例] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)<H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X)=H(X1,X2)/2=1.45 bit/符号。
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
12
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
当随机过程是平稳的时，上式为 h(m n) h(m) h(n)
25
满足上式的数列称为半可加数列，以下引理 1 lim h( n) 存在。 证明极限 n n 引理2.2.1设 f (n)是满足 f (m n) 半可加数列，则
1 1 lim f (n) inf f (n) n n n n
信源即信息的来源，信源的输出称为消 息，消息有各种类型，如文本、语音、图像 等。消息要转换成信号进行传输。 通常信源的输出是随机的，即事前无法 肯定其输出，但其服从一定的随机规律，因 此利用随机过程或随机序列来建立信源的数 学模型成为必然。
3
不同类型的信源具有不同的性质，因此 涉及到信源的分类。 按照信源的信号取值集合和信号取值时 刻的离散或连续性可分为四类。 信源按其数学模型随机过程的统计特征 分类可分为有记忆/无记忆、平稳、遍历、 马氏等类型信源。 本章只讨论离散信源。
f (m) f (n)
的
26
定理2.2.2
设 X {X1, X 2 ,, X n ,} 是平稳信源，则 存在，且
1 H ( X ) lim H ( X 1 , , H n ) n n
n
H ( X ) inf H ( X 1 , , X n )
称H ( X )为平稳信源的熵率，以下给出其 容易计算的另一形式。
用状态转移图表示为
p(0 | 00) 0.8 p(1| 00) 0.2
00
p(0 |10) 0.5
p(0 | 01) 0.5
01
p(1| 01) 0.5
p(1|10) 0.5
10
p(0 |11) 0.2
11
p(1|11) 0.8
13
如果把初始状态记为 x1, x0 ，则信源的联 合分布为
20
定理 2.1.2 强大数定律
设X { X 1 , X 2 ,, X n ,}为相互独立的随机变量 序列，并服从相同的分布，且有有限数学期望 1 n EX i a, 则 X i以概率1收敛到a,即对任意的 0 n i 0 有： n 1
1 Pr {lim X i a} 1 n n i 0
|
1 n lim an a ，则 lim ak a n n n 1
0, N , s.t : n N , 有|an a |
1 1 1 ak a || (ak a) | | ak a | n k n k n k
n 1 N ( | ak a | | ak a |) n 1 N 1
第二章 随机过程的信息度 量和渐进等分性
2013-7-8
1
• • • •
第一节 信源和随机过程的基本概念 第二节 随机过程的信息度量 第三节 渐进等分性质 第四节 渐进等分性质在数据压缩中的作用 –信源编码定理 • 第五节 Shannon-McMillan-Breiman 定理
2
§2.1信源和随机过程的基本概念
27
定理2.2.3
设X {X , X ,, X }为平稳信源，则 H （1） ( X ) nlin H ( X n | X 1 ,, X n1 ) 存在； H ( X ) H ( X ) （2） 证明：
1 2 n
28
引理2.2.4
数列 {an } ，若有 证明：由已知，对任意 则当 n N 时
9
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
10
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
p( x1 , x2 xn )
唯一决定
5
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量， 且服从相同的分布：
Pr ( X i x) p( x)
对任意的i成立时，百度文库源为无记忆信源
6
k-阶马尔可夫信源
称一个离散随机过程为k-阶马尔可夫过 程，如果
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X mk xmk }
直观的说，遍历的马氏过程从任何一个 状态出发可以在有限步到达其他状态。
18
大多数的马氏信源是遍历的，下一信源 为非遍历的
p(0 | 00) 1
吸收态
00 01
p(1| 01) 0.5
p(0 |10) 0.5
p(0 | 01) 0.5 p(1|10) 0.5
10
11
p(1|11) 1
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
15
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}
对任意的m>k>0和 x1, x2 xm 成立。 特别当k＝1时，称为马尔可夫过程，此 时
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} p( xm | xm1 )
7
此时联合概率可简化为
p( x1 , x2 , xm ) p( x1 ) p( x2 | x1 ) p( x3 | x2 ) p( xm | xm1 )
如果一个信源序列是k-阶马尔可夫过程， 称信源为k-阶马尔可夫信源， k＝1时称为 马尔可夫信源，对于k-阶马尔可夫信源通常 可以用转移概率矩阵或状态转移图描述。
8
例2.1.1一阶平稳马氏信源 设 X ( X1, X 2, ) 是取值于 {0,1}的一个一 阶平稳马氏信源，其平稳分布为 ( x), Pr ( X1 0) (0) 0.5,
Pr ( X1 1) (1) 0.5 一步转移概率为
Pr ( X i 1 0 | X i 0) 0.25, Pr ( X i 1 1| X i 0) 0.75 Pr ( X i 1 0 | X i 1) 0.6, Pr ( X i 1 1| X i 1) 0.4
23
分析：我们用
H2 ( X )
来近似信源的实际熵
我们现在有两种方法去近似信源的实际熵，一种是1/ 2H ( X1 X 2 ) 为1.45bit，但这种方法不太准确，因为它把两个消息 看成一组，认为两组之间是统计独立的，实际上它们 之间是有关联的；另一种是我们可以用条件熵来近似， 为1.4bit，到底那一种正确呢？我们可以通过对一般 离散平稳信源的分析来找到这个答案。
n 1
11
例2.1.2二阶平稳马氏信源 设 X ( X , X ) 是取值于 {0,1} 的二阶平 稳信源，其状态可用两个二进数字表示，共 有四种00，01，10，11，信源的统计特 性由以下转移概率给出
1 2
Pr {X i2 xi2 | X i xi , X i1 xi1}
19
定理 2.1.1 弱大数定律
设X { X 1 , X 2 , , X n ,}为相互独立的随机变量 序列，并服从相同的分布，且有有限数学期望 1 n EX i a, 则 X i以概率收敛到a, 即对任意的 0 n i 0 有：
1 n lim Pr { X i a } 1 n n i 0
对任意的m>0成立，即此时转移概率不依 赖时间，此时称状态转移矩阵
M ( p( y | x)) x, y
为马氏过程的公共转移矩阵，这时称马氏过 程为齐次马氏链。
16
若存在 上的一个概率分布 ，满足 M 则称其为马氏过程的平稳分布。 显然，对于平稳马氏过程来说 Pr ( X m x) ( x) 对任意的m>0成立，这时马氏过程完全由 该平稳分布和转移概率决定。 如果一个信源序列是平稳过程，则称该 信源为平稳信源，如果一个信源序列是平稳 马氏过程，称信源为平稳马氏信源。
17
遍历信源
设 x ( x1, x2 ,) 为一实数列，用T表示移位算 Tx 子， ( x2 , x3 ,) ，称实数列集合A为平移不 变集，如果 Tx A 当且仅当 x A 。 称一个平稳过程为遍历的，如果对任何 平移不变集A有
Pr {( x1 , x2 ) A} 0或1