信息论基础第二章PPT

6
此时联合概率可简化为
p( x1 , x2 , xm ) p( x1 ) p( x2 | x1 ) p( x3 | x2 ) p( xm | xm1 )
如果一个信源序列是k-阶马尔可夫过程， 称信源为k-阶马尔可夫信源， k＝1时称为 马尔可夫信源，对于k-阶马尔可夫信源通常 可以用转移概率矩阵或状态转移图描述。
对任意的m>k>0和 x1, x2 xm 成立。 特别当k＝1时，称为马尔可夫过程，此 时
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} p( xm | xm1 )
对任意的i成立时，信源为无记忆信源
5
k-阶马尔可夫信源
称一个离散随机过程为k-阶马尔可夫过 程，如果
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X mk xmk }
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
11
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
2
不同类型的信源具有不同的性质，因此 涉及到信源的分类。 按照信源的信号取值集合和信号取值时 刻的离散或连续性可分为四类。 信源按其数学模型随机过程的统计特征 分类可分为有记忆/无记忆、平稳、遍历、 马氏等类型信源。 本章只讨论离散信源。
3
离散随机过程的定义
一个离散信源的输出为一个取值于有限 字母集 的一个随机过程，记为 X {X1, X n } 其中 称为状态集。一个离散随机过程是一 系列随机变量，它是由一簇联合分布
7
例2.1.1一阶平稳马氏信源 设 X ( X1, X 2, ) 是取值于 {0,1}的一个一 阶平稳马氏信源，其平稳分布为 ( x), Pr ( X1 0) (0) 0.5,
Pr ( X1 1) (1) 0.5 一步转移概率为
Pr ( X i 1 0 | X i 0) 0.25, Pr ( X i 1 1| X i 0) 0.75 Pr ( X i 1 0 | X i 1) 0.6, Pr ( X i 1 1| X i 1) 0.4
8
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
9
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
• • • •
第一节 信源和随机过程的基本概念 第二节 随机过程的信息度量 第三节 渐进等分性质 第四节 渐进等分性质在数据压缩中的作用 –信源编码定理 • 第五节 Shannon-McMillan-Breiman 定理
1
§2.1信源和随机过程的基本概念
信源即信息的来源，信源的输出称为消 息，消息有各种类型，如文本、语音、图像 等。消息要转换成信号进行传输。 通常信源的输出是随机的，即事前无法 肯定其输出，但其服从一定的随机规律，因 此利用随机过程或随机序列来建立信源的数 学模型成为必然。
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
14
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}
n 1
10
例2.1.2二阶平稳马氏信源 设 X ( X , X ) 是取值于 {0,1} 的二阶平 稳信源，其状态可用两个二进数字表示，共 有四种00，01，10，11，信源的统计特 性由以下转移概率给出
1 2
Pr {X i2 xi2 | X i xi , X i1 xi1}
Pr { X 1 X 0 X n x1 x0 xn } P( x1 x0 ) P( xi 1 | xi , xi 1 )
i 0 n 1
13
平稳信源
称离散随机过程为平稳的，若对任意的 正整数k，及任意的正整数 t1, t2 ,, tk , h, {X t ,, X t }与 {X t h , X t h }有相同的联合分布 ， 即
用状态转移图表示为
p(0 | 00) 0.8 p(1| 00) 0.2
00
p(0 |10) 0.5
p(0 | 01) 0.5
01
p(1| 01) 0.5
p(1|10) 0.5
10
p(0 |11) 0.2
11
p(1|11) 0.8
12
如果把初始状态记为 x1, x0 ，则信源的联 合分布为
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) Baidu Nhomakorabean , n 1, 2
p( x1 , x2 xn )
唯一决定
4
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量， 且服从相同的分布：
Pr ( X i x) p( x)