第2章信源熵--马尔科夫信源及极限熵.

安德雷·马尔可夫(Andrei Markov 1856－1922），俄国 数学家。 1874年马尔可夫入圣彼得堡大学，师从切比雪夫， 1886年当选为圣彼得堡科学院院士。 开创了随机过程这个新的领域，以他的名字命名的马 尔可夫链在现代工程、自然科学和社会科学各个领域 都有很广泛的应用。 马尔可夫性：一个过程的“将来”仅依赖“现在”而不依 赖“过去”
表示
a 2 a n m1 X m 1 / X1X 2 X m a1 P(X / X X X ) P(a ) P(a ) P(a ) 2 m 1 1 2 m n m1 1
其中，a i xi m1 / xi1 xi 2 xi m
n
i 1,2,, n m1
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
0.2 0.5 s2 0.5 s4 s3
P(1 / 01) P(11 / 01) P(s 4 / s 2 ) 0.5
信源熵
P(0 / 10) P(00 / 10) P(s1 / s3 ) 0.5 P(1 / 10) P(01 / 10) P(s 2 / s3 ) 0.5 P(0 / 11) P(10 / 11) P(s3 / s 4 ) 0.2 P(1 / 11) P(11 / 11) P(s 4 / s 4 ) 0.8
i1, i2 ,, im1 1,2,, n
0 P(a i ) P(x i m1 / x i1 x i 2 x i m ) 1
且 P( x i m1 / x i1 x i 2 x i m ) 1
i m 1 1
信源熵
马尔科夫链
表示
状态转移图
马尔科夫信源可以用状态转移图表示吗？*
状态转移图
信源熵
设状态s1=00、s2=01、s3=10、s4=11
P(0 / 00) P(00 / 00) P(s1 / s1 ) 0.8
0.8 s1
P(1 / 00) P(01 / 00) P(s 2 / s1 ) 0.2
P(0 / 01) P(10 / 01) P(s3 / s 2 ) 0.5
用状态表示的m阶马尔科夫信源等效于用状态转移 图描述的马尔科夫链。
例1
X3 / X1X 2 0 / 00 1/ 00 0 / 01 1/ 01 0 / 10 1/ 10 0 /11 1/11 P(X / X X ) 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 3 1 2
信源熵
可利用一些编码的方法删去它们，从而达到减少冗余压 缩数据的目的。 图像压缩编码 (1)无损压缩编码 (2)有损压缩编码 (3) 混合编码，如 H261，JPEG，MPEG等技术标准 简单地说，如果没有数据压缩技术，我们就没法用 WinRAR 为 Email 中的附件瘦身；如果没有数据压缩 技术，市场上的数码录音笔就只能记录不到 20 分钟的 语音；如果没有数据压缩技术，从 Internet 上下载一 部电影也许要花半年的时间 衡量一个压缩编码方法优劣的重要指标 (1)压缩比要高； (2) 算法简单，硬件实现容易； (3)解压缩的图像质量 要好。
N
信源熵
H lim H(X N / X1X 2 X N 1 ) H(X m 1 / X1X 2 X m )
N
n
P( x i1 x i 2 x i m1 ) log P( x i m1 / x i1 x i 2 x i m )
i1 1 i 2 1
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
信源熵
引入状态S
过态S取值于集合{s1 , s 2 ,, s n m } s i x i1 x i 2 x i m i 1,2,, n
m
i1 , i 2 ,, i m 1,2,, n
现态S取值于集合{s1 , s 2 ,, s n m } s j x j1 x j2 x jm x i 2 x i 3 x i m1 j 1,2,, n m j1 , j2 ,, jm 1,2,, n
0.8 0.2 0.5 0.5 s2 0.5 0.5 s1
s3 s4 0.8 0.2
信源熵
2、马尔科夫链的遍历定理
马尔科夫链的遍历
从任何一个状态出发，可以通过有限步到达任何 其他状态，该马尔科夫链是遍历的。
1
非遍历的马尔科夫链存在吸收态。 非遍历马尔科夫链的例子
s2
s1 0.5 0.5 s3
0.5 0.5 s4 1
0.8 0.2 0.5 0.5 s2 0.5 0.5 s4 0.8 s3 0.2
s1
P(s 2 ) P(s1 )P(s 2 / s1 ) P(s 2 )P(s 2 / s 2 ) P(s3 )P(s 2 / s3 ) P(s 4 )P(s 2 / s 4 ) 0.2P(s1 ) 0.5P(s3 )
“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
纠错
冗余
信道编码
信道前向纠错编码（FEC）技术通过在传输码列中 加入冗余纠错码，在一定条件下，通过解码可以 自动纠正传输误码，降低接收信号的误码率 （BER）。衡量FEC纠错能力的指标称为“FEC编 码增益”，该增益越强表示纠错性能越强。 汉明码、奇偶校验码、RS码、Turbo码、LDPC等 纠错性能、码率、实现复杂度
H lim H N (X1X 2 X N ) lim H(X N /X1X 2 X N 1 )
N N
即使N→∞，m阶马尔科夫信源符号序列的有效长 度只有m+1。
H lim H(X N / X1X 2 X N 1 ) H(X m 1 / X1X 2 X m )
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信息论导论
通信与信息工程学院 杨海芬
yanghf@uestc.edu.cn
2018年10月9日星期二
信源熵

单符号离散信源联合熵 多符号离散信源联合熵；条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 马尔科夫信源及其极限熵 冗余度与结构信息
信源熵
四、马尔科夫信源及其极限熵
5 P(s1 ) P(s 4 ) 14 2 P(s 2 ) P(s3 ) 14
信源熵
H H 2 1 H3 P(si )P(s j / si ) log P(s j / si )
i 1 j1
4
4
5 2 [ (0.8 log 0.8 0.2 log 0.2) (0.5 log 0.5 0.5 log 0.5) 14 14 2 5 (0.5 log 0.5 0.5 log 0.5) (0.2 log 0.2 0.8 log 0.8)] 14 14
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
强调m阶马尔科夫信源的长度特征，一般其极限熵 H∞记为Hm+1
H H m 1 P(si )P(s j / si ) log P(s j / si )
i 1 j 1 nm nm
例2
求极限熵
求m阶条件熵
图示二元二阶马尔科夫信源的极限熵
信源熵
遍历定理
P(s1 ) P(s1 )P(s1 / s1 ) P(s 2 )P(s1 / s 2 ) P(s3 )P(s1 / s3 ) P(s 4 )P(s1 / s 4 ) 0.8P(s1 ) 0.5P(s3 )
n n
n
n
i m1 Biblioteka Baidu1
P(x i1 x i 2 x i m )P(x i m1 / x i1 x i 2 x i m ) log P(x i m1 / x i1 x i 2 x i m )
i1 1 i 2 1 i m1 1
n
其中P( x i1 x i 2 x i m ) P(si ) P( x i m1 / x i1 x i 2 x i m ) P( x i 2 x i 3 x i m1 / x i1 x i 2 x i m ) P( x j1 x j2 x jm / x i1 x i 2 x i m ) P(s j / si )
信源熵
P(a i ) P(x i m1 / x i1 x i 2 x i m ) P(x i 2 x i 3 x i m1 / x i1 x i 2 x i m ) P(x j1 x j2 x jm / x i1 x i 2 x i m ) P(s j / si )
信源熵
P(s3 ) P(s1 )P(s3 / s1 ) P(s 2 )P(s3 / s 2 ) P(s3 )P(s3 / s3 ) P(s 4 )P(s3 / s 4 ) 0.5P(s 2 ) 0.2P(s 4 )
P(s 4 ) P(s1 )P(s 4 / s1 ) P(s 2 )P(s 4 / s 2 ) P(s3 )P(s 4 / s3 ) P(s 4 )P(s 4 / s 4 ) 0.5P(s 2 ) 0.8P(s 4 )
信源熵
马尔科夫链的遍历定理
P(s j ) P(si )P(s j / si )
i 1
nm
nm
j 1,2,, n m
0 P(s j ) 1，且 P(s j ) 1
j 1
3、马尔科夫信源的极限熵
信源熵
极限熵定理
N→∞时， N维离散平稳信源平均符号熵的极限存 在且等于N阶条件熵的极限值，称为N维离散平稳 信源的极限熵，用H∞表示。
0.8(bit / symbol )
信源熵
五、冗余度与结构信息
1、冗余度
冗余 压缩 信源编码
信息论的创始人Shannon提出把数据看作是信息和冗余度 （redundancy）的组合。 如在一份计算机文件中，某些符号会重复出现、某些符号比其他 符号出现得更频繁、某些字符总是在各数据块中可预见的位置上 出现等，这些冗余部分便可在数据编码中除去或减少。 相邻的数据之间存在着相关性。如图片中常常有色彩均匀的背影， 电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声 音信号有时具有一定的规律性和周期性等等。 人们由于耳、目对信号的时间变化和幅度变化的感受能力都有一 定的极限