信息论-信息论第7次课ch3--信源熵

H
() 3
0.918
比特/符号
H0 log 2 1 比特/符号
1 H 1 0.896 0.104
H0
信息论
本章 小结
1 离散信源X的N次扩展源的H熵(X N ) N H (X ) 源无记忆时等式成立；
，仅当信
离
散
信
源
X
的
N
次
H
扩
N展( X
)
源
1H
N的
(
XN)
平
H
均
(
X)
符
号
熵
，仅当信源无记忆时等式
★
信息论
3) 符号转移概率转换成状态转移概率 p( xm1 / x1 L xm ) p(s j1 / s j ) 其中, （x2 L xm1） s j1 （x1 xm） s j
4)
得到马氏源模型：
1 2 L
p(l / k )
nm
k,l
1,
...,
n
m
凸离§马§单函散氏2击.2链无数.1此1.N记处1次自添忆扩条加信信展标件息源题源和自的的互信熵N次信的息扩计息展算（源7）
（2）求此信源的平稳状态分布和对应的单符号概
率分布；
0:0.4
解：
0.4 0.6 0 0
1
2
3
4
0 0.3
0 0.7
0.2 0
0.8 0
1
2
3
4
1:0.6
00 0:0.2
0:0.3
0
0 0.4 0.6
01
10
1 2 3 4 1
1:0.8
1
2
3
4
1 9
2 9
2 9
4 9
对应的单符号概率为：
信息信论息基论础
汉字近似概率表
类别 Ⅰ Ⅱ
汉字个数 140
625-140=485
所占概率P 0.5
（0.85-0.5）=0.35
Ⅲ
2400-
（0.997-0.85）=0.147
625=1775
Ⅳ
7600
0.003
每个汉字的概率Pi 0.5/140 0.35/485
0.147/1775
0.003/7600
1 H ( X ) 0.264
H0
Page 13
自然语言的相关性和剩余度(5)
• 人无远虑，必有近忧 • He who gives no thought to the future is sure to be beset by
worries at hand.
• 吃一堑，长一智 • A fall in a pit, a gain in your wit.
2 Part Concept
信息信论息基论础
如果起始状态概率为平稳分布, 则
N次扩展源的平均符号熵为:
H ( X1X 2 L X N ) H (π) ( N m)πT h
HN(X)
1 N
H ( X1X 2 L
XN)
1 [H (π) (N m)πTh] N
凸§§§马K§离单o函2氏齐2l2m散.击.2源次.o数2.平1此g3马符1o.稳处r氏1o号自有平添v信链-熵记自条加信C（均h忆的息标信件6a息信）题p计互m熵和息自源算an的信互的方信(1熵程信)息息含(4息)义
成立。
2、有记忆信源的符号熵：
1
H
(
X
)
lim
N
N
H
(
X
N
)
lim
N
H
(
X
N
/
X1L
XN)
并且 H (X ) H2(X ) L HN (X ) L H (X )
信息论
本章 小结
3．马氏源的符号熵：
本章
H (X ) j H (X / s j)
小结
j
n
其中 H ( X / s j) p j (ai ) log p j (ai )
9
9
9
9
0.8957 比特/符号
1:0.6 01
00 0:0.2
1:0.8
1:0.7 11
0:0.3 10
0:0.4
1:0.6
x2 x1
例
信息论
一个二元二阶马氏源，符号集{0,1}，状态转移图如下图所示。
（3）求 H0, H1, H2, H3 和信源的冗余度。
0:0.4
H3 H 0.896 比特/符号
信息信论息基论础
字母 空格
A B C D E F G H
概率 0.1859 0.0642 0.0127 0.0218 0.0317 0.1031 0.0208 0.0152 0.0467
字母 I J K L M N O P Q
概率 0.0575 0.0008 0.0049 0.0321 0.0198 0.0574 0.0632 0.0152 0.0008
• 本性难移 • A leopard can not change its spots.
Page 14
信息论
例 一个二元二阶马氏源，符号集{0,1}，状态转移图如下图 所示。
（1）写出此马氏源的状态转移概率矩阵；
（2）求此信源的平稳状态分布和对应的单符号概
率分布；
0:0.4
（3）求此马氏源的符号熵；
1:0.7 11
0:0.4
1:0.6
p(0)
0.41
0.2 2
0.33
0.4 4
1 3
p(1) 1 p(0) 2 3
例
信息论
一个二元二阶马氏源，符号集{0,1}，状态转移图如下图所示。
（3）求此马氏源的符号熵；
0:0.4
H i H (X / S i)
i
1 H (0.4) 2 H (0.2) 2 H (0.3) 4 H (0.4)
（4）求 H0, H1, H2 , H3 和信源的冗余度。
00 1:0.6
0:0.3
解：
0.4 0.6 0 0
P
0
0 0.2 0.8
0.3 0.7 0 0
0
0 0.4 0.6
01 1:0.8
0:0.2
1:0.7 11
10 0:0.4
1:0.6
信息论
例 一个二元二阶马氏源，符号集{0,1}，状态转移图如下图 所示。
Page 12
凸自§§熵§然离单函22语散的击.2.数.言平1此31基.的稳处1自相有平添本关记自条加信均性忆性标信件息和信题互质和息自剩源余的信互（信度熵信息息(14）息)
单击此处添加标题
信息信论息基论础
根据上表,可近似估算汉 语信源的信息熵：
10000
H ( X ) pi log pi i 1 9.773 (比特/符号)
x2
p(x1x2)
0
0
1/9
x1
1
2/9
1
2/9
P(x1=0)=
1/3
4/9
P(x1=1)=
2/3
1:0.6 01
00 0:0.2
1:0.8
1:0.7 11
0:0.3 10
0:0.4
1:0.6
例
信息论
p(0 | 0) p(00) / p(0) 1/ 9 1/ 3 1/ 3
p(0 |1) p(01) / p(0) 2 / 9 2 / 3 1/ 3
p(1| 0) 11/ 3 2 / 3
p(1|1) 1 2 / 3 1/ 3
H (X2 | x1 0) H (X2 | x1 1) H (1 / 3)
H2 H ( X 2 / X1) p(x1)H ( X 2 | x1) H (1 / 3) 0.918 比特/符号
x1
1
H1
H
( X1 )
H
lim
n
H
(
X
n
/
X1
X n1 )
Hn H ( X n / X1 X n1)
（n-1阶马氏源）
Page 8
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马剩1Co.稳记处状or氏1on余自有平添vc态忆链e-记条自加度p信C分（信均th忆标件信6（a息类信）源题p互m冗和自息源(的a4n的信余互方)信N熵次程度信息息(扩4）息) 展源
πT = πT P
i 1
4．信源剩余度 1 1 H
H0
Page 21
谢谢！
单击此处添加标题
信息信论息基论础
H0 log m （符号独立等概）
H1 H (X1)（独立信源）
由平稳性与熵的不增原理，有： H0 H1 H2 H 可见，符号相关程度越大，熵越小，反之亦然。
设信源有m个符号，那么对于不 同情况可以分别计算信源的熵为
H2 H (X 2 / X1)（一阶马氏源）
当前时刻的信源状态有关
p{xl ak / sl j} p{xl ak / sl j, xl1, sl1,}
▲当前时刻的信源状态由前一时刻信源状态和前一时 刻输出符号唯一确定。
1 p{sl i / xl1 ak , sl1 j} 0
m§阶2马.1氏链自的信处息理和方互法信(2息)
★
字母 R S T U V W X Y Z
概率 0.0484 0.0514 0.0796 0.0228 0.0083 0.0175 0.0013 0.0164 0.0005
Page 10
凸自§§熵§然离单函22语散的击.2.数.言平1此31基.的稳处1自相有平添本关记自条加信均性忆性标信件息和信题互质和息自剩源余的信互（信度熵信息息(12）息)
单击此处添加标题
信息信论息基论础
信源的 相关性
1
信源剩 余度 (冗余度)
2
自然语 言的相 关性和 剩余度
3
Page 7
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马的1Co.稳记处状or氏1on相自有平添vc态忆链e-记条自加关p信C分（信均th忆标件信6性a息类信）源题p互m和自息源(的a4n的信互方)信N熵次程信息息(扩4息) 展源
信息论
1) m阶马氏链的符号转移概率已给定:
p(xm1 / x1 xm )其中xi取自A {a1L an}
2) 做m长符号序列到信源状态的映射（x1 xm） s j ，
xi 取遍 A {a1L an} ，i=1,…,m； 状态取自 s j
Am {1,2,L nm} ，nm为状态数；
m§阶2马.1氏链自的信处息理和方互法信(2息)
凸§§§K马马§离单Co函2齐2ol2尔m氏散.击n.2次.ot数2可.平e1此链g3n马1o.稳t夫处r的s氏1o自有平添信v信平链-记自条加信C源（稳均h忆息标信件6a的息分信）题p互m熵基布和息自源a本n的信互的方信(熵1概程信息)息含念(4息（)义1）
信息信论息基论础
定
马氏源：
义 ▲ 当前时刻输出符号的概率仅与
信息信论息基论础
计算方法1：
当信源从某一状态转移到另一状态时, 输出 符号唯一, 则一个m阶马氏源的符号熵为:
H
(
X
)
lim
N
H
N
(
X
)
πT
h
m阶马氏源符号熵仅由平稳分布和 状态转移概率矩阵所决定。
凸§§§离马K马§离单3o函2散齐2氏l2P氏m散.击.2a次.o无源r数2.平链1此tg3马1Co.符稳记处状or氏1on自有平添号vc态忆信链e-记条自加p熵信C分（信均th忆息标的件信6a息类信）源题p互计m熵和自息源(的a算4n的信互的方)信N(熵7次程信息息含)(扩4息)义展源
单击此处添加标题
对于实际英文字母组成的信源：
信息信论息基论础
= H =0.29
H0
H =1.4(比特/符号) =1-0.29=0.71
Page 11
凸自§§熵§然离单单函22语散的击.2击.数.言平1此3此1基.的稳处1处自相有平添本关记自条添加信均性忆性标加信件息和信题互标质和息自剩源题余的信互（信度熵信息息(13）息)
信息信论息基论础
源自文库
定 理
平稳马氏源的符号熵为
J
H (X ) i H(X / s i) i 1
n
H ( X / s j) p j (ai ) log p j (ai ) i 1
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马的1Co.稳记处状or氏1on相自有平添vc态忆链e-记条自加关p信C分（信均th忆标件信6性a息类信）源题p互m与和自息源(的a4n的信剩互方)信N熵次程余信息息(扩4度息) 展源
单击此处添加标题
信息信论息基论础
信源的冗余度是指信源中”多余”(即可以被无损压缩掉的)
成分所占的比例。
信源效率 H
H0
信源剩余度
1 H
H0
信源符号所含信息量与符号所能携带最大信息量之间差别的度量，表示信源 可以被无失真压缩的程度
Page 9
凸自§§熵§然离单单函22语散的击.2击.数.言平1此3此1基.的稳处1处自相有平添本关记自条添加信均性忆性标加信件息和信题互标质和息自剩源题余的信互（信度熵信息息(11）息)