信息论第二章

9
例子（4）
• 例4：在一个布袋里放100个球，其中80个是红色的， 20个是白色的。随机摸出一个球，记下颜色不放回布
袋，再取一个球；
• 例5：自然语言：
– 我要去食堂吃饭； – 我机冰不水书东。
10
信源分类和概率空间（1）
◆按照信源发出的消息在时间上和幅度上的分布情况： 离散信源——发出在时间和幅度上都是离散分布的离散消息
X ( X 1 , X 2 ) ，概率空间为：
(a1 , a2 ) p (a1 , a2 ) ( an , an ) p ( an , an )
X (a1 , a1 ) P p(a , a ) 1 1
p(ai , a j ) 0, p(ai , a j ) 1
• m＝1阶马尔可夫信源
p( x1 , x2 ,, xi , xL ) p( xL xL1 ) p( xL1 xL2 ) p( x2 x1 ) p( x1 )
18
2.2 离散信源熵和互信息
问题：
• • • • • • • • 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
i , j 1
n
注：信源的概率空间能表征信源的统计特性，是信源固有的 ， 也称为信源空间。 若信源给定，则其相应的概率空间就已给定；
14
若信源的概率空间给定，就表示相应的信源给定。
◆按照信源发出的消息符号之间的依赖关系：
发出单个符号的无记忆信源 无记忆信源 信源 有记忆信源 发出符号序列的马尔可夫信源
23
• p( xi )—信源X的先验概率(已知)
• p( yj )—信宿Y的符号消息概率 (未知)
• p(xiyj)—联合概率(未知)
• p(yj/xi)—条件（转移）概率 (已知)
• p(xi/yj)—后验概率(未知) 接收者重新估计的关于信源X中的各个符号 消息的概率分布。
24
思考例题
已知信源X包含x0、x1两种消息，其出现概率 p(x0)=p(x1)=0.5 ，这两种消息在有干扰的二 元离散信道上传输。信宿Y收到的消息集合Y 包含y0、y1两种消息，给定信道的传输概率: p(y0/x0)=0.98, p(y1/x0)=0.02； p(y0/x1)=0.2, p(y1/x1)=0. 8。 求：在该信道上传输的 （1）平均互信息量； （2）可疑度； （3）噪声熵。
17
马尔可夫信源
• m阶马尔可夫信源
p( x1 , x2 ,, xi , xL ) p( xL x1 , x2 ,, xi , xL1 ) p( x1 , x2 ,, xi , xL1 ) p( xL xLm , xi , xL1 ) p( x1 , x2 ,, xi , xL1 ) p( xL xLm , xi , xL1 ) p( xL1 xLm1 , xi , xL2 ) p( x1 , x2 ,, xi , xL2 )
(1) p( xi ) 1, p( y j ) 1, p( xi / y j ) 1, p( y j / xi ) 1
(2) p( xi y j ) p( y j ), p( xi y j ) p( xi ), p( xi y j ) 1
i j i j
i
j
问题: ① 该信源中各个消息的出现会携带多少信息?
——关于自信息的定义 ② 整个离散信源又能输出多少信息?
——关于信源的信息熵
26
2.2.1 自信息量
• # 消息量””≠≠信息量“ • # 例： “明天降雨量将有一毫米”----信息量 小 • “明天降雨量将达到一米”----信息量 大 • “明日太阳将从东方升起”----信息量 零
信源X
有干扰 离散信道
信宿Y
干扰源
21
必须掌握的概率论知识
全概率: 设B1 , B2 , … 是一列互不相容的事件(BiBj= 0），
且有B1∪B2∪… =Ω （样本空间）； p(Bi)＞0，i=1，2，…，则对任一事件A，有：
p( A) p( Bi ) p( A | Bi ) p( ABi )
p( X 1 , X 2 ,, X l , X L ) p( X 1 ) p( X 2 )... p( X l )... p( X L )
L次扩展信源—— X 1 , X 2 , , X l , X L 概率分布相同
p ( X 1 , X 2 , , X l , X L ) p ( X )
发出符号序列的无记忆信源
发出符号序列的有记忆信源
15
•
符号序列的无记忆信源——所发出的各个符号是相互独立 的，发出的符号序列中的各个符号之间没有统计关联性。 信源：X ( X 1 , X 2 ,, X l , X L )
X 1 , X 2 ,, X l , X L 互不相关
L维随机矢量的联合分布：
i i
Bayes公式：
p( Bi ) P ( A | Bi ) p( Bi ) P ( A | Bi ) p( Bi | A) P ( A) p( Bi ) p( A | Bi )
i 1
条件概率
p（A | B） P ( AB) P( B)
联合概率
p（AB） P( B) p( A | B)
A {a1 , a2 ,..., an }, X A
p(ai ) 0, p(ai ) 1
i 1 n
离散型：
12
信源分类和概率空间（3）
◆按照信源发出的消息的组成符号个数： 发出单个符号的信源——信源输出消息的由单个符号组成
用随机变量X 描述
概率空间为：
连续型
X ( a, b) P p ( x) X
第二章 信源及信源熵
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 离散序列信源的熵 第四节 连续信源的熵和互信息
第五节 冗余度
1
重点:离散信源熵和互信息
难点:离散序列有记忆信源的熵
2
2.1 信源的描述和分类
信源的概念
信源－信息的发源地，如人，生物，机器等等。
信源的具体输出称作消息。
i 1
6
n
例子（1）
• 例1：在一个布袋里放100个球，其中80个是红色的， 20个是白色的。随机摸出一个球，看它的颜色，放回 后再做下次实验； • 例2：随机掷一个无偏骰子，每掷一次视为一次实验； • 共性
– 信源输出为单个符号，出现的消息数有限，且只能是符号集 中的一种，符合完备性，可用离散型随机变量描述该信源； – 每次实验结果可以单独处理。
L
16
• 发出符号序列的马尔可夫信源——信源发出符号序列的某
一个符号出现的概率只与前面一个或有限个符号有关，而 不依赖更前面的那些符号，可以用符号序列内各个符号之 间的条件概率来反映记忆特征。 信源： X ( X 1 , X 2 ,, X i , X L ) 若Xi只与 前面m个符号（ X i 1 , X i 2 ,, X i m ）有关，与更前 面及后面随机变量无关，则该信源为m阶马尔可夫信源， 记忆长度为m+1。
27
不确定性、惊讶度与信息量
在事件发生前有不确定性
在事件发生时有惊讶度
在事件发生后有信息量
当一个概率很低的随机事件发生，我们就会 感到非常惊讶，并得到很大的信息量。
如：9.11事件，美国纽约世贸大厦被炸
28
表
• 消息中的不确定内容构成信息；信息量 的多少与接收者的惊讶程度有关；消息 表达的内容越不可能发生，越不可预测， 惊讶程度越大，信息量就越大。
7
例子（2）
• 例3：有若干个5号干电池，随机摸出一节测量电压值 作为输出符号，则每次实验的结果取值均在[0，1.5]V 之间，每次测量值是随机的。 • 特性 – 信源输出为单个符号，出现的消息数无限且连续， 可用连续型随机变量描述该信源； – 每次实验结果可以单独处理。
8
例子（3）
• 例3：在一个布袋里放100个球，其中80个是红色的， 20个是白色的。随机摸出一个球，记下颜色然后放回 布袋，再取一个球，算作一次实验，依次每连取两次 球算作一次实验； • 特性 – 信源输出为两个（或多个）符号； – 可以用联合概率分布来表示信源特性； – 每次实验结果可以单独处理。
X R P p (x) X
p X ( x) 0,

b
a
p ( x)dx 1 或
X

R
p ( x)dx 1
X
13
发出符号序列的信源——信源输出消息由一系列符号（两
个或以上符号）组成，用随机矢量 表示： ( X 1 , X 2 ,..., X l ,... X L ) X L=2时，
P { p( x1 ), p( x2 ), , p( xn )} ， p( xi )
为符号
xi 的先验概率。通常把它们写到一起，
称为概率空间：
x2 xn X x1 P p( x ) p( x ) p( x ) 1 2 n
p( xi ) 0, p( xi ) 1
4
香农信息论的基本点
信源
X1,X2,X3,… …
A为{a1,a2,…,am}或（a,b）
• 用随机变量或随机矢量来描述信源输出 的消息； • 用概率论和随机过程理论来研究信源。5概率空间• 符号
xi 的先验概率
样本空间 概率测度
一个离散信源发出的各个符号消息的集合为
X {x1, x2 ,, xn } ，它们的概率分别为