信息论基础课程讲义PPT教学课件

2020/12/10
28
信息论基础
8) 条件熵不大于无条件熵:
M p jH s ( q j1 , ,q jN ) H s M p jq j1 , ,M p jq jN
M
H s(p1, ,pM ) pjH s(qj1, ,qjN ) s 1 M 0pj 1, j1, ,M, p j 1 j 1
k 1,,N, N
0qjk1, j 1,,M,
q jk 1
k 1
2020/12/10
27
信息论基础
7) 极值性：
H s(p 1 , ,p N ) H s N 1, ,N 1 lo N g
S
dQ T
Q —— 热量 T —— 绝对温度 描述热力学系统状况的一个函数
2020/12/10
9
信息论基础
玻耳兹曼给出熵与物理系统微观 状态数 的关系：
Sln
2020/12/10
10
信息论基础
1900年普朗克引进玻耳兹曼常数K， 得：
SKln
越 大 ， 表 示 系 统 可 能 的 微 观
状态数越多，即可能的变化越大， 可看为无序性越大。
显然，不确定性的大小与概率分布有关。
▪ 是什么关系呢？
2020/12/10
16
信息论基础
仙农提出，应是概率分布的函数 f(P 1,P 2, P N) 它满足：
① 连续性：是 Pn的连续函数。 ② 等概率时，是N的单调增函数。
若 f1,1, 1g(N)是N的单调增函数，
NN N
▪ 等概率时，取值数越多，不确定性越大
知道了就不是信息？没有信息？ 预先知道就没有信息。
5. 知识就是信息。（日本广辞苑） 6. 使事件出现不确定性减少的消息就
是信息。
2020/12/10
3
信息论基础
7. 差异就是信息。 8. 消息是组织程度的度量。 9. 信息是客观事物在我们感受中的反
映。 （人死了还有信息吗？）客观性。
2020/12/10
Hs(p1, pN)Hs(0,p1, ,pN) Hs(p1, ,pi,0,pi1, pN) Hs(p1, ,pN,0), i1, ,N1
2020/12/10
25
信息论基础
5) 确定性：
H s(1 ,0 ) H s(0 ,1 ) 0
2020/12/10
26
信息论基础
6) 可加性：
H s(p1q1,1 ,p1q1N, ,pM qM 1, pM qM)N
2020/12/10
17
信息论基础
③ 可加性： 随机变量的取值通过若干次试验才最后 得到时，随即变量在多次试验中的不确 定性程度应可加，且其和与通过一次试 验所取得结果的不确定性程度相同：
2020/12/10
18
信息论基础
例： H s 1 2 ,1 3 ,1 6 H s 1 2 ,1 2 1 2 H s 2 3 ,1 3
1 2
x1
1
3 x2
1 6
x3
P1
1 2
1 P2 3
1 P3 6
1
x1
2
2 3
x2
1q
2
1
x3
3
P1
1 2
1 P2 3
1 P3 6
2020/12/10
19
信息论基础
仙农证明，同时满足三条件，形 式唯一：
N
f(P 1,P 2, P N ) C * p n*lop n g n 1 C = 常数 > 0
2) 对称性：
H s ( p 1 , p N ) H s ( p K ( 1 ) , p K ( N ) )
3) 其{中k(1) , ,k(N)} {是1,,N} 的任 意变换。
2020/12/10
ቤተ መጻሕፍቲ ባይዱ
23
信息论基础
3) 归一性：
Hs
1, 2
1 2
1
2020/12/10
24
信息论基础
4) 可扩展性：
7
信息论基础
事物特性一个最普遍的特征： 组织程度——结构化——有序性
如果能找到一个组织程度的衡量也好。
很难。
反过来：找一个混乱程度的度量，一个 无序性的度量——有先例——热力学 热运动是一种无序运动。
2020/12/10
8
信息论基础
无序性与热熵的关系：
物理学家R. Clausius提出熵的定义：
信息论基础
2020/12/10
1
信息论基础
什么是信息的12个问题：
1. 消息就是信息。(虚假消息也是信 息？有人称为负信息。)
2. 数据就是信息。
韦伯字典
1. (形式与内容相同的。) 牛津字典
3. 新闻就是信息。
2020/12/10
2
信息论基础
4. 对消息接受者来说，预先不知道的 报道。 (辞海)
4
信息论基础
10.信息就是我们在适应外部世界和控制外部 世界过程中，同外部世界进行交换的内容 与名称。（物质与能量呢？）
11.信息是数据或消息中所蕴含的定义，它与 信息载体无关。（人工智能词典）
12.信息是客观世界在万物和人类彼此之间相 互感受和认识的再现，它反映了被感受对 象和所考察事物的状态、特性和变化。
2020/12/10
20
信息论基础
形式上与热力学的熵相同。 叫什么名字呢？
仙农：叫“信息”？ Neuman：熵
熵与信息量
2020/12/10
21
信息论基础
Shannon熵公式的重要性质： 1) 非负性：（不确定性最小为0）
lopgk0, 0pk 1 H(x)0
2020/12/10
22
信息论基础
2020/12/10
5
信息论基础
1. 客观性。 2. 主体的引入。 3. 形式与实际内涵。
1. 深入其内涵 4. 不确定性是信息的一种度量，但并
不是信息本身。
2020/12/10
6
信息论基础
信息如何度量：
事物特性五花八门， 物质有一个量——质量 m 信息可否有一个量：信息量？
2020/12/10
2020/12/10
11
信息论基础
热熵：系统无序性的一个度量， 或分子位置不确定性的一种度量。
从概率理论出发，对不确定性度 量的另一种考虑：
如何确定一个随机变量的不确定性程 度？
2020/12/10
12
信息论基础
一个函数随机变量X，有N个可能取值： a1aN ，各取值出现概率
P1P(a1) ……
N
Pn 1 1
2020/12/10
13
信息论基础
用密度矩阵描述
P( )aP11 aPN N
2020/12/10
14
信息论基础
例： P( )0a .01 10a.92 9
P( )0b.14
b2 0.6
P( )0c.15
c2 0.5
2020/12/10
15
信息论基础
从概念可知， 若 P(a1)0，P(a2)1，不确定性为0。 故不确定性最大为： P(a1)0.5，P(a2)0.5，等概率。