信息的度量v3.0
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13
自信息量的单位
自信息的单位与所用对数的底有关 以 2 为底：单位为比特(bit)，工程上常用，为书 写简洁，常把底数 2 略去不写 以 e 为底：单位为奈特(nat) ，理论推导时常用 以10为底：单位为哈特(hat)或笛特(det) 为强调是信源所发出的每个符号的不确定性，有时也 将单位写成：bit/符号、nat /符号、det /符号 各单位之间的换算关系
课堂思考题
思考题:
设有12枚同值硬币，其中有一枚为假币。只知道假币的重量 与真币的重量不同，但不知究竟是重还是轻。现用比较天平 左右两边轻重的方法来测量。为了在天平上称出哪一枚是假 币，试问至少必须称多少次？
Which one is the counterfeit?
17
课堂思考题
设有12枚同值硬币，其中有一枚为假币。只知道假币的
1 比特 ln 2 奈特 1 奈特 log 2 e 比特 1 哈特 log 2 10 比特 lg 2 哈特
lge 哈特
ln10 奈特
14
自信息量的性质
I ( xi )
8 6
4 2
I ( xi ) log 2 p( xi ) p( x i )
I ( xi ) 是非负值 p( xi ) 1 时，I ( xi ) 0 p( xi ) 0 时，I ( xi )
在天平上称一次能判断出三种情况：重、轻、相等， 其概率为P(c) 1 3, 天平测一次能获得的信息量为 I 2 I (c) log 2 P(c) log 2 3 1.585比特 则至少必须称的次数为：I1/I 2 2.9次，取整3
19
小结
信息的度量方法：自信息
信息量与不确定之间的关系
9
方法一:
I(xk)=f(1/n) 同理， I(cj)=f(1/m) 则 ：总的信息量= f(1/n) +f(1/m)
10
方法二:
方法二： I(xkcj)=f(1/mn)
两种方法的结果应该是一样的。 即： f(1/n) +f(1/m) =f(1/mn)
怎样才能使f函数能够满足这种信息量的可 加性？
重量与真币的重量不同，但不知究竟是重还是轻。现用
比较天平左右两边轻重的方法来测量。为了在天平上称 出哪一枚是假币，试问至少必须称多少次？ 解 为 设“在12枚同值硬币中，某一枚为假币”这事件 ,其出现的概率为
a
P (a ) 1 12
,其出现的概率为
又设“假币的重量比真币的重量是重或轻”这事件 为
I ( xi ) 是 p( xi ) 的单调递
1.0
0
0.2
0.4
0.6
0.8
减函数
例 从 26 个英文字母中随机挑选一个字母，则该事件的 I log 1 26 4.7 bit 自信息为
15
信息量与不确定之间的关系
收到某消息获得的信息量
＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性）
可以选择对数函数。
11
伟大的启示
1928年，信息论的先驱者之一哈特莱(Hartley) 首先研究了具有Nm个组合的单个消息信源。他对 这类非概率(实际是等概率)信源进行了研究，并 给出了最早的信息度量公式, 定义为可能消息量 的对数: I=logNm=mlogN
12
香农定义：自信息量
如果信源发出消息 xi 的概率为 p( xi )，则它所能提供 的自信息量(简称自信息、信息量)为：
信息论与编码
2.1 信息的度量
赵全友
计算机与通信工程系
物理量的度量
自然科学中通常都对各种物理量做定量的描述 .
例: 长度
质量 时间 ………
米
千克 秒
2
信息的度量? 问题:
某景观灯由8个串联的灯泡x1，x2，…，x8组成，其灯泡损坏 的可能性是等概率的，现假设其中有一个灯泡已损坏，问每 进行一次测量可获得多少信息量？总共需要多少次测量才能 获知和确定哪个灯泡已损坏？
16
找到如何找出假币的具体方法，评分标准： 1、30分钟以内做出来：智力很高很高很高，不知道有多高。 2、60分钟以内做出来：智力很高。 3、两小时内做出来： 智力相当高。 4、1天或者1周内做出来：智力也很高，而且还是一个有毅力的人。 5、10分钟内做出来：你或者以前做过，或者多半是个马虎的人。
20
课后练习题 思考题:
某景观灯由8个串联的灯泡x1，x2，…，x8组成， 其灯泡损坏的可能性是等概率的，现假设其中有 一个灯泡已损坏，问每进行一次测量可获得多少 信息量？总共需要多少次测量才能获知和确定哪 个灯泡已损坏？
21
谢谢！
22Hale Waihona Puke Baidu
信息度量的定性分析
5
能否用表达式定量表示信息和信息量呢?
6
引例
例:设有 n种大小不同的设备﹛x1,x2,x3,….xn﹜， 每种设备有 m 种颜色 {c1,c2,c3,…..cm} ，试分 析在挑选一个设备时所具有的信息量。 分析:不论采用什么样的方法，结果就是挑选出 一个设备。
7
挑选设备方法
方法一:先按n个不同大小挑，然后从m个不同颜色挑。
方法二 : 直接从 n 种大小和 m 种颜色，即 m*n 个组合中挑 出一台。
8
方法一:
设 I 表示信息量 ,f 表示信息量 I 与事件 ( 某种大小 xk, 或 某种颜色cj)发生概率的某种函数关系 I(xk)=f(p(xk)) 如每种大小挑选的概率相等,则p(xk)=1/n
1.信息可以用什么来衡量呢? 2.信息又怎样计算呢? 3.利用信息度量能否解决生活中的问题？
3
信息的直观认识
事件发生的概率越小，此事件含有的信息 量就越大 例 事件“中国男足 2:0 力克巴西男足” 含有的信息量大 ( 小概率事件发生了， 事件信息量大) 例 事件“中国男足 0:4 惨负于巴西男 足”含有的信息量小 ( 大概率事件发生 了，事件信息量小)
1 I ( xi ) log 2 log 2 p( xi ) p( x i )
自信息 I ( xi ) 包含两方面的含义：
(1) 当信源 X 输出消息 xi 以前， 信宿对 xi 存在的不 确定性
(2) 当信源 X 输出消息 xi 以后，xi 提供给信宿的信 息量，即消除上述不确定性所需要的信息量
4
信息的直观认识(续)
信息的度量(信息量)和信源所发消息的不确定性的消 除的程度有关，消除了多少不确定性，信宿就获得了 多少信息量 不确定性就是随机性，可以用概率论和随机过程来测 度不确定性的大小；出现概率小的事件，其不确定性 大，反之，不确定性小 由此可知：概率小 信息量大，即信息量是概率的 单调递减函数 此外，信息量还应该具有可加性 两个相互独立事件所提供的信息量应等于它们各 自提供的信息量之和。
b
P (b) 1 2
18
思考题
事件a的自信息为 I (a) log 2 P(a) log 2 12 事件b的自信息为 I (a) log 2 P(b) log 2 2
要发现某假币并知道其比真币重还是轻所需信息量为 I1 I (a ) I (b) log 2 12 log 2 2 4.585比特
自信息量的单位
自信息的单位与所用对数的底有关 以 2 为底：单位为比特(bit)，工程上常用，为书 写简洁，常把底数 2 略去不写 以 e 为底：单位为奈特(nat) ，理论推导时常用 以10为底：单位为哈特(hat)或笛特(det) 为强调是信源所发出的每个符号的不确定性，有时也 将单位写成：bit/符号、nat /符号、det /符号 各单位之间的换算关系
课堂思考题
思考题:
设有12枚同值硬币，其中有一枚为假币。只知道假币的重量 与真币的重量不同，但不知究竟是重还是轻。现用比较天平 左右两边轻重的方法来测量。为了在天平上称出哪一枚是假 币，试问至少必须称多少次？
Which one is the counterfeit?
17
课堂思考题
设有12枚同值硬币，其中有一枚为假币。只知道假币的
1 比特 ln 2 奈特 1 奈特 log 2 e 比特 1 哈特 log 2 10 比特 lg 2 哈特
lge 哈特
ln10 奈特
14
自信息量的性质
I ( xi )
8 6
4 2
I ( xi ) log 2 p( xi ) p( x i )
I ( xi ) 是非负值 p( xi ) 1 时，I ( xi ) 0 p( xi ) 0 时，I ( xi )
在天平上称一次能判断出三种情况：重、轻、相等， 其概率为P(c) 1 3, 天平测一次能获得的信息量为 I 2 I (c) log 2 P(c) log 2 3 1.585比特 则至少必须称的次数为：I1/I 2 2.9次，取整3
19
小结
信息的度量方法：自信息
信息量与不确定之间的关系
9
方法一:
I(xk)=f(1/n) 同理， I(cj)=f(1/m) 则 ：总的信息量= f(1/n) +f(1/m)
10
方法二:
方法二： I(xkcj)=f(1/mn)
两种方法的结果应该是一样的。 即： f(1/n) +f(1/m) =f(1/mn)
怎样才能使f函数能够满足这种信息量的可 加性？
重量与真币的重量不同，但不知究竟是重还是轻。现用
比较天平左右两边轻重的方法来测量。为了在天平上称 出哪一枚是假币，试问至少必须称多少次？ 解 为 设“在12枚同值硬币中，某一枚为假币”这事件 ,其出现的概率为
a
P (a ) 1 12
,其出现的概率为
又设“假币的重量比真币的重量是重或轻”这事件 为
I ( xi ) 是 p( xi ) 的单调递
1.0
0
0.2
0.4
0.6
0.8
减函数
例 从 26 个英文字母中随机挑选一个字母，则该事件的 I log 1 26 4.7 bit 自信息为
15
信息量与不确定之间的关系
收到某消息获得的信息量
＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性）
可以选择对数函数。
11
伟大的启示
1928年，信息论的先驱者之一哈特莱(Hartley) 首先研究了具有Nm个组合的单个消息信源。他对 这类非概率(实际是等概率)信源进行了研究，并 给出了最早的信息度量公式, 定义为可能消息量 的对数: I=logNm=mlogN
12
香农定义：自信息量
如果信源发出消息 xi 的概率为 p( xi )，则它所能提供 的自信息量(简称自信息、信息量)为：
信息论与编码
2.1 信息的度量
赵全友
计算机与通信工程系
物理量的度量
自然科学中通常都对各种物理量做定量的描述 .
例: 长度
质量 时间 ………
米
千克 秒
2
信息的度量? 问题:
某景观灯由8个串联的灯泡x1，x2，…，x8组成，其灯泡损坏 的可能性是等概率的，现假设其中有一个灯泡已损坏，问每 进行一次测量可获得多少信息量？总共需要多少次测量才能 获知和确定哪个灯泡已损坏？
16
找到如何找出假币的具体方法，评分标准： 1、30分钟以内做出来：智力很高很高很高，不知道有多高。 2、60分钟以内做出来：智力很高。 3、两小时内做出来： 智力相当高。 4、1天或者1周内做出来：智力也很高，而且还是一个有毅力的人。 5、10分钟内做出来：你或者以前做过，或者多半是个马虎的人。
20
课后练习题 思考题:
某景观灯由8个串联的灯泡x1，x2，…，x8组成， 其灯泡损坏的可能性是等概率的，现假设其中有 一个灯泡已损坏，问每进行一次测量可获得多少 信息量？总共需要多少次测量才能获知和确定哪 个灯泡已损坏？
21
谢谢！
22Hale Waihona Puke Baidu
信息度量的定性分析
5
能否用表达式定量表示信息和信息量呢?
6
引例
例:设有 n种大小不同的设备﹛x1,x2,x3,….xn﹜， 每种设备有 m 种颜色 {c1,c2,c3,…..cm} ，试分 析在挑选一个设备时所具有的信息量。 分析:不论采用什么样的方法，结果就是挑选出 一个设备。
7
挑选设备方法
方法一:先按n个不同大小挑，然后从m个不同颜色挑。
方法二 : 直接从 n 种大小和 m 种颜色，即 m*n 个组合中挑 出一台。
8
方法一:
设 I 表示信息量 ,f 表示信息量 I 与事件 ( 某种大小 xk, 或 某种颜色cj)发生概率的某种函数关系 I(xk)=f(p(xk)) 如每种大小挑选的概率相等,则p(xk)=1/n
1.信息可以用什么来衡量呢? 2.信息又怎样计算呢? 3.利用信息度量能否解决生活中的问题？
3
信息的直观认识
事件发生的概率越小，此事件含有的信息 量就越大 例 事件“中国男足 2:0 力克巴西男足” 含有的信息量大 ( 小概率事件发生了， 事件信息量大) 例 事件“中国男足 0:4 惨负于巴西男 足”含有的信息量小 ( 大概率事件发生 了，事件信息量小)
1 I ( xi ) log 2 log 2 p( xi ) p( x i )
自信息 I ( xi ) 包含两方面的含义：
(1) 当信源 X 输出消息 xi 以前， 信宿对 xi 存在的不 确定性
(2) 当信源 X 输出消息 xi 以后，xi 提供给信宿的信 息量，即消除上述不确定性所需要的信息量
4
信息的直观认识(续)
信息的度量(信息量)和信源所发消息的不确定性的消 除的程度有关，消除了多少不确定性，信宿就获得了 多少信息量 不确定性就是随机性，可以用概率论和随机过程来测 度不确定性的大小；出现概率小的事件，其不确定性 大，反之，不确定性小 由此可知：概率小 信息量大，即信息量是概率的 单调递减函数 此外，信息量还应该具有可加性 两个相互独立事件所提供的信息量应等于它们各 自提供的信息量之和。
b
P (b) 1 2
18
思考题
事件a的自信息为 I (a) log 2 P(a) log 2 12 事件b的自信息为 I (a) log 2 P(b) log 2 2
要发现某假币并知道其比真币重还是轻所需信息量为 I1 I (a ) I (b) log 2 12 log 2 2 4.585比特