20.信息的度量与应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息的度量与应用
怎么度量信息 对于系统，可以利用守恒 关系有 A+I=B，得I=B-A。
首先分析一下问题的认识过程 1.对一问题毫无了解，对它的认识是不确定的
2. 通过各种途径获得信息，逐渐消除不确定性 3. 对这一问题非常的了解，不确定性很小 可否用消除不确定性的多少来度量信息！ 黑箱 信息I 灰箱 信息II
定理1
满足公理1—公理4的信息量计算公式为I(M)=－Clogap， 其中C是任意正常数，对数之底a可取任意为大于1的正实 数。 由公理1 I(M)=f(p)，函数f连续。 由公理2 若A发生必有B发生，则pA≤pB，
证明:
有f(pA)≥f(PB) ，故函数f是单调不增的。
由公理3 若A、B是两个独立事件，则A、B同时发生 的概率为pApB，有f(PAPB)=f(pA)+f(pB)。 先作变量替换 令p=a-q，即q=－logaP 记
平均信息量（熵）问题
设某一实验可能有N种结果，它们出现的概率分别为p1,…,pN,则 log2pi，而该 实验的不确定性则可用这组信息的平均信息量（或熵）
H pi log 2 pi 来表示
N
例4 投掷一枚骼子的结果有六种，即出现1—6点、出现每
log2 1 5.32 （比特） 40 1 10.32 （比特） 1280
（iii）“某人在第十排第15座”包含的信息量为
log2
至此，我们已经引入了信息度量的定量公式。如前 所述，它是信息对消除问题的不确定性的度量。这种讲 法似乎有点难以为人们所接受，其实，这只是人们的习 惯在起作用。这里，我们不妨来作一比较。在人们搞清 热的奥秘以前，温度也是一个较为抽象的概念，因它实 质上是物体分子运动平均速度的一种反映。人们天生就 知道冷和热，但如何来度量它却曾经是一个难题。只有 在解决了这一问题以后，以定量分析为主的热力学才能 得到飞速的发展。信息问题也是这样，人们对各种信息 包含的实质“内容”究竟有多少往往也有一个直观的感 觉，但用什么方法来度量它，却比“今天15度”这样的 讲法更不易理解，因为它是通过较为抽象的概率来计算 的。
Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called "the father of information theory".
Shannon提出的四条基本性质 （不妨称它们为公理 ）
公理1 信息量是该事件发生概率的连续函数 公理2 如果事件A发生必有事件B发生，则得知事件A发生 的信息量大于或等于得知事件B发生的信息量。 公理3 如果事件A和事件B的发生是相互独立的，则获知 A、B事件将同时发生的信息量应为单独获知两事件 发生的信息量之和。 公理4 任何信息的信息量均是有限的。 上述公理怎样推出信息量的计算公式呢 将某事件发生的信息记为M，该事件发生的概率记为p，记 M的信息量为I（M）。
例2 假如在盛夏季节气象台突然预报“明天无雪”的消息。
在明天是否下雪的问题上，根本不存在不确定性，所以这 条消息包含的信息量为零。
是否存在信息量的度量公式
基于前面的观点，美国贝尔实验室的学者香农（Shannon） 应用概率论知识和逻辑方法推导出了信息量的计算公式
In his words "I just wondered how things were put together."
记g(1)=C，容易求得g(2)=2C,g(3)=3C,…,一般地， 有g(n)=nC。进而 1 1 1 1 1 g g (1) g (1) g ng 。 n n n ，可得 n n 于是对一切正有理数 m/n，g(m/n) =(m/n)C。
由连续性可知：对一切非负实数x，有g(x)=Cx
当x取负实数时，由g(x)+g(－x)=g(0)=0，可得 出g(x)=―g(―x)=cx也成立，从而对一切实数x，g(x)=Cx, 故g(q)=Cq。
现作逆变换q=－logap， 得I(M)=f(P)=－ClogaP （11.3） 证毕。
各种信息量单位
f ( p ) f (e q ) g ( q ) ，又 p A p B e ( q A qB ) 有： g (q A q B ) g (q A ) g (q B ) ，g亦为连续函数。
g(x+y)=g(x)+g(y)的连续函数有怎样的性质
首先，由g(0)=g(0+0)=2g(0)得出g(0)=0或g(0)=∞。 但由公理4，后式不能成立，故必有g(0)=0。
白箱
不确定度A
不确定度B
不确定度C
几个例子： 例1 当你要到大会堂去找某一个人时，甲告诉你两条消息：
（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告 诉你一条消息：此人坐在第十五排。问谁提供的信息量大？ 乙虽然只提供了一条消息，但这一条消息对此人在什么 位置上这一不确定性消除得更多，所以后者包含的信息量应 比前者提供的两条消息所包含的总信息量更大
解： 在未知任何信息的情况下， 此人在各排的概率可以认
对于相应不独立的信息，要计算 这一例子反映了对完全独立的 为是相等的，他坐在各座号上的概率也可以认为是相等的，故 在已获得某信息后其余信息的信 几条信息，其总信息量等于各 条信息的信息量之和。 息量时，需要用到条件概率公式， （i）“某人在第十排”包含的信息量为 可以参阅信息论书籍。 1 log2 5 （比特） 32 （ii）“某人在第15座”包含的信息量为 5bit+5.32bit=10.32bit
若取a=2,C=1，此时信息量单位称为比特
若取a=10,C=1，此时信息量单位称为迪吉特 若取a=e,C=1，此时信息量单位称为奈特
例3设剧院有1280个座位，分为32排，每排40座。现欲从中找
出某人，求以下信息的信息量。（i）某人在第十排；（ii） 某人在第15座；（iii）某人在第十排第15座。
怎么度量信息 对于系统，可以利用守恒 关系有 A+I=B，得I=B-A。
首先分析一下问题的认识过程 1.对一问题毫无了解，对它的认识是不确定的
2. 通过各种途径获得信息，逐渐消除不确定性 3. 对这一问题非常的了解，不确定性很小 可否用消除不确定性的多少来度量信息！ 黑箱 信息I 灰箱 信息II
定理1
满足公理1—公理4的信息量计算公式为I(M)=－Clogap， 其中C是任意正常数，对数之底a可取任意为大于1的正实 数。 由公理1 I(M)=f(p)，函数f连续。 由公理2 若A发生必有B发生，则pA≤pB，
证明:
有f(pA)≥f(PB) ，故函数f是单调不增的。
由公理3 若A、B是两个独立事件，则A、B同时发生 的概率为pApB，有f(PAPB)=f(pA)+f(pB)。 先作变量替换 令p=a-q，即q=－logaP 记
平均信息量（熵）问题
设某一实验可能有N种结果，它们出现的概率分别为p1,…,pN,则 log2pi，而该 实验的不确定性则可用这组信息的平均信息量（或熵）
H pi log 2 pi 来表示
N
例4 投掷一枚骼子的结果有六种，即出现1—6点、出现每
log2 1 5.32 （比特） 40 1 10.32 （比特） 1280
（iii）“某人在第十排第15座”包含的信息量为
log2
至此，我们已经引入了信息度量的定量公式。如前 所述，它是信息对消除问题的不确定性的度量。这种讲 法似乎有点难以为人们所接受，其实，这只是人们的习 惯在起作用。这里，我们不妨来作一比较。在人们搞清 热的奥秘以前，温度也是一个较为抽象的概念，因它实 质上是物体分子运动平均速度的一种反映。人们天生就 知道冷和热，但如何来度量它却曾经是一个难题。只有 在解决了这一问题以后，以定量分析为主的热力学才能 得到飞速的发展。信息问题也是这样，人们对各种信息 包含的实质“内容”究竟有多少往往也有一个直观的感 觉，但用什么方法来度量它，却比“今天15度”这样的 讲法更不易理解，因为它是通过较为抽象的概率来计算 的。
Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called "the father of information theory".
Shannon提出的四条基本性质 （不妨称它们为公理 ）
公理1 信息量是该事件发生概率的连续函数 公理2 如果事件A发生必有事件B发生，则得知事件A发生 的信息量大于或等于得知事件B发生的信息量。 公理3 如果事件A和事件B的发生是相互独立的，则获知 A、B事件将同时发生的信息量应为单独获知两事件 发生的信息量之和。 公理4 任何信息的信息量均是有限的。 上述公理怎样推出信息量的计算公式呢 将某事件发生的信息记为M，该事件发生的概率记为p，记 M的信息量为I（M）。
例2 假如在盛夏季节气象台突然预报“明天无雪”的消息。
在明天是否下雪的问题上，根本不存在不确定性，所以这 条消息包含的信息量为零。
是否存在信息量的度量公式
基于前面的观点，美国贝尔实验室的学者香农（Shannon） 应用概率论知识和逻辑方法推导出了信息量的计算公式
In his words "I just wondered how things were put together."
记g(1)=C，容易求得g(2)=2C,g(3)=3C,…,一般地， 有g(n)=nC。进而 1 1 1 1 1 g g (1) g (1) g ng 。 n n n ，可得 n n 于是对一切正有理数 m/n，g(m/n) =(m/n)C。
由连续性可知：对一切非负实数x，有g(x)=Cx
当x取负实数时，由g(x)+g(－x)=g(0)=0，可得 出g(x)=―g(―x)=cx也成立，从而对一切实数x，g(x)=Cx, 故g(q)=Cq。
现作逆变换q=－logap， 得I(M)=f(P)=－ClogaP （11.3） 证毕。
各种信息量单位
f ( p ) f (e q ) g ( q ) ，又 p A p B e ( q A qB ) 有： g (q A q B ) g (q A ) g (q B ) ，g亦为连续函数。
g(x+y)=g(x)+g(y)的连续函数有怎样的性质
首先，由g(0)=g(0+0)=2g(0)得出g(0)=0或g(0)=∞。 但由公理4，后式不能成立，故必有g(0)=0。
白箱
不确定度A
不确定度B
不确定度C
几个例子： 例1 当你要到大会堂去找某一个人时，甲告诉你两条消息：
（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告 诉你一条消息：此人坐在第十五排。问谁提供的信息量大？ 乙虽然只提供了一条消息，但这一条消息对此人在什么 位置上这一不确定性消除得更多，所以后者包含的信息量应 比前者提供的两条消息所包含的总信息量更大
解： 在未知任何信息的情况下， 此人在各排的概率可以认
对于相应不独立的信息，要计算 这一例子反映了对完全独立的 为是相等的，他坐在各座号上的概率也可以认为是相等的，故 在已获得某信息后其余信息的信 几条信息，其总信息量等于各 条信息的信息量之和。 息量时，需要用到条件概率公式， （i）“某人在第十排”包含的信息量为 可以参阅信息论书籍。 1 log2 5 （比特） 32 （ii）“某人在第15座”包含的信息量为 5bit+5.32bit=10.32bit
若取a=2,C=1，此时信息量单位称为比特
若取a=10,C=1，此时信息量单位称为迪吉特 若取a=e,C=1，此时信息量单位称为奈特
例3设剧院有1280个座位，分为32排，每排40座。现欲从中找
出某人，求以下信息的信息量。（i）某人在第十排；（ii） 某人在第15座；（iii）某人在第十排第15座。