信息度量的故事
人教版小学数学度量衡的故事
人教版小学数学度量衡的故事《大禹和准绳》在很久以前，大地洪水滔滔，人们被洪水围困毫无办法。
大禹带着人们治水，这洪水滔滔，眼看着淹到了半山腰上，人们都不知道该如何让这洪水流走。
有人说，我们把他堵住，就可以把水变少了，可是这个办法他的爸爸以前试过，根本行不通。
他想，水善向下流，我何不在水旁边找更低的地方，看有没有办法让他朝着更低的地方流走？于是他就测量山川的高度和深度，有的山望着不高，可是却瞒不过大禹手中的准绳。
他有一个带着距的准绳，拿着这个绳子走到山顶，大禹就能够知道这座山是高是低。
人们都钦佩他的能干。
在他测量过的地方，每次人们开山凿石，仿佛这水就听大禹的话，他让凿哪里，水就流向哪里。
最后终于洪水全部归于大海。
土地重新露了出来。
大禹的那个丈量长度的准绳非常长，而且上面用绳结结成了一个个等距离的小节，每一节之间的距离是相等的。
《foot的来由》大家知道身体的长度经常是根据人的身高而变化的，而很多人手头用来量长短的，就靠一双手，或一双脚。
有时候就连国王都头疼，经常交上来的国土的数据是不准确的，因为每个用脚丈量土地的人，脚都不一样大。
一个晴朗的周日的早晨，在一座宏伟的教堂前，国王的贴身大臣，等在教堂门口，教堂中美妙的圣歌正在连绵不断的传出来。
终于圣歌结束，人们结束了祈祷。
大臣走到主教身边跟大家说：“亲爱的臣民们。
国王陛下让我制作一份最标准的尺子，他的长度将大概等于一位成年男子的脚的长度，我们不想得到一个巨人的脚，也不想得到一个矮人的脚，我们需要大家的帮忙。
请先出门的16为绅士站在教堂门口，大家把左脚一个挨着一个，排成直线，我们将把这条由16只脚组成的直线平均分16份，这样的话，就得到了一个最平均的脚的长度。
我将把这个长度交给陛下。
他会把这个长度公布给大家，统一测量不同的物品。
”于是最先出门的16个人站成了一列，左脚的脚尖挨着前面的人的脚跟。
大臣用绳子取得了他们16个脚的长度。
最后他平均成了1只脚的长度，用一个金属标识清晰的记录下来，存入了国王的宝库中。
度量衡简短小故事
度量衡简短小故事
从古至今，度量衡一直是人们生活的重要组成部分。
据说在中国
的商周时期，就已经有度量衡制度存在了。
随着社会的发展，度量衡
的应用范围也逐渐扩大，成为了商业、科学、化学甚至体育等各个领
域必不可少的一部分。
有一天，小明去超市买了一瓶牛奶和一袋鸡蛋，收银员告诉他：“你买的鸡蛋是十二只，牛奶是一升。
”小明本来很开心，但是当他
到家后发现鸡蛋竟然只有十个！他立刻打电话给超市，进行了投诉。
通过调查，商家发现是商家的计量器有误差，导致了误差计算不准确。
这就是应当引起人们关于度量衡重要性的思考。
如果度量衡不准确，就容易导致市场的混乱，甚至影响到人们的身体健康。
因此，所
有的度量衡必须经过权威机构的认证并得到合格证书。
只有这样，才
能保证市场秩序的稳定和安全。
随着科学技术的进步，度量衡也在不断地更新和完善。
如今，出
现了电子计量器等高科技产品，它们具有更高的精确度和稳定性，为
各行各业提供了更为准确的数据和更好的服务。
总之，正因为度量衡的重要性，我们必须重视它，从而不断完善
和更新度量衡标准，确保整个社会的公平公正性，保持市场健康有序
的状态。
信息论——信息的度量
信息论——信息的度量信息的度量 信息具可度量性，其⼤⼩取决于信息所消除的不确定性 举例如下： 消息A：中国⼥⼦乒乓球队夺取亚运会冠军。
消息B：中国男⼦⾜球队夺取世界杯赛冠军。
从事件的描述上来看，其主题内容⼤致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不⾏的。
根据以往经验，我们可以认为事件A是⼀个⼤概率事件，所以事件A的不确定性⽐较⼩，故当事件A发⽣时，我们从这个消息中得到的信息（消除的不确定度）很⼩。
同理对事件B⽽⾔，由于是个极⼩概率事件，我们得到的信息很⼤。
由此我们可以推断：消息B的信息量⼤于消息A。
对于⼀个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。
对应于事件X的消息X所消除的不确定性为 I(p2)。
那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对⼀个事物的信息获取的越多，其不确定性就越⼩，当其不确定性变为0时，该事件就被确定下来了，我们对其⽆法再获取更多的信息量了。
直观定义： 收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差信息量的数学表⽰ 理论依据（信息量具有的性质）： 1.⾮负性对于⼀个事件⽽⾔，当事件被完全确定时，即我们⽆法获取更多信息时，其信息量为0，因此⽆法⽐0更⼩。
2.单调性是先验概率的单调递减函数，即某事件的发⽣概率越⼤，其信息量就越⼩。
3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。
4.两个独⽴事件的联合信息量应等于它们分别的信息量之和。
I(xi)具有两个含义： 1.事件发⽣前，表⽰该事件发⽣的不确定性。
2.事件发⽣后，表⽰该事件所提供的信息量。
术语解释 先验概率（prior probability）是指根据以往经验和分析得到的概率。
度量衡小故事
度量衡小故事在一个古老的小村庄里，有一个非常勤劳的小贩，他经营着一家小店，出售各种食品和日常用品。
这个小贩以他的公平和诚实而为人所称赞。
有一天，一个陌生人来到了小贩的店里，他想买一些大米。
小贩称了一袋大米并告诉陌生人价格。
陌生人觉得价格太高了，他要求对大米进行称重。
于是小贩拿出一个秤，将大米倒入秤盘上。
可是陌生人突然说：'这个秤看起来好像有问题，你能给我用一个能称出准确重量的秤吗？'小贩微笑着回答：'我可以用我的另一个秤，它是我在另一个商家那里购买的，我相信它的准确性。
'陌生人同意了，小贩拿出另一个秤，将大米重新称重。
这次，重量与之前的一致。
陌生人满意地购买了大米，离开了店铺。
几天后，陌生人回到了小贩的店里。
这一次，他想购买一些面粉。
小贩称了一袋面粉，并告诉陌生人价格。
陌生人又一次要求对面粉进行称重。
小贩拿出了他相信的那个秤，将面粉放在秤盘上。
然而，陌生人又一次抱怨秤的准确性。
小贩感到非常困惑，他决定找到另一个商家借一台精密的秤。
小贩重复了前面的步骤，这次使用了新秤进行称重。
然而，这次的重量仍然与之前的一致。
小贩不解地问道：'我已经使用两台不同的秤了，它们都显示同样的重量。
难道你认为这两台秤都有问题吗？'陌生人看着小贩的困惑表情，突然脸上露出了微笑，他说：'实际上，我是一个度量衡官员，我专门负责检查商家的秤是否准确。
你的秤经过了我的测试，它是非常准确的。
我只是想测试你是否对自己的商品质量有自信。
你以诚实和公平而闻名，我非常愿意与你合作。
'小贩听到这些话，感到非常欣慰和放心。
从那天起，小贩的生意蒸蒸日上，他的店铺成为了村里最受欢迎的地方。
这个故事告诉我们，诚实和公平是成功的关键。
度量衡的准确性不仅仅是商家的责任，也是一个社会的责任。
只有当我们相信他人的诚实，我们才能建立起一个和谐的社会。
信息及其度量
第1章 绪论
I = log a
1 = log a P( x ) P( x)
– 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b 2，信息量的单位称为比特(bit) ，可简记为b 若a = e，信息量的单位称为奈特(nat)， ，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特莱(Hartley) 。 10，信息量的单位称为哈特莱(Hartley) – 通常广泛使用的单位为比特，这时有
I 108 I= = = 1.89 每个符号的算术平均信息量为 (比特 / 符号） 符号数 57
第1章 绪论
若用熵的概念来计算：
3 3 1 1 1 1 1 1 H = log 2 log 2 log 2 log 2 8 8 4 4 4 4 8 8 = 1.906 （比特/ 符号）
则该消息的信息量
【解】此消息中，“0”出现23次，“1”出现14次，“2” 此消息中，“ 出现23次，“ 出现14次，“ 出现13次，“ 出现7次，共有57个符号，故该消息的 出现13次，“3”出现7次，共有57个符号，故该消息的 信息量
I = 23log2 8 / 3 + 14 log2 4 + 13log2 4 + 7 log2 8 = 108 (b)
– 模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端最终输出信噪比来度量。
第1章 绪论
– 数字通信系统 有效性：用传输速率和频带利用率来衡量。
– 码元传输速率RB：定义为单位时间（每秒）传送码元的数 1 R B = ），简记为B。 目，单位为波特（Baud ( B) 目，单位为波特（Baud），简记为B T 式中T － 码元的持续时间（秒） – 信息传输速率Rb：定义为单位时间内传递的平均信息量或 比特数，单位为比特/ 比特数，单位为比特/秒，简记为 b/s ，或bps ，或bps
度量衡数学小故事
度量衡数学小故事从前，有一个小村庄，村庄里的人们都非常勤劳，他们过着简单而幸福的生活。
然而，在村庄的边缘，有一块神秘的土地，被一座高耸的山峰所覆盖。
人们传说，山峰的顶端隐藏着一个神奇的度量衡宝库，里面蕴藏着无尽的智慧和力量。
村庄里有一个叫小明的聪明而好奇的孩子。
他经常听大人们谈论这个神秘的宝库，渴望能够亲眼目睹它的奇迹。
有一天，他鼓起勇气，决定向山峰进发，寻找那个传说中的度量衡宝库。
小明踏上了漫长而艰辛的旅程。
他穿过茂密的森林，攀爬陡峭的山脉，一路上遇到了各种困难与考验。
但是他不屈不挠，始终坚信自己会找到宝库。
终于，小明爬到了山顶。
眼前的景象让他目瞪口呆。
一个巨大而华丽的宝库出现在他面前。
宝库里面摆满了各种形状、大小和颜色的度量衡工具，如尺子、秤砣、天平等。
它们有的金碧辉煌，有的晶莹剔透，每一样都散发出强大的力量和无穷的智慧。
小明走进宝库，他发现有一个智者正在那里等待着他。
智者告诉小明，这个宝库实际上是一道数学考验，只有通过解决数学问题才能获得度量衡的力量和智慧。
智者给了小明一道题目：“宝库里有一块长度为10个单位的棍子，请你用这个棍子来测量一个长方形的长和宽，使得长和宽的和最大。
”小明按照智者的要求思考了一会儿。
根据他在学校学到的知识，他意识到，长和宽的和最大，意味着长和宽要尽可能地相等。
于是他将这根棍子分成两段长度相等的部分，把它们分别放在长方形的两个边上。
这样就形成了一个正方形，长和宽相等，和最大。
智者看到小明的答案后，满意地笑了笑，并解释道：“这个问题其实是求解一个优化问题，在数学中被称为极值问题。
通过合理地运用你已经掌握的知识，你成功地找到了最佳答案。
度量衡就是这样，它帮助我们在生活中解决各种问题，寻找最佳的解决方案。
”小明心悦诚服地接受了智者的教诲，并且请求智者再给他出一道题目。
智者满意地点了点头，说道：“好吧，接下来我将给你一道更复杂的问题。
宝库里有一对秤砣，一块重100克，另一块重200克。
与度量衡有关的历史故事
目录
• 引言 • 国王命令 • 新的度量衡体系的推广
01 引言
引言
在遥远的古代，有一个叫做“平 衡国”的地方。这个国家的名字 源于他对公平和公正的深深热
爱。
平衡国人民对公平和公正有着深 深的热爱，这在他们独特的度量
衡体系中表现得淋漓尽致。
在那个时代，度量衡并非像我们 现在所理解的那样简单，而是一 种深深植根于文化、经济和社会
尽管新的度量衡体系在推广过程中遇到了困难，但只要我们坚持公正和公平的原 则，就一定能创造出更加精确、公正的度量衡体系。
为社会的进步和发展做出贡献。
THANKS FOR WATCHING
感谢您的观看
的象征。
02 国王命令
国王命令
平衡国的国王，明智而公正，他意识到一个准确的度量衡体系对于国家的发展至关 重要。
为了推广新的度量衡体系，他命令最聪明的智者们研发一套全新的度量衡标准。
智者们夜以继日地工作，最终创造出了一套既精确又实用的度量衡体系，被称为“ 天平准则”。
03 新的度量衡体系的推广
新的度量衡体系的推广
信息论第2章 信息的度量
4
甲地极端情况: 极端情况1：晴天概率＝1
X 晴 阴 大雨 小雨 P( x) 1 0 0 0 H ( X ) 1 log1 0 log0 0 log0 0 log0
lim log 0 H ( X ) 0(bit / 符号 ) 0 极端情况2：各种天气等概率分布
2.2.1 平均自信息（信息熵）的概念
定义2.3 随机变量X的每一个可能取值的自信息I(xi)的统计平 均值定义为随机变量X的平均自信息量:
H ( X ) E I ( xi ) p( xi ) log p( xi )
i 1 q
这里q为的所有X可能取值的个数。 熵的单位也是与所取的对数底有关，根据所取的对数底 不同，可以是比特 / 符号、奈特 / 符号、哈特莱 / 符号或者 是r进制单位/符号。通常用比特/符号为单位。 一般情况下，信息熵并不等于收信者平均获得的信息量， 收信者不能全部消除信源的平均不确定性，获得的信息量将 小于信息熵。
乙地极端情况:
极端情况1：晴天概率＝1 Y 晴 小雨 P( y ) 1 0 H (Y ) 1 log1 0 log0 0(bit / 符号)
极端情况2：各种天气等概率分布
Y 晴 阴 P ( y ) 1/2 1/2
H ( X ) pi log pi H ( p1 , p2 ,
i 1 q
, pq ) H (p)
熵函数H(P)具有以下性质： 对称性
H ( p1, p2 , , pq ) H ( p2 , p1, , pq )= = H ( pq , p1, , pq1 )
说明熵函数仅与信源的总体统计特性有关。
信息的度量问题概述
信息的度量问题概述作者：许可来源：《硅谷》2008年第14期[摘要]信息是一个复杂的概念，我们讨论的信息是基于信息的不确定性。
即认为信息是事物的不确定性。
那么如何度量信息是对信息的定性描述的一个关键问题。
讨论信息的可度量性，度量的标准，度量的方法。
并给出信息的度量：香农熵。
[关键词]信息的度量不确定性香农熵中图分类号：O23 文献标识码：A 文章编号：1671－7597(2008)0720044－01一、信息的可度量性在日常生活中，许多直观经验告诉我们，信息是有度量的。
例如对于一句话，一件事，人们会产生诸如“这句话很有用，信息量很大”“这句话没有用”的评价。
说明不同的语言、不同的事件带有不同的信息量。
一般来说，越是意外的事情带来的信息量越大。
那么应该说，信息确是有度量的，而且它的度量与它所依附事件的复杂度与不确定性有关。
其实，获取信息的过程即是不确定性减少的过程。
二、随机变量及其不确定性我们知道随机变量的不确定性与其概率分布有关，信息论所关心的是这一随机变量的不确定性。
显然，随机变量的不确定程度越高，我们从实验中可能获取的信息也就越多。
直观看来，随机变量的不确定程度并不一样。
如随机变量X，Y，Z，T的概率分布分别为显然在这几个分布中，不确定性从小到大依次为：T，X，Y，Z，W。
特殊的，对随机变量T，变为常量型随机变量，不确定性为零，相应的概率分布称为确定性概率分布。
Z的不确定性最大，它服从等概率分布。
那么，若即随机变量X服从等概率分布时的不确定性最大，且当a增大时，不确定性也会增大。
那么，能否严格的给出不确定性的度量。
三、香农熵由上述可知，随机变量的不确定性应该是它的概率分布的一个函数，记之为。
上面这三种表示方法是等价的，其中P是X的概率分布。
香农指出，这样的函数是存在的，并且应该满足以下特性：1.连续性条件：即是的非负连续函数；2.等概率分布时为单调递增函数；3.可加性条件：当随机变量变量的取值不是通过一次试验而是通过若干次试验最后才得到的，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的结果的不确定性相同。
度量衡的来历的故事
度量衡的来历的故事以下是 9 条关于度量衡来历的故事：故事一：嘿，你知道吗？度量衡的出现那可不是偶然的呀！想想看，咱老祖先那时候，要交换东西啊，总不能瞎估摸吧。
就比如说，张三拿着一捆柴要去换李四的一只鸡，那怎么衡量公平不公平呢？这可不是开玩笑的事儿！难道就凭感觉说这捆柴就值那只鸡吗？那不乱套啦！所以呀，度量衡就慢慢出现啦，就像给混乱的交换世界点亮了一盏明灯。
这就是智慧呀，咱老祖先多牛啊！故事二：嘿呀，度量衡的来历可有意思啦！你想想啊，以前大家都各有各的说法，同样的东西，你说大，他说小。
这咋整呢？就好像一群人在黑暗中摸索。
后来啊，不就有了度量衡嘛，它就像是一把尺子，把啥都给量得清清楚楚。
比如说量布，总不能你说这块布长，我说短吧，有了标准的度量衡，大家都没话说了。
这不就把混乱的局面给理清了嘛，多神奇呀！故事三：你晓得不，度量衡这东西的来历可太重要啦！就好比建房子，没有个准儿那能行？以前没这玩意的时候，那交易乱得哟，简直没法说！就像没有指挥的乐队。
但有了度量衡，一切就变得井井有条啦。
好比说卖米，再也不会因为量的问题吵得不可开交啦。
这就是它的厉害之处呀，可不是随便说说的哟！故事四：哎呀，度量衡的起源那可是充满故事的呀！你想啊，没有它，这个世界得乱成啥样儿？大家都随心所欲地判断，那还得了。
好比去买个菜，说不定就被人坑了都不知道呢。
但度量衡一出现，就像给大家吃了颗定心丸。
就说称水果吧，有了明确的重量标准，卖的安心，买的也放心呀。
这可不是小事儿，是关乎咱生活的大事呢！故事五：嘿哟，你想想度量衡咋来的呀！那绝对是生活逼出来的呀！以前没个准头的时候，争争吵吵那是常事儿。
就跟没头苍蝇似的到处乱撞。
然后呢，度量衡就诞生啦。
好比在黑暗中找到了光明。
比如说量长度，以后就不用再纠结到底谁的说法对啦。
这就是解决问题的妙招啊，牛吧！故事六：哇塞，度量衡的来历可了不起啦！以前没有它，那简直是一片混沌呀。
就好像在大雾中走路，都不晓得方向。
关于度量衡的故事主题活动中要能知道中国在秦朝统一了度量衡指导学生查阅资料
关于度量衡的故事主题活动中要能知道中国在秦朝统一了度量衡指导学生查阅资料
关于度量衡的故事可以追溯到古代中国，而其中最具代表性的事
件要属秦朝统一度量衡了。
在古代，每个地方都有自己的度量衡标准
和参数，这种杂乱无章的情况不仅不便于商业贸易的发展，而且也限
制了技术研究的进步。
因此，一个标准化的度量衡系统变得尤为重要。
在秦始皇统一六国之后，他下令对全国的度量衡系统进行彻底的
改革。
为了实现这一目标，他派遣了大批官员去全国各地进行调查和
研究，以确定一个统一的度量标准。
最终，他们确定了“市井尺”的
长度为一尺。
市井尺是一种比较常见的尺子，通常由竹子制成。
尺子
的长短是按照秦始皇的物品集运动的标准来制定的。
秦始皇还规定了
货物的等级，从而确保了各地的贸易公平。
如此标准化的度量衡系统不仅方便了商业，在一定程度上促进了
文化和科技的发展。
在此之后，不同地区之间交流联系更为频繁，大
量的商业活动有效地推动了社会的进步。
同时，这也为后来的汉朝和
唐朝等朝代提供了基础。
这是古代中国在镇压地方割据、发展经济、
繁荣文化方面所取得的一项重大成就。
总之，秦朝统一度量衡无疑是中国古代最具代表性的事件之一。
它的实现深刻地影响了中国历史的发展方向，丰富了中国文化的内涵，也是中国传统文化的重要组成部分。
第2章_信息的度量
东南大学移动通信国家重点实验室
21
X : [ X P] : P( X) :
1 P(1)
0 P(0)
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
H ( p)
1.0
0.8
0.6 0.4
0.2
0
0.2
12
信息论与编码课件
2.1 度量信息的基本思路
2.1.2度量信息的基本思路
I(xi)实质上是无量纲的 为研究问题的方便，根据对数的底定义信息量的量纲 对数的底取2，则信息量的单位为比特（bit）； 取e（自然对数），则单位为奈特（nat）； 取10（常用对数），则单位为哈特。 利用换底公式容易求得： 1nat1.44bit 1Hart3.32bit 在通信及目前的绝大多数信息传输系统中，都是以二 进制为基础的，因此信息量单位以比特最为常用 在没有特别说明的情况下，通常(2.3)式的量纲即为比 特，且底数2被省略。
东南大学移动通信国家重点实验室
18
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
定义2.4 若信源符号xi 的出现概率为P(xi)， 自信息量为I (xi) (i =1, 2, …, N )，则
H (X) P( xi ) I ( xi ) P( x) I ( xi ) P( x)lbP( x)
东南大学移动通信国家重点实验室
20
信息论与编码课件
2.2 信源熵和条件熵
2.2.1信源熵
例2.3 二进制通信系统的信源空间为
求该信源的熵。 解: 设P(1)=p，则P(0)=1-p。 由(2.4)式，有 H(X) = - p lbp - (1-p) lb(1-p) (2.5) 上式又称为二进制熵函数，也常用Hb(p)表示
与度量衡有关故事
与度量衡有关故事
《度量衡的故事》
话说呀，我小时候有一件特别好玩的事儿跟度量衡有关呢。
那时候我家住在一个小院子里，院子里有好多户人家，大家相处得都很和谐。
有一天，隔壁的王奶奶拿了一些自己种的蔬菜过来，说要分给我们家一些。
妈妈自然是满心欢喜地接受了，还说要回礼呢。
妈妈让我拿几个鸡蛋给王奶奶，我就去柜子里拿鸡蛋。
可是问题来了，我根本不知道要拿几个呀。
我突然就想到了上课学过的度量衡，鸡蛋可以用“个”来度量呀，于是我就数啊数，拿了五个鸡蛋。
当我把鸡蛋递给王奶奶的时候，王奶奶笑得合不拢嘴，直说“哎呀，太多了太多了”。
我就特别认真地说：“王奶奶，不多不多，用度量衡来说，五个鸡蛋不算多呀。
”王奶奶被我这小大人的模样逗得更乐了。
后来呢，我又对家里的其他东西都开始用度量衡去衡量，像米缸里有多少斤米呀，水桶能装多少升水呀，我都研究得津津有味。
有一次我甚至试图去称一下我家的小狗有多重，结果小狗可不配合，一直跑来跑去，把我累得够呛，最后也没称成功。
现在想想，那时候的自己真是天真又好笑。
度量衡这个东西呀，虽然平时不怎么特别去注意，但其实它真的无处不在地影响着我们的生活呢。
从那以后，我对度量衡一直有着一种特别的感情，每次看到秤啊、尺子啊这些东西，我就会想起小时候这些有趣的事儿，也会感慨生活中的这些小细节其实也是很有意思的呀。
这不就是度量衡带给我的特别故事嘛。
哈哈，是不是很好玩呀。
信息的度量问题概述-最新资料
信息的度量问题概述-最新资料信息的度量问题概述一、信息的可度量性在日常生活中，许多直观经验告诉我们，信息是有度量的。
例如对于一句话，一件事，人们会产生诸如“这句话很有用，信息量很大”“这句话没有用”的评价。
说明不同的语言、不同的事件带有不同的信息量。
一般来说，越是意外的事情带来的信息量越大。
那么应该说，信息确是有度量的，而且它的度量与它所依附事件的复杂度与不确定性有关。
其实，获取信息的过程即是不确定性减少的过程。
二、随机变量及其不确定性我们知道随机变量的不确定性与其概率分布有关，信息论所关心的是这一随机变量的不确定性。
显然，随机变量的不确定程度越高，我们从实验中可能获取的信息也就越多。
直观看来，随机变量的不确定程度并不一样。
如随机变量X，Y，Z，T的概率分布分别为显然在这几个分布中，不确定性从小到大依次为：T，X，Y，Z，W。
特殊的，对随机变量T，变为常量型随机变量，不确定性为零，相应的概率分布称为确定性概率分布。
Z的不确定性最大，它服从等概率分布。
那么，若即随机变量X服从等概率分布时的不确定性最大，且当a增大时，不确定性也会增大。
那么，能否严格的给出不确定性的度量。
三、香农熵由上述可知，随机变量的不确定性应该是它的概率分布的一个函数，记之为。
上面这三种表示方法是等价的，其中P是X的概率分布。
香农指出，这样的函数是存在的，并且应该满足以下特性：1.连续性条件：即是的非负连续函数；2.等概率分布时为单调递增函数；3.可加性条件：当随机变量变量的取值不是通过一次试验而是通过若干次试验最后才得到的，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的结果的不确定性相同。
事实上，上面的三个条件是非常容易理解的，不确定性当然不能是负值，前面也已经讨论了等概率分布时的不确定性随着随机变量取值个数的增加而增大，各个不确定结果应该可以相加。
可以证明出当满足上述三个条件时，可唯一确定其形式，上面我们定义的就是香农熵。
统一度量单位的小故事
统一度量单位的小故事话说在很久很久以前，有个叫老王的人，他是个小商贩。
这老王啊，卖布又卖米，每天忙得不亦乐乎。
可是呢，老王的生意老是出岔子。
为啥呢？就因为那时候度量单位不统一。
比如说，他从东边的老张那儿进布，老张说他这布啊，一丈就是他手臂张开这么长，十丈算一匹布。
可西边的老李来买布的时候呢，老李心中的一丈是他家那根祖传木棍的长度，这俩一丈可就差了不少。
有一回，老王卖给老李十丈布。
按照老李的度量单位，他觉得这布少得可怜啊，就和老王吵了起来。
老王也很委屈，他说：“我这可是实打实的十丈啊，按我进货的算法可没少给你。
”两人争得面红耳赤，周围围了一群人，就像看大戏一样。
再说说这卖米的事儿。
老王卖米用的是自家的小陶罐计量，一罐算一斗米。
结果有个外乡来的客人，人家家乡的一斗那是用大木桶量的，木桶可比小陶罐大多了。
这客人买了三斗米，看到老王用小陶罐舀了三下，气得跳脚，说老王这是欺诈。
就因为这度量单位不统一，老王的生意越来越差，还老是被人投诉。
后来啊，这个小镇上的人终于意识到这样下去不行。
大家聚在一起商量，决定找个大家都能接受的标准。
他们找啊找，最后发现镇上那口老古井的井口边长作为一个标准长度很合适。
于是大家就规定，这个井口边长的长度就是新的一丈，然后按照这个标准做了很多一模一样的木棍，以后大家量布啊啥的都用这个标准木棍。
对于米的度量呢，就专门做了一个大木斗，这个木斗的大小经过大家仔细商量确定下来，以后卖米就用这个木斗量，一斗就是这个木斗装满的量。
自从统一了度量单位之后啊，老王的生意又慢慢好起来了。
他再也不用担心因为度量不同和顾客吵架了，小镇上的买卖也变得更加公平、有序。
这就是度量单位统一的重要性，要是不统一啊，就像鸡同鸭讲，到处都是乱套的。
第二章 信息的度量 1
（3）假定前后字母出现不是互相独立的，当“a”出
现以后， “c”出现的概率为0.04，计算“a”出现以 后， “c”出现的自信息量。
（1）英文字母中“a”出现的概率为0.064，
“c”出现的概率为0.022，分别计算他们的自 信息量。
解：
（1）
I( a ) lo g 2 0 .0 6 4 3 .9 6 b it I( c ) lo g 2 0 .0 2 2 5 .5 1b it
根据互信息的定义，可以算出y1与各种天气
之间的互信息：
I ( x1 ; y 1 ) I ( x1 ) I ( x 1 / y 1 ) lo g 2 I ( x 2 ; y 1 ) I ( x 2 ) I ( x 2 / y 1 ) lo g 2 I ( x 3 ; y 1 ) I ( x 3 ) I ( x 3 / y 1 ) lo g 2 I ( x 4 ; y 1 ) I ( x 4 ) I ( x 4 / y 1 ) lo g 2 p ( x1 | y 1 ) p ( x1 ) p ( x 2 | y1 ) p ( x2 ) p ( x 3 | y1 ) p ( x3 ) p ( x 4 | y1 ) p ( x4 ) lo g 2 lo g 2 lo g 2 1/ 2 1/ 4 1/ 4 1/8 1/ 4 1/8 1b it 1b it 1b it
比特（bit,binary unit)
息量
P(x)=1/2时，I(x)=1bit。即概率为1/2的事件具有1bit信
由于在计算机上是二进制(binary digit)，我们一
般都采用比特。
计算自信息量的例子
例3：信源消息X={A,T,G,C} 的概率模型如下： xi A T G C
关于度量衡的历史故事简短
关于度量衡的历史故事简短
度量衡一直是人类社会发展中不可或缺的一部分。
在人们最初学
会使用数字的时候，他们可能就开始考虑如何测量重量和距离。
在早
期文明中，人们使用各种方法来度量物品，例如手指、手掌和步幅等。
大约在公元前3000年左右，古埃及人开始使用标准的度量衡系统，他们使用一根长棍，将其分成等长的部分，每部分都代表一定的
重量或体积。
这个系统得到了广泛的应用，并传播到了远东和欧洲。
在古希腊时期，一些哲学家和数学家开始考虑理论数学的概念，
其中包括各种度量衡的研究。
一些著名的古希腊学者，如毕达哥拉斯、亚里士多德和欧几里得，都对度量衡做出了贡献。
中世纪欧洲时期，度量衡系统更加发展和改进，使得商业和交易
变得更加方便和公正。
在16世纪，国际贸易的发展促进了对度量衡的
统一和标准化。
国家和地区开始实施自己的度量衡标准，这导致了在
不同的国家和地区使用不同的系统，这给商业和交易带来了一些问题。
在19世纪和20世纪，国际社会开始协调对度量衡的标准，以促
进国际贸易的发展。
这种标准化的努力在1960年代达到了顶峰，形成
了如今广泛应用的国际衡量单位制度（SI制）。
度量衡的历史告诉我们，度量衡系统的发展是人类社会进步的一
个重要方面。
统一的度量衡标准有利于促进国际贸易和交流，加强国
际合作和发展。
文章以《度量衡的故事》为主题,将信息技术、语文、数学等学科融合设计教学案例,
度量衡的故事度量衡是人类社会发展的重要组成部分，它是进行衡量、计算和交流的基础。
在各个学科中，如信息技术、语文和数学，度量衡都发挥着重要的作用。
本文将从这些学科的角度探讨如何将度量衡融入教学案例，以实现跨学科的综合学习。
信息技术在信息技术领域，度量衡与数据的收集和处理密切相关。
教师可以设计一个关于温度测量的教学案例。
学生需要收集不同地区的温度数据，并使用信息技术工具（如电子表格软件）进行整理和分析。
通过比较不同地区的温度变化，学生可以了解度量衡在记录和比较数据时的重要性，并通过信息技术工具的运用提高数据处理的效率。
此外，教师还可以引导学生探索度量衡在计算机存储容量中的应用。
学生可以了解比特、字节、千字节等不同单位的含义，并通过信息技术工具实践将不同单位之间的转换。
通过这样的教学案例，学生不仅能够深入了解度量衡的概念，同时也提升了他们的信息技术技能。
语文在语文学科中，度量衡可以与阅读理解和写作能力相结合。
教师可以选择一篇有关度量衡的科普文章，让学生阅读并理解其中的内容，然后就所读文章进行讨论和写作。
学生可以以度量衡为主题，写一篇文章或撰写一篇小说。
通过写作过程，学生可以运用度量衡的语言和概念，提升他们的写作能力。
同时还可以培养他们的阅读理解能力和表达能力。
此外，教师还可以设计一个有关度量衡单位的诗歌创作项目。
学生可以通过选择不同的度量衡单位，用诗歌的形式来表达其独特的意义和特点。
这样的创作能够培养学生的想象力和创造力，同时加深他们对度量衡单位的理解和记忆。
数学在数学学科中，度量衡是一个核心概念。
教师可以设计一个度量衡的实际应用问题，要求学生进行计算和解决。
例如，教师可以提供一个购物清单，并要求学生计算购物清单中各个物品的重量和总重量。
通过这样的问题，学生可以理解度量衡单位的转换和运用，并应用数学知识进行计算。
此外，教师还可以设计一个关于图形的教学案例。
学生可以选择不同的度量衡单位来进行图形的绘制和测量。
信息度量的故事
摘自《少年百科知识文库》中“年轻的信息科学”片段今天约好由叔叔向小伙伴们介绍信息科学的基础知识！……“叔叔，您刚才讲到的这么多内容，我觉得似乎都是有关信息本质的定性化的内容，那么，信息是否有定量化方面的性质呢？”“有的，最常见的就是我们对信息的度量。
信息像其它事物一样，是有其数量大小的。
我们通常是用尺来度量物体的长度，以‘米’作单位；用秤来度量物质的重量，以‘千克’作单位；用温度计来度量物体的温度，通常以‘摄氏度’作单位，等等。
”“那么，怎样来度量信息的大小呢？它以什么作单位呢？由于长期以来，人们对信息的认识是模糊的，虽然历史上人们曾经设法度量信息，但是方法很不科学。
只是经过几千年的漫长历程以后，到了20 世纪20 年代，才找了度量信息的科学方法。
遗憾的是，这种科学方法，现在还有许多人不知道，他们还是沿用过去的老办法来度量信息。
因此，在我们谈度量信息这一问题时，有必要先谈谈过去度量信息的老办法，它为什么不科学，然后再谈度量信息的科学方法。
”“叔叔，过去量度信息用的是什么方法呢？”细敏急不可待地问道。
“为了说明这个问题，我先给你们讲个故事。
”叔叔看到小伙伴如此感兴趣，情不自禁地笑了。
他接着说：“传说，在我国春秋战国时期，魏王命令大臣庞葱到赵国的首都邯郸去办一件事情。
临行前，庞葱对魏玉说；如果忽然有人向大王报告说，城里大街上有一只老虎，大王相信吗？魏玉说：不相信。
庞葱说：再有一个人又来报告，城里大街上发现了老虎，大王相信吗？魏王说：我还是不大相信。
庞葱说：第三个人又来报告说，老虎正在城里大街上奔跑，大王相信吗？魏王说：那我就相信了。
庞葱说：很清楚，街上没有老虎，三个人说有老虎，大王就相信了。
邯郸离这里比大街离王宫远得多，而在大王面前说我闲话的恐怕不止三个人，大王可要好好考虑考虑啊……”“从这个故事来看，魏王是用消息的多少来度量信息的。
一个人说谎，他不信。
三个人说谎，他就信了。
把消息混同为信息，用消息的多少来衡量信息的多少，这就是人们几千年来度量信息的古老方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘自《少年百科知识文库》中“年轻的信息科学”片段今天约好由叔叔向小伙伴们介绍信息科学的基础知识！……“叔叔，您刚才讲到的这么多内容，我觉得似乎都是有关信息本质的定性化的内容，那么，信息是否有定量化方面的性质呢？”“有的，最常见的就是我们对信息的度量。
信息像其它事物一样，是有其数量大小的。
我们通常是用尺来度量物体的长度，以‘米’作单位；用秤来度量物质的重量，以‘千克’作单位；用温度计来度量物体的温度，通常以‘摄氏度’作单位，等等。
”“那么，怎样来度量信息的大小呢？它以什么作单位呢？由于长期以来，人们对信息的认识是模糊的，虽然历史上人们曾经设法度量信息，但是方法很不科学。
只是经过几千年的漫长历程以后，到了20 世纪20 年代，才找了度量信息的科学方法。
遗憾的是，这种科学方法，现在还有许多人不知道，他们还是沿用过去的老办法来度量信息。
因此，在我们谈度量信息这一问题时，有必要先谈谈过去度量信息的老办法，它为什么不科学，然后再谈度量信息的科学方法。
”“叔叔，过去量度信息用的是什么方法呢？”细敏急不可待地问道。
“为了说明这个问题，我先给你们讲个故事。
”叔叔看到小伙伴如此感兴趣，情不自禁地笑了。
他接着说：“传说，在我国春秋战国时期，魏王命令大臣庞葱到赵国的首都邯郸去办一件事情。
临行前，庞葱对魏玉说；如果忽然有人向大王报告说，城里大街上有一只老虎，大王相信吗？魏玉说：不相信。
庞葱说：再有一个人又来报告，城里大街上发现了老虎，大王相信吗？魏王说：我还是不大相信。
庞葱说：第三个人又来报告说，老虎正在城里大街上奔跑，大王相信吗？魏王说：那我就相信了。
庞葱说：很清楚，街上没有老虎，三个人说有老虎，大王就相信了。
邯郸离这里比大街离王宫远得多，而在大王面前说我闲话的恐怕不止三个人，大王可要好好考虑考虑啊……”“从这个故事来看，魏王是用消息的多少来度量信息的。
一个人说谎，他不信。
三个人说谎，他就信了。
把消息混同为信息，用消息的多少来衡量信息的多少，这就是人们几千年来度量信息的古老方法。
”“人们往往以为，收到的消息数量越多，获得的信息就越多。
其实，这是很不科学的。
因为信息不等于消息。
信息只是消息中所包含的内容，消息只是信息的形式，这两者是有区别的。
有客观内容的消息包含着信息，没有客观内容的消息并不包含信息。
你得到的消息全是谎言、废话，或者是你已经知道的东西，那还有什么信息呢？相反，你只得到一条简短的消息，但其中包含许多客观内容，都是你以前所没有听到过的，那你就获得了比较多的信息。
所以，用收到的消息的多少来衡量获得的信息的多少，是没有办法量度出信息的多少的。
”“然而，千百年来，很少有人明白这个道理。
人们习惯于用收到的消息的多少来衡量信息。
这一方面是由于科学的发展还没有达到今天的地步，另一方面也由于信息包含在消息里，它们难解难分，何况在许多情况下，的确是消息的数量多，则它所包含的信息也多。
”“当然，过去的人也不是一点不懂消息的多少并不等于信息的多少的道理。
连古人也知道谎言传的人再多也不会变成真理。
例如，刚才说到的庞葱就讲出了信息不等于消息的看法。
可见，早在2000 年前，我国就有人认识到不能用消息的多少来量度信息。
”“到了20 世纪20 年代，人们对这个问题才开始有了深刻的认识。
到了40 年代，信息论的奠基人、美国数学家香农又详细讨论了信息的量度问题。
从此，人们从技术上找到了量度信息的一些科学方法。
”“按照他们的观点，人们在没有获得任何信息之前，信源对收集者一定存在着某种不确定性。
也就是说，信息从信源发出，但在收信者没接收到信息之前，对信源存在着一定量的不确定性。
所谓不确定，就是收集者对信源的认识不肯定、不知道。
你对某件事物知道得越少，则存在的不确定性就越大，而你得到的信息假如能使不确定性消除得越多，你所获得的信息量就越多。
”“例如，在一次英语考试之后发布成绩通知，如果通知说，某位平时英语很好的同学的成绩是优，同学们不会有太大的反应，因为这是他们意料之中的事，这个通知使他们获得的信息量不大。
如果通知说，该同学的成绩是中，同学们就会感到有些反常，这个通知给他们提供的信息就比前一种情况所提供的信息量要大。
假如通知说，该同学的成绩是不及格，那一定会轰动全班，使大家感到惊讶。
因为这是他们意想不到的事。
这个通知给他们提供的信息量就更大了。
这个例子说明，某一事物状态出现的可能性越小，它的不确定性就越大，报道这一事物状态出现的消息所提供的信息量就越大。
如果某一消息报道的内容是人人皆知、司空见惯的，或者是事先已经预料必然要发生的事，那么这个事物就是确定的。
它的不确定性等于零，因此，这种消息的信息量也等于零。
”丁大力为了巩固自己刚学到的概念，迫不及待地说：“叔叔，根据您刚才讲到的，我的体会是，信息量的多少，是按照信息所消除的不确定性的大小来进行量度的。
消除不确定性多，就是信息量大，反过来说，消除不确定性少，就是信息量小，对不对？”“是这样的。
”叔叔肯定地点了点头。
“那么，我还有一些疑问。
就是您所说的事物的不确定性又怎么来衡量呢？如果我们不能衡量不确定性，那么我们还是不能来度量信息量的大小。
”王永明喜欢探根究底。
“你的问题提得很好！”叔叔看到小伙伴们不但认真地听讲，而且还能开动脑筋，不断提出疑问，很是高兴。
他觉得只有这样，小伙伴们才会掌握有关的信息科学基础知识。
为了能通俗地给小伙伴们讲这个深奥的问题，叔叔考虑了一下，不紧不慢地说：“事物的不确定性的大小与事物可能发生的状态数目及各种状态发生的概率有关，要进行定量的计算，就得借助数学这个基础工具了。
”“所谓概率，通俗地讲，就是事件可能发生的程度。
某一件事绝对不可能发生，称为不可能事件，它的概率为零。
反过来说，某一件事绝对会发生，称为必然事件，它的概率为1 。
概率论认为，两个事件能同时发生，称为独立事件。
如果一个事件的出现会引起另一事件的出现，称为相关事件。
在一定的条件下，可能出现，也可能不出现的事件，称为随机事件，它的概率在0和1之间。
概率并不是十分深奥的，在日常生活中，我们也常常用到它，例如，人们说这件事有80％的成功把握，明天的天气50％能转晴等，就是概率的运用。
”“你们玩过抛掷硬币的游戏吗？抛掷硬币这一事件可能有两种结果：一种是正面朝上，一种是反面朝上。
但是在每次抛掷之前，究竟哪一面朝上是不能肯定的，这种不肯定就是我们认识上的不确定性。
等到抛掷以后，我们知道了结果，这种不确定性也就被消除了，这是因为我们获得了信息。
”“如果你们反复多次地抛掷硬币，把每次的结果统计一下，你们会发现，出现正面朝上和反面朝上的次数各占一半，即各为1/2，这1/2就叫做抛掷硬币的概率。
既然如此，那么，你们在每次抛掷之前对于可能出现的结果就不是完全不知道，至少知道存在着两种可能性，一种可能是正面朝上，一种可能是反面朝上。
也就是说，你们对出现的结果，一半知道，一半不知道。
这样，你们认识上的不确定性、不知道用概率来表示，就是1/2。
当抛掷一次以后，出现了结果，你们获得了信息，这个1/2的不确定性、不知道也就被消除了。
信息论把获得这么多的信息规定为信息量单位，叫做1比特。
所谓1比特，就是含有两个独立的相等概率的事件所具有的不确定性被全部消除所需要的信息量。
它实际上是从两种可能状态选择出一种的等可能消息所含有的平均信息量。
”“我们在现实生活中有大量能获得1 比特信息量的例子。
例如，我们去看一场电影，这场电影我们是喜欢看还是不喜欢看在看电影之前是存在着两种可能性的。
当看完电影之后，无论是喜欢看，还是不喜欢看，我们所获得的信息量都是1比特。
为什么呢？因为在看电影之前，我们对这场电影是喜欢看，还是不喜欢看这个不知道的不确定性只包含两种可能性。
而喜欢看和不喜欢看是两个独立事件。
当看完电影，就能知道是喜欢看还是不喜欢看了，也就是两种可能性中的一种变成了现实。
这个事件的不确定性也就完全被消除了。
所以，我们获得的信息量是1比特。
”“叔叔，让我也举一个例子试试，看我理解得对不对，好吗？”丁大力说。
“好，你说吧！”叔叔鼓励着。
丁大力稍微思考了一下，说：“我明年要考初中了。
对这件事只有两种可能，考上重点中学和考不上重点中学。
当考完试后，学校发出录取通知单，我就获得了1比特的信息。
因为我得知了考上和考不上重点中学这两种可能性中的一种。
”“你说得很对。
”叔叔赞许地说，“然而，世界上的事情是复杂的，一个事件出现的可能性并不都是两种，有的是三种、四种或更多种可能性。
而且它们的概率也不一定是相等的，有的也可能不是独立事件，我们怎样才能知道它的信息量呢？要完全弄清这些问题，需要掌握更多的有关概率论和其它方面的科学知识。
而详细地介绍这些知识，不是短时间内能弄懂的。
要搞清楚这一问题，有待于你们在今后的学习中去掌握各学科的知识。
不过，今天我可以介绍一个计算具有多种可能性事件信息量的简单方法。
”“例如，我们在一个布袋里放入大小相等的红、黄、黑、白四种颜色的球各一个。
让你随意地从中摸一个来猜，看是什么颜色的。
你怎么猜法？当然你猜四种颜色中的一种。
当你拿出来一看，你获得的信息量是多少呢？这一事件的可能性有四种，而且它们的概率是相等的，各自又是独立的。
因此，出现每一种颜色的球的概率都是1/4。
这种情况的不确定性要比抛掷硬币大，四种可能性正好是两种可能性的二次方。
因此，你猜后拿出来一看，所获得的信息量就是2比特。
那么，如果布袋里装入八个大小相等、颜色不同的球呢？你摸一个猜后拿出来一看，所获得的信息量就是3比特。
因为八个球就有八种可能性，八种可能性正好是两种可能性的三次方。
”“由这个例子我们不难发现，一个事件的等可能性是2的多少整数次方，它的信息量就是多少比特。
这就是计算信息量的一个简单方法。
”“我们认识了信息的本质特性以及信息的度量方法，这只是打下了一个基础。