《信息理论与编码》第二版( 王虹)课后习题答案
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x np x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息理论与编码参考答案
(1)符号之间的相互依赖性造成了信源的条件熵 比信源熵 少。
(2)联合熵 表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为
原因在于 考虑了符号间的统计相关性,平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。
2、20黑白气象传真图的消息只有黑色(B)与白色(W)两种,即信源 ,设黑色出现的概率为 ,白色的出现概率为 。
(1)假设图上黑白消息出现前后没有关联,求熵
(2)假设图上黑白消息出现前后有关联,其依赖关系为 , , , ,求此一阶马尔可夫信源的熵 。
(3)分别求上述两种信源的剩余度,并比较 与 的大小,试说明其物理意义。
解:(1)假设传真图上黑白消息没有关联,则等效于一个DMS,则信源概率空间为
信源熵为
(2)该一阶马尔可夫信源的状态空间集为
解:猜测木球颜色所需要的信息量等于木球颜色的不确定性。令
R——“取到的就是红球”,W——“取到的就是白球”,
Y——“取到的就是黄球”,B——“取到的就是蓝球”。
(1)若布袋中有红色球与白色球各50只,即
则 bit
(2)若布袋中红色球99只,白色球1只,即
则 bit
bit
(3)若布袋中有红,黄,蓝,白色各25只,即
0
1
2
0
1/4
1/18
0
1
1/18
1/3
1/18
2
0
1/18
7/36
求信源的信息熵、条件熵与联合熵,并比较信息熵与条件熵的大小。
解:边缘分布为
条件概率 如下表:
0
1
2
0
9/11
1/8
0
1
2/11
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
信息论与编码(第二版)曹雪虹(最全版本)答案
信息论与编码(第二版)曹雪虹(最全版本)答案11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbol bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log)/(log )/(11111111=⨯-=-=-=2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+= 该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-== 2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭ （1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2===二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
《信息论与编码》部分课后习题参考答案
若知道是星期几，则从别人的答案中获得的信息量为 0。 2.3 每帧电视图像可以认为是 3*10^5 个像素构成，所有像素均独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广 播员在约 10000 个汉字的字汇中选取 1000 个字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此 图像，广播员在口述中至少需用多少汉字？ 答：由于每一象素取 128 个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平 包含的信息量为 I(X) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的， 因此每帧图像信源就是离散亮度电平信源的无记忆 N 次扩展。由此，每帧图像包含的信息量为 I(XN) = NI(X)= 3×105×7 =2.1×106 bit/帧 广播员在约 10000 个汉字中选取字汇来口述此电视图像， 各个汉字等概分布， 因此每个 汉字包含的信息量为 I(Y) = – lb(1/10000)=lb1000=13.29 bit/ 字 广播员述电视图像是从这个汉字字汇信源中独立地选取 1000 个字进行描述，因此广播 员描述此图像所广播的信息量是 I(YN) = NI(Y)= 1000×13.29 =1.329 ×104 bit/字 由于口述一个汉字所包含的信息量为 I(Y)，而一帧电视图像包含的信息量是 I(XN)，因此 广播员要恰当地描述此图像，需要的汉字数量为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息理论与编码 第二版 (吕锋 王虹 著) 人民邮电出版社 课后答案
课后答案网 您最真诚的朋友
网团队竭诚为学生服务，免费提供各门课后答案，不用积分，甚至不用注
册，旨在为广大学生提供自主学习的平台！
课后答案网：
视频教程网：
PPT 课件网：
课后答案网：
若侵犯了您的版权利益，敬请来信告知！
课后答案网 w w w .h a c k s h p .c n
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网
课后答案网 。
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息理论与编码习题
解：
(1) /符号
/符号
(2)
=
= /符号
= /符号
= /符号
= /符号
(3) /符号
/符号
(4)、(5)
/符号
/符号
/符号
/符号
又根据
= /符号
3.3设有一批电阻，按阻值分：70%是2 ，30%是5 ；按功率分：64%是1/8 ，其余是1/4 。现已知2 阻值的电阻中80%是1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
答案：王虹
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
得每个像素亮度含有的信息量为：
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含有的信息量为
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
由 得
由对称性可得
（2）
H p ㏒ p =-
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
(3)
2.5 联合熵和条件熵
2.10任意三个离散随机变量 、 和 ，求证：
(1)
证明：
（1）方法一：利用定义证明。
左边=
=
右边=
=
在输入等概率分布下，计算得
，满足
然后计算
=
=
=
又 =
=
=
可见 ，当 时。
所以，根据信道容量解的充要性（参考书[1]定理3.3）得
信息理论与编码课后答案（吕锋王虹着）
第一章教材习题1.1.试述信息与知识、消息和信号之间的区别与联系，并举例说明。
1.2.详述钟义信先生的信息定义体系。
1.3.试查阅文献，说明信息具有哪些特征和性质？1.4.说明通信系统模型由哪几部分组成，并详细讨论每一部分的功能。
1.5.试述信息论的研究内容？第二章教材习题信源模型2.1试简述信源分类以及各种信源特点。
信息的描述2.2在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？不确定性与信息2.3一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量。
（2）“两个1同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的统计平均自信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息量。
2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。
100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?联合熵和条件熵2.9任意三个离散随机变量X 、Y 和Z ，求证：()()()()H XYZ H XY H XZ H X −≤−。
平均互信息及其性质2.11设随机变量12{,}{0,1}X x x ==和12{,}{0,1}Y y y ==的联合概率空间为11122122(,)(,)(,)(,)133818XY XY x y x y x y x y P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦定义一个新随机变量Z X Y =×（普通乘积）。
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
《信息理论与编码》,答案,考试重点（1--3章）
《信息理论与编码》,答案,考试重点（1--3章）《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，⽽消息是信息这⼀抽象内容通过语⾔、⽂字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语⽤信息的定义是什么？三者的关系是什么？答：语法信息是最基本最抽象的类型，它只是表现事物的现象⽽不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本⾝做出优劣判断。
语⽤信息是信息的最⾼层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进⼀步考察这种关系及含义对于信息使⽤者的效⽤和价值。
三者之间是内涵与外延的关系。
第2章1. ⼀个布袋内放100个球，其中80个球是红⾊的，20个球是⽩⾊的，若随机摸取⼀个球，猜测其颜⾊，求平均摸取⼀次所能获得的⾃信息量？答：依据题意，这⼀随机事件的概率空间为120.80.2X x x P =其中：1x 表⽰摸出的球为红球事件，2x 表⽰摸出的球是⽩球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（⽐特）b)如果摸出的是⽩球，则获得的信息量是()()22log log0.2I x p x =-=-（⽐特）c) 如果每次摸出⼀个球后⼜放回袋中，再进⾏下⼀次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，⽩球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取⼀次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+=-+=⽐特/次2. 居住某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
信息论与编码课后习题答案
1/2 W1+1/3W2 +1/3W3 = W1 1/2 W1+2/3W3 = W2 2/3W2 =W3
W1 +W2 +W3=1
32 2011/12/30
得：
W1=2/5；W2 =9/25；W3=6/25
33 2011/12/30
2-27
解： 0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1
2-20
解： （1）已知 所以
1 P x ( x) 6
1 H 0 ( X ) 6 log 6dx log 6 2.58 3
26 2011/12/30
3
（2 ）
已知
1 Px ( x) 10
所以
1 H 0 ( X ) 10 log 10dx 3.322 5
27 2011/12/30
i i i
得：随意取出一球时，所需要的信息量为 （1 ） P（红）= P（白）=1/2
H（X）= log 2 log 2
1 2 1 2 1 2 1 2
= 1比特
3 2011/12/30
（2）P（白）= 1/100 P（红）= 99/100 所以 1 H（X）= log 2
100
1 99 99 log 2 100 100 100
41 2011/12/30
10 2011/12/30
2-7
解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=3
11 2011/12/30
2-8
《信息理论与编码》-答案-考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息理论与编码,答案,考试重点
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。