信息论基础答案2

合集下载

信息论基础各章参考答案

各章参考答案2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特2．2． 1.42比特2．3．（1）225.6比特；（2）13.2比特2．4．（1）24.07比特；（2）31.02比特2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。

如果我们使每次实验所获得的信息量最大。

那么所需要的总实验次数就最少。

用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。

从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。

因为3log3=log27>log24。

所以在理论上用3次称重能够鉴别硬币并判断其轻或重。

每次实验应使结果具有最大的熵。

其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。

ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。

ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。

（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。

对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6．（1）215log ＝15比特；（2） 1比特；（3）15个问题2． 7. 证明：（略） 2．8．证明：（略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits322.054log log passpass =-=-=P Ibits 25621loglog =-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

第一章第二章课后作业答案

信息论基础（于秀兰陈前斌王永）课后作业答案注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。

第一章1.6[P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2)P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1)P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2)P(a 2|b 2)]=[0.750.250.0770.923]第二章2.1(1)I (B )=−log P (B )=−log 18=3(bit) 注：此处P (B )表示事件B 的概率。

(2)设信源为X ，H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12=1.75(bit/symbol) (3)ξ=1−η=1−1.75log4=12.5%2.2(1)P(3和5同时出现)=1/18I =−log118≈4.17(bit) (2)P(两个2同时出现)=1/36I =−log 136≈5.17(bit) (3)向上点数和为5时（14，23，41，32）有4种，概率为1/9，I =−log 19≈3.17(bit) (4)(5)P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136≈1.71(bit) (6)相同点数有6种，概率分别为1/36；不同点数出现有15种，概率分别为1/18；H =6∙136∙log36+15∙118∙log18≈4.34(bit/symbol)2.9(1)H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3j=13i=1≈2.3(bit/sequence)(2)H (Y )=E [−logP (Y )]≈1.59(bit/symbol)(3)H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol)2.12(1)H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6；H (Y )=E [−logP (Y )]≈1.46(bit/symbol)(2)H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i=−34log 34−14log 14≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i=−12log 12−12log 12=1(bit/symbol) (3)H (Y |X )=∑P (a i )H (Y |a i )i =23∙0.81+13∙1≈0.87(bit/symbol)2.13(1)H (X )=H (0.3,0.7)≈0.88(bit/symbol)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且相互独立，则H (X 2)=2H (X )=1.76(bit/sequence)平均符号熵H 2(X 2)=H (X )≈0.88(bit/symbol)(2)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且X 1、X 2相关，H (X 2|X 1)=E [−logP (X 2|X 1)]=−∑∑P (x 1,x 2)logP (x 2|x 1)x 2x 1=−110log 13−210log 23−2140log 34−740log 14≈0.84(bit/symbol) H (X 2)= H (X 1,X 2)=H (X 2|X 1)+H (X 1)=0.84+0.88=1.72(bit/sequence)H 2(X 2)=H (X 2)/2=0.86(bit/symbol)2.14(1)令无记忆信源为X ，H (X )=H (14,34)=14×2+34×0.415≈0.81(bit/symbol ) (2)I (X 100)=−logP (X 100=x 1x 2…x 100)=−log [(14)m (34)100−m]=2m +(2−log3)(100−m )=200−(100−m )log3 (bit)(3)H (X 100)=100H (X )=81(bit/sequence)2.15(1)因为信源序列符号间相互独立，且同分布，所以信源为一维离散平稳信源。

信息论基础智慧树知到课后章节答案2023年下潍坊学院

信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。

A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。

A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。

（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。

（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。

（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。

A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。

A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。

A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。

B:以2为底时，单位是比特。

C:以10为底时，单位是奈特。

D:以e为底时，单位是比特答案:以2为底时，单位是比特。

3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。

（）A:错 B:对答案:错5.概率大的事件自信息量大。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

信息论基础智慧树知到答案章节测试2023年广东工业大学

第一章测试1.信息论由哪位科学家创立（）。

A:傅里叶B:香农C:奈奎斯特D:冯诺依曼答案:B2.点对点通信模型包含以下哪些部分（）。

A:译码器B:信源C:信宿D:信号答案:ABC3.信息就是消息。

（）A:对B:错答案:B4.连续信源分为，，。

答案:5.研究信息论的目的是：提高信息传输的_，_，、，达到信息传输的最优化。

答案:第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。

A:1比特/符号B:0.1比特/符号C:0.88比特/符号D:0.08 比特/符号答案:A2.单符号信源具有以下哪些特点（）。

A:无记忆B:连续C:有记忆D:平稳答案:AD3.熵函数具有以下哪些基本性质（）。

A:对称性B:随机性C:连续性答案:ACD4.信源要含有一定的信息，必须具有随机性。

（）A:错B:对答案:B5.信息熵表示信源X每发一个符号所提供的平均信息量。

（）A:错B:对答案:B第三章测试1.以下等式或不等式关系成立的是（）。

A:B:C:D:答案:A2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。

A:无预感性B:无记忆性C:平稳性D:对称性答案:AB3.后向信道矩阵中任·一行之和为1。

（）A:错B:对答案:B4.信道容量指信道的最大信息传输率。

（）A:错B:对答案:B5.互信息量等于_与_比值的对数。

答案:第四章测试1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。

A:高斯分布B:均匀分布C:指数分布答案:A2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。

A:均匀分布B:泊松分布C:高斯分布D:指数分布答案:A3.连续信道的平均互信息不具有以下哪些性质（）。

A:非负性B:连续性C:上凸性D:极值性答案:B4.差熵具有以下哪两个性质（）。

A:条件差熵值大于无条件差熵B:差熵必为负值C:条件差熵值小于无条件差熵D:差熵可为负值答案:CD5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。

信息理论基础智慧树知到课后章节答案2023年下浙江大学

信息理论基础智慧树知到课后章节答案2023年下浙江大学浙江大学第一章测试1.随机事件的互信息可小于0，随机变量的互信息也可小于0。

（）答案:错2.对于连续随机变量，其微分熵越大，说明不确定性越大。

（）答案:错3.必然事件和不可能事件的自信息量都是0。

（）答案:错4.自信息量是P(xi)的单调递减函数。

（）答案:对5.若离散变量X是离散变量Y的函数，则条件熵H(X|Y)恒为0。

（）答案:对第二章测试1. A 村有一半人说真话，3/10人总说假话，2/10人拒绝回答；B村有3/10人诚实，一半人说谎，2/10人拒绝回答。

现随机地从A村和B村抽取人，p为抽到A村人的概率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。

答案:null2.一个无偏骰子，抛掷一次，如果出现1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现5，6 点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息?答案:null3.在某中学有3/4学生通过了考试，1/4学生没有通过。

在通过考试的同学中10%有自行车，而没有通过的学生中50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。

a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息?b. 通过询问是否参加联谊会，能获得多少关于学生成绩的信息?c. 如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息?答案:null4.随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一颗和第二颗骰子抛掷之和，以Z 表示三颗骰子的点数之和，试求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。

答案:null5.设一个系统传送10个数字：0，1，2，⋯，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。

信息论基础教材习题答案.docx

i=0
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0

信息论基础第二版习题答案

信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。

信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。

而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。

本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。

第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。

求当p=0.5时，事件的信息量。

答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。

习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。

答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。

1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。

答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。

习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。

答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。

第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。

答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。

习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。

答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。

信息理论基础周荫清答案

· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

信息论基础第二章信源熵-习题答案.doc

为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]\25X ——,4丿此消息的信息量是：/ =-log/? = 87.811 bit(2)此消息中平均每符号携带的信息量是：//〃 = 87.811/45 = 1.951 bit解释为什么> Iog6不满足信源储的极值性。

解： 6 H(X)= -工 /?(%,) log p(xji= -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbolW(X)>log 2 6 = 2.5856不满足极值性的原因是工#(兀)=1.07 > i 。

2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的*商和平均信息量；(4) 两个点数之和(即2, 3,…，12构成的子集)的储；(5) 两个点数中至少有一个是1的自信息量。

解：2.4 设离散无记忆信源X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X 'x 2 兀4 尤5 兀6 ' > P(X).[0.2 0.19 0.18 0.17 0.16 0」74H(X)=-工"(xjlog #(兀)= 2.010 /=!设信源求这个信源的储，并⑴用随机事件兀表示“3和5同时出现”，贝UI(x i ) = - log p(xj = - log — = 4.170 bit 18(2)用随机事件齐表示“两个1同吋出现”，则 p(xj = — X —=—'6 6 36/(兀)=- log p{x i ) = -log — = 5」70 bit⑶两个点数的排列如下: 1112 13 14 15 16 2122 23 24 25 26 3132 33 34 35 36 4142 43 44 45 46 5152 53 54 55 56 61 62 63 64 65 6622, 33, 44, 55, 66的概率是卜卜召其他"组合的概率是2x 肚诂H(X) =-工 p(x /)logp(x,) = -f6x-^log-^ + 15x-l-log-^/ I 3o 3b 1 o 1 o ⑷参考上而的两个点数的排列，可以得出两个点数求和的概率分布如H ：Xf 2 3 4 5 6 7 8 9 1() 11 121 1 1 1 1 5 1 5 1 1 1 1]p(X)_ 、36 18 12 9 36 6 36 9 12 18 36.H(X) = -工卩(无)log pg1 . 1 c 1 I 1,1. 1,1. 1,5, 5 1 I 1)-2x ——log — + 2x —log — + 2x — log — + 2x —log —+ 2x — log — + —log —I 36 36 18 18 12 12 9 9 36 36 6 6)= 3.274 bit/symbol⑸p(x.) = —x — xl 1 =——'6 6 36/(x z ) = - log /?(%, ) = - log= 1.710 bit 36共有21种组合：其中11,= 4.337 bit I symbol2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1) 忙闲的无条件爛；(2) 天气状态和气温状态已知时忙闲的条件爛；⑶从天气状态和气温状态获得的关于忙闲的信息。

信息论基础各章参考答案.doc

= pQhb) = = pWLh)124各章参考答案2. 1. （1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特； (4) 3.17 比特 2. 2. 1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4. (1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。

如果我们使每次实验所获得的信息量最大。

那么所需要的总实验次数就最少。

用无秩码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。

冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。

每次实验应使结果具有最大的炳。

其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。

i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。

订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。

（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。

对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6. (1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7. 证明：（略）2. 8.证明：（略）/ 、 111 、 12.9. P (dibi) = - p(ci\bi )= 12P (cM — — P (sb) < , 12 ,6,2. 10.证明：（略） 2. 11.证明：（略）2.12.证明： (略)2 [3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406,H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) =0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) =(3)1(X;K) = 0.188 Z(X;Z) = 0.138 Z(K;Z) = 0.138 7(X;Y/Z) =0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(l°l)=服z(l 1°)= 714. X 1 Z ■,(2)P加(°°°)=P宓(111)= !(3)P加(°°°)= 〃加(°。

信息论基础理论与应用课后答案全

B 表示女孩身高 1.6 米以上， P(B | A) = 0.75，P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 P(A| B) = P(AB) = P(A)P(B | A) = 0.25× 0.75 = 0.375 P(B) P(B) 已知该事件所能获得的信息量为 I X 【2.5】设离散无记忆信源 4 P(x) a1 = 0 a2 =1 = 3/8 1/41/8 比特 a3 = 2 a4 = 3 1/ ，其发出的消息为 0.5
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= =1.95 比特/符号
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得 H(X) = −∑P(x)log P(x) =1.91 比特/符号【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。（1）若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？（2）若已知 A 已落入，求 B 落入的平均自信息量。（3）若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。解：（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：
H(B | A) = −∑∑48 47 P(ai )P(bj | ai )log P(bj | ai ) = log47 = 5.55 比特/符号
i=1 j=1
（3）质点 A 和 B 同时落入的平均自信息量为 H(AB) = H(A) + H(B | A) =11.13 比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是 “否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：

信息论基础第二版习题答案

信息论基础第二版习题答案
《信息论基础第二版习题答案》
信息论是一门研究信息传输、存储和处理的学科，它的理论基础是由克劳德·香农于1948年提出的。

信息论的发展对于现代通信、计算机科学和统计学等领域都有着重要的影响。

《信息论基础第二版》是信息论领域的经典教材，它系统地介绍了信息论的基本概念和原理，并提供了大量的习题来帮助读者加深对知识的理解。

在这本书中，作者对信息论的基本概念进行了详细的介绍，包括信息的度量、信道容量、编码理论等内容。

习题部分则是为了帮助读者巩固所学知识，提供了大量的练习题目，涵盖了各个方面的知识点。

下面我们就来看一下《信息论基础第二版》中的一些习题答案。

第一章习题1.1：什么是信息熵？请用公式表示。

答：信息熵是表示一个随机变量不确定性的度量，它的公式为H(X) = -
Σp(x)log2p(x)，其中p(x)表示随机变量X取值为x的概率。

第二章习题2.3：什么是信道容量？如何计算信道容量？
答：信道容量是表示信道的传输能力，它的计算公式为C = Wlog2(1 + S/N)，其中W表示信道带宽，S表示信号功率，N表示噪声功率。

第三章习题3.2：简要说明香农编码的原理。

答：香农编码是一种无损压缩编码方法，它利用信息的统计特性来减少信息的冗余，从而实现对信息的高效压缩。

以上是《信息论基础第二版》中的一些习题答案，通过学习这些习题，读者可以更好地理解信息论的基本概念和原理。

希望本书对广大读者在信息论领域的
学习和研究有所帮助。

信息论基础-练习与思考2

C log2 3, p(x1) p(x2 ) p(x3) 1/ 3
当＝1/ 2时
C 1, p(x1) 1/ 2, p(x2 ) p(x3) 1/ 4
2020/3/22
21
习题6
第三章信道容量
6.5设一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵是多少？又放大器的带宽为F,问单位时间内输出最大信息量是多少？
C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性
有关；
信道容量是完全描述信道特性的参量；
信道容量是信道能够传送的最大信息量。
2020/3/22
3香农公式说明p(源自xi/yj) p(xi ) p( y j / xi ) p(yj )
可得：p(x1 / y1) 5 / 8, p(x1 / y2 ) 1/ 2, p(x2 / y1) 3 / 8, p(x2 / y2 ) 1/ 2
信道疑义度：
22
H (X / Y )
p(xi ) p( y j / xi ) log2 p(xi / y j ) 0.9635bit / symbol
1 6
1 6
1 3
,
Pb
1 2
1
6
1 3
1 3
1 2
1 6
1 6
1
3
1 2
均满足对称性，所以这两个信道是对称离散信道。由对称离散信道的信道容量公式得：
C1
log2
4
H

信息论基础(含习题与解答)

信息论基础（含习题与解答）
1.习题
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。

（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。

（3）请解释索引信息论。

索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。

它重点研究的是如何将信息可视化，以便用户可以快速找到需要的信息，同时有效地利用多个索引信息。

2.答案
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。

（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。

（3）请解释索引信息论。

索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。

它主要专注于通过设计有效的用户界面来提高信
息的有用性，实现信息的检索和可视化，以实现快速了解和分析信息资源。

它强调以用户为中心，基于支持知识管理和协作的。

信息论编码与基础课后题第二章

信息论编码与基础课后题(第二章)————————————————————————————————作者：————————————————————————————————日期：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

信息论基础答案2

信息论基础答案2本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March《信息论基础》答案一、填空题（共15分，每空1分）1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。

若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是 ()log b-a 。

2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。

3、若连续信源的平均功率为5 W ，则最大熵为12log10π ⋅ e ，达到最大值的条件是高斯信道。

4、离散信源存在剩余度的原因是信源有记忆（或输出符号之间存在相关性）和不等概。

5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高编码效率。

7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。

8、一个事件发生概率为，则自信息量为 3 bit 。

9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。

（ √ ）2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍（ √ ） 3) 互信息可正、可负、可为零。

（ √ ）4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。

（ × ）三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵0.5()()()42log 1h x p x p x dxbit =-=⎰自由度四、（15分）设一个离散无记忆信源的概率空间为()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 它们通过干扰信道，信道输出端的接收信号集为[]12=,Y b b ，已知信道出书概率如下图所示。

信息论基础答案2

信息论基础各章参考答案

信息论编码与基础课后题(第二章)

第一章 第二章课后作业答案

信息论基础智慧树知到课后章节答案2023年下潍坊学院

信息论编码与基础课后题(第二章)

信息论基础智慧树知到答案章节测试2023年广东工业大学

信息理论基础智慧树知到课后章节答案2023年下浙江大学

信息论基础教材习题答案.docx

信息论基础第二版习题答案

信息理论基础 周荫清 答案

信息论基础第二章信源熵-习题答案.doc

信息论基础各章参考答案.doc

信息论 基础理论与应用课后答案 全

信息论基础第二版习题答案

信息论基础-练习与思考2

信息论基础(含习题与解答)

信息论编码与基础课后题第二章

信息论基础答案2

第一章第二章课后作业答案

信息理论基础周荫清答案

信息论基础理论与应用课后答案全