信息论答案
信息论考试题及答案
1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。
2)求信道容量C 。
解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。
求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。
解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。
3.赫夫曼码。
考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论第二章答案
信息论第二章答案(总17页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbol bit n X H / 38log log )(2===二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： !521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：(a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40=(b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413。
所以，抽取13张点数不同的牌的概率：bit C x p x I C x p i i i 208.134log )(log )(4)(135213135213=-=-==居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论基础智慧树知到答案章节测试2023年广东工业大学
第一章测试1.信息论由哪位科学家创立（）。
A:傅里叶B:香农C:奈奎斯特D:冯诺依曼答案:B2.点对点通信模型包含以下哪些部分（）。
A:译码器B:信源C:信宿D:信号答案:ABC3.信息就是消息。
（）A:对B:错答案:B4.连续信源分为，，。
答案:5.研究信息论的目的是：提高信息传输的_，_，、，达到信息传输的最优化。
答案:第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
A:1比特/符号B:0.1比特/符号C:0.88比特/符号D:0.08 比特/符号答案:A2.单符号信源具有以下哪些特点（）。
A:无记忆B:连续C:有记忆D:平稳答案:AD3.熵函数具有以下哪些基本性质（）。
A:对称性B:随机性C:连续性答案:ACD4.信源要含有一定的信息，必须具有随机性。
（）A:错B:对答案:B5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）A:错B:对答案:B第三章测试1.以下等式或不等式关系成立的是（）。
A:B:C:D:答案:A2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
A:无预感性B:无记忆性C:平稳性D:对称性答案:AB3.后向信道矩阵中任·一行之和为1。
（）A:错B:对答案:B4.信道容量指信道的最大信息传输率。
（）A:错B:对答案:B5.互信息量等于_与_比值的对数。
答案:第四章测试1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
A:高斯分布B:均匀分布C:指数分布答案:A2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
A:均匀分布B:泊松分布C:高斯分布D:指数分布答案:A3.连续信道的平均互信息不具有以下哪些性质（）。
A:非负性B:连续性C:上凸性D:极值性答案:B4.差熵具有以下哪两个性质（）。
A:条件差熵值大于无条件差熵B:差熵必为负值C:条件差熵值小于无条件差熵D:差熵可为负值答案:CD5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论答案完整版
/8
⎥ ⎦
，其发出的消息为(202
120
130
213
001
203 210 110 321 010 021 032 011 223 210)，求：
(1) 此消息的自信息是多少？
(2) 在此消息中平均每个符号携带的信息量是多少?
解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并 形成一门独立的分支——纠错码理论。
1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源 编码定理。从此，发展成为信息率失真编码理论。
香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。 现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地 渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
此，此消息的自信息就等于各个符号的自信息之和。则可得：
I
(a1
=
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
信息论基础及答案
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。
（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。
5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。
1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。
信息论基础各章参考答案.doc
= pQhb) = = pWLh)124各章参考答案2. 1. （1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特； (4) 3.17 比特 2. 2. 1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4. (1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无秩码天平 的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的炳。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。
i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。
订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6. (1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7. 证明： （略）2. 8.证明： （略）/ 、 111 、 12.9. P (dibi) = - p(ci\bi )= 12P (cM — — P (sb) < , 12 ,6,2. 10.证明： （略） 2. 11.证明： （略）2.12.证明： (略)2 [3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406,H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) =0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) =(3)1(X;K) = 0.188 Z(X;Z) = 0.138 Z(K;Z) = 0.138 7(X;Y/Z) =0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(l°l)=服z(l 1°)= 714. X 1 Z ■,(2)P加(°°°)=P宓(111)= !(3)P加(°°°)= 〃加(°。
信息论基础1答案
信息论基础1答案《信息论基础》答案一、填空题(本大题共10小空，每小空1分，共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为：X i X2 X3其信源剩余度为94.64%：若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b,最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是log (b-a ) bit/自由度：若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a )bit/s.5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时，差熵的最大值为2log32 e ；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H _「(S))。
&当R=C或(信道剩余度为0)时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无—真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“，‘ ‘ ” 或“”(1)当X和Y相互独立时，H ( XY)=H(X)+H(X/Y)。
(2 )假设信道输入用X表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0,H(Y/X)=0,l(X;Y)<HX)。
二、掷两粒骰子，各面出现的概率都是1/6 , 计算信息量：1. 当点数和为3时，该消息包含的信息量是多少？2. 当点数和为7是，该消息包含的信息量是多少？3. 两个点数中没有一个是1的自信息是多少？解:1.P (“点数和为3” =P( 1,2)+ P( 1,2)=1/36+1/36=1/18则该消息包含的信息量是：l=-logP (“点数和为3”)=log18=4.17bit2. P (“点数和为7” =P( 1,6)+ P(6,1) + P (5,2)+ P (2,5)+ P (3,4)+ P (4,3) =1/366=1/6则该消息包含的信息量是：l=-logP (“点数和为7”)=log6=2.585bit3. P (“两个点数没有一个是1” =1-P “两个点数中至少有一个是1 ”=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：l=-logP (“两个点数中没有一个是1”) =log25/36=0.53bit三、设X、丫是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
10-11第二学期信息论作业题参考答案
第1讲2、信息论创始人是谁？香农。
3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。
4、通信系统的主要性能指标是什么？ 有效性、可靠性和安全性。
5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。
具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。
2.4 （求车牌自信息量）某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌， 第2讲设二元对称信道的传递矩阵(条件概率矩阵)为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)；先求P(Y)=∑X P(XY)和P(XY)=P(X)P(Y|X)，再得各种熵和互信息。
H(X)=H(3/4,1/4), H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6); H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4) I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)； 2.2（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.25×0.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。
2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出X 、Y 、Z 、XZ 、YZ 、XYZ 的概率或联合分布，再求其熵。
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论与编码第二版答案 (3)
信息论与编码第二版答案第一章：信息论基础1.问题：信息论的基本概念是什么？答案：信息论是一种数学理论，研究的是信息的表示、传输和处理。
它的基本概念包括：信息、信息的熵和信息的编码。
2.问题：什么是信息熵？答案：信息熵是信息的度量单位，表示信息的不确定度。
它的计算公式为H(X) = -ΣP(x) * log2(P(x))，其中P(x)表示事件x发生的概率。
3.问题：信息熵有什么特性？答案：信息熵具有以下特性：•信息熵的值越大，表示信息的不确定度越高；•信息熵的值越小，表示信息的不确定度越低；•信息熵的最小值为0，表示信息是确定的。
4.问题：信息熵与概率分布有什么关系？答案：信息熵与概率分布之间存在着直接的关系。
当概率分布均匀时，信息熵达到最大值；而当概率分布不均匀时，信息熵会减小。
第二章：数据压缩1.问题：数据压缩的目的是什么？答案：数据压缩的目的是通过消除冗余和重复信息，使数据占用更少的存储空间或传输更快。
2.问题：数据压缩的两种基本方法是什么？答案：数据压缩可以通过无损压缩和有损压缩两种方法来实现。
无损压缩是指压缩后的数据可以完全还原为原始数据；而有损压缩则是指压缩后的数据不完全还原为原始数据。
3.问题：信息压缩的度量单位是什么？答案：信息压缩的度量单位是比特（bit），表示信息的数量。
4.问题：哪些方法可以用于数据压缩？答案：数据压缩可以通过以下方法来实现：•无结构压缩方法：如霍夫曼编码、算术编码等；•有结构压缩方法：如词典编码、RLE编码等；•字典方法：如LZW、LZ77等。
第三章：信道容量1.问题：什么是信道容量？答案：信道容量是指在给定信噪比的条件下，信道传输的最大数据速率。
2.问题：信道容量的计算公式是什么？答案：信道容量的计算公式为C = W * log2(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。
3.问题：信道容量与信噪比有什么关系？答案：信道容量与信噪比成正比，信噪比越高，信道容量越大；反之，信噪比越低，信道容量越小。
信息论基础 课后习题答案
信息论基础课后习题答案问题1问题：信息论的基本目标是什么？答案：信息论的基本目标是研究信息的传递、存储和处理的基本原理和方法。
主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。
问题2问题：列举一些常见的信息论应用领域。
答案：一些常见的信息论应用领域包括：•通信领域：信息论为通信系统的性能分析和设计提供了基础方法，例如信道编码和调制调制等。
•数据压缩领域：信息论为数据压缩算法的研究和实现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安全性和隐私泄露的程度，在隐私保护和数据共享中起着重要作用。
•机器学习领域：信息论被应用于机器学习中的特征选择、集成学习和模型评估等任务中，提供了许多有用的数学工具和概念。
•生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规律。
问题3问题：信息熵是什么？如何计算信息熵？答案：信息熵是衡量一个随机变量的不确定性或信息量的度量值。
信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。
信息熵的计算公式如下所示：H(X) = -Σ P(x) * log2(P(x))其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。
问题4问题：条件熵是什么？如何计算条件熵？答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。
条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。
条件熵的计算公式如下所示：H(Y|X) = -Σ P(x, y) * log2(P(y|x))其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.2.设二元对称信道的传的矩阵⎥⎥⎥
⎦
⎤⎢⎢⎢⎣⎡32313132。
（1）、若P （0）=43,P(1)=41
,求H(X),H(X/Y),H(Y/X)和I(X;Y);
（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。
解：(1)、H(X)=-symbol bit x p i
i /81.0)41
log 4143log 43()(=+⨯-=∑
H(Y/X) =-)/(log )/()(i j i j
i
j
i
x y p x y
p x p ∑∑
=-(
3
2
log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbol
P )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+=
=3
1
413243⨯+⨯=0.58 同理可得：p(2y )=0.42
H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol
得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbol
I(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol
(2)由题：C=maxI(X;Y)=logm-mi H =log2-(3
2
log 3231log 31+)=0.082bit/symbol
因为信道容量达到最大值即X 等概率出现即：p(i x )=2
1
3.6、有一个二元对称信道，其信道矩阵为⎥
⎦⎤
⎢⎣⎡098.02.002.098.0。
设该信源以1500二元符号/每秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设P(0)=P(1)=
2
1
,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？
解：由题得：
C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol
即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入
1500二元符号/每秒，那么每秒钟的信息量是：
1I =(1500symbol/s )×0.859bit/symbol=1288bit/s 10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 2
1
则有：3I =14000×(
21log 2
1
×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完
3.11、已知离散信源⎭
⎬⎫
⎩⎨⎧=⎥
⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡2.04
.03.01
.02.01.02.05.01.01.02.06.04.01.03.02.0试求： （1）、“输入3x ，输出2y ”的概率； （2）、“输出4y ”的概率；
（3）、“收到3y 的条件下推测输入2x ”的概率。
解：1）、由题得：p(3x 2y )=)/()(323x y p x p =0.2×0.2=0.04
2）、p(4y )=)/()(141x y p x p +p(2x ))/(24x y p +p(3x )p(34/x y )+)/()(444x y p x p
=0.1*0.4+0.3*0.1+0.2*0.2+0.4*0.2=0.04+0.03+0.04+0.08=0.19
3)、)/()()/()()/()()/()()(4343332321313x y p x p x y p x p x y p x p x y p x p y p +++=
=0.1*0.1+0.3*0.1+0.2*0.1+0.4*0.4=0.01+0.03+0.02+0.16=0.22 P(32/y x )=
)
()/()(3232y p x y p x p =22.01
.03.0⨯=0.136
3.14、试求下列各信道矩阵代表的信道的容量：
1）、[]⎥⎥⎥
⎥⎦
⎤⎢⎢⎢
⎢⎣⎡=00
10
10000001
0100p 2）、[]⎥⎥⎥
⎥⎥⎥
⎥⎥⎦
⎤
⎢⎢⎢⎢⎢⎢⎢
⎢⎣⎡=100100010010001001p 3）、[]⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.00000000000
4.03.02.01.0p 解：1）、这个信道是一一对应的无干扰信道：C=logn=log4=2bit/symbol 2)、这是归并性能的无燥信道：C=logm=log3=1.58bit/symbol 3)、扩展性能的无燥信道：C=logn=log3=1.58bit/symbol
3.18、设加性高斯白噪声信道中，信道带宽3KHZ ，又设{（信号功率+噪声功率）/噪声功率}=10dB 。
试计算该信道的最大信息传输速率C t 。
解：C t =Wlog ⎪⎪⎭⎫ ⎝⎛+N X P P 1 N N
X P P P +=10 t C =Wlog ⎪⎪⎭⎫
⎝
⎛+N X P P 1=3000*3.322=9966bit /s 3.19、在图片传输中，每帧约有2.25*106个像素。
为了能很好地重现图像，能分16个两段电平，并假设亮度电平等概率分布。
试计算每分钟传送一帧图片所需信道的带宽（信燥功率比为30dB ）。
解：H=log 2n=log16=4bit/symbol I=NH=2.25*106*4=9*106bit=10
C t =6010*96
=t I =1.5*105bit/s
C t =W ⎪⎪⎭⎫
⎝
⎛+N X P P 1log W=⎪⎪⎭⎫ ⎝
⎛+N X t
P P C 1log =HZ 15049)1000
1(log 10*5.125
=+
3.20、设电话信号的信息率为 5.6*10
4
bit/s ，在一个噪声功率谱为
N 0=5*106-Hz mW /、限频F 、限输入功率P 的高斯信道中传送，若F=4Hz ，问无差错传输所需的最小功率P 是多少瓦？若，则P 是多少瓦？
解：C t =Wlog ⎪⎪⎭
⎫ ⎝
⎛+01WN
P X 得：P ⎪⎪⎭⎫ ⎝⎛-=120W C X t
WN =4000*5*109-*⎪
⎪⎭
⎫ ⎝⎛-12400010*6.54
=0.328 F →∞ C t =
e N P X
20
log P=W e N C t 429
42010*94.171828
.2log 10*5*10*6.5log -==。