《信息论基础》测试题四一、填空、(每空2分,共40分)

合集下载

信息论基础,有兴趣看看

二、填空（每空1分）（100道）1、在认识论层次上研究信息的时候，必须同时考虑到三个方面的因素。

2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了地交换和利用各种各样的信息。

6、信息的可度量性是建立信息论的基础。

7、8、熵是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是。

14、不可能事件的自信息量是∞。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N 倍。

??18、离散平稳有记忆信源的极限熵，H??N。

m19、对于n元m阶马尔可夫信源，其状态空间共有个不同的状态。

20、一维连续随即变量X在[a，b] 。

limH(X/XX?X)N12N?11log22?eP221、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。

22、对于限峰值功率的N维连续信源，当概率密度23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率P25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。

26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：i?1。

信息论基础试题

通信02级信息论基础试题姓名班级学号（100分钟）一填空题（20分）1、信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4 。

2、信源的 5 是衡量信源的有效性，是无失真压缩的理论基础，它告诉了无失真压缩的极限，我们可以通过 6 减少信源的剩余度，形成新的信源来传输，而使新信源接近7 ，这样新信源的消息通过信道的信息传输率接近最大值，剩余率接近于零，提高通信的有效性。

3、8 是信源在允许失真的条件下，信源熵所能压缩的极限，是限失真压缩的理论基础，它给出了在指定的9 条件下，信源熵H(X)所能压缩的10 ，但没有给出具体的压缩方法。

二计算题（共60分）1、有两个二元随机变量X和Y，它们的联合概率为：（15分）XY x1=0 x2=1y1=0 1/8 3/8y2=1 3/8 1/8求H(X)、H(XY)、H(Y/X)、I(X;Y)2、每帧电视图像可以认为是由300000个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，（15分）1）问每帧图像含有多少信息量？2）若有一个广播员，在常用的8192个汉字中来口述此电视图像（假设汉字字汇是等概率分布，并彼此无依赖），至少需要多少汉字？3）你对第二问的结果想到了什么？3、离散无记忆信源P(x1)=1/2；P(x2)=1/4；P(x3)=1/8；P(x4)=1/8；（15分）(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率；(2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。

(3) 你做出一个结论。

4、设一个二元对称信道，其信道矩阵P为：0.98 0.02P=0.02 0.98现有一消息序列共有15000个符号，并设在这消息中P(0)=P(1)=1/2，要求10秒内无失真传送完，问该信道至少要以每秒多少个二元符号传输输入符号。

信息论基础其中考试试题.doc

北京城市学院信息学部练习试卷题号(40) (10) (10) 四(40)总分(100)阅卷人签字得分一、填空题(每空2分，共40分)1.1948年，美国数学家发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。

2.对于离散无记忆信源，当信源嫡有最大值时，满足条件为。

3.信源编码的目的是提高通信的性，信道编码的目的是提高通信的性。

x Xn x x4.有一信源X,其概率分布为p= ,若对该信源进行100次扩r 1/ Z 1/4 I/O I/O展，其每扩展符号的平均信息量是。

5.r进制信源的最小炳为,最大炳为。

6.根据码字所含的码元的个数，编码可分为编码和编码。

7.平均互信息的最大值为,最小值为。

8.在下面空格中选择填入数学符号"二,〉,〈,〉”或“〈”(1)当 X 和 Y 相互独立时，H (XY) H (X) +H (X/Y)H (Y) +H (X)。

9.确定信源的炳H (1, 0, 0, 0) =o10.必然事件的自信息是 ,不可能事件的自信息是。

11.根据各维随机变量的概率分布是否随时间的推移而变化，信源可分为非平稳信源和。

12.若取对数的底为2,则自信息的单位是；炳的单位是13.表示已知X时，Y的平均不确定性。

初二、判断题(每小题I分，共10分)分1.信息是一种消息。

()2.必然事件和不可能事件的自信息量都是0。

()3.互信息可正、可负、可为零。

()4.非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

()5.Kraft不等式是唯一可译码存在的充要条件。

()6.马尔可夫信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。

()7.信源的嫡和互信息量都一定是非负的。

()8.将信源的某个消息分解成多个消息时，炳增大。

()9.信息是对事物运动状态或存在方式的不确定性的描述。

()10.互信息和嫡的单位相同。

()列三、证明题(10分)分1.证明：联合嫡、条件炳和信息炳之间满足H(XY)=H(X)+H(Y|X)用四、计算题(每小题10分，共30分) 分1.(10分)已知信源X,ye {0,1}, XK构成的联合概率为1 3p(q = 0, b x— 0) = p(a2 = 1,仅=D = — , pj = 0,仅=1) = p(a2 -1, = 0)=—8 8计算 H(Y), H(XY), H(X | K) o2.(10分)有一个二元二阶马尔可夫信源，其信源符号集为{0, 1},输出符号的条件概率定为P(0|00) = P(l|ll) = 0.8P(l|00) = P(0|ll) = 0.2P(0101) = P(0110) = P(l|01) = P(l|10) = 0.5 试画出该信源的状态转移图，并写出该信源的状态转移矩阵。

信息论考试题(填空简答)

一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。

2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。

3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。

4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。

5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。

6. ______________________________________________________ 费诺编码比较适合于的信源。

7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。

&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。

9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。

二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。

2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。

信息论基础—— 期末试卷 A 答案

○？○？大学 2008-2009 学年第一学期2006级信息与计算科学专业本科卷 A 参考答案与评分标准课程名称信息论基础课程号（？？？）考试形式（闭卷笔试）时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。

1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。

二、填空题：本题共7小题，每空2分，满分20分。

1、码字的最小距离（min d ）;2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。

三、计算题：本题共4小题，满分50分。

(15分)解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i p x y则Y（2分）（1）11+414()log 2log log 24141a a H Y a a -=+++- ------------------（2分） 211161log 2log log 24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+23111log 2log log 24141a aa a-=++-+；取2为底2223111()(log log )24141a aH Y bit a a-=++-+； ------------------（1分）（2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦3(1)log 2log 22a a -=-+3log 22a-=；取2为底，3(|)2aH Y X bit -=； ------------------（2分）（3）[]2()()()111max (;)max ()(|)max log 2log log 24411i i i p x p x p x aa a C I X Y H Y H Y X a a -⎛⎫==-=++ ⎪+-⎝⎭。

信息论基础智慧树知到答案章节测试2023年广东工业大学

第一章测试1.信息论由哪位科学家创立（）。

A:傅里叶B:香农C:奈奎斯特D:冯诺依曼答案:B2.点对点通信模型包含以下哪些部分（）。

A:译码器B:信源C:信宿D:信号答案:ABC3.信息就是消息。

（）A:对B:错答案:B4.连续信源分为，，。

答案:5.研究信息论的目的是：提高信息传输的_，_，、，达到信息传输的最优化。

答案:第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。

A:1比特/符号B:0.1比特/符号C:0.88比特/符号D:0.08 比特/符号答案:A2.单符号信源具有以下哪些特点（）。

A:无记忆B:连续C:有记忆D:平稳答案:AD3.熵函数具有以下哪些基本性质（）。

A:对称性B:随机性C:连续性答案:ACD4.信源要含有一定的信息，必须具有随机性。

（）A:错B:对答案:B5.信息熵表示信源X每发一个符号所提供的平均信息量。

（）A:错B:对答案:B第三章测试1.以下等式或不等式关系成立的是（）。

A:B:C:D:答案:A2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。

A:无预感性B:无记忆性C:平稳性D:对称性答案:AB3.后向信道矩阵中任·一行之和为1。

（）A:错B:对答案:B4.信道容量指信道的最大信息传输率。

（）A:错B:对答案:B5.互信息量等于_与_比值的对数。

答案:第四章测试1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。

A:高斯分布B:均匀分布C:指数分布答案:A2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。

A:均匀分布B:泊松分布C:高斯分布D:指数分布答案:A3.连续信道的平均互信息不具有以下哪些性质（）。

A:非负性B:连续性C:上凸性D:极值性答案:B4.差熵具有以下哪两个性质（）。

A:条件差熵值大于无条件差熵B:差熵必为负值C:条件差熵值小于无条件差熵D:差熵可为负值答案:CD5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。

信息论与编码期末考试题(全套)

（一）一、判断题共 10 小题，满分 20 分。

1。

当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . ( ）2。

由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。

（）3。

一般情况下,用变长编码得到的平均码长比定长编码大得多. （） 4. 只要信息传输率大于信道容量，总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.（）5。

各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件。

（）6. 连续信源和离散信源的熵都具有非负性. ( ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

8。

汉明码是一种线性分组码。

（） 9。

率失真函数的最小值是0。

( ）10.必然事件和不可能事件的自信息量都是0。

（）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是。

3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做。

4、香农信息论中的三大极限定理是、、。

5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的条件。

6、对于香农-费诺编码、原始香农—费诺编码和哈夫曼编码,编码方法惟一的是。

7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = 。

三、本题共 4 小题，满分 50分.1、某信源发送端有2种符号i x )2,1(=i ，a x p =)(1;接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1）计算接收端的平均不确定度()H Y ; （2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布。

信息论基础1答案

信息论基础1答案《信息论基础》答案一、填空题(本大题共10小空，每小空1分，共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。

2. 一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为：X i X2 X3其信源剩余度为94.64%：若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。

4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b,最小瞬时电压为a。

若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是log (b-a ) bit/自由度：若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a )bit/s.5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时，差熵的最大值为2log32 e ；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H _「(S))。

&当R=C或(信道剩余度为0)时，信源与信道达到匹配。

9、根据是否允许失真，信源编码可分为无—真信源编码和限失真信源编码。

10、在下面空格中选择填入数学符号“，‘ ‘ ” 或“”(1)当X和Y相互独立时，H ( XY)=H(X)+H(X/Y)。

(2 )假设信道输入用X表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0,H(Y/X)=0,l(X;Y)<HX)。

二、掷两粒骰子，各面出现的概率都是1/6 , 计算信息量：1. 当点数和为3时，该消息包含的信息量是多少？2. 当点数和为7是，该消息包含的信息量是多少？3. 两个点数中没有一个是1的自信息是多少？解:1.P (“点数和为3” =P( 1,2)+ P( 1,2)=1/36+1/36=1/18则该消息包含的信息量是：l=-logP (“点数和为3”)=log18=4.17bit2. P (“点数和为7” =P( 1,6)+ P(6,1) + P (5,2)+ P (2,5)+ P (3,4)+ P (4,3) =1/366=1/6则该消息包含的信息量是：l=-logP (“点数和为7”)=log6=2.585bit3. P (“两个点数没有一个是1” =1-P “两个点数中至少有一个是1 ”=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：l=-logP (“两个点数中没有一个是1”) =log25/36=0.53bit三、设X、丫是两个相互统计独立的二元随机变量，其取-1或1的概率相等。

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。

（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

3、无记忆信源是指信源先后发生的符号彼此统计独立。

4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。

5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。

6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 22x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22e π)。

8、即时码是指任一码字都不是其它码字的前缀。

9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。

10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。

11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。

12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。

13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。

14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。

信息论基础试卷B

中国海洋大学 2008-2009学年第1学期期末考试试卷信息科学与工程学院《信息论基础》课程试题(B 卷) 共3页第1页考试说明：本课程为闭卷考试，可携带计算器文具，满分为：100分。

一、填空题（每空（每空22分，共分，共202020分）分）分）1、必然事件的自信息量是。

不可能事件的自信息量是。

2、信源编码的目的是。

信道编码的最终目的是。

3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。

4、m 元长度为k i ，i=1，2，···n 的唯一可译码存在的充要条件是的唯一可译码存在的充要条件是。

5、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

信道。

6、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是息的条件是。

7、信道矩阵úûùêëé10002/12/1代表的信道的信道容量C= C= ，，达到信道容量的条件是容量的条件是。

题号题号一二三四总分总分得分得分授课教师命题教师或命题负责人签字年月日院系负责人签字年月日共3页第2页二、判断题（每题2分，共10分）分）1、当随即变量X 和Y 相互独立时，条件熵等于信源熵。

（））2、率失真函数对允许的平均失真度具有上凸性。

（））3、信道容量C 是()Y X I ;关于()i x p 的条件极大值。

（））4、单符号离散信源的自信息和信源熵都是一个确定值。

（））5、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。

（））三、简答题（每题（每题55分，共分，共151515分）分）分）1、设某二元码字C={111000,001011,010110,101110},C={111000,001011,010110,101110},①假设码字等概率分①假设码字等概率分布，计算此码的编码效率？②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？。

信息论基础试卷及详细答案

H(X|Y) ≤ H ( pE ) + pE log r 。（×）（138 面，应该是 r-1）
11.一个离散平稳无记忆信道的极限熵等于最小平均熵。（√）（119 面） 12.对于离散无记忆信道，达到容量时输入概率分布是唯一的。（×）（123 面，不唯一） 13.噪声功率相同的加性信道中以高斯噪声信道容量最大。（×）（应该是最小） 14.R(D)函数是平均失真函数的下凸函数。（√）（187 面） 15.MAP 准则是使译码平均错误率最小的准则。（√）（132 面） 16.任意两个典型序列的联合序列是典型序列。（×） 17.与离散信源一样，连续信源的平均互信息也具有对称性和非负性。（√）（73 面） 18.通过一一变换后，连续信源的差熵一定会变化。（×）（67 面，应该是可能会变化） 19.转移概率矩阵不随时间变化的马氏链是平稳马氏链。（×）（47 面，那是齐次马氏链）
解：如果 X1, X 2 都使用，有 B=2D/2 和 B ≤ 2，得 D ≤ 2
R(D)= 1 log
2
+
1 log
4
=
12 log
2
4 D4 D2 D
如果仅使用 X 2 ，有 B=2D-2 和 2<B ≤ 4，得 2<D ≤ 3
R(D)= 1 log 4 = 1 log 2 4 2D − 2 2 D −1
⎜⎝1/ 3
1/ 6
1/
2
⎟ ⎠Leabharlann ⎧ g( y = b1) = a1 规则 A： ⎪⎨g( y = b2 ) = a2
⎪ ⎩
g(
y
=
b3
)
=
a3
⎧ g( y = b1) = a1
，规则

信息论基础试题

信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。

•[ ] B. 信息的传递不受噪声的影响。

•[ ] C. 信息的度量可以基于信息内容和概率分布。

•[ ] D. 信息的传输速率与信道带宽成反比例关系。

2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。

则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。

•[ ] B. 从一个随机变量中获得的信息量。

•[ ] C. 两个随机变量之间的信息交流量。

•[ ] D. 两个随机变量之间的互相依赖程度。

二、填空题1.在信息论中，熵是用来衡量信源的______。

2.信源的熵可以通过概率分布计算，公式为______。

3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。

三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。

答：信息熵是信息论中对信源不确定性的度量。

它衡量了一组符号的平均不确定性，也可以理解为平均信息量。

熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。

通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。

不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。

信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。

2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。

信道容量受到信道的带宽和信道的噪声水平的影响。

要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。

《信息论基础》模拟试题.doc

《信息论基础》模拟试题一、填空题(本大题共10小空，每小空2分，共20分)1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和O2.—个八进制信源的最大炳为-3.信源冗余度存在的原因是。

4.设有一连续随机变量X表示信号x(t)的幅度，其幅值在［-4V, 4V］均匀分布，那么该信源的炳h(x)=,则该信源的绝对炳是_____________________ 」5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差炳的最大值为，与其炳相等的非高斯分布信源的功率为>6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？(3分)2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？(3分)3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？(3分)三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z,取Z=X+Y。

试计算：1.H(Y)、H(Z); (6 分)2.H (XY) ; (3 分)3.I (X;Y), I (Y;Z). (8 分) 四、一阶马尔可夫链信源有3个符号｛a,b.c),转移概率为：P (a/a)二1/2, p (b/a)=1/4, p (c/a) =1 /4, p (a/b) =1 /2, p (b/b)二0, p (c/b) =1/2, p (a/c) =1/2, p (b/c) =1/2, p (c/c)=0。

1.画出状态图；写出转移概率矩阵；(6分)2.求出各符号稳态概率；(6分)3.计算其极限滴；(4分)五、在干扰离散对称信道上传输符号1和0,已知p(0)=1/4,p(1)=3/4,试求:1该信道的转移概率矩阵P(3分)2该信道的信道容量及其输入概率分布(7分)0.6六、某信道的转移矩阵p().50.30.30.2().5 00.2试求：该信道的信道容量及最佳输入概率分布o （6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH 乙乂设信噪比为20db 1 肖H •耸'该隹1首的隹1首恣晶.分）2若功率信嬴比降或lOdbi 达到相同的最大信息传输率，信道带宽应是多少？（3分）八、信源符号 X 有 6 种字母，概率为 0.25 , 0.2, 0.16, 0.15 , 0.1, 0.07 , 0.04 , 0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1. 编码前信源X 的信源剩余度，2. 平均码长3. 编码效率。

信息基础论复习题答案

信息基础论复习题答案一、选择题1. 信息基础论认为，信息是：A. 物质的属性B. 能量的表现形式C. 物质、能量和信息的统一体D. 独立于物质和能量之外的存在答案：C2. 信息的传递需要：A. 物质载体B. 能量C. 时间D. 所有以上选项答案：D3. 信息的基础论中，信息的三个基本特性是：A. 可存储性、可传输性、可处理性B. 可复制性、可共享性、可转换性C. 可识别性、可操作性、可扩展性D. 可测量性、可预测性、可控制性答案：A二、填空题1. 信息基础论认为信息具有_______性，即信息可以在不同的物质载体之间传递。

答案：可传递2. 信息的_______是信息能够被接收者理解和利用的基础。

答案：可理解性3. 在信息基础论中，信息的_______指的是信息在传递过程中保持其内容和结构的完整性。

答案：保真性三、简答题1. 简述信息基础论中信息的定义及其重要性。

答案：信息基础论中，信息被定义为物质、能量和信息的统一体，它不仅包含数据和信号，还包括意义和知识。

信息的重要性体现在它是现代社会沟通、决策和创新的基础，对于提高效率、促进发展具有关键作用。

2. 描述信息基础论中信息的三个基本特性，并解释它们在实际应用中的作用。

答案：信息的三个基本特性包括可存储性、可传输性和可处理性。

可存储性允许信息被保存，为后续使用提供便利；可传输性使得信息能够在不同地点和时间被共享；可处理性则允许信息被分析、整理和转换，以适应不同的应用需求。

四、论述题1. 论述信息基础论对现代信息技术发展的影响。

答案：信息基础论为现代信息技术的发展提供了理论基础。

它强调了信息的可存储性、可传输性和可处理性，这直接推动了存储技术、通信技术和计算机技术的进步。

此外，信息基础论还促进了信息安全、数据挖掘和人工智能等领域的发展，为信息的高效利用和智能处理提供了理论支持。

五、案例分析题1. 请结合一个具体的信息技术应用案例，分析信息基础论在该案例中的应用及其效果。

信息论基础试题及答案

信息论基础试题及答案信息论基础试题及答案填空题（每题2分）1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。

（考点：信息论的研究目的）2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。

按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。

（考点：信息量的概念及计算）3、按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。

（考点：信道按噪声统计特性的分类）4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。

若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。

（考点：等长码编码位数的计算）5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。

（考点：错误概率和译码准则的'概念）6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。

（考点：纠错码的分类）7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。

（考点：线性分组码的基本概念）8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。

（考点：连续信道和波形信道的信道容量）9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t 个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。

（考点：线性分组码的纠检错能力概念）判断题（每题2分）1、信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。

2004信息论基础试题

2004一填空题（本题10分，每小题1分）信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的4 ，若把它取最小值，就是 5 ；无失真压缩的理论依据： 6 ，限失真压缩理论依据： 7 ；香农第一定理又称 8 编码定理，编码后的码符号信源尽可能为 11 ，使每个码符号平均所含的信息量达到 9 ，要做到无失真编码，变换每个信源符号平均所需最少的r元码元数就是信源的 10 （以r进制信息量单位测度）。

二简答题（本题40分，每小题5分）1.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？2.连续信源的绝对熵多大，你想到了什么？3.用一个实例说明你对信号、消息、信息的理解。

4.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

5.解释下图阴影部分含义。

D6.比较信息熵和（平均）互信息两个概念的异同之处及相互关系。

7.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？8.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。

9.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。

10.求一一对应确定信道P1的信道容量：三计算题（本题40分，每小题10分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵H∞；3）比较H(X)和H∞的大小，并说明其物理含义。

《信息技术基础》测试题(含答案)

《信息技术基础》测试姓名：班级：一、选择题：（括号内填选项字母）（每题２分，共６０分）1、计算机的核心部件是（Ｄ）。

Ａ．显示器Ｂ．内存Ｃ．显示卡Ｄ．中央处理器（CPU）2、现代社会中，人们把（Ｄ）称为人类不可缺少的资源。

Ａ．信息、物质、知识Ｂ．信息、能量、知识Ｃ．物质、能量、知识Ｄ．信息、物质、能量３、计算机软件可分为（Ｄ）Ａ．程序和数据Ｂ．操作系统和语言处理系统Ｃ．程序、数据和文档Ｄ．系统软件和应用软件４、现在我们常常听人家说到（或在报纸电视上也看到）IT行业各种各样的消息。

那么这里所提到的“IT”指的是（Ｂ）Ａ．信息Ｂ．信息技术Ｃ．通信技术Ｄ．感测技术5、（Ｂ）首次打破了信息存储和传递的时间、空间的限制。

Ａ．印刷术的发明Ｂ．文字的发明Ｃ．电话、电视的发明和普及Ｄ．信息技术的普及应用6、心理学上的“感觉剥夺”实验说明了（C）Ａ．信息是丰富多彩的Ｂ.信息是可以被利用的Ｃ.信息是人类生存的必要条件Ｄ.信息没有好坏之分7、以下不属于信息的是（C）。

Ａ．一则通知内容Ｂ．一份成绩表数据Ｃ．一张光盘Ｄ．一段新闻内容8、老师的教学课件需要用一段视频，可能是下列选项中的哪一个文件。

（B）Ａ．资料.jpg Ｂ．资料.mpg Ｃ．资料.mp3 Ｄ．资料.html9、（B）的有效结合，使信息的处理速度、传递速度得到了惊人的提高，人类处理信息、利用信息的能力得到了空前的发展，是人类信息处理和传播手段的革命。

Ａ．计算机与多媒体技术Ｂ．电子计算机和现代通信技术Ｃ．多媒体和网络技术Ｄ．传统信息技术和现代信息技术10、（C）是现代信息技术的基石。

Ａ．计算机技术Ｂ．通信技术Ｃ．微电子技术Ｄ．传感技术11、下说法不正确的是（D）Ａ．信息不能独立存在，需要依附于一定的载体。

Ｂ．信息可以转换成不同的载体形式而被存储和传播Ｃ．信息可以被多个信息接受者接受并且多次使用Ｄ．同一个信息不可以依附于不同的载体12、计算机网络的最大优点是（B）。

信息论基础智慧树知到答案章节测试2023年潍坊学院

第一章测试1.信息论的奠基人是（）。

A:香农B:哈特利C:阿姆斯特朗D:奈奎斯特答案:A2.下列不属于信息论的研究内容的是（）。

A:纠错编码B:信源、信道模型C:信息的产生D:信道传输能力答案:C3.下列不属于消息的是（）A:图像B:信号C:文字D:语音答案:B4.信息就是消息. （）A:对B:错答案:B5.信息是不可以度量的，是一个主观的认识。

（）A:对B:错答案:B6.任何已经确定的事物都不含有信息。

（）A:错B:对答案:B7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。

（）A:错B:对答案:B8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。

A:保密性B:可靠性C:认证性D:有效性答案:ABCD9.下列属于香农信息论的主要研究理论的是（）。

A:传输理论B:调制理论C:压缩理论D:保密理论答案:ACD10.信源编码的作用包含（）。

A:检错纠错B:提升信息传输的安全性C:数据压缩D:对信源的输出进行符号变换答案:CD第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信道B:信源C:信源编码器、信源译码器D:信道编码器、信道译码器答案:C2.对于自信息，以下描述正确的是（）A:以e为底时，单位是比特B:以10为底时，单位是奈特。

C:以2为底时，单位是奈特。

D:以2为底时，单位是比特。

答案:D3.信息熵的单位是（）A:无法确定B:比特每符号C:比特答案:B4.必然事件和不可能事件的自信息量都是0 。

（）A:错B:对答案:A5.概率大的事件自信息量大。

（）A:错答案:A6.互信息量可正、可负亦可为零。

（）A:错B:对答案:B7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。

（）A:错B:对答案:B8.信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(X)={ 1/3,1/2,1/6},则信源X和Y的熵相等。

平时测验二答案

“信息论基础”平时测验二一、填空题（每空5分，共45分）1、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。

2、具有一一对应关系的无噪信道的信道容量r C log =。

3、对称信道的信道容量()''2'1,...,,log s p p p H s C -=。

4、强对称信道(均匀信道)的信道容量()()p H r p r C ---=1log log 。

5、对于离散无记忆信道和信源的N 次扩展，其信道容量NC C N =。

6、信道矩阵⎥⎦⎤⎢⎣⎡10002/12/1代表的信道的信道容量C= 1比特/符号。

（有噪无损信道）7、信道矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡100101代表的信道的信道容量C= 1比特/符号。

（无噪有损信道） 8、对于具有一一对应性能的无噪信道，输入输出符号的个数为m ，达到信道容量的条件是()m x p i 1=。

9、信道矩阵⎥⎦⎤⎢⎣⎡1001代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率C t =s bit /104。

二、判断题（每题3分，共15分）1、平均互信息量()Y X I ;对于信源概率分布()i x p 和条件概率分布()i j x y p 都具有凸函数性。

（√）2、信道容量C 是()Y X I ;关于()i x p 的条件极大值。

（√）3、离散无噪信道的信道容量等于n log ，其中n 是信源X 的消息个数。

（×）4、对于准对称信道，当()my p j 1=时，可达到信道容量C 。

（×）5、对于具有一一对应性能的无噪信道，当信源等概率分布时()nx p i 1=，达到信道容量。

（√）三、简答（每题10分，共10分） 1．简述一般离散信道容量的计算步骤。

解：一般离散信道容量的计算步骤：（1）由()()()i j sj i j j sj i ja b p b p a bp log 11∑∑===β，求j β；（2）由⎪⎪⎭⎫⎝⎛=∑=s j jC 12log β，求C ；（3）由()∑=-=sj Cj j b p 12β，求()j b p ；（4）由()()()∑==r i i jij bp a p b p 1，求()i a p 。