信息论基础试题

合集下载

信息论试卷含答案资料讲解

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。

三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。

信息论基础,有兴趣看看

二、填空（每空1分）（100道）1、在认识论层次上研究信息的时候，必须同时考虑到三个方面的因素。

2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了地交换和利用各种各样的信息。

6、信息的可度量性是建立信息论的基础。

7、8、熵是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是。

14、不可能事件的自信息量是∞。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N 倍。

??18、离散平稳有记忆信源的极限熵，H??N。

m19、对于n元m阶马尔可夫信源，其状态空间共有个不同的状态。

20、一维连续随即变量X在[a，b] 。

limH(X/XX?X)N12N?11log22?eP221、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。

22、对于限峰值功率的N维连续信源，当概率密度23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率P25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。

26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：i?1。

信息论基础其中考试试题.doc

北京城市学院信息学部练习试卷题号(40) (10) (10) 四(40)总分(100)阅卷人签字得分一、填空题(每空2分，共40分)1.1948年，美国数学家发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。

2.对于离散无记忆信源，当信源嫡有最大值时，满足条件为。

3.信源编码的目的是提高通信的性，信道编码的目的是提高通信的性。

x Xn x x4.有一信源X,其概率分布为p= ,若对该信源进行100次扩r 1/ Z 1/4 I/O I/O展，其每扩展符号的平均信息量是。

5.r进制信源的最小炳为,最大炳为。

6.根据码字所含的码元的个数，编码可分为编码和编码。

7.平均互信息的最大值为,最小值为。

8.在下面空格中选择填入数学符号"二,〉,〈,〉”或“〈”(1)当 X 和 Y 相互独立时，H (XY) H (X) +H (X/Y)H (Y) +H (X)。

9.确定信源的炳H (1, 0, 0, 0) =o10.必然事件的自信息是 ,不可能事件的自信息是。

11.根据各维随机变量的概率分布是否随时间的推移而变化，信源可分为非平稳信源和。

12.若取对数的底为2,则自信息的单位是；炳的单位是13.表示已知X时，Y的平均不确定性。

初二、判断题(每小题I分，共10分)分1.信息是一种消息。

()2.必然事件和不可能事件的自信息量都是0。

()3.互信息可正、可负、可为零。

()4.非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

()5.Kraft不等式是唯一可译码存在的充要条件。

()6.马尔可夫信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。

()7.信源的嫡和互信息量都一定是非负的。

()8.将信源的某个消息分解成多个消息时，炳增大。

()9.信息是对事物运动状态或存在方式的不确定性的描述。

()10.互信息和嫡的单位相同。

()列三、证明题(10分)分1.证明：联合嫡、条件炳和信息炳之间满足H(XY)=H(X)+H(Y|X)用四、计算题(每小题10分，共30分) 分1.(10分)已知信源X,ye {0,1}, XK构成的联合概率为1 3p(q = 0, b x— 0) = p(a2 = 1,仅=D = — , pj = 0,仅=1) = p(a2 -1, = 0)=—8 8计算 H(Y), H(XY), H(X | K) o2.(10分)有一个二元二阶马尔可夫信源，其信源符号集为{0, 1},输出符号的条件概率定为P(0|00) = P(l|ll) = 0.8P(l|00) = P(0|ll) = 0.2P(0101) = P(0110) = P(l|01) = P(l|10) = 0.5 试画出该信源的状态转移图，并写出该信源的状态转移矩阵。

信息基础试题及答案

信息基础试题及答案一、单选题（每题2分，共10分）1. 计算机中数据的最小单位是什么？A. 字节B. 位C. 字D. 兆答案：B2. 下列哪个选项不是计算机硬件？A. 中央处理器B. 操作系统C. 内存D. 硬盘答案：B3. 以下哪种网络协议用于网页传输？A. FTPB. HTTPC. SMTPD. POP3答案：B4. 以下哪种存储设备不是永久存储设备？A. 固态硬盘B. 机械硬盘C. 光盘D. 随机存取存储器（RAM）答案：D5. 以下哪个选项是计算机病毒的特点？A. 可自我复制B. 只能通过用户手动传播C. 总是立即显现症状D. 不能通过电子邮件传播答案：A二、多选题（每题3分，共15分）6. 以下哪些属于计算机软件的分类？A. 系统软件B. 应用软件C. 硬件D. 网络软件答案：A、B、D7. 以下哪些是计算机操作系统的功能？A. 进程管理B. 设备管理C. 文件管理D. 网络管理答案：A、B、C、D8. 以下哪些是计算机病毒的传播途径？A. 通过电子邮件B. 通过U盘C. 通过社交软件D. 通过正规软件下载答案：A、B、C9. 以下哪些属于计算机硬件的组成部分？A. 中央处理器B. 显卡C. 键盘D. 鼠标答案：A、B、C、D10. 以下哪些是计算机安全防护措施？A. 安装防病毒软件B. 定期更新操作系统C. 从不下载不明来源的软件D. 忽略安全警告答案：A、B、C三、判断题（每题1分，共10分）11. 计算机的存储设备包括硬盘、固态硬盘和内存。

（对）12. 计算机病毒只能通过电子邮件传播。

（错）13. 计算机的中央处理器（CPU）是计算机的核心部件，负责执行程序指令。

（对）14. 计算机的内存（RAM）是永久存储设备。

（错）15. 计算机操作系统的主要功能是管理计算机硬件资源。

（对）16. 计算机的显卡负责处理和输出图形和视频信号。

（对）17. 计算机的网络协议决定了数据在网络中的传输方式。

(完整word版)信息论试卷

一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。

(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。

A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。

（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。

(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。

(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。

（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。

（T)8、平稳的离散无记忆信道不可用一维概率描述。

(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为等长编码和不等长编码。

3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1）个码字。

信息论基础知识

选择题：
信息论的主要创立者是？
A. 牛顿
B. 爱因斯坦
C. 香农（正确答案）
D. 图灵
在信息论中，熵是用来衡量什么的？
A. 信息的不确定性（正确答案）
B. 信息的速度
C. 信息的长度
D. 信息的重量
下列哪个不是信息论中的基本概念？
A. 熵
B. 信道容量
C. 编码
D. 动力学（正确答案）
信道容量是指什么？
A. 信道能够无错误传输的最大信息率（正确答案）
B. 信道的物理长度
C. 信道的宽度
D. 信道的重量
在信息论中，什么是冗余信息？
A. 重复或无用的信息（正确答案）
B. 重要的信息
C. 加密的信息
D. 解密的信息
数据压缩的主要目的是什么？
A. 提高数据的传输速度
B. 减少存储空间的占用（正确答案）
C. 增加数据的安全性
D. 改变数据的格式
下列哪个不是信息编码的方式？
A. 哈夫曼编码
B. 游程编码
C. JPEG编码（正确答案）
D. 算术编码
在信息论中，什么是噪声？
A. 信号中的干扰或不需要的成分（正确答案）
B. 信号的强度
C. 信号的频率
D. 信号的相位
误码率是用来衡量什么的？
A. 信道传输信息的准确性（正确答案）
B. 信道传输信息的速度
C. 信道传输信息的数量
D. 信道传输信息的距离。

信息论基础复习题目

噪声熵：
H ( X | Y ) H ( X ) I ( X ; Y ) 0.45比特 / 信源符号
例2-10：设有一批电阻，按阻值分70%是2千欧姆，30%是5千欧
姆；按功耗分64%是1/8W，其余是1/4W。现已知2千欧姆阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
解：根据题意，设电阻的阻值为事件X，电阻的功率为事件Y。它们的概率空间分别为：
X x1 2 K P( x) 0.7 x2 5K 0.3
Y y1 1 / 8W P( y) 0.64
y2 1 / 4W 0.36
其发生的消息为：
（202120130213001203210110321010021032011223210）
求（1）此消息的自信息量。（2）在此消息中平均每个符号携带的信息量。
解：（1）消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可得：
3 I (a1 0) log p(a1 ) log 1.415比特 8 1 I (a2 1) log p(a2 ) log 2比特 4 1 I (a3 2) log p(a3 ) log 2比特 4 1 I (a4 3) log p(a4 ) log 3比特 8
解：（1）令把棋子任意放在棋盘的某一格为事件xi，则该事件
发生的概率为：
p( xi ) 1/ 64
则该事件携带的信息量为：
I ( xi ) log p( xi ) log(1/ 64) 6bit
（2）设行为随机变量X，列为随机变量Y，则在事件yj发生后事件xi发生的概率为：

信息论试题3

《信息论基础》试卷答案一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。

2、离散无记忆信源存在剩余度的原因是分布不等概。

3、当信源各符号无相关性、等概分布时，信源熵为最大值。

八进制信源的最大熵为3/bit 符号，最小熵为0/bit 符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、一个事件发生概率为0.125，则自相关量为3bit 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。

7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。

8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正2x -21log 22e πσ。

9,,,=≥≤>”或“〈” （1）()H XY =H(Y)+H(X|Y)H(Y)+H(X)≤（2）假设信道输入用X 表示，信道输出用Y 表示。

在有噪无损信道中， H(X/Y)= 0, H(Y/X)>0,I(X;Y)=H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

解：该信源的相对熵：()h(X)=log b-a log(31)1bit =-=绝对熵为+∞三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（4分）（2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）解：（1）霍夫曼编码后的二进制变长码：S1：10， S2：00， S3：00， S4：110， S5：111，S1 0.25S2 0.2S3 0.2S4 0.2S5 0.1501.00.40.35011000.61（2）平均码长：I=0.35*3+0.65*2=2.35码元/符号；（3）编码信息率：R '=—L *logr=2.35*1=2.35 bit/信源符号（4）编码后信息传输率： 111110.25log 0.2log 0.2log 0.2log 0.15log H(s)0.250.20.20.20.15R= 2.35L 0.50.6*2.3220.15*2.7370.982.35++++=+==— （5）编码效率：η =H(s)L—=98%四、（12分）已知一个平均功率受限的连续信号，通过带宽W 10MHz =的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）解：（1）根据香农公式：()()67Wlog 1SNR 1010log 110 3.4610C =+=⨯⨯+=⨯ （2）当SNR 5=，()()7Wlog 1SNR Wlog 15 3.4610C =+=+=⨯则 773.4610W 1.33810Hz 2.585⨯==⨯ （3）当带宽减为5MHz ，()()67Wlog 1SNR 510log 1SNR 3.4610+=⨯⨯+=⨯ SNR =120五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1）画出状态转移图（4分）（2）计算稳态概率（4分）（3）计算信源的极限熵（4分）（4）计算稳态下H1，H2及其对应的剩余度。

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。

（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。

3、无记忆信源是指信源先后发生的符号彼此统计独立。

4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。

5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。

6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。

8、即时码是指任一码字都不是其它码字的前缀。

9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。

1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。

《信息论基础》试卷(期末)(A2卷)

试题编号：重庆邮电大学2009/2010学年2学期《信息论基础》试卷（期末）（A卷）（开卷）一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W，则噪声熵为。

如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。

3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为，《信息论基础》试卷第1页《信息论基础》试卷第2页此时编码效率为。

4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。

9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是。

11、当时，信源熵为最大值。

８进制信源的最大熵为。

二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。

（） 3）连续信源的熵可正、可负、可为零，（） 4）平均互信息始终是非负的。

（） 5）信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。

（）《信息论基础》试卷第3页三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。

通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。

信息论试题1

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。

2.一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为123x x xX111P244⎛⎫⎡⎤ ⎪=⎢⎥ ⎪⎣⎦⎝⎭，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。

4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。

若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s.5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e2π；与其熵相等的非高斯分布信源的功率为16w≥6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。

8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。

9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

10、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。

（2）假设信道输入用X表示，信道输出用Y表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P （“点数和为3”）=P （1,2）+ P （1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP （“点数和为3”）=log18=4.17bit 2.P （“点数和为7”）=P （1,6）+ P （6,1）+ P （5,2）+ P （2,5）+ P （3,4）+ P （4,3）=1/36 ⨯6=1/6则该消息包含的信息量是：I=-logP （“点数和为7”）=log6=2.585bit 3.P （“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。

信息论基础试题

信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。

•[ ] B. 信息的传递不受噪声的影响。

•[ ] C. 信息的度量可以基于信息内容和概率分布。

•[ ] D. 信息的传输速率与信道带宽成反比例关系。

2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。

则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。

•[ ] B. 从一个随机变量中获得的信息量。

•[ ] C. 两个随机变量之间的信息交流量。

•[ ] D. 两个随机变量之间的互相依赖程度。

二、填空题1.在信息论中，熵是用来衡量信源的______。

2.信源的熵可以通过概率分布计算，公式为______。

3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。

三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。

答：信息熵是信息论中对信源不确定性的度量。

它衡量了一组符号的平均不确定性，也可以理解为平均信息量。

熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。

通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。

不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。

信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。

2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。

信道容量受到信道的带宽和信道的噪声水平的影响。

要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。

信息论基础复习样卷

一、填空题1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

2、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。

自信息量的单位一般有。

3、必然事件的自信息是。

不可能事件的自信息量是。

4、把掷骰子的结果作为一离散信源，则其信源熵为。

同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。

5、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率。

6、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率。

7、单符号的失真度或失真函数d （x i ，y j ）表示信源发出一个符号x i ，信宿再现y j 所引起的。

8、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。

9、对于二元序列0011100000011111001111000001111111，其相应的游程序列是 23652457 。

10、信道编码的最终目的是。

二、判断题1、必然事件和不可能事件的自信息量都是0 。

2、单符号离散信源的自信息和信源熵都具有非负性。

3、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。

4、自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 5、当随即变量X 和Y 相互独立时，条件熵等于信源熵。

6、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。

7、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。

8、连续信源和离散信源的平均互信息都具有非负性。

9、定长编码的效率一般小于不定长编码的效率。

《信息论基础》模拟试题.doc

《信息论基础》模拟试题一、填空题(本大题共10小空，每小空2分，共20分)1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和O2.—个八进制信源的最大炳为-3.信源冗余度存在的原因是。

4.设有一连续随机变量X表示信号x(t)的幅度，其幅值在［-4V, 4V］均匀分布，那么该信源的炳h(x)=,则该信源的绝对炳是_____________________ 」5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差炳的最大值为，与其炳相等的非高斯分布信源的功率为>6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？(3分)2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？(3分)3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？(3分)三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z,取Z=X+Y。

试计算：1.H(Y)、H(Z); (6 分)2.H (XY) ; (3 分)3.I (X;Y), I (Y;Z). (8 分) 四、一阶马尔可夫链信源有3个符号｛a,b.c),转移概率为：P (a/a)二1/2, p (b/a)=1/4, p (c/a) =1 /4, p (a/b) =1 /2, p (b/b)二0, p (c/b) =1/2, p (a/c) =1/2, p (b/c) =1/2, p (c/c)=0。

1.画出状态图；写出转移概率矩阵；(6分)2.求出各符号稳态概率；(6分)3.计算其极限滴；(4分)五、在干扰离散对称信道上传输符号1和0,已知p(0)=1/4,p(1)=3/4,试求:1该信道的转移概率矩阵P(3分)2该信道的信道容量及其输入概率分布(7分)0.6六、某信道的转移矩阵p().50.30.30.2().5 00.2试求：该信道的信道容量及最佳输入概率分布o （6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH 乙乂设信噪比为20db 1 肖H •耸'该隹1首的隹1首恣晶.分）2若功率信嬴比降或lOdbi 达到相同的最大信息传输率，信道带宽应是多少？（3分）八、信源符号 X 有 6 种字母，概率为 0.25 , 0.2, 0.16, 0.15 , 0.1, 0.07 , 0.04 , 0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1. 编码前信源X 的信源剩余度，2. 平均码长3. 编码效率。

信息基础论复习题答案

信息基础论复习题答案一、选择题1. 信息基础论认为，信息是：A. 物质的属性B. 能量的表现形式C. 物质、能量和信息的统一体D. 独立于物质和能量之外的存在答案：C2. 信息的传递需要：A. 物质载体B. 能量C. 时间D. 所有以上选项答案：D3. 信息的基础论中，信息的三个基本特性是：A. 可存储性、可传输性、可处理性B. 可复制性、可共享性、可转换性C. 可识别性、可操作性、可扩展性D. 可测量性、可预测性、可控制性答案：A二、填空题1. 信息基础论认为信息具有_______性，即信息可以在不同的物质载体之间传递。

答案：可传递2. 信息的_______是信息能够被接收者理解和利用的基础。

答案：可理解性3. 在信息基础论中，信息的_______指的是信息在传递过程中保持其内容和结构的完整性。

答案：保真性三、简答题1. 简述信息基础论中信息的定义及其重要性。

答案：信息基础论中，信息被定义为物质、能量和信息的统一体，它不仅包含数据和信号，还包括意义和知识。

信息的重要性体现在它是现代社会沟通、决策和创新的基础，对于提高效率、促进发展具有关键作用。

2. 描述信息基础论中信息的三个基本特性，并解释它们在实际应用中的作用。

答案：信息的三个基本特性包括可存储性、可传输性和可处理性。

可存储性允许信息被保存，为后续使用提供便利；可传输性使得信息能够在不同地点和时间被共享；可处理性则允许信息被分析、整理和转换，以适应不同的应用需求。

四、论述题1. 论述信息基础论对现代信息技术发展的影响。

答案：信息基础论为现代信息技术的发展提供了理论基础。

它强调了信息的可存储性、可传输性和可处理性，这直接推动了存储技术、通信技术和计算机技术的进步。

此外，信息基础论还促进了信息安全、数据挖掘和人工智能等领域的发展，为信息的高效利用和智能处理提供了理论支持。

五、案例分析题1. 请结合一个具体的信息技术应用案例，分析信息基础论在该案例中的应用及其效果。

信息论基础试题及答案

信息论基础试题及答案信息论基础试题及答案填空题（每题2分）1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。

（考点：信息论的研究目的）2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。

按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。

（考点：信息量的概念及计算）3、按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。

（考点：信道按噪声统计特性的分类）4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。

若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。

（考点：等长码编码位数的计算）5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。

（考点：错误概率和译码准则的'概念）6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。

（考点：纠错码的分类）7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。

（考点：线性分组码的基本概念）8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。

（考点：连续信道和波形信道的信道容量）9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t 个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。

（考点：线性分组码的纠检错能力概念）判断题（每题2分）1、信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。

信息论基础智慧树知到答案章节测试2023年潍坊学院

第一章测试1.信息论的奠基人是（）。

A:香农B:哈特利C:阿姆斯特朗D:奈奎斯特答案:A2.下列不属于信息论的研究内容的是（）。

A:纠错编码B:信源、信道模型C:信息的产生D:信道传输能力答案:C3.下列不属于消息的是（）A:图像B:信号C:文字D:语音答案:B4.信息就是消息. （）A:对B:错答案:B5.信息是不可以度量的，是一个主观的认识。

（）A:对B:错答案:B6.任何已经确定的事物都不含有信息。

（）A:错B:对答案:B7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。

（）A:错B:对答案:B8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。

A:保密性B:可靠性C:认证性D:有效性答案:ABCD9.下列属于香农信息论的主要研究理论的是（）。

A:传输理论B:调制理论C:压缩理论D:保密理论答案:ACD10.信源编码的作用包含（）。

A:检错纠错B:提升信息传输的安全性C:数据压缩D:对信源的输出进行符号变换答案:CD第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信道B:信源C:信源编码器、信源译码器D:信道编码器、信道译码器答案:C2.对于自信息，以下描述正确的是（）A:以e为底时，单位是比特B:以10为底时，单位是奈特。

C:以2为底时，单位是奈特。

D:以2为底时，单位是比特。

答案:D3.信息熵的单位是（）A:无法确定B:比特每符号C:比特答案:B4.必然事件和不可能事件的自信息量都是0 。

（）A:错B:对答案:A5.概率大的事件自信息量大。

（）A:错答案:A6.互信息量可正、可负亦可为零。

（）A:错B:对答案:B7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。

（）A:错B:对答案:B8.信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(X)={ 1/3,1/2,1/6},则信源X和Y的熵相等。

信息理论基础试题综合

信息理论基础试题综合简答题1.画出通信系统的基本模型。

2.简述信息的概念及特点。

3.说明信息、消息及信号三者之间的联系与区别。

4.叙述数据处理定理的内容及其意义，并给出简要证明。

5.简述香农第一定理。

6.结合本人的具体学习情况，谈谈学习信息理论课程的体会。

证明题1.对离散信源X ，设()Yf X =，证明：()()H X H Y ≥，并给出等式成立的条件。

（当且仅当对于所有概率不为0的()x x X ∈，f 是一一对应的映射时，等号成立）2.对于离散随机变量，证明()()()()1212N N HX X X H X H X H X ≤+++ 。

3.证明：当N →∞时，新信源X 的符号集的概率分布i p 趋于1r（等概分布）。

证明：由香农第一定理知()1()()log log N L H s H s r N N r+>≥显然当N →∞时()()log N L H s N r=此时信息传输率()()()log log H s H s R H s r r L===（*）而编码后原信源变换成一个新信源1212:r r x x x x p p p ⎡⎤⎢⎥⎣⎦新信源的信道容量log C r =，且在输入信源等概率分布时达到此信源容量。

那么由（*）式知，经Huffman 编码后，信息传输率在N →∞时达到信道容量，那么很容易推出此时的信源趋于等概分布，即：1i p r=。

计算题1.对于一个离散的二进制信道，信源消息集为{}0,1X =，信宿消息集为{}0,1Y =，且{}{}01P X P X ===，信道传输概率{}1|00.05P Y X ===，{}0|10.1P Y X ===。

求：（1）()H Y ；（2）(|)H X Y ；（3）平均互信息量(;)I X Y ；（4）信宿收到1y =后，所提供的关于传输消息X 的平均条件互信息量(;1)I X y =。

2.有一个二阶二进制马尔可夫信源，其信源符号集为(0,1)，条件概率为(0|00)(1|11)0.8p p == (1|00)(0|11)0.2p p ==(0|01)(0|10)(1|01)(1|10)0.5p p p p ====信源输出序列为1234r X X X X X ，已知初始状态分布为1212(00)(11)0.3p X X p X X ==== 1212(01)(10)0.2p X X p X X ====求：（1）极限熵H ∞；（2）状态分布34()p X X ；（3）联合熵123()H X X X 。