信息论基础试卷(期末A卷
信息理论与编码-期末试卷A及答案
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
《信息论》期末考试试题(A 卷) 标准答案
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
09（2）计算机基础期末考试试卷（A1卷）
华南农业大学期末考试试卷（A1卷）2009学年第2学期 考试科目： 大学计算机基础考试类型：（闭卷） 考试时间： 120 分钟学号 姓名 年级专业考生注意：1、 答案必须分别写在“机读卡”和“答题卷”上，写在试卷上不得分。
2、 必须在机读卡和答题卷上正确填写班级、学号、姓名等内容，否则没有考试成绩。
3、 在机读卡的学生代号区只填写学号后10位。
4、 考试不能使用计算器等电子设备。
一、 判断题（本大题共40小题，每小题0.5分，共20分） （在机读卡上答题，正确选A ，错误选B ）1.嵌入式计算机就是我们平常用的笔记本电脑。
2.用C 语言编写的CAI 课件属于应用软件。
3.通常用后缀字母来标识某数的进制，字母H 代表十六进制。
4.在计算机中，处理含有小数部分的数值时，解决小数点的表示问题主要通过定点数和浮点数来表示。
5.在计算机中，BCD 码是用4位二进制码表示一位十进制数，可以参加运算。
6.在计算机中，数的正负可用0和1来表示，即数字符号数字化，这样的数叫机器数的真数。
7.在计算机内部用于存储、加工处理的汉字编码称为国标码。
8.寄存器只是运算器中特有的一个部件。
9.逻辑运算是指对因果关系进行分析的一种运算，运算是按位进行的。
10.24×24汉字点阵字库中，表示一个汉字字模需要72字节。
11.数据总线的宽度决定了内存一次能够读出的相邻地址单元数。
12.不同CPU 的计算机有不同的机器语言和汇编语言。
13.主板软升级就是对微机上的ROM BIOS 芯片的内容进行更新。
14.键盘和显示器都是计算机的I/O 设备，键盘是输入设备，显示器是输出设备。
15.SDRAM 指的是用于做高速缓存的静态内存。
16.存储地址是存储器存储单元的编号，CPU 要存取某个存储单元的信息，一定要知道这个存储单元的地址，并通过地址线中的地址信号去找到这个地址单元。
17.多次进行低级格式化将损害硬盘。
信息论期末考试试题
安徽大学2011—2012学年第1学期《信息论》考试试卷（AB合卷）院/系年级专业姓名学号一、填空题1、接收端收到y后，获得关于发送的符号是x的信息量是。
2、香农信息的定义。
3、在已知事件z Z∈的条件下，接收到y后获得关于事件x的条件互信息(;|)I x y z的表达式为。
4、通信系统模型主要分成五个部分分别为：。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。
6、某信源S共有32个信源符号，其实际熵H∞=1.4比特/符号，则该信源剩余度为。
7、信道固定的情况下，平均互信息(;)I X Y是输入信源概率分布()P x的型凸函数。
信源固定的情况下，平均互信息(;)I X Y是信道传递概率(|)P y x的型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为。
9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵5()H X= 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。
信息论基础考试试题
信息论基础考试试题一、信息论基础考试试题考试试题内容如下：1. 简述信息论的定义和基本原理。
信息论是由克劳德·香农提出的一门数学理论，主要研究信息的量和信息传输的可靠性。
其基本原理包括信源编码、信道编码和信道容量三个方面。
其中，信源编码是将信息源的符号序列编码为短码字节，减少信息传输的冗余；信道编码是为了在承载信息传输的信道中降低传输过程中的错误率和噪声干扰；信道容量则是指在给定的信道条件下，能够传输的最大信息速率。
2. 请定义信息熵，并给出其计算公式。
信息熵是用来衡量一个随机变量的不确定性或者信息量的多少。
假设一个离散随机变量X，其取值的概率分布为P(X)，那么信息熵的计算公式为：H(X) = -Σ[P(x)log2P(x)]其中，Σ表示求和运算，x为随机变量X的所有取值。
3. 解释条件熵和联合熵的概念。
条件熵是指在给定某个随机变量的取值条件下，另一个随机变量的不确定性或信息量。
设有两个离散随机变量X和Y，X的条件熵H(X|Y)即为在已知Y的条件下，X的信息熵。
联合熵是指同时考虑两个或多个随机变量的不确定性或信息量。
对于随机变量X和Y，它们的联合熵H(X,Y)表示同时考虑X和Y的信息熵。
4. 请解释互信息的概念，并给出其计算公式。
互信息是用来衡量两个随机变量之间的相关程度或者依赖关系。
对于离散随机变量X和Y，互信息的计算公式为：I(X;Y) = ΣΣ[P(x,y)log2(P(x,y)/(P(x)P(y)))]其中，ΣΣ表示双重求和运算，P(x,y)表示X和Y同时发生的概率，P(x)和P(y)分别为X和Y的边缘概率。
5. 请简要介绍信道编码理论中的三个重要概念：纠错码、检测码和调制。
纠错码是一种用于在传输过程中恢复误差的编码技术。
通过添加冗余信息，可以在接收端检测和纠正传输过程中产生的错误。
检测码是用于在传输过程中检测错误的编码技术。
它可以发现传输中是否存在错误，但无法纠正错误。
调制是指将数字信号转换为模拟信号或者模拟信号转换为数字信号的过程。
《信息系统基础》(A卷)答案
北京信息科技大学2008~2009学年第一学期《信息系统基础》课程期末考试试卷（A）课程所在学院：信息管理学院适用专业班级：信息管理学院08级所有专业考试形式：(开卷)一、选择题（本题满分20分，共含20道小题，每小题1分）：下列各题A、B、C、D四个选项中，只有一个选项是正确的，请将正确选项填写在下面表格对应位置中，答在试卷上不得分。
二、填空题（本题满分20分，共含20个空格，每空格1分）1．晶体管，集成电路2． 2 3．硬件、软件4．数据总线、地址总线5．计算机、通信6．POP、SMTP 7．关系模型8. 政策与法律、安全性与技术标准化9. 切片10. 聚类、关联规则11. 系统设计12. 逻辑模型、物理模型三、判断题（本题满分10分，共含10道小题，每小题1分）√1．计算机的硬件包括运算器、控制器、存储器、输入设备和输出设备。
×2．冯·诺依曼等人提出的存储程序计算机采用的是十进制。
√3．在原码、反码和补码三种机器码中，补码表示数的范围最大。
×4．计算机的控制器是由运算器和中央处理器组成的。
√5．一个浮点数的正负完全由其尾数决定，与其阶码无关。
×6．在主存贮器和CPU之间增加Cache的目的是为了扩大主存贮器的容量。
×7．运算器是一个数据加工部件，它只能完成二进制逻辑运算。
√8.计算机中，硬件是计算机系统的物质基础，软件是计算机系统的灵魂。
硬件和软件是相辅相成的，不可分割的整体。
×9．计算机的机器字长决定计算中信息的传送能力。
√10．固件是指那些存储在能永久保存信息的器件（如ROM）中的程序，是具有软件功能的硬件。
四、简答题（本题满分16分，共含4道小题，每小题4分）1、简述数据库系统的特点。
•数据结构化且统一管理；（1分）•数据冗余度小；（1分）•具有较高的数据独立性；（1分）•数据的共享性好；（1分）•数据控制功能强。
（答对4点可给满分）2、支撑电子商务的三个技术层次及其提供的支持或服务是什么？•网络层（1分）–支持电子商务的硬件基础设施•信息发布与消息传递层（1分）–关注的是电子商务信息的表达形式•公用业务逻辑层（2分）–实现具有普遍意义的基础性商务活功服务–例如标准的询价、报价以及电子化支付功能等3、决策支持系统的主要特征有哪些？决策支持系统的特征：（每要点1分）•面向决策者：决策支持系统的输入和输出、起源和归宿都是决策者。
信息论基础—— 期末试卷 A 答案
○？○？大学 2008-2009 学年第一学期2006级 信息与计算科学专业 本 科 卷 A 参考答案与评分标准课程名称 信息论基础课程号（？？？） 考试形式（闭卷笔试） 时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。
1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。
二、填空题：本题共7小题，每空2分，满分20分。
1、码字的最小距离（min d ）;2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。
三、计算题：本题共4小题，满分50分。
(15分)解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i p x y则Y（2分）（1）11+414()log 2log log 24141a a H Y a a -=+++- ------------------（2分） 211161log 2log log 24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+23111log 2log log 24141a aa a-=++-+；取2为底2223111()(log log )24141a aH Y bit a a-=++-+； ------------------（1分） （2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦3(1)log 2log 22a a -=-+3log 22a-=； 取2为底，3(|)2aH Y X bit -=； ------------------（2分） （3）[]2()()()111max (;)max ()(|)max log 2log log 24411i i i p x p x p x aa a C I X Y H Y H Y X a a -⎛⎫==-=++ ⎪+-⎝⎭。
(整理)信息论期末考试试题1.doc
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息论与编码期末复习试题A含答案.doc
莆田学院期末考试试卷（A）卷2011 — 2012学年第一学期课程名称：信息论与编码适用年级/专业：09/电信（通信）试卷类别开卷（）闭卷（V）学历层次本科考试用时120分钟《考生注意:答案要全部抄到答题纸上,做在试卷上不给分》一'简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2.香农信息论研究了哪些内容？试讲述香农第二编码定理。
3.什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10 分）4.什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y,试证明下列不等式成立：H（X|Y）〈=H（X）,并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X詔黑，白｝。
设黑色出现的概率为P（黑）=0.3,白色的出现概率P（白）=0. 7o求（1）假设图上黑白消息出现前后没有关联，求爛H（X）；（2）假设消息前后有关联，其依赖关系为P（白/白）=0.9, P（黑/白）=0. 1, P （白/黑）=0.2, P （黑/黑）=0.8,求此一阶马尔可夫信源的嫡H2（X）；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P（l）=0. 005, P（0）=0. 995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6, 3）线性分组码的全部码字为00101L 11001L 010110,101110, 10010L 111000, 01110L 000000。
信息论基础及答案
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。
（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。
5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。
1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。
《信息论基础》试卷(期末)(A2卷)
试题编号：重庆邮电大学2009/2010学年2学期《信息论基础》试卷（期末）（A卷）（开卷）一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W，则噪声熵为。
如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。
3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为，《信息论基础》试卷第1页《信息论基础》试卷第2页此时编码效率为 。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。
11、当 时，信源熵为最大值。
８进制信源的最大熵为 。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（ ）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（ ） 3）连续信源的熵可正、可负、可为零， （ ） 4）平均互信息始终是非负的。
（ ） 5） 信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。
（ ）《信息论基础》试卷第3页三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性.2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号.4、无失真信源编码的平均码长最小理论极限制为信源熵（或H（S)/logr=H r(S）)。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正态分布或时,信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1)当X和Y相互独立时，H（XY）=H(X）+H(X/Y）=H(Y)+H（X)。
（2）（3)假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H（X/Y）> 0， H(Y/X)=0,I(X；Y)<H（X）.二、若连续信源输出的幅度被限定在【2，6】区域内,当输出信号的概率密度是均匀分布时，计算该信源的相对熵,并说明该信源的绝对熵为多少。
=2bit/自由度该信源的绝对熵为无穷大。
三、已知信源（1)用霍夫曼编码法编成二进制变长码;（6分）（2）计算平均码长;（4分）(3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5）计算编码效率。
（2分）（1)编码结果为：（2)（3）（4)其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5。
计算：（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为.试计算正确传输这些数据最少需要的发送功率P。
解：（1)(2）五、一个一阶马尔可夫信源，转移概率为。
《信息系统基础》(A卷)
北京信息科技大学2008~2009学年第一学期《信息系统基础》课程期末考试试卷（A）1．“信息是人们对事物了解的不确定性的减少或消除。
”这一信息的定义是由以下哪位学者提出的：A、贝塔郎菲(L.V.Bertalanffy)B、香农(C.E Shannon)C、维纳(Norbert Wiener)D、朗高(G. Longo)2．计算机系统中的存贮器系统是指A、主存贮器B、CacheC、辅助存贮器D、Cache、主存贮器和外存贮器3．原码1.01011所表示的真值是A、0.01011B、－0.01011C、0.10101D、－0.101014．在微型机系统中，外围设备通过以下哪个部件与主板的系统总线相连接。
A．设备控制器B．内存条C．CPU D．寄存器5．在CPU中，用来跟踪后继指令地址的寄存器是A．地址寄存器B．指令寄存器C．程序计数器D．状态寄存器6．若某数x的真值为-0.1010，在计算机中该数表示为1.0101，则该数所用的编码为______。
A．原码B．补码C．反码D．以上都不对7．若二进制数为10110.11，则相应的十进制数为______。
A．22.75 B．22.5C．21.5 D．22.38. 在计算机中，以下哪个设备按照事先确定的步骤，控制其它设备统一协调地正确完成所需要的操作。
A．运算器B．控制器C．输入设备D．存储设备9．在微机中存取信息速度最快的是A．U盘B．内存C．硬盘D．光盘10．以下存储设备中，哪个设备上的信息只能写一次。
A．RAM B．ROMC．PROM D．EPRO11．将高级语言的源程序转为目标程序的是________A．操作系统B．编译程序C．监控程序D．汇编程序12．操作系统是一种___________。
A．使计算机便于操作的硬件B．计算机的操作规范C．管理各类计算机系统资源，为用户提供友好界面的一组管理程序D．便于操作的计算机系统13．若希望将某个窗口的完整视图复制到剪帖板中去，可按________键。
2014信息论基础试卷A
………密………封………线………以………内………答………题………无………效……电子科技大学2013-2014学年第 二 学期期 末 考试 A 卷课程名称： 信息论基础 考试形式： 一页开卷 考试日期：20 14年 6月 26日 考试时长：_120分钟 课程成绩构成：平时 30 %， 期中 0 %， 实验 0 %， 期末 70 % 本试卷试题由_三_部分构成，共_3_页。
一、填空题（共30分，共15空，每空2分）1、通信系统中信道传输信号，信号承载消息，消息所含能消除( )的内容是信息。
2、根据链式法则，两符号离散信源的联合熵+=)X (H )X X (H 121( )。
3、如果多符号离散信源对任意两个不同时间起点，其概率及直到N 维的各维联合概率都相同，该信源是N 维( )信源。
4、指数信源的概率密度函数∞<≤μ=μ-x 0,e 1)x (p x，其绝对熵H(X)=( ) bit ，相对熵=)X (H c ( )bit 。
5、平均互信息反映信宿每收到一条消息所含( )一条消息的平均信息量。
6、根据链式法则，两符号离散信道的联合平均互信息+=)Y ;X (I )Y Y ;X X (I 112121( ))Y X /Y ;X (I 1122+。
7、某二进制对称信道的信道矩阵⎥⎦⎤⎢⎣⎡=9.01.01.09.0)X /Y (P ，其信道容量C=( )bit ，达到信道容量的信源概率P(0)=P(1)=( )。
8、高斯加性信道在最大信息传输速率s /Mb 120C t =、信号带宽B=20MHz 时，信噪功率比=NXP P lg10( )dB 。
9、高斯信源取平方误差失真函数时达到率失真函数R(D)的实验信道是方差为 ( )的反向高斯加性信道。
10、香农第二定理给出的( )编码的信息传输率上界是C ，香农第三定理给出的保真度准则下( )编码的信息传输率下界是R(D)。
11、二进制香农码对应于消息k x 的码字k c 的码长=k l ( )。
信息理论与编码期末试卷A及答案
信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
信息论期末考试试题 答案
安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案（AB 合卷）一、 填空题 1、()(;)log()()p xy I x y p x p y =；2、事物运动状态或存在方式的不确定性的描述；3、(|)log(|)(|)p xy z p x z p y z ；4、信源 编码器 信道 译码器 信宿；5、保密性 认证性；6、0.72；7、 ， ；8、(;)C I X Y - ；9、4.6 ； 10、0H ≥1H ≥4H ≥6H ≥∞H ； 11、()()1log log N L H S H S r N r N≤<+； 12、()f x 在q F 上不可约； 13、()g x |1n x -； 14、2F 、22F 、32F 、42F 、62F 、122F ； 15、8，4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解：1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时：()()()()1236H XYZ H X H Y H Z =++=++=2、解：二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵：22HX H X =（）（）22112log 2log )3366=-+⨯（=2log3-2/3比特/二符号 3、解：1）信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭，故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-（比特/符号）相应的最佳输入概率分布为等概率分布。
（2）信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭，故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- （比特/符号） 相应的最佳输入概率分布为等概率分布。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
重庆邮电大学2007/2008学年2学期
〈〈信息论基础》试卷（期末） （A 卷）（半开卷）
一、填空题（本大题共 10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为 3bit/符号
X 2 X 3
1 1
，其信源剩余度为94.64% ;若对该信源进行十次扩展,
4 4
则每十个符号的平均信息量是
15bit 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为 b ，最小瞬时电压为 a 。
若消息从放大器中输出，则该
信源的绝对熵是 ；其能在每个自由度熵的最大熵是
log （b-a ）bit/自由度；若放大器的最高频率为
F ，则单位时间内
输出的最大信息量是 2Flog （ b-a ） bit/s.
1
5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为
log32 e ；与
其熵相等的非高斯分布信源的功率为
16w
6、 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、 无失真信源编码的平均码长最小理论极限制为信源熵（或 H （S ）/logr= H 「（S ））。
8、 当R=C 或（信道剩余度为0 ）时，信源与信道达到匹配。
9、 根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、 在下面空格中选择填入数学符号“
，，，”或“
”
（1 ）当 X 和 Y 相互独立时，H （XY ）=H （X ）+H （X/Y ）。
（2 ）假设信道输入用X 表示，信道输出用 Y 表示。
在无噪有损信道中，H （X/Y ）＞ 0, H （Y/X ）=0,I （X;Y ）＜H （X ）_
、掷两粒骰子，各面出现的概率都是
1/6，计算信息量:
1. 当点数和为3时，该消息包含的信息量是多少？
2.
当点数和为7是，该消息包含的信息量是多少?
X
3.有一信源X ，其概率分布为
P
X 1
3.两个点数中没有一个是1的自信息是多少?
解：1.P （“点数和为 3 ” =P （ 1,2 ） + P （1,2 ） =1/36+1/36=1/18
则该消息包含的信息量是：l=-logP （“点数和为3 ”）=log18=4.17bit
2.
P “点数和为 7” =P （ 1,6）+ P （6,1）+ P （ 5,2）+ P （ 2,5）+ P （3,4）+ P （ 4,3）=1/36 6=1/6
则该消息包含的信息量是：l=-logP （“点数和为7”）=log6=2.585bit
3.
P “两个点数没有一个是1” =1-P （“两个点数中至少有一个是
1”
=1-P （1,1or1,jori,1）=1-（1/36+5/36+5/36）=25/36
则该消息包含的信息量是：l=-logP （“两个点数中没有一个是
1 ”）=log25/36=0.53bit
2
故 H(Z)=
P(Z i )log P(Z i )=1bit/ 符号
i 1
2.从上式可以看出:Y 与X 的联合概率分布为
三、设X 、Y 是两个相互统计独立的二元随机变量，其取
-1或1的概率相等。
定义另一个二元随机变量 乙取Z=YX (
般乘积）。
试计算:
1. H ( Y )、H (Z )；
2. H ( XY )、H (YZ )；
3.I (X;Y )、I (Y;Z )；
2
解: 1. H (Y ) =- P (y ) logP ( y i )
i 1
1lOg1 1b g 1 =1bit/ 符号 2 2 2 2
Q Z=YX 而且X 和Y 相互独立
P(乙=1) =P(Y=1) P(X 1) P(Z 2=-1 ) =P(Y=1) P(X
P(Y 1) P(X 1) P(Y
1)
讨
1) P(X
1)=
H(X|Y)=H(X)=1bit/ 符号
I (X;Y ) =H(X)-H(X|Y)=1-1=0bit/ 符号 l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=O bit/ 符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P =
1. 绘制状态转移图；
2. 求该马尔科夫信源的稳态分布;
3.
求极限熵；
解：1.状态转移图如右图
3
2.由公式 p(E j ) P(E i ) P(E j |E i ) ，可得其三个状态的稳态概率为:
i 1
H(YZ)=H(X)+H(Y)=1+1=2bit/
3. Q X 与Y 相互独立，
P(EJ 伯
Pd
P(EJ 1 1
-P (E 1) - P (E 2)
1 1
-P(E 2) -P(E 3) 2 2 1 1 2 P(E 1) ]P(E 3)
P(E 2)P(E 3)1
1
严3)
P(E 1) 3 P(E 2) 7 P(E s ) 2
3.其极限熵:
=7
1+t 1+7「5=现符号
1. 该信道的转移概率矩阵P
2. 信道疑义度H （X|Y ）
3. 该信道的信道容量以及其输入概率分布
解：1.该转移概率矩阵为
0.90.1
P=
0.10.9
2.根据P（XY）=P（Y|X）P（X），可得联合概率
P（XY）Y Y
3 H
（ X|E i） =
y
1 1 2
H（丄,,）+2
2 2 7
H（丄，丄,）+ ? H （丄,,
2 2 7 4 2 4
这时，输入端符号服从等概率分布，即
X P(X)
01 2 2
由 P (X|Y )
H (X|Y )=- P(x i y j )log p(x i |y j ) =0.09+0.12+0.15+0.035=0.4bit/ 符号
i ，j
3. 该信道是对称信道，其容量为：
C=logs-H=log2-H (0.9,0.1 ) =1-0.469=0.531bit/ 符号
X
这时，输入符号服从等概率分布，即
P(X)
试求：该信道的信道容量及其最佳输入概率分布。
解：该信道是准对称信道，分解为两个互不相交的子信道矩阵
0.10 N 1 0.9 N 2 0.1
这里
0 0.1 M 1 0.9 M 2 0.1
C=logr-H(P 的行矢量)
H(0.6, 0.3，0.1) 0.9 log 0.9-0.1 log 0.1
=0.174bit/ 符号
01
2 2
六、某信道的转移矩阵
P
0.6 0.3 0.1 0
0.3 0.6
0 0.1
0.60.3 0.30.6
N K log M K
k 1
七、信源符号 X 有六种字母，概率为 0.32,0.22,0.18,0.16,0.08,0.04 用赫夫曼编码法编成二进制变长码，写出
八、设在平均功率受限的高斯可加波形信道中，信道带宽为 3KHz ，又设信噪比为10
编码过程并计算其平均码长、编码后的信息传输率和编码效率。
解:
码字
00 10 11 010 0110 0111
该信源在编码之前的信源熵为：
6
H (S)
P(X i ) log P (X j ) =0.526+0.481+0.445+0.423+0.292+0.186
i 1
=2.353bit/ 符号
编码后的平均码长：
L (0.32 0.22 0.18) 2 0.16 3 (0.08 0.04) 4=2.4 码元/ 信源符号
编码后的信息传输率为：
H(S) 2.353
R -
0.98bit/
码元
L
2.4
R
H(S)
编码效率为：
0.98
R
max
L log r
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少?
解：1. Q SNR 10dB SNR 10
故：该信道传送的最大信息速率为：
C t=Wlog（ 1 + SNR =3 103 log（ 11）
=1.04 104bit/s
2.若SNR=5dB，则SNR= 10=
3.162，在相同C t情况下
4
1.04 10 =Wlog （1+SNR）=Wlog4.162
3
W=5.04 1 03Hz。