信息论基础》试卷(期末A卷
信息理论与编码-期末试卷A及答案
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
《信息论》期末考试试题(A 卷) 标准答案
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
09（2）计算机基础期末考试试卷（A1卷）
华南农业大学期末考试试卷（A1卷）2009学年第2学期 考试科目： 大学计算机基础考试类型：（闭卷） 考试时间： 120 分钟学号 姓名 年级专业考生注意：1、 答案必须分别写在“机读卡”和“答题卷”上，写在试卷上不得分。
2、 必须在机读卡和答题卷上正确填写班级、学号、姓名等内容，否则没有考试成绩。
3、 在机读卡的学生代号区只填写学号后10位。
4、 考试不能使用计算器等电子设备。
一、 判断题（本大题共40小题，每小题0.5分，共20分） （在机读卡上答题，正确选A ，错误选B ）1.嵌入式计算机就是我们平常用的笔记本电脑。
2.用C 语言编写的CAI 课件属于应用软件。
3.通常用后缀字母来标识某数的进制，字母H 代表十六进制。
4.在计算机中，处理含有小数部分的数值时，解决小数点的表示问题主要通过定点数和浮点数来表示。
5.在计算机中，BCD 码是用4位二进制码表示一位十进制数，可以参加运算。
6.在计算机中，数的正负可用0和1来表示，即数字符号数字化，这样的数叫机器数的真数。
7.在计算机内部用于存储、加工处理的汉字编码称为国标码。
8.寄存器只是运算器中特有的一个部件。
9.逻辑运算是指对因果关系进行分析的一种运算，运算是按位进行的。
10.24×24汉字点阵字库中，表示一个汉字字模需要72字节。
11.数据总线的宽度决定了内存一次能够读出的相邻地址单元数。
12.不同CPU 的计算机有不同的机器语言和汇编语言。
13.主板软升级就是对微机上的ROM BIOS 芯片的内容进行更新。
14.键盘和显示器都是计算机的I/O 设备，键盘是输入设备，显示器是输出设备。
15.SDRAM 指的是用于做高速缓存的静态内存。
16.存储地址是存储器存储单元的编号，CPU 要存取某个存储单元的信息，一定要知道这个存储单元的地址，并通过地址线中的地址信号去找到这个地址单元。
17.多次进行低级格式化将损害硬盘。
信息论期末考试试题
安徽大学2011—2012学年第1学期《信息论》考试试卷（AB合卷）院/系年级专业姓名学号一、填空题1、接收端收到y后，获得关于发送的符号是x的信息量是。
2、香农信息的定义。
3、在已知事件z Z∈的条件下，接收到y后获得关于事件x的条件互信息(;|)I x y z的表达式为。
4、通信系统模型主要分成五个部分分别为：。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。
6、某信源S共有32个信源符号，其实际熵H∞=1.4比特/符号，则该信源剩余度为。
7、信道固定的情况下，平均互信息(;)I X Y是输入信源概率分布()P x的型凸函数。
信源固定的情况下，平均互信息(;)I X Y是信道传递概率(|)P y x的型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为。
9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵5()H X= 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。
信息论基础考试试题
信息论基础考试试题一、信息论基础考试试题考试试题内容如下：1. 简述信息论的定义和基本原理。
信息论是由克劳德·香农提出的一门数学理论，主要研究信息的量和信息传输的可靠性。
其基本原理包括信源编码、信道编码和信道容量三个方面。
其中，信源编码是将信息源的符号序列编码为短码字节，减少信息传输的冗余；信道编码是为了在承载信息传输的信道中降低传输过程中的错误率和噪声干扰；信道容量则是指在给定的信道条件下，能够传输的最大信息速率。
2. 请定义信息熵，并给出其计算公式。
信息熵是用来衡量一个随机变量的不确定性或者信息量的多少。
假设一个离散随机变量X，其取值的概率分布为P(X)，那么信息熵的计算公式为：H(X) = -Σ[P(x)log2P(x)]其中，Σ表示求和运算，x为随机变量X的所有取值。
3. 解释条件熵和联合熵的概念。
条件熵是指在给定某个随机变量的取值条件下，另一个随机变量的不确定性或信息量。
设有两个离散随机变量X和Y，X的条件熵H(X|Y)即为在已知Y的条件下，X的信息熵。
联合熵是指同时考虑两个或多个随机变量的不确定性或信息量。
对于随机变量X和Y，它们的联合熵H(X,Y)表示同时考虑X和Y的信息熵。
4. 请解释互信息的概念，并给出其计算公式。
互信息是用来衡量两个随机变量之间的相关程度或者依赖关系。
对于离散随机变量X和Y，互信息的计算公式为：I(X;Y) = ΣΣ[P(x,y)log2(P(x,y)/(P(x)P(y)))]其中，ΣΣ表示双重求和运算，P(x,y)表示X和Y同时发生的概率，P(x)和P(y)分别为X和Y的边缘概率。
5. 请简要介绍信道编码理论中的三个重要概念：纠错码、检测码和调制。
纠错码是一种用于在传输过程中恢复误差的编码技术。
通过添加冗余信息，可以在接收端检测和纠正传输过程中产生的错误。
检测码是用于在传输过程中检测错误的编码技术。
它可以发现传输中是否存在错误，但无法纠正错误。
调制是指将数字信号转换为模拟信号或者模拟信号转换为数字信号的过程。
《信息系统基础》(A卷)答案
北京信息科技大学2008~2009学年第一学期《信息系统基础》课程期末考试试卷（A）课程所在学院：信息管理学院适用专业班级：信息管理学院08级所有专业考试形式：(开卷)一、选择题（本题满分20分，共含20道小题，每小题1分）：下列各题A、B、C、D四个选项中，只有一个选项是正确的，请将正确选项填写在下面表格对应位置中，答在试卷上不得分。
二、填空题（本题满分20分，共含20个空格，每空格1分）1．晶体管，集成电路2． 2 3．硬件、软件4．数据总线、地址总线5．计算机、通信6．POP、SMTP 7．关系模型8. 政策与法律、安全性与技术标准化9. 切片10. 聚类、关联规则11. 系统设计12. 逻辑模型、物理模型三、判断题（本题满分10分，共含10道小题，每小题1分）√1．计算机的硬件包括运算器、控制器、存储器、输入设备和输出设备。
×2．冯·诺依曼等人提出的存储程序计算机采用的是十进制。
√3．在原码、反码和补码三种机器码中，补码表示数的范围最大。
×4．计算机的控制器是由运算器和中央处理器组成的。
√5．一个浮点数的正负完全由其尾数决定，与其阶码无关。
×6．在主存贮器和CPU之间增加Cache的目的是为了扩大主存贮器的容量。
×7．运算器是一个数据加工部件，它只能完成二进制逻辑运算。
√8.计算机中，硬件是计算机系统的物质基础，软件是计算机系统的灵魂。
硬件和软件是相辅相成的，不可分割的整体。
×9．计算机的机器字长决定计算中信息的传送能力。
√10．固件是指那些存储在能永久保存信息的器件（如ROM）中的程序，是具有软件功能的硬件。
四、简答题（本题满分16分，共含4道小题，每小题4分）1、简述数据库系统的特点。
•数据结构化且统一管理；（1分）•数据冗余度小；（1分）•具有较高的数据独立性；（1分）•数据的共享性好；（1分）•数据控制功能强。
（答对4点可给满分）2、支撑电子商务的三个技术层次及其提供的支持或服务是什么？•网络层（1分）–支持电子商务的硬件基础设施•信息发布与消息传递层（1分）–关注的是电子商务信息的表达形式•公用业务逻辑层（2分）–实现具有普遍意义的基础性商务活功服务–例如标准的询价、报价以及电子化支付功能等3、决策支持系统的主要特征有哪些？决策支持系统的特征：（每要点1分）•面向决策者：决策支持系统的输入和输出、起源和归宿都是决策者。
信息论基础—— 期末试卷 A 答案
○？○？大学 2008-2009 学年第一学期2006级 信息与计算科学专业 本 科 卷 A 参考答案与评分标准课程名称 信息论基础课程号（？？？） 考试形式（闭卷笔试） 时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。
1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。
二、填空题：本题共7小题，每空2分，满分20分。
1、码字的最小距离（min d ）;2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。
三、计算题：本题共4小题，满分50分。
(15分)解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i p x y则Y（2分）（1）11+414()log 2log log 24141a a H Y a a -=+++- ------------------（2分） 211161log 2log log 24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+23111log 2log log 24141a aa a-=++-+；取2为底2223111()(log log )24141a aH Y bit a a-=++-+； ------------------（1分） （2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦3(1)log 2log 22a a -=-+3log 22a-=； 取2为底，3(|)2aH Y X bit -=； ------------------（2分） （3）[]2()()()111max (;)max ()(|)max log 2log log 24411i i i p x p x p x aa a C I X Y H Y H Y X a a -⎛⎫==-=++ ⎪+-⎝⎭。
(整理)信息论期末考试试题1.doc
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息论基础试题
信息论基础试题1. 基本概念信息论是一门研究信息传递、存储和处理的科学，对信息的量化、传输效率和噪声干扰等进行分析与研究。
以下是一些与信息论相关的基本概念：1.1 信源（Source）：指信息的来源，可以是现实中的各种事件、数据或信号。
1.2 码字（Codeword）：指信源所生成的用于表达信息的编码。
1.3 码长（Code Length）：指码字的长度，通常由信源的表达能力决定，码长越短代表信息效率越高。
1.4 编码（Encoding）：将信息转化为码字的过程，常见的编码方式有霍夫曼编码和香农-费诺编码。
1.5 信道（Channel）：信息在传递过程中所经过的通路或媒介，包括有线传输、无线传输、光纤传输等。
1.6 信噪比（Signal-to-Noise Ratio，SNR）：是衡量信号品质的一个指标，即信号功率与噪声功率之比。
2. 香农的信息度量香农提出了一种用来度量信息量的概念，即信息熵（Entropy）。
信息熵常用来衡量信源产生的平均信息量。
2.1 信息熵的计算公式为：H(X) = - ∑P(x)l og2P(x)其中，H(X)代表信源的信息熵，P(x)代表信源可能产生事件x的概率。
2.2 信息熵的性质：- 信息熵非负，即H(X) ≥ 0。
- 信息熵的值越大，代表信源产生的信息量越大，反之亦然。
- 信息熵与信源的表达能力有关，表达能力越强，信息熵越小。
3. 香农编码为了提高信息传输的效率，香农提出了一种无失真的数据压缩方法，即香农编码。
3.1 构建霍夫曼树：- 统计信源中各个事件出现的概率。
- 根据概率构建霍夫曼树，概率较大的事件位于离根节点较近的位置。
3.2 确定编码：- 从霍夫曼树的根节点开始，向左为0，向右为1，依次确定每个事件的编码。
- 叶子节点即为信源的不同事件，叶子节点上的路径即为对应事件的二进制编码。
4. 信道容量信道容量是信息论中的一个重要概念，表示信道所能传输的最大有效信息量。
信息论基础及答案
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。
（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。
5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。
1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性.2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号.4、无失真信源编码的平均码长最小理论极限制为信源熵（或H（S)/logr=H r(S）)。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正态分布或时,信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1)当X和Y相互独立时，H（XY）=H(X）+H(X/Y）=H(Y)+H（X)。
（2）（3)假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H（X/Y）> 0， H(Y/X)=0,I(X；Y)<H（X）.二、若连续信源输出的幅度被限定在【2，6】区域内,当输出信号的概率密度是均匀分布时，计算该信源的相对熵,并说明该信源的绝对熵为多少。
=2bit/自由度该信源的绝对熵为无穷大。
三、已知信源（1)用霍夫曼编码法编成二进制变长码;（6分）（2）计算平均码长;（4分）(3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5）计算编码效率。
（2分）（1)编码结果为：（2)（3）（4)其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5。
计算：（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为.试计算正确传输这些数据最少需要的发送功率P。
解：（1)(2）五、一个一阶马尔可夫信源，转移概率为。
《信息系统基础》(A卷)
北京信息科技大学2008~2009学年第一学期《信息系统基础》课程期末考试试卷（A）1．“信息是人们对事物了解的不确定性的减少或消除。
”这一信息的定义是由以下哪位学者提出的：A、贝塔郎菲(L.V.Bertalanffy)B、香农(C.E Shannon)C、维纳(Norbert Wiener)D、朗高(G. Longo)2．计算机系统中的存贮器系统是指A、主存贮器B、CacheC、辅助存贮器D、Cache、主存贮器和外存贮器3．原码1.01011所表示的真值是A、0.01011B、－0.01011C、0.10101D、－0.101014．在微型机系统中，外围设备通过以下哪个部件与主板的系统总线相连接。
A．设备控制器B．内存条C．CPU D．寄存器5．在CPU中，用来跟踪后继指令地址的寄存器是A．地址寄存器B．指令寄存器C．程序计数器D．状态寄存器6．若某数x的真值为-0.1010，在计算机中该数表示为1.0101，则该数所用的编码为______。
A．原码B．补码C．反码D．以上都不对7．若二进制数为10110.11，则相应的十进制数为______。
A．22.75 B．22.5C．21.5 D．22.38. 在计算机中，以下哪个设备按照事先确定的步骤，控制其它设备统一协调地正确完成所需要的操作。
A．运算器B．控制器C．输入设备D．存储设备9．在微机中存取信息速度最快的是A．U盘B．内存C．硬盘D．光盘10．以下存储设备中，哪个设备上的信息只能写一次。
A．RAM B．ROMC．PROM D．EPRO11．将高级语言的源程序转为目标程序的是________A．操作系统B．编译程序C．监控程序D．汇编程序12．操作系统是一种___________。
A．使计算机便于操作的硬件B．计算机的操作规范C．管理各类计算机系统资源，为用户提供友好界面的一组管理程序D．便于操作的计算机系统13．若希望将某个窗口的完整视图复制到剪帖板中去，可按________键。
2014信息论基础试卷A
………密………封………线………以………内………答………题………无………效……电子科技大学2013-2014学年第 二 学期期 末 考试 A 卷课程名称： 信息论基础 考试形式： 一页开卷 考试日期：20 14年 6月 26日 考试时长：_120分钟 课程成绩构成：平时 30 %， 期中 0 %， 实验 0 %， 期末 70 % 本试卷试题由_三_部分构成，共_3_页。
一、填空题（共30分，共15空，每空2分）1、通信系统中信道传输信号，信号承载消息，消息所含能消除( )的内容是信息。
2、根据链式法则，两符号离散信源的联合熵+=)X (H )X X (H 121( )。
3、如果多符号离散信源对任意两个不同时间起点，其概率及直到N 维的各维联合概率都相同，该信源是N 维( )信源。
4、指数信源的概率密度函数∞<≤μ=μ-x 0,e 1)x (p x，其绝对熵H(X)=( ) bit ，相对熵=)X (H c ( )bit 。
5、平均互信息反映信宿每收到一条消息所含( )一条消息的平均信息量。
6、根据链式法则，两符号离散信道的联合平均互信息+=)Y ;X (I )Y Y ;X X (I 112121( ))Y X /Y ;X (I 1122+。
7、某二进制对称信道的信道矩阵⎥⎦⎤⎢⎣⎡=9.01.01.09.0)X /Y (P ，其信道容量C=( )bit ，达到信道容量的信源概率P(0)=P(1)=( )。
8、高斯加性信道在最大信息传输速率s /Mb 120C t =、信号带宽B=20MHz 时，信噪功率比=NXP P lg10( )dB 。
9、高斯信源取平方误差失真函数时达到率失真函数R(D)的实验信道是方差为 ( )的反向高斯加性信道。
10、香农第二定理给出的( )编码的信息传输率上界是C ，香农第三定理给出的保真度准则下( )编码的信息传输率下界是R(D)。
11、二进制香农码对应于消息k x 的码字k c 的码长=k l ( )。
信息理论与编码期末试卷A及答案
信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
信息论期末考试试题 答案
安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案（AB 合卷）一、 填空题 1、()(;)log()()p xy I x y p x p y =；2、事物运动状态或存在方式的不确定性的描述；3、(|)log(|)(|)p xy z p x z p y z ；4、信源 编码器 信道 译码器 信宿；5、保密性 认证性；6、0.72；7、 ， ；8、(;)C I X Y - ；9、4.6 ； 10、0H ≥1H ≥4H ≥6H ≥∞H ； 11、()()1log log N L H S H S r N r N≤<+； 12、()f x 在q F 上不可约； 13、()g x |1n x -； 14、2F 、22F 、32F 、42F 、62F 、122F ； 15、8，4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解：1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时：()()()()1236H XYZ H X H Y H Z =++=++=2、解：二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵：22HX H X =（）（）22112log 2log )3366=-+⨯（=2log3-2/3比特/二符号 3、解：1）信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭，故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-（比特/符号）相应的最佳输入概率分布为等概率分布。
（2）信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭，故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- （比特/符号） 相应的最佳输入概率分布为等概率分布。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
试题编号：重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A 卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分 为 和2.一个八进制信源的最大熵为3.有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡414121321x x x P X ，其信源剩余度为 ；若对该信源进行十次扩展，则每十个符号的平均信息量是 。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。
若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 ；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 .5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 ；与其熵相等的非高斯分布信源的功率为6、信源编码的主要目的是 ，信道编码的主要目的是 。
7、无失真信源编码的平均码长最小理论极限制为 .8、当时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为和。
10、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X和Y相互独立时，H（XY） H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。
二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？三、（12分）设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z，取Z=YX（一般乘积）。
试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1122110 22111 424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；五、（12分）在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 该信道的转移概率矩阵P2. 信道疑义度H （X|Y ）3. 该信道的信道容量以及其输入概率分布六、（10分）某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P 试求：该信道的信道容量及其最佳输入概率分布。
七、（13分）信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。
用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。
八、（10分）设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz，又设信噪比为101.试计算该信道传达的最大信息率（单位时间）；2.若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽是多少？《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为123x x xX111P244⎛⎫⎡⎤ ⎪=⎢⎥ ⎪⎣⎦⎝⎭，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s.5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e2π；与其熵相等的非高斯分布信源的功率为16w≥6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36⨯6=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z，取Z=YX（一般乘积）。
试计算：1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；解：1.2i11111H Y P y logP y log log2222ii=⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 11122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号3. X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号 ∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1102211022111424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭4. 绘制状态转移图；5. 求该马尔科夫信源的稳态分布；6. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：4. 该信道的转移概率矩阵P5. 信道疑义度H （X|Y ）6. 该信道的信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦六、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。
解：该信道是准对称信道，分解为两个互不相交的子信道矩阵0.60.30.30.6⎡⎤⎢⎥⎣⎦0.1000.1⎡⎤⎢⎥⎣⎦ 这里110.90.9N M == 220.10.1N M == ∴C=logr-H(P 的行矢量)-2k 1log 1(0.6.3.1)0.9log 0.9-0.1log 0.1KK NM H ==--⨯⨯∑，0，0=0.174bit/符号这时，输入端符号服从等概率分布，即()X P X ⎡⎤⎢⎥⎣⎦=011122⎡⎤⎢⎥⎢⎥⎣⎦七、信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。
用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。
解：该信源在编码之前的信源熵为：6i i 1()(x )log x i H S P P ==-∑（）=0.526+0.481+0.445+0.423+0.292+0.186 =2.353bit/符号编码后的平均码长：(0.320.220.18)20.163(0.080.04)4L =++⨯+⨯++⨯=2.4码元/信源符号编码后的信息传输率为：() 2.3530.982.4H S R L===bit/码元编码效率为：max ()0.98log R H S R L rη=== 八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为101.试计算该信道传达的最大信息率（单位时间）；2.若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？ 解：1. 10d SNR B = 10SNR ∴=故：该信道传送的最大信息速率为：3t 4=log +log =bit/s C W ⨯⨯⨯（1SNR ）=310（11）1.04102.若SNR=5dB ，则，在相同t C 情况下1.04410⨯=Wlog （1+SNR ）=Wlog4.162⇒W=5.04⨯310Hz。