信息论试题1
信息论题
习 题
一、填空
1、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了
信息论。
2、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
3、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
4、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
5、 必然事件的自信息是 0 。
6、 不可能事件的自信息量是 ∞ 。
7、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
8、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息
之间的平均互信息量 趋于变小 。
9、 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
10、离散平稳有记忆信源的极限熵，=∞H )
/(lim 121-∞→N N N X X X X H 。
11、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
12、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。 13、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
14、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
15、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
16、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
17、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m x
信息论典型试题及答案
(2)若信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
(3)若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大?
解：(1)根据香农公式得：
(2)根据香农公式：
例3：有两个二元随机变量X和Y，它们的联合概率为：
X
Y x1=0 x2=1
y1=0 1/8 3/8
y2=1 3/8 1/8
求H(Y)、H(XY)、H(X/Y)、I(Y;X)
第三章信道容量
题纲：
I.信道的数学模型及分类
1.信道的分类、数学模型
2.单符号离散信道
II.信道疑义度与平均互信息
1.信道疑义度定义
A
B
C
D
1/8
1/10
1/36
E
1/8
1/15
1/12
F
1/8
1/15
1/36
G
1/8
1/10
1/36
所以：
3.4有两个二元随机变量X和Y，它们的联合概率为
YX
x1=0
x2=1
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量Z = XY（一般乘积），试计算：
信息论考试卷及答案
信息论考试卷及答案
考试科⽬名称：信息论
⼀. 单选（每空2分，共20分）
1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。A．保证⽆失真传输
B．压缩信源的冗余度，提⾼通信有效性
C．提⾼信息传输的可靠性
D．提⾼通信系统的安全性
2.下列各量不⼀定为正值的是（D ）
A．信源熵
B．⾃信息量
C．信宿熵
D．互信息量
3.下列各图所⽰信道是有噪⽆损信道的是（B ）
A．
B．
C．
D．
4.下表中符合等长编码的是（ A ）
5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确
的是（A ）
A．H（XY）＝H（X）＋H（Y／X）
B．H（XY）＝H（X）＋H（X／Y）
C．H（XY）＝H（Y）＋H（X）
D．若X和Y相互独⽴，H（Y）=H（YX）
6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）
A．n2
B．1 bit
C．n bit
n
D．2
7.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐
特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；
考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，
极限熵H
=1.5⽐特/符号。问若⽤⼀般传送⽅式，冗余度为（ B ）∞
A．0.32
B．0.68
C ．0.63
D ．0.37
8. 某对称离散信道的信道矩阵为，信道容量为（ B ）
A ．
)6
1
,61,31,31(24log H C -= B ．
)61
,61,31,31(4log H C -= C ．
信息论典型试题及答案
(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；
(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2, 3,…, 12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。
(5)
2.3设离散无记忆信源 ，其发出的信息为(0223210)，求
(1)此消息的自信息量是多少？
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
此消息的信息量是：
(2)此消息中平均每符号携带的信息量是：
2.5设信源 ，求这个信源的熵，并解释为什么H(X)> log6不满足信源熵的极值性。
解：
1)
2)
3)
2.7为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表A，“01”代表B，“10”代表C，“11”代表D。每个二元码脉冲宽度为5ms。
(1)不同字母等概率出现时，计算传输的平均信息速率?
(2)若每个字母出现的概率分别为
{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率?
(2)
(3)
3.6设二元对称信道的传递矩阵为
信息论完整版1
信息论与编码 模拟题
一 、填空题
1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈_____等概_______分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 0 ；最大信息传输率为 2.32 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道
矩阵为1000
10100010
1
0⎡⎤⎢
⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
的DMC 的信道容量为 2log 3 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
信息论与编码复习题1(1)
一、填空题
1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，
信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能
纠正___INT(1.5)__个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ）
5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__加
密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密
编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信
源熵达到最大值，为___3bit/符号_________。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。
9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的
__不均匀性___。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移
码估值 。
11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。
二、单项选择题
1.下面表达式中正确的是（ A ）。
信息论基础1答案
信息论基础1答案
《信息论基础》答案
一、填空题(本大题共10小空，每小空1分，共20分)
1. 按信源发出符号所对应的随机变量之
间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号
3.有一信源X，其概率分布为：X i X2 X3
其信源剩余度为94.64%：若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是
log (b-a ) bit/自由度：若放大器的最高频率为F,则单
位时间内输出的最大信息量是2Flog (b-a )
bit/s.
5. 若某一信源X,其平均功率受限为
16w,其概率密度函数是高斯分布时，差熵的最大值为2log32 e ；与其熵相等的非高斯分布信源的功率为16w
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H _「(S))。
&当R=C或(信道剩余度为0)时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无—真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“，‘ ‘ ” 或“”
(1)当X和Y相互独立时，H ( XY)
=H(X)+H(X/Y)。
(2 )假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0,
H(Y/X)=0,l(X;Y)
《信息论》第一章课后作业作业answer
事件 （4） H(X)=H(1/36,2/36,3/36,4/36,5/36,6/36,5/36,4/36,3/36 ,2/36,1/36)=3.2744bit/事件。
(5)P（至少有一个 1 的事件）= + + = 或 1-25×
1 36
1
5
5 11
36 36 36 36
4.2 消息符号集的概率分布和二进制代码如下表，
12 103 8
������������������
12
+
103
������������������
103 103 8 15
+
8
������������������
8
103 103
+
������������������
103 103 15 5
+
27
������������������
27
103 103
,P(������2 ������1 ������2 )=0, P(������2 ������2 ������1 )= 0,
H(XYZ)=1.811 bit/sym
(2) H(XY)=1.811 bit/sym H(X|Y)=H(XY)-H(Y)=1.811-1=0.811 bit/sym H(Y|X)=H(XY)-H(X)=1.811-1=0.811 bit/sym H(X|Z)=H(XZ)-H(Z)=1.406-0.544=0.862 bit/sym H(Z|X)=H(XZ)-H(X)=1.406-1=0.406 bit/sym H(Y|Z)=H(YZ)-H(Z)=1.406-0.544=0.862 bit/sym H(Z|Y)=H(ZY)-H(Y)=1.406-1=0.406 bit/sym H(X|YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405 bit/sy H(Y|XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405 bit/sy H(Z|XY)=H(XYZ)-H(XY)=1.811-1.811=0 bit/sy
信息论习题集+答案(完版整)
信息论习题集
一、名词解释（每词2分）（25道）
1、“本体论”的信息（P3）
2、“认识论”信息（P3）
3、离散信源（11）
4、自信息量（12）
5、离散平稳无记忆信源（49）
6、马尔可夫信源（58）
7、信源冗余度 （66）
8、连续信源 （68）
9、信道容量 （95）
10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）
13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）
1、 在认识论层次上研究信息的时候，必须同时考虑到
形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成
语法信息、语义信息和语用信息 。 4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了
高效、可靠、安全 地交换和利用各种各样的信息。 6、 信息的
可度量性 是建立信息论的基础。 7、 统计度量 是信息度量最常用的方法。 8、 熵
是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
信息论期末考试试题
安徽大学2011—2012学年第1学期
《信息论》考试试卷（AB合卷)
院/
1、接收端收到y后，获得关于发送的符号是x的信息量是。
2、香农信息的定义。
3、在已知事件的条件下,接收到y后获得关于事件x的条件互信息的表达式
为。
4、通信系统模型主要分成五个部分分别为：。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可
靠性、有效性、和，使信息传输系统达到最优化。
6、某信源S共有32个信源符号,其实际熵=1.4比特/符号，则该信源剩余度
为。
7、信道固定的情况下,平均互信息是输入信源概率分布的型凸函数。
信源固定的情况下，平均互信息是信道传递概率的型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配.
信道剩余度定义为。
9、已知信源X的熵H（X)=0。92比特/符号，则该信源的五次无记忆扩展信源X5的信息
熵= 。
10、将，，，，从大到小排列为.
11、根据香农第一定理，对于离散无记忆信源S,用含r个字母的码符号集对N长信源符
号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。
12、多项式剩余类环是域的充要条件为。
13、多项式剩余类环的任一理想的生成元与关系为。
14、有限域的全部子域为。
15、国际标准书号（ISBN）由十位数字组成（诸,满足:），其中前九位均为0-9，末位0-10，
当末位为10时用X表示.《Handbook of Applied Cryptography》的书号为ISBN：7—121-01339—，《Coding and Information Theory》的书号为ISBN：7-5062—3392—。
信息论1)
一、1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为 有记忆信源和无记忆信源 。
2.一个八进制信源的最大熵为 3 bit/符号 。
3.信源冗余度存在的原因是 多信源符号非等概分布和符号之间有相关性 。
4．设有一连续随机变量X 表示信号x(t)的幅度，其幅值在[-4V,4V]均匀分布，那么该
信源的熵h(x)= 3bit/自由度 ，则该信源的绝对熵是 ∞ 。
5.对称离散信道的转移概率矩阵P 的特点是： 输入输出都对称 二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1.两骰子面朝上点数之和为2，该消息包含的信息量是多少？（3分）
2.两骰子面朝上点数之和为8时，该消息包含的信息量是多少？（3分）
3.两骰子面朝上点数是3和4，该消息包含的信息量是多少？（3分） 解：1.“两个骰子点数之和为2” ()()()1/61/61/36P A =⨯=
∴该文件包含的信息量为：()log ()log 36 5.17I A P A bit =-== 2.两骰子的点数之和为8
()()()()()()2,6,6,2,5,3,3,5,4,41/3655/36P B P ==⨯=⎡⎤⎣⎦ 该文件包含的信息量为：()()log ()log 36/5 2.85I B P B bit =-==
3.“两个骰子点数是3和4”
()()[(3,4),(4,3)]1/3621/18P C P ==⨯=
该文件包含的信息量为：()log ()log 18 4.17I C P C bit =-==
三、设X,Y 是二个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=X+Y 。试计算：
信息论与编码复习题1(1)
一、填空题
1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT(1.5)__个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ）
5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。 9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题
1.下面表达式中正确的是（ A ）。
信息论复习题
1、求基本高斯信源的差熵。（10分）
2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{
}黑，白=X ，设黑色的出现概率为3.0(=黑）
P ，白色的出现概率为7.0(=白）P 。 （1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）
白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则 ∑=≤N
k k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当
且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2
i σ： 21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，
210σ=1.0（W ）
。输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(110
1W P i i
信息论试题1
《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号
3.有一信源X，其概率分布为
123
x x x
X
111
P
244
⎛⎫
⎡⎤ ⎪
=
⎢⎥ ⎪
⎣⎦
⎝⎭
，其信源剩余度为94.64%；若
对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s.
5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵
的最大值为1
log32e
2
π；与其熵相等的非高斯分布信源的功率为16w
≥
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,,,
=≥≤〉”或“〈”
（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
信息论基础试卷(期末A卷
重庆邮电大学2007/2008学年2学期
《信息论基础》试卷（期末）（A卷）（半开卷）
一、填空题（本大题共10小空，每小空1分，共20分）
1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号
3.有一信源X，其概率分布为
123
x x x
X
111
P
244
⎛⎫
⎡⎤ ⎪
=
⎢⎥ ⎪
⎣⎦
⎝⎭
，其信源剩余度为94.64%；若对该信源进行十次扩展，
则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog（b-a）bit/s.
5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1
log32e
2
π；与
其熵相等的非高斯分布信源的功率为16w
≥
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,,,
=≥≤〉”或“〈”
（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
信息论习题集
信息论习题集
第一章、判断题
1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）
2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）
3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）
4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）
5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）
6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）
7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）
第二章
{
一、判断题
1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）
2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）
3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）
4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）
5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）
6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）
7、互信息的统计平均为平均互信息量，都具有非负性。（×）
8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）
9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号
3.有一信源X，其概率分布为
123
x x x
X
111
P
244
⎛⎫
⎡⎤ ⎪
=
⎢⎥ ⎪
⎣⎦
⎝⎭
，其信源剩余度为94.64%；若
对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s.
5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵
的最大值为1
log32e
2
π；与其熵相等的非高斯分布信源的功率为16w
≥
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,,,
=≥≤〉”或“〈”
（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 二、掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？ 解：1.P （“点数和为3”）=P （1,2）+ P （1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP （“点数和为3”）=log18=4.17bit 2.P （“点数和为7”）=P （1,6）+ P （6,1）+ P （5,2）+ P （2,5）+ P （3,4）+ P （4,3）=1/36 ⨯6=1/6 则该消息包含的信息量是：I=-logP （“点数和为7”）=log6=2.585bit 3.P （“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit 三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX （一般乘积）。试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解：1. 2 i 1 1 111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=- （）（）=1bit/符号 Z=YX 而且X 和Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 111 22222 ⨯+⨯= 故H(Z)= i 2 i 1 (z )log (z )i P P =- ∑=1bit/符号 2.从上式可以看出:Y 与X 的联合概率分布为: H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3. X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号 ∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号 I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号 四、如图所示为一个三状态马尔科夫信源的转移概率矩阵 P=11022110221114 2 4⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭ 1. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布； 3. 求极限熵； 解：1.状态转移图如右图 2.由公式3 1 ()()(|)j i j i i p E P E P E E == ∑,可得其三个状态的稳态概率为： 1123223313123111()()()()22411()()() 2211 ()()() 24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧ =++⎪⎪⎪=+⎪⎨ ⎪=+⎪⎪⎪++=⎩ 1233()7 2()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩ 3.其极限熵: 3 i i 1 3112112111 H = -|E =0+0+72272274243228 =1+1+ 1.5=bit/7777 i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，） 符号 五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求： 1. 该信道的转移概率矩阵P 2. 信道疑义度H （X|Y ） 3. 该信道的信道容量以及其输入概率分布 解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤ ⎢ ⎥⎣⎦ 2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率