信息论与编码试题集与答案(2014)
信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于，对信源进行
等长的无失真二进
制编码，则编码长
度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9'）判断题
（1）信息就是一种消息。（⨯）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）
（3）概率大的事件自信息量大。（⨯）
（4）互信息量可正、可负亦可为零。（√）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（√）
（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
信息论与编码2014-ch5
10
00
10 100
001 00 111 11
01 1000 0001
非惟一可译码 惟一可译码
20
码的属性3. 即时性
唯一可译码又可分为即时码和非即时码。
在接收到一个完整的码字时无需参考后续的码 符号就能立即译码，则称此码为即时码（非延 长码），否则则为非即时码。
21
码的属性3. 即时性
信源 信源符号 符号si 出现概率 码1 码2 码3 码4 p(si) s1 p ( s 1) 00 0 0 0 s2 p ( s 2) 01 01 11 10 s3 p ( s 3) 10 001 00 00
k 2, k3 3, k 4 4, Kraft 不等式是唯一可译码存在 1 1, k 2
ki 1 的充要条件 2 3 4 !! 15 2 2 2 2 2 i 1 4
16
1
32
即时码 ---- 树图判定法
即时码（非延长码）是唯一可译码的一类子码。 可用树图法来检查某码是否为即时码。
001 00 111 11
01 1000 0001
非奇异码 奇异码 非奇异码
非奇异码
16
码的属性2. 唯一可译性
非奇异码又可分为唯一可译码和非唯一可译码。
若任意有限长的码元序列，只能被
唯一地分割
信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于2.5，对信源进
行等长的无失真二
进制编码，则编码
长度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9'）判断题
（1）信息就是一种消息。（⨯）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）
（3）概率大的事件自信息量大。（⨯）
（4）互信息量可正、可负亦可为零。（√）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
bit
P a I N n P bit P a I N n P c c N 17.536log log )(361
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=⨯==样本空间：
(3)信源空间：
bit x H 32.436log 36
62log 3615)(=⨯⨯+⨯⨯
=∴ bit
x H 71.3636
log 366536log 3610 436
log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=
∴＋＋ (5) bit P a I N n P 17.111
36
log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
bit
P a I N n P bit P a I N n P c c N 17.536log log )(361
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=⨯==样本空间：
(3)信源空间：
bit x H 32.436log 36
62log 3615)(=⨯⨯+⨯⨯
=∴ bit
x H 71.3636
log 366536log 3610 436
log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=
∴＋＋ (5) bit P a I N n P 17.111
36
log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于2.5，对信源进
行等长的无失真二
进制编码，则编码
长度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9'）判断题
（1）信息就是一种消息。（⨯）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）
（3）概率大的事件自信息量大。（⨯）
（4）互信息量可正、可负亦可为零。（√）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
信息论与编码试题集
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤
⎢⎥⎣⎦
；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤
⎢⎥⎣⎦
。
二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （? ）
2. 线性码一定包含全零码。 （? ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×）
信息论与编码试题集与答案（新）
信息论与编码试题集与答案（新）
1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3
1x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??
；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??
。 7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
信息论与编码试题集与答案(2014)改
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量、发X 前后Y的平均不确定性减少的量、通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。
3、
香农公式为为保证足够大的信道容量，采用（1用频带换信噪比；（2用信噪比换频带。
4、只要，当N足够长时，一定存在一种无失真编码。
5、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
7.研究信息论目的高效、可靠、安全地交换利用信息。
8. 可度量性建立信息论的基础。
9. 统计度量信息度量最常用方法。
10、单符号离散信源用随机变量描述，多符用随机矢量。
11、一随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量单位比特、奈特、笛特。
13、必然事件的自信息 0 。14、不可能事件的自信息量是∞。
15、两相互独立随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：消息多级处理后，处理器数目增多，输入消息与输出之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于X的熵的 N倍。
18、离散平稳有记忆信源的极限熵
=
∞
H)
/
(
lim
1
2
1-
∞
→
N
N
N
X
X
X
X
H
。
19、n元m阶马尔可夫信源，状态空间有 n m 个不同状态。
20、一维连续随即变量X在[a，b]内均匀分布，信源熵log2（b-a）。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）
2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性
3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
信息论与编码习题参考答案(全)
试求：
(1)该信道的信道容量C；
(2)I(a1;Y)；
(3)I(a2;Y)。
解:
2.22设某信道的信道矩阵为
试该信道的信道容量C；
解:
2.23求下列二个信道的信道容量，并加以比较(其中0<p,q<1,p+q=1)
(1)
(2)
解:
2.27设某信道的信道矩阵为
其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量 比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。
解:
2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：
(1)H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
bit
P a I N n P bit P a I N n P c c N 17.536log log )(361
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=⨯==样本空间：
(3)信源空间：
bit x H 32.436log 36
62log 3615)(=⨯⨯+⨯⨯
=∴ (4)信源空间： bit
x H 71.3636
log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=
∴＋＋ (5) bit P a I N n P 17.11136
log log )(3611333==-=∴==
如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸
【篇一：信息论与编码课程设计报告】
t>设计题目：统计信源熵与香农编码
专业班级学号学生姓名指导教师教师评分
2014年3月24日
目录
一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文
献 .......................................................... 6 附录：源程序.. (7)
一、设计任务与要求
1、统计信源熵
要求：统计任意文本文件中各字符（不区分大小写）数量，计算字
符概率，并计算信源熵。 2、香农编码
要求：任意输入消息概率，利用香农编码方法进行编码，并计算信
源熵和编码效率。
二、设计思路
1、统计信源熵：
统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中
的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0
时率失真函数的和？
二、综合题（每题10分，共60分）
1.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为：，，
，，求其熵；
2.二元对称信道如图。；
1）若，，求和；
2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。试求：
信息论与编码试卷答案
信息论与编码试卷答案
一、概念简答题（每题5分，共40分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。
平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？
最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有
，
。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决
于信噪比和带宽。
由得
，则
6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
信息论与编码题集
信息论与编码题集
一、选择题
1. 下列关于信息量的说法中，正确的是（）
A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大
B. 信息量与事件发生的概率成正比，概率越大，信息量越大
C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特
D. 信息量只与信息的内容有关，与信息的形式和传递方式无关
答案：A
解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）
A. 信息的不确定性
B. 信息的准确性
C. 信息的冗余度
D. 信息的有效性
答案：A
解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为
0.2、0.3、0.4和0.1，那么该事件的信息熵为（）
A. 1.5比特
B. 1.8比特
C. 2.0比特
D. 2.5比特
答案：B
解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一填空题
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息
表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前
后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。
3、香农公式为
为保证足够大的信道容量，可采用（1）用频带换信噪比；
（2）用信噪比换频带。
4、只要，当N 足够长时，一定存在一种无失真编码。
5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
8.信息的 可度量性 是建立信息论的基础。
9.统计度量 是信息度量最常用的方法。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。
22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。
25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
26、m 元长度为ki ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n
i k i m 1
1。
27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
28.熵 是香农信息论最基本最重要的概念。
29.事物的不确定度是用时间统计发生 概率的对数 来描述的。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log 2 。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。
33、具有一一对应关系的无噪信道的信道容量C= log 2n 。
34、强对称信道的信道容量C= log2n-Hn i 。
35、对称信道的信道容量C= log2m-Hm i 。
36、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。
37、对于N 个对立并联信道，其信道容量 CN = ∑=N
k k C 1 。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。
42、高斯加性信道的信道容量C=)1(log 2
12N X P P +。 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。
44、信道矩阵⎥⎦⎤⎢⎣
⎡10002/12/1代表的信道的信道容量C= 1 。
45、信道矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣
⎡100101代表的信道的信道容量C= 1 。 46、高斯加性噪声信道中，信道带宽3kHz ，信噪比为7，则该信道的最大信息传输速率Ct= 9 kHz 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是 p （y j ）=1/m ） 。
48、信道矩阵⎥⎦⎤⎢⎣
⎡1001代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct= 10kHz 。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。
53、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。
54、汉明失真函数 d （xi ，yj ）=⎩⎨⎧≠=j i j i 10 。
55、平方误差失真函数d （xi ，yj ）=（yj- xi ）2。
56、平均失真度定义为失真函数的数学期望，即d （xi ，yj ）在X 和Y 的 联合概率空间P （XY ）中 的统计平均值。
57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。
58、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。
59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。
60、试验信道的集合用PD 来表示，则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。
62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
63、平均失真度的上限Dmax 取{Dj ：j=1，2，···，m}中的 最小值 。
64、率失真函数对允许的平均失真度是 单调递减和连续的 。
65、对于离散无记忆信源的率失真函数的最大值是 log 2n 。
66、当失真度大于平均失真度的上限时Dmax 时，率失真函数R （D ）= 0 。
69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R （D ） 。
70、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣
⎡00a a ，则该信源的Dmax= a/2 。