信息论期末考试试题

合集下载

《信息论》期末考试试题(A 卷) 标准答案

《信息论》期末考试试题(A 卷) 标准答案

①确定
σ12

σ
2 2

P
的关系;
②写出信道容量表达式;
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ; 解:
(1) E[x12 ] = 0 ,则
(3+3=6 分)

σ
2 1

σ
2 2
+
P


C
=
1 2
log(1 +
P σ 22
)

(2) E[x22 ] > 0 ,则
从零均值的高斯分布,且相互独立,方差分别为 σ12
和σ22
,且 σ12
>
σ
2 2
,信道输
入均值为零, E x12 + x22 ≤ P ;
(1) 当达到信道容量时, E[x12 ] = 0 ;
(3+3=6 分)
①确定σ12 ,σ 22 和 P 的关系;
②写出信道容量表达式;
(2) 当达到信道容量时, E[x22 ] > 0 ;
平均译码错误率: pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为:
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数:
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1, 平均译码错误率: pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为:

信息论与编码期末考试题

信息论与编码期末考试题

信息论与编码期末考试题信息论与编码期末考试题(一)一、判断题.1.当随机变量和相互独立时,条件熵等于信源熵.()2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.()3.一般情况下,用变长编码得到的平均码长比定长编码大得多.()4.只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6.连续信源和离散信源的熵都具有非负性.()7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小.8.汉明码是一种线性分组码.()9.率失真函数的最小值是.()10.必然事件和不可能事件的自信息量都是.()二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是;信道编码的目的是.3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和,则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源,其失真矩阵,则该信源的= .三、计算题.1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.3、设码符号为,信源空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.(1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.(二)一、填空题1、信源编码的主要目的是,信道编码的主要目的是2、信源的剩余度主要来自两个方面,一是,二是3、三进制信源的最小熵为,最大熵为4、无失真信源编码的平均码长最小理论极限制为5、当时,信源与信道达到匹配。

《信息论基础》试卷(期末)(B卷)

《信息论基础》试卷(期末)(B卷)

重庆邮电大学2007/2008学年2学期《信息论基础》试卷(期末)(B 卷)(半开卷)一、填空题(共20分,每空1分)1、通信系统中,编码的主要目的有两个,分别是 和 。

2、离散无记忆信源存在剩余度的原因是 。

3、当 时,信源熵为最大值。

八进制信源的最大熵为 ,最小熵为 。

4、无失真信源编码的平均码长最小理论极限制为 。

5、一个事件发生概率为0.125,则自相关量为 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性,信原可以分为 和 。

7、噪声瞬时值的概率密度函数服从 分布,同时功率谱密度为 的噪声称为高斯白噪声。

8、当 时,信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正 态分布或 时,信源具有最大熵,其值为值 。

9、在下面空格中选择填入数学符号“,,,=≥≤>”或“〈” (1)H(XY) H(Y)+H(X|Y) H(Y)+H(X)(2)假设信道输入用X 表示,信道输出用Y 表示。

在有噪无损信道中, H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

二、(6分)若连续信源输出的幅度被限定在【1,3】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。

三、(16分)已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦(1)用霍夫曼编码法编成二进制变长码;(4分) (2)计算平均码长—L ;(4分)(3)计算编码信息率R ';(4分)(4)计算编码后信息传输率R ;(2分)(5)计算编码效率η。

(2分)四、(12分)已知一个平均功率受限的连续信号,通过带宽W 10MHz =的高斯白噪声信道,试计算(1)若信噪比为10,信道容量为多少?(4分)(2)若信道容量不变,信噪比降为5,信道带宽为多少?(4分)(3)若信道通频带减为5MHz 时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多少?(4分)五、(16分)某个信息源发出符号的概率为:12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联,其依赖关系为:112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======(1) 画出状态转移图(4分) (2) 计算稳态概率(4分)(3) 计算信源的极限熵(4分)(4) 计算稳态下H1,H2及其对应的剩余度。

信息论与编码期末考试

信息论与编码期末考试

一、填空题(共30分,每空2分)1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0,最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。

5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。

6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时,信源具有最大熵,其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”(1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。

(2)()()1222H X X H X =≥()()12333H X X X H X =二、1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ (1)用霍夫曼编码法编成二进制变长码;(6分)(2)计算平均码长L ;(4分)(3)计算编码信息率R ';(2分)(4)计算编码后信息传输率R ;(2分)(5)计算编码效率η。

(2分)(1)010******* 1.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为:1234560001100101110111S S S S S S ======(2)610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号(3)bit log r=2.6R L '=符号 (4)()2.53bit 0.9732.6H S R L ===码元其中,()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号 (5)()()0.973log H S H S L r L η===三、(10分)某信源输出A 、B 、C 、D 、E 五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

(整理)信息论期末考试试题1.doc

(整理)信息论期末考试试题1.doc

安徽大学2011—2012学年第1学期 《信息论》考试试卷(AB 合卷)院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后,获得关于发送的符号是x 的信息量是 。

2、香农信息的定义 。

3、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。

4、通信系统模型主要分成五个部分分别为: 。

5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。

6、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。

7、信道固定的情况下,平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。

信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。

8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。

信道剩余度定义为 。

9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。

10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。

11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。

12、多项式剩余类环[]())q F x f x 是域的充要条件为 。

13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。

14、有限域122F 的全部子域为 。

15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足:1010(mod11)ii ia=≡∑),其中前九位均为0-9,末位0-10,当末位为10时用X 表示。

《信息论》期末考试试题( 卷)标准答案

《信息论》期末考试试题( 卷)标准答案
编码效率为: l 19
2.(共 10 分)有两枚硬币,第一枚是正常的硬币,它的一面是国徽,另一面是 面值;第二枚是不正常的硬币,它的两面都是面值。现随机地抽取一枚硬币,进 行 2 次抛掷试验,观察硬币朝上的一面,其结果为:面值、面值。
1)求该试验结果与事件“取出的是第一枚硬币”之间的互信息;(4 分)
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7)若失真矩阵为 3 1 ,输入等概,则 Dmin = 2/3 , Dmax = 2/3 。
三、简答题(6 分)
1.仙农第二定理指出了“高效率、高可靠性”的信道编码存在性,
1)“高效率”的含义是什么?
(1 分)
2)“高可靠性” 的含义是什么?
(1 分)
3)存在这种信道编码的必要条件是什么?
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y

(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)

《信息论》期末考试B卷答案

《信息论》期末考试B卷答案

第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程: 信息理论及编码 B 卷答案说明:此卷为《信息理论及编码》B 卷答案一、概念简答题(每小题6分,共30分)1、比较平均自信息(信源熵)与平均互信息的异同.答:平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量,也表示发X 前后Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。

答:对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥,…………………(3分) 当N 足够长,总可以实现无失真编码。

………………………………………(3分)3、简述唯一可译变长码的判断方法?答:将码C 中所有可能的尾随后缀组成一个集合F ,当且仅当集合F 中没有包含任一码字时,码C 为唯一可译变长码。

构成集合F 的方法:…………………(2分)首先,观察码C 中最短的码字是否是其他码字的前缀.若是,将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。

依此下去,直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分) 接着,按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出,得到尾随后缀集合F 。

…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答:最大离散熵定理为:对于离散无记忆信源,当信源等概率分布时熵最大。

……(3分)对于有m 个符号的离散信源,其最大熵为log m 。

…………………………(3分)5、什么是汉明距离;两个二元序列1230210,0210210i j αβ==,求其汉明距离.答:长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。

信息论与编码期末考试题

信息论与编码期末考试题

信息论与编码期末考试题信息论与编码期末考试题(一)一、判断题. 1. 当随机变量和相互独立时,条件熵等于信源熵. () 2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. () 3.一般情况下,用变长编码得到的平均码长比定长编码大得多. () 4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.() 5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. () 6. 连续信源和离散信源的熵都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小.8. 汉明码是一种线性分组码. () 9. 率失真函数的最小值是. () 10.必然事件和不可能事件的自信息量都是. ()二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是;信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和,则成立的条件.. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 . 7、某二元信源,其失真矩阵,则该信源的= . 三、计算题. 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为. (1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为. (1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为,信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. (二)一、填空题1、信源编码的主要目的是,信道编码的主要目的是。

《信息论》期末考试试题(A 卷) 标准答案

《信息论》期末考试试题(A 卷) 标准答案

a8 a16 中的任何一个;采用汉明失真测度;
(1) 求信源符号与恢复符号之间的转移概率矩阵;
(6 分)
(2) 求信源编码器的码率;
(5 分)
(3) 求信源编码的平均失真;
(2 分)
(4) 已知在汉明失真测度下,包含 n 个符号的离散无记忆等概率信源的
R(D) 函数表达式为:
(2 分)
R(
D)
=
log
L
0
1/ 3 1/ 3
9 1/ 3 1/ 3 0 0 10 1/ 3 1/ 3 1/ 3 0
0L0 0L 0
0 1/ 3 0 0
(2) 该信道是对称信道。
(3 分)
(3) C = log11− H (1/ 3,1/ 3,1/ 3) = log11− log 3 ≈ 1.8745 比特/符号,达到信道
pE3 = ω(1− p) / 2 + ω(1− p) / 2 + p / 2 = ω(1− p) + p / 2 。 pE3 = ω(1− p) + p / 2 = ω + (1/ 2 − ω) p ≥ ω = pE1 , pE3 = ω(1− p) + p / 2 ≥ p / 2 = pE2 。 结论:信道串联使得平均译码错误率增加(不减)。
信源编码器码率: R = l = 1+ (7 + 4 + 3 + 2×3) /16 = 9 / 4 = 2.25 比特;
(3) 根据信源符号与恢复符号之间的转移概率矩阵,求得信源编码的平均失
真为: D = (1/ 16)[8× (1/ 9)]× 9 = 1/ 2 ;
(2 分)
(4) 求为达到与现有编码器相同失真每信源符号理论上所需最少比特数:

信息论与编码期末考试题1

信息论与编码期末考试题1

(一)一、判断题.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ( )6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小.8. 汉明码是一种线性分组码. ( ) 9. 率失真函数的最小值是0. ( ) 10.必然事件和不可能事件的自信息量都是0. ( ) 二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是 ;信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 .5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的 条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量以与最佳入口分布.(二)一、填空题1、信源编码的主要目的是 ,信道编码的主要目的是 。

《信息论基础》试卷(期末)(A2卷)

《信息论基础》试卷(期末)(A2卷)

试题编号:重庆邮电大学2009/2010学年2学期《信息论基础》试卷(期末)(A卷)(开卷)一、填空题(共15分,每空1分)1、当时,信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W,则噪声熵为。

如果一个平均功率为9 W的连续信源的熵等于该噪声熵,则该连续信源的熵功率为。

3、信源符号的相关程度越大,信源的符号熵越,信源的剩余度越。

4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。

根据信源符号的统计特性,对概率的符号用短码,对概率的符号用长码,从而减少平均码长,提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为,《信息论基础》试卷第1页《信息论基础》试卷第2页此时编码效率为 。

4、在下面空格中选择填入数学符号“=,≥,≤,>”或“<” (1)()()2212X X H H =X ()X 3H = ()3321X X X H (2)()XY H ()()Y X H Y H |+ ()()X H Y H +。

9、有一信源X ,其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ,若对该信源进行100次扩展,则每扩展符号的平均信息量是 。

11、当 时,信源熵为最大值。

8进制信源的最大熵为 。

二、判断题(正确打√,错误打×)(共5分,每小题1分)1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

( )2)即时码可以在一个码字后面添上一些码元构成另一个码字。

( ) 3)连续信源的熵可正、可负、可为零, ( ) 4)平均互信息始终是非负的。

( ) 5) 信道容量C 只与信道的统计特性有关,而与输入信源的概率分布无关。

( )《信息论基础》试卷第3页三、(10分)计算机终端发出A 、B 、C 、D 、E 五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2。

通过一条带宽为18kHz 的信道传输数据,假设信道输出信噪比为2047,试计算:1) 香农信道容量;2) 无误码传输的最高符号速率。

《信息论》期末考试试题(A 卷)标准答案

《信息论》期末考试试题(A 卷)标准答案

北京邮电大学2006——2007学年第 一 学期《信息论》期末考试试题(A 卷)标准答案姓名 班级 学号 分数一、判断题(正确打√,错误打×)(共10分,每小题1分)1)异前置码是即时码; (√) 2)最大似然准则等价于最小汉明距离准则; (×) 3)离散信源记忆的长度越大,信源的符号熵越小; (√) 4)一维高斯信源的熵只与其均值和方差有关; (×) 5)为达到并联加性高斯噪声信道容量,在信道输入总功率给定条件下应给噪声方差大的子信道分配更多的功率; (×) 6)只要信息传输速率小于信道容量,总可以找到一种编码方式使得当编码序列足够长时传输差错率任意小; (√) 7)离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍; (√) 8)仙农的AWGN 信道容量公式是在信道输入的平均功率和幅度受限条件下推导出来的; (×) 9)当马氏源的初始状态s 和输出nx x x ,,,10 给定后,那么状态1,21,,+n s s s 就能唯一确定; (√) 10)当平均失真大于其上限D max 时,率失真函数R (D )= 0 。

(√)二、填空题(共20分,每空2分)1) 设信源的熵为0.8比特/符号,对信源序列进行单符号编码,码序列为0、1二元序列,如果编码效率为100%,那么每信源符号平均码长为 0.8 ,码序列中“0 ”符号出现的概率为 1/2 ,信息传输速率为 1 比特/码符号。

2) 一阶平稳马氏源的符号转移概率为2.0)0|0(12|=X X p ,6.0)1|1(12|=X X p ,那么符号的平稳分布为=)0(X p 1/3 ,=)1(X p 2/3 ;信源的符号熵为 0.8879 比特/符号。

3)一维连续随机变量X在[a,b]区间内均匀分布时,其信源熵为log2(b-a)。

4)在输入平均功率相同的情况下, 高斯分布使加性噪声信道容量最小。

5) 二元等概信源的熵为 1 比特/符号,当信源输出序列长度L足够长时,典型序列的个数约等于2L。

信息论期末试卷

信息论期末试卷

信息理论与编码试卷A答案专业年级:通信07级总分100分,占总评成绩70%注:此页不作答题纸,请将答案写在答题纸上一填空题(本题20分,每小题2分)1 无失真信源编码的中心任务是编码后的信息率压缩接近到 1 限失真压缩中心任务是在给定的失真度条件下,信息率压缩接近到2 。

2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学,故称为 3 ;1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用熵对信源的 4 的度量,同时也是衡量 5 大小的一个尺度;表现在通信领域里,发送端发送什么有一个不确定量,通过信道传输,接收端收到信息后,对发送端发送什么仍然存在一个不确定量,把这两个不确定量差值用 6 来表示,它表现了通信信道流通的7 ,若把它取最大值,就是通信线路的8 ,若把它取最小值,就是9 。

3 若分组码H阵列列线性无关数为n,则纠错码的最小距离d min为10 。

二简答题(本题20分,每小题4分)1. 根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗?2. 我们知道,“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备,它可以在一个音频电话线上传输二进制数据,并且没有太高的错误率。

现在,我们上网用的“猫”的速度已可达到56Kbps了,但是,如果你用网络蚂蚁或其它软件从网上下载东西时,你会发现很多时候网络传输的速度都很低,远低于56Kbps(通常音频电话连接支持的频率范围为300Hz到3300Hz,而一般链路典型的信噪比是30dB)(摘自中新网)3.结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.4. 用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣(1)(2)5. 新华社电,2008年 5月16日下午6时半,离汶川地震发生整整100个小时。

虚弱得已近昏迷的刘德云被救援官兵抬出来时,看到了自己的女儿。

随即,他的目光指向自己的左手腕。

信息论试卷(期末)(B2卷)

信息论试卷(期末)(B2卷)

一、填空题(共25分,每空1分)1、连续信源的绝对熵为 无穷大。

(或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰)2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。

3、无记忆信源是指 信源先后发生的符号彼此统计独立 。

4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。

根据信源符号的统计特性,对概率大的符号用 短码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。

5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。

6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。

7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为高斯分布(或()0,1xN 或22x -)时,信源具有最大熵,其值为 0.6155hart(或 1.625bit 或1lg 22e π)。

8、即时码是指 任一码字都不是其它码字的前缀 。

9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r),此时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。

10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。

11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。

12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m个不同的状态。

13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。

14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<”H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他,计算信源的相对熵。

《信息论》期末考试试题(A卷)标准答案

《信息论》期末考试试题(A卷)标准答案
过信道可实现无失真传输。 (3) 将信源的 2 次扩展源进行 Huffman 编码,结果为:
2 次扩展信源符号 00 01 10 11 概 率 0.81 0.09 0.09 0.01 编 0 10 110 111 码
(3 分)
计算每信源符号平均码长为: l (1 0.19 0.10) / 2 0.645 ,编码器每秒输出 符号数为: 3.5 0.645 2.2575 2 ,所以传输不满足失真要求。 将信源的 3 次扩展源进行 Huffman 编码,结果为:
3
(1) 信源符号速率 3.5 大于信道传输速率 2,所以信源直接与信道相接,不能保证无失 真传输。 (3 分) (2) 采用适当的编码方式可以通过信道进行无失真传输。 (2 分) H ( X ) H (0.1) 0.1 log 0.1 0.9 log 0.9 0.469 比特/符号 信源熵率为 H (b / s ) H ( X ) 3.5 1.6415 b / s ,二元无噪信道容量为 C (b / s ) 2 b / s 。 因为 H (b / s) C (b / s) ,所以根据信源信道编码定理可知,采用适当的编码方式然后通

计 算 每 信 源 符 号 平 均 码 长 为 : l 0.5327 , 编 码 器 每 秒 输 出 符 号 数 为 : (5 分) 3.5 0.5327 1.8644 2 ,所以传输满足不失真要求。 由于这种编码所得是变长码,因此在编码器与信道之间应设置缓冲器。 (2 分)
六、计算题(16 分)
三、简答题(由 4 个独立子信道组成, 子信道方 差如右图所示,其中 1、2、3、4 子信道的方差分别为 2、1、 4、3; (1)达到容量时,信道输入应该是何种分布?各子信道的 输入是否统计独立? (1+1 分)

信息论期末考试试题 答案

信息论期末考试试题 答案

安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案(AB 合卷)一、 填空题 1、()(;)log()()p xy I x y p x p y =;2、事物运动状态或存在方式的不确定性的描述;3、(|)log(|)(|)p xy z p x z p y z ;4、信源 编码器 信道 译码器 信宿;5、保密性 认证性;6、0.72;7、 , ;8、(;)C I X Y - ;9、4.6 ; 10、0H ≥1H ≥4H ≥6H ≥∞H ; 11、()()1log log N L H S H S r N r N≤<+; 12、()f x 在q F 上不可约; 13、()g x |1n x -; 14、2F 、22F 、32F 、42F 、62F 、122F ; 15、8,4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解:1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时:()()()()1236H XYZ H X H Y H Z =++=++=2、解:二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵:22HX H X =()()22112log 2log )3366=-+⨯(=2log3-2/3比特/二符号 3、解:1)信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭,故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-(比特/符号)相应的最佳输入概率分布为等概率分布。

(2)信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭,故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- (比特/符号) 相应的最佳输入概率分布为等概率分布。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

安徽大学2011—2012学年第1学期
《信息论》考试试卷(AB合卷)
院/系年级专业姓名学号
一、填空题
1、接收端收到y后,获得关于发送的符号是x的信息量是。

2、香农信息的定义。

3、在已知事件z Z
∈的条件下,接收到y后获得关于事件x的条件互信息(;|)
I x y z的表达
式为。

4、通信系统模型主要分成五个部分分别为:。

5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可
靠性、有效性、和,使信息传输系统达到最优化。

6、某信源S共有32个信源符号,其实际熵H
∞=1.4比特/符号,则该信源剩余度
为。

7、信道固定的情况下,平均互信息(;)
I X Y是输入信源概率分布()
P x的型凸函数。

信源固定的情况下,平均互信息(;)
I X Y是信道传递概率(|)
P y x的型凸函数。

8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。

信道剩余度定义为。

9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵
5
()
H X= 。

10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。

11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。

12、多项式剩余类环[]())q F x f x 是域的充要条件为 。

13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。

14、有限域12
2F 的全部子域为 。

15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足:
10
1
0(mod11)i
i ia
=≡∑)
,其中前九位均为0-9,末位0-10,当末位为10时用X 表示。

《Handbook of Applied Cryptography 》的书号为ISBN :7-121-01339- ,《Coding and Information Theory 》的书号为ISBN :7-5062-3392- 。

二、判断题
1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。

( )
2、离散信源的信息熵是信源无失真数据压缩的极限值。

( )
3、对于无噪无损信道,其输入和输出有确定的一一对应关系。

( )
4、对于有噪无损信道,其输入和输出有确定的一一对应关系。

( )
5、设有噪信道的信道容量为C ,若信息传输率R C >,只要码长n 足够长,必存在一种信道编码和相应的译码规则,使译码平均错误概率E P 为任意小。

反之,若R C <则不存在以
R 传输信息而E P 为任意小的码。

( )
6、在任何信息传输系统中,最后获得的信息至多是信源所提供的信息。

如果一旦在某一过程中丢失一些信息,以后的系统不管如何处理,如不触及到丢失信息过程的输入端,就不能再恢复已丢失的信息。

( )
7、对于离散信道[,(|),]X p y x Y ,有(|)()log(1)E E H X Y H P P r ≤+-,并且不管采用什么译码规则,上述费诺不等式成立。

( )
8、码C={0,10,1100,1110,1011,1101}是唯一可译码。

( ) 9、一定存在码长分别为1,2,3,3,3,4,5,5的二元即时码。

( )
三、计算题
1、设
12~1/21/2a
a X ⎛⎫ ⎪
⎝⎭,1234~1/41/41/41/4b b b b Y ⎛⎫ ⎪⎝⎭, 1
2345678~1/81/81/81/81/81/81/81/8c c c c c c c c Z ⎛⎫ ⎪⎝⎭。

计算)(),(),(Z H Y H X H 。

当Z Y X ,,为统计独立时,计算)(XYZ H 。

2、有一离散无记忆信源
1
232113
66x x x X P x ⎛⎫
⎛⎫ ⎪= ⎪ ⎪

⎝⎭⎝⎭
() , 31()1i
i p x ==∑ 。

求该信源的二次扩展信源,并计算二次扩展信源的信源熵。

3、求下述两信道的信道容量及其达到信道容量时的输入概率分布。

(1)(2)
4、设二元对称信道的传递矩阵为
21
33
12
33
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎣⎦
,求此信道的信道容量及相应的最佳输入概率分
布。

当输入概率分布为
31
01
44
P P
==
(),()时,求|
H X Y I X Y
()和(;)。

5、设有一马尔可夫信源,其状态集为{}123,,S S S ,符号集为{}321a a a ,,。

在某状态下发某符号的概率为()|,,1,2,3k i P a S i k =。

见下图: 计算此马尔可夫信源熵∞H 。

6、一阶马尔可夫信源的状态图如下图所示,信源X 的符号集为{0,1,2}并定义1p p =-。

(1)求信源平稳后的概率分布P (0),P (1),P (2); (2)求此信源的熵。

7、求以2x +为生成多项式的长为3的三元循环码C 的全体码字。

x 为生成多项式的长为3的二元循环码C的全体码字。

8、求以1
四、综合题
1、设有一离散信道,其信道传递矩阵为1113621112361
116
23⎛⎫
⎪ ⎪ ⎪ ⎪ ⎪⎝⎭,并设11()2P x =,231()()4
P x P x ==。

试分别按最小错误概率准则和最大似然译码准则确定译码函数,并计算相应的平均错误概率。

2、信源空间为12345678,,,,
,,,()0.4,0.2,0.1,0.1,0.05,0.05,0.05,0.05S s s s s s s s s P s ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭
,码符号为
{0,1,2}X =,试构造一种三元紧致码,并计算平均码长。

3、设C是二元[6,3]线性码,其校验矩阵为
100110
010101
001011
H
⎛⎫

= ⎪

⎝⎭。

试求全体码字,列
简明译码表;当收到的字为010011
β=,如何译码?
五、证明题
1、证明:最大离散熵定理,即
12111(,,,)(,,,)log q H p p p H q q q q ≤=。

2、证明:条件熵不大于无条件熵,即
212(|)()H X X H X ≤。

3、设C 是q 元[,]n k 线性码,证明:
()()d C W C =,
其中()min{(,)|,,}i j i j i j d C D c c c c C c c =∈≠,()min{()|,0}W C W c c C c =∈≠。

4、循环码C 的对偶码C ⊥仍为循环码。

(注:本资料素材和资料部分来自网络,仅供参考。

请预览后才下载,期待你的好评与关注!)。

相关文档
最新文档