信息论与编码期末试卷

合集下载

信息论与编码期末考试题(全套)

信息论与编码期末考试题(全套)
H(Y/X)0,I(X;Y) H(X)。
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长 ;(4分)
(3)计算编码信息率 ;(2分)
(4)计算编码后信息传输率 ;(2分)
(5)计算编码效率 。(2分)
四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5 。计算:
(1)信息就是一种消息。()
(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。()
(3)概率大的事件自信息量大。()
(4)互信息量可正、可负亦可为零。()
(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。()
(6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。()
7、根据是否允许失真,信源编码可分为和。
8、若连续信源输出信号的平均功率为 ,则输出信号幅度的概率密度是时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“ ”或“ ”
(1)当X和Y相互独立时,H(XY)H(X)+H(X/Y)H(Y)+H(X)。
(2)
(3)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y) 0,
5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()
6.连续信源和离散信源的熵都具有非负性.()
7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确
定性就越小,获得的信息量就越小.
8.汉明码是一种线性分组码.()

信息论与编码期末考试题

信息论与编码期末考试题

信息论与编码期末考试题信息论与编码期末考试题(一)一、判断题.1.当随机变量和相互独立时,条件熵等于信熵.()2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.()3.一般情况下,用变长编码得到的平均码长比定长编码大得多.()4.只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6.连续信和离散信的熵都具有非负性.()7.信的消息通过信道传输后的误差或失真越大,信宿收到消息后对信存在的不确定性就越小,获得的信息量就越小.8.汉明码是一种线性分组码.()9.率失真函数的最小值是.()10.必然事件和不可能事件的自信息量都是.()二、填空题 1、码的检、纠错能力取决于 .2、信编码的目的是;信道编码的目的是 .3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为和,则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 .7、某二元信,其失真矩阵,则该信的= .三、计算题.1、某信发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布.2、一阶马尔可夫信的状态转移图如右图所示,信的符号集为.(1)求信平稳后的概率分布;(2)求此信的熵;(3)近似地认为此信为无记忆时,符号的概率分布为平稳分布.求近似信的熵并与进行比较.3、设码符号为,信空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.(1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.(二)一、填空题 1、信编码的主要目的是,信道编码的主要目的是。

信息论与编码期末考试题1(DOC)甄选

信息论与编码期末考试题1(DOC)甄选

信息论与编码期末考试题1(DOC)(优选.)(一)一、判断题.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小.8. 汉明码是一种线性分组码.( ) 9. 率失真函数的最小值是0.( )10.必然事件和不可能事件的自信息量都是0.( ) 二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是;信道编码的目的是.3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的 条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. (1) 计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3)计算信道容量以及最佳入口分布.图2-132、一阶马尔可夫信源的状态转移图如右图所示, 信源X 的符号集为}2,1,0{.(1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平 稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 3、设码符号为}2,1,0{=X ,信源空间为⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.087654321s s s s s s s s 试构造一种三元紧致码.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式; (2)若接收矢量)0001011(=v ,试计算出其对应的伴随式S 并按照最小距离译码准则 试着对其译码.(二)一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

信息论与编码期末考试题(全套)之欧阳地创编

信息论与编码期末考试题(全套)之欧阳地创编

(一)时间:2021.03.04创作:欧阳地一、判断题共 10 小题,满分 20 分.1. 当随机变量和相互独立时,条件熵等于信源熵.( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6. 连续信源和离散信源非负性( )7. 信源的消息通过信道差或失真越大,信宿收到消息在的不确 定性就越小,获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事量都是.( )二、填空题共 6 小题,满分 1、码的检、纠错能力取决2、信源编码的目的是;信的是.3、把信息组原封不动地搬位的码就叫做 4、香农信息论中的三大是、、.5、设信道的输入与输出别为和,则成立的条件.6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源,其失真矩阵,则该信源的= .三、本题共 4 小题,满分 50 分.1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分组阵为.(1)给出该码的一致校验所有的陪集首和与之相对应的(2)若接收矢量出其对应的伴随式并按照最准则试着对其译码(二)一、填空题(共1分)1、信源编码的主要目的是,主要目的是。

2、信源的剩余度主要来自两是,二是。

2020年信息论与编码期末考试题

2020年信息论与编码期末考试题

信息论与编码期末考试题(一)一、判断题. 当随机变量和相互独立时,条件熵等于信源熵. ()由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ()一般情况下,用变长编码得到的平均码长比定长编码大得多. ()只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ()各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()连续信源和离散信源的熵都具有非负性. ()信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小. 汉明码是一种线性分组码. ()率失真函数的最小值是. () 1.必然事件和不可能事件的自信息量都是. ()二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是;信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和,则成立的条件 .. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 . 7、某二元信源,其失真矩阵,则该信源的=.三、计算题. 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为. (1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为. (1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为,信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. (二)一、填空题 1、信源编码的主要目的是,信道编码的主要目的是。

信息编码论期末考试试题

信息编码论期末考试试题

信息编码论期末考试试题一、单项选择题(每题2分,共20分)1. 信息论的奠基人是:A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则?A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标,它在信息论中的定义是:A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中,冗余度是指:A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的?A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题(每题2分,共20分)1. 信息论中的信息量通常用______来衡量。

2. 信息的传输速率是指单位时间内传输的______。

3. 在编码理论中,______编码是一种无损压缩编码。

4. 信息论中的信噪比是指______与______的比例。

5. 编码的目的是减少信息的______,提高信息的传输效率。

三、简答题(每题10分,共30分)1. 简述信息论中熵的概念及其计算公式。

2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。

3. 阐述信道容量的概念,并解释如何通过信道编码来逼近信道容量。

四、计算题(每题15分,共30分)1. 给定一组字符及其出现概率:A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。

请使用霍夫曼编码为这组字符设计一个最优编码方案,并计算该编码方案的平均码长。

2. 假设一个信道的信噪比为10dB,信道带宽为3000Hz,请计算该信道的最大数据传输速率(香农极限)。

五、论述题(共20分)1. 论述信息编码在现代通信系统中的重要性,并举例说明其在实际应用中的作用。

请考生在规定的时间内完成以上试题,注意保持答题卡的整洁,字迹清晰。

祝您考试顺利!。

信息论与编码期末考试题(全套)之欧阳理创编

信息论与编码期末考试题(全套)之欧阳理创编

(一)时间:2021.03.05创作:欧阳理 一、判断题共 10 小题,满分 20 分.1. 当随机变量和相互独立时,条件熵等于信源熵. ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传或失真越大,信宿收到消息后的不确定性就越小,获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事件都是.( )二、填空题共 6 小题,满分 21、码的检、纠错能力取决2、信源编码的目的是;信的是.3、把信息组原封不动地搬位的码就叫做 .4、香农信息论中的三是、、.5、设信道的输入与输出别为和,则 条件 .6、对于香农-费诺编码、原始码和哈夫曼编码,编码方法惟一的是.7、某二元信源,其失真矩阵,则该信源的= .三、本题共 4 小题,满分 50 分.1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分组码的生成矩阵为.(1)给出该码的一致校验所有的陪集首和与之相对应的(2)若接收矢量其对应的伴随式小距离译码准则试着对其译码(二)一、填空题(共1分)1、信源编码的主要目的是,主要目的是。

2、信源的剩余度主要来自两是,二是。

信息论与编码期末考试题(全套)之欧阳法创编

信息论与编码期末考试题(全套)之欧阳法创编

(一)一、判断题共 10 小题,满分 20 分.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信非负性. (7. 信源的消息通过信差或失真越大,信宿收到存在的不确定性就越小,获得的信息8. 汉明码是一种线性分9. 率失真函数的最小值10.必然事件和不可能量都是0.( )二、填空题共 6 小题,满分1、码的检、纠错能力取2、信源编码的目的是目的是.3、把信息组原封不动k 位的),(k n 码就叫做4、香农信息论中的三是、、.5、设信道的输入与输别为X和Y ,则),(N Y X I NN条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3) 计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .(1)给出该码的一致出所有的陪集首和与之相式;(2)若)0001011(=v ,试应的伴随式S 离译码准则试着对其译(二)一、填空题(共15分,每1、信源编码的主要目的是主要目的是。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

上海大学2011~2012学年度冬季学期试卷(A卷)
课程名:信息论与编码课程号: 07276033学分: 4
应试人声明:
我保证遵守《上海大学学生手册》中的《上海大学考场规则》,如有考试违纪、作弊行为,愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。

应试人应试人学号应试人所在院系
题号 1 2 3 4
得分——————————————————————————————————————一:填空题(每空2分,共40分)
1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位)
2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________.
3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________.
4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________.
5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性.
6:若某信道的信道矩阵为












001
100
010
100
,则该信道为具有____归并____性能的信道
7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________.
9:若循环码的生成多项式为1
)
(2
3+
+
=x
x
x
g,则接收向量为(1111011)的伴随多项式为_______________
10:对有32个符号的信源编4进制HUFFMAN码,第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为:00000,10101,01111,11010,则该码为(____,_____),该码最多可以纠正_______位错误,共有________陪集.
12:码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位.
13:(7,4)汉明码的一致校验矩阵为










1,0,1,0,1,
,1
0,1,1,0,0,
,1
0,0,0,1,1,
,1
3
2
1
r
r
r
,则3
2
1
r r r
为__________.
_______________________________________________________________
草稿纸
成绩
二;计算分析题(共60分)
1:(本题满分18分)某离散无记忆信道的信源分布为p(0)=0.75,p(1)=0.25,传送
时0错成1的概率为0.1, 0错成2的概率为0.2, 1错成0的概率为0.1, 1错成
2的概率为0.2,其余则正确传送。

1:写出信道矩阵。

2:求此信道的噪声熵,疑义度,信息传输率。

3:求此信道的信道容量与最佳分布。

草稿纸
2:(本题满分21分)设有一个二元一阶马尔科夫信源,信源的符号集为0和1,已知
条件概率为p(0/0)=0.25, P(0/1)=0.5
计算该信源的状态极限概率分布与极限熵
用3个符号合成一个来编2进制HUFFMAN码,要求有具体的编码过程,再求新符号的平
均码字长度和编码效率。

草稿纸
3:(本题满分21分)已知(7,4)循环码生成的多项式为
1)(3
++=x x x g 求:
1:一致校验矩阵(升幂) 2:该码的纠检错能力如何 3:求信息1101对应的系统码字
4:画出该码的r 级系统码编码电路,给出电路的工作过程 5:若接收序列为11111110011011,请检错 6:求该码的对偶码的生成矩阵的标准式S G
草稿纸。

相关文档
最新文档