信息论与编码期末试卷

合集下载

信息论与编码期末考试题(全套)

信息论与编码期末考试题(全套)
H(Y/X)0,I(X;Y) H(X)。
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长 ;(4分)
(3)计算编码信息率 ;(2分)
(4)计算编码后信息传输率 ;(2分)
(5)计算编码效率 。(2分)
四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5 。计算:
(1)信息就是一种消息。()
(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。()
(3)概率大的事件自信息量大。()
(4)互信息量可正、可负亦可为零。()
(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。()
(6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。()
7、根据是否允许失真,信源编码可分为和。
8、若连续信源输出信号的平均功率为 ,则输出信号幅度的概率密度是时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“ ”或“ ”
(1)当X和Y相互独立时,H(XY)H(X)+H(X/Y)H(Y)+H(X)。
(2)
(3)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y) 0,
5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()
6.连续信源和离散信源的熵都具有非负性.()
7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确
定性就越小,获得的信息量就越小.
8.汉明码是一种线性分组码.()

信息论与编码期末考试题

信息论与编码期末考试题

信息论与编码期末考试题信息论与编码期末考试题(一)一、判断题.1.当随机变量和相互独立时,条件熵等于信熵.()2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.()3.一般情况下,用变长编码得到的平均码长比定长编码大得多.()4.只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6.连续信和离散信的熵都具有非负性.()7.信的消息通过信道传输后的误差或失真越大,信宿收到消息后对信存在的不确定性就越小,获得的信息量就越小.8.汉明码是一种线性分组码.()9.率失真函数的最小值是.()10.必然事件和不可能事件的自信息量都是.()二、填空题 1、码的检、纠错能力取决于 .2、信编码的目的是;信道编码的目的是 .3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为和,则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 .7、某二元信,其失真矩阵,则该信的= .三、计算题.1、某信发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布.2、一阶马尔可夫信的状态转移图如右图所示,信的符号集为.(1)求信平稳后的概率分布;(2)求此信的熵;(3)近似地认为此信为无记忆时,符号的概率分布为平稳分布.求近似信的熵并与进行比较.3、设码符号为,信空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.(1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.(二)一、填空题 1、信编码的主要目的是,信道编码的主要目的是。

信息论与编码期末考试题1(DOC)甄选

信息论与编码期末考试题1(DOC)甄选

信息论与编码期末考试题1(DOC)(优选.)(一)一、判断题.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小.8. 汉明码是一种线性分组码.( ) 9. 率失真函数的最小值是0.( )10.必然事件和不可能事件的自信息量都是0.( ) 二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是;信道编码的目的是.3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的 条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. (1) 计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3)计算信道容量以及最佳入口分布.图2-132、一阶马尔可夫信源的状态转移图如右图所示, 信源X 的符号集为}2,1,0{.(1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平 稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 3、设码符号为}2,1,0{=X ,信源空间为⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.087654321s s s s s s s s 试构造一种三元紧致码.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式; (2)若接收矢量)0001011(=v ,试计算出其对应的伴随式S 并按照最小距离译码准则 试着对其译码.(二)一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

信息论与编码期末考试题(全套)之欧阳地创编

信息论与编码期末考试题(全套)之欧阳地创编

(一)时间:2021.03.04创作:欧阳地一、判断题共 10 小题,满分 20 分.1. 当随机变量和相互独立时,条件熵等于信源熵.( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6. 连续信源和离散信源非负性( )7. 信源的消息通过信道差或失真越大,信宿收到消息在的不确 定性就越小,获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事量都是.( )二、填空题共 6 小题,满分 1、码的检、纠错能力取决2、信源编码的目的是;信的是.3、把信息组原封不动地搬位的码就叫做 4、香农信息论中的三大是、、.5、设信道的输入与输出别为和,则成立的条件.6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源,其失真矩阵,则该信源的= .三、本题共 4 小题,满分 50 分.1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分组阵为.(1)给出该码的一致校验所有的陪集首和与之相对应的(2)若接收矢量出其对应的伴随式并按照最准则试着对其译码(二)一、填空题(共1分)1、信源编码的主要目的是,主要目的是。

2、信源的剩余度主要来自两是,二是。

2020年信息论与编码期末考试题

2020年信息论与编码期末考试题

信息论与编码期末考试题(一)一、判断题. 当随机变量和相互独立时,条件熵等于信源熵. ()由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ()一般情况下,用变长编码得到的平均码长比定长编码大得多. ()只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ()各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()连续信源和离散信源的熵都具有非负性. ()信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小. 汉明码是一种线性分组码. ()率失真函数的最小值是. () 1.必然事件和不可能事件的自信息量都是. ()二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是;信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和,则成立的条件 .. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 . 7、某二元信源,其失真矩阵,则该信源的=.三、计算题. 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为. (1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为. (1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为,信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. (二)一、填空题 1、信源编码的主要目的是,信道编码的主要目的是。

信息编码论期末考试试题

信息编码论期末考试试题

信息编码论期末考试试题一、单项选择题(每题2分,共20分)1. 信息论的奠基人是:A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则?A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标,它在信息论中的定义是:A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中,冗余度是指:A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的?A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题(每题2分,共20分)1. 信息论中的信息量通常用______来衡量。

2. 信息的传输速率是指单位时间内传输的______。

3. 在编码理论中,______编码是一种无损压缩编码。

4. 信息论中的信噪比是指______与______的比例。

5. 编码的目的是减少信息的______,提高信息的传输效率。

三、简答题(每题10分,共30分)1. 简述信息论中熵的概念及其计算公式。

2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。

3. 阐述信道容量的概念,并解释如何通过信道编码来逼近信道容量。

四、计算题(每题15分,共30分)1. 给定一组字符及其出现概率:A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。

请使用霍夫曼编码为这组字符设计一个最优编码方案,并计算该编码方案的平均码长。

2. 假设一个信道的信噪比为10dB,信道带宽为3000Hz,请计算该信道的最大数据传输速率(香农极限)。

五、论述题(共20分)1. 论述信息编码在现代通信系统中的重要性,并举例说明其在实际应用中的作用。

请考生在规定的时间内完成以上试题,注意保持答题卡的整洁,字迹清晰。

祝您考试顺利!。

信息论与编码期末考试题(全套)之欧阳理创编

信息论与编码期末考试题(全套)之欧阳理创编

(一)时间:2021.03.05创作:欧阳理 一、判断题共 10 小题,满分 20 分.1. 当随机变量和相互独立时,条件熵等于信源熵. ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传或失真越大,信宿收到消息后的不确定性就越小,获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事件都是.( )二、填空题共 6 小题,满分 21、码的检、纠错能力取决2、信源编码的目的是;信的是.3、把信息组原封不动地搬位的码就叫做 .4、香农信息论中的三是、、.5、设信道的输入与输出别为和,则 条件 .6、对于香农-费诺编码、原始码和哈夫曼编码,编码方法惟一的是.7、某二元信源,其失真矩阵,则该信源的= .三、本题共 4 小题,满分 50 分.1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.4、设二元线性分组码的生成矩阵为.(1)给出该码的一致校验所有的陪集首和与之相对应的(2)若接收矢量其对应的伴随式小距离译码准则试着对其译码(二)一、填空题(共1分)1、信源编码的主要目的是,主要目的是。

2、信源的剩余度主要来自两是,二是。

信息论与编码期末考试题(全套)之欧阳法创编

信息论与编码期末考试题(全套)之欧阳法创编

(一)一、判断题共 10 小题,满分 20 分.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信非负性. (7. 信源的消息通过信差或失真越大,信宿收到存在的不确定性就越小,获得的信息8. 汉明码是一种线性分9. 率失真函数的最小值10.必然事件和不可能量都是0.( )二、填空题共 6 小题,满分1、码的检、纠错能力取2、信源编码的目的是目的是.3、把信息组原封不动k 位的),(k n 码就叫做4、香农信息论中的三是、、.5、设信道的输入与输别为X和Y ,则),(N Y X I NN条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3) 计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .(1)给出该码的一致出所有的陪集首和与之相式;(2)若)0001011(=v ,试应的伴随式S 离译码准则试着对其译(二)一、填空题(共15分,每1、信源编码的主要目的是主要目的是。

信息论与编码期末考试题1(DOC)

信息论与编码期末考试题1(DOC)

、判断题.1.当随机变量X 和丫相互独立时,条件熵 H(X|Y)等于信源熵H(X).2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ()3.—般情况下,用变长编码得到的平均码长比定长编码大得多 .()4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件 .(6. 连续信源和离散信源的熵都具有非负性.(7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小 . 8. 汉明码是一种线性分组码. 9. 率失真函数的最小值是 0 .10. 必然事件和不可能事件的自信息量都是0 .、填空题1、 码的检、纠错能力取决于2、 信源编码的目的是—3、把信息组原封不动地搬到码字前 k 位的(n,k)码就叫做4、香农信息论中的三大极限定理是5、设信道的输入与输出随机序列分别为X 和丫,则I (X N,Y N) = NI(X,Y)成立的、计算题.稳分布.求近似信源的熵 H (X)并与H 乂进行比较.;信道编码的目的是条件 ___________________6、对于香农-费诺编码、原始香农「X7、某二元信源I[p(x)」11/2-费诺编码和哈夫曼编码,编码方法惟一的是「0 a"b 0.,其失真矩阵D = 1/ 2J,则该信源的D max1、某信源发送端有2种符号Xi (i =1,2),「1/2 1/2 0 I p = I i .[1/2 1/4 1/4」计算接收端的平均不确定度 H (Y); 计算由于噪声产生的不确定度H (Y IX);计算信道容量以及最佳入口分布 .P(X)=a ; 接收端有3种符号% (j = 1,2,3),转移概率矩阵为(1) (2) (3)2、 一阶马尔可夫信源的状态转移图如右图所示,(1)求信源平稳后的概率分布;(2) 求此信源的熵;(3) 近似地认为此信源为无记忆时,符号的概率分布为平信源X 的符号集为{0,1,2}.图 2-13(1 )用霍夫曼编码法编成二进制变长码;(6分)具有最大熵,其值为值 ^log 2;ieD 2。

信息论与编码期末考试题(全套) (1)

信息论与编码期末考试题(全套) (1)

|
S1
2 3
,
P
S2
|
S1
1 3
,
P
S1
|
S2
1,
P
S2
|
S2
0

(1) 画出状态转移图。(4 分)
(2) 计算稳态概率。(4 分)
(3) 计算马尔可夫信源的极限熵。(4 分)
(4) 计算稳态下 H1 , H2 及其对应的剩余度。(4 分)
解:(1)
1
3
S1
S2
1
2 (2)由公式 P Si P Si | S j P S j


9、在下面空格中选择填入数学符号“ , , , ”或“ ”
(1)当 X 和 Y 相互独立时,H(XY)
H(X)+H(X/Y)
H(Y)+H(X)。
(2)
H2
X
H
X1 X 2
2
H3
X
H
X1X2 X3
3
(3)假设信道输入用 X 表示,信道输出用 Y 表示。在无噪
有损信道中,H(X/Y) 0,
H(Y/X) 0,I(X;Y) H(X)。
符号
H2 H 0.205hart 符号符 0号.4符72号nat 0.681bit
对应的剩余度为
1
1
H1 H0
1
1 2
log
0.811
1 2
1 2
log
1 2
0.189
2
1
H2 H0
1
1 2
log
0.681
1 2
1 2
log
1 2
0.319
六、设有扰信道的传输情况分别如图所示。试求这种信道的 信道容量。

信息论与编码期末考试题(全套)之欧阳学创编

信息论与编码期末考试题(全套)之欧阳学创编

(一)一、判断题共 10 小题,满分 20 分.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道差或失真越大,信宿收到消存在的不确定性就越小,获得的信息量8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事量都是0.( )二、填空题共 6 小题,满分1、码的检、纠错能力取决2、信源编码的目的是;目的是.3、把信息组原封不动地k 位的),(k n 码就叫做 .4、香农信息论中的三大是、、. 5、设信道的输入与输出分别为X 和Y ,则),(Y X I NN 的条件 .6、对于香农-费诺编码、原诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3) 计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .(1)给出该码的一致校出所有的陪集首和与之相对式;(2)若接收矢量000101(=v 出其对应的伴随最小距离译码准试着对其译码(二)一、填空题(共空1分)1、信源编码的主要目的是,的主要目的是。

信息论与编码期末考试题(全套)之欧阳理创编

信息论与编码期末考试题(全套)之欧阳理创编

(一)一、判断题共 10 小题,满分 20 分.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源非负性. (7. 信源的消息通过信道差或失真越大,信宿收到消存在的不确定性就越小,获得的信息量8. 汉明码是一种线性分9. 率失真函数的最小值10.必然事件和不可能事量都是0.( )二、填空题共 6 小题,满分1、码的检、纠错能力取2、信源编码的目的是;目的是.3、把信息组原封不动地k 位的),(k n 码就叫做4、香农信息论中的三是、、.5、设信道的输入与输分别为X 和Y ,则),(Y X I NN 的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = . 三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3) 计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的H ∞进行比较.4、设二元)4,7(线性分矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G (1)给出该码的一致校出所有的陪集首和与之相式;(2)若接)0001011(=v ,试应的伴随式S 并离译码准则试着对其译码(二)一、填空题(共15分,每空1、信源编码的主要目的是的主要目的是。

2020年信息论与编码期末考试题

2020年信息论与编码期末考试题

信息论与编码期末考试题(一)一、判断题. 当随机变量和相互独立时,条件熵等于信源熵. ()由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ()一般情况下,用变长编码得到的平均码长比定长编码大得多. ()只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ()各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()连续信源和离散信源的熵都具有非负性. ()信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小. 汉明码是一种线性分组码. ()率失真函数的最小值是. () 1.必然事件和不可能事件的自信息量都是. ()二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是;信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和,则成立的条件 .. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 . 7、某二元信源,其失真矩阵,则该信源的=.三、计算题. 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为. (1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为. (1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为,信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;(2)若接收矢量,试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. (二)一、填空题 1、信源编码的主要目的是,信道编码的主要目的是。

信息论与编码期末考试题----学生复习用

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0,最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。

5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。

6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时,信源具有最大熵,其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”(1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。

(2)()()1222H X X H X =≥()()12333H X X X H X =(3)假设信道输入用X 表示,信道输出用Y 表示。

在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦(1)用霍夫曼编码法编成二进制变长码;(6分) (2)计算平均码长L ;(4分)(3)计算编码信息率R ';(2分)(4)计算编码后信息传输率R ;(2分) (5)计算编码效率η。

(2分)(1)010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为:1234560001100101110111S S S S S S ====== (2)610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号(3)bit log r=2.6R L '=符号(4)() 2.53bit0.9732.6H S R L ===码元其中,()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号 (5)()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

信息论与编码期末考试题(全套)之欧阳文创编

信息论与编码期末考试题(全套)之欧阳文创编

(一)一、判断题共 10 小题,满分 20 分.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H .( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ()6. 连续信源和离散信源的非负性( )7. 信源的消息通过信道传差或失真越大,信宿收到消息后在的不确定性就越小,获得的信息量就8. 汉明码是一种线性分组9. 率失真函数的最小值是10.必然事件和不可能事件量都是0.( )二、填空题共 6 小题,满分 21、码的检、纠错能力取决于2、信源编码的目的是;信道的是.3、把信息组原封不动地搬位的),(k n 码就叫做 .4、香农信息论中的三大是、、.5、设信道的输入与输出随别为X 和Y ,则,(),(YX NI Y X I N N条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = .三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ;(3) 计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .(1)给出该码的一致校验矩所有的陪集首和与之相对应的伴(2)若接收矢量0001011(=v 出其对应的伴随式S 并按照最小准则试着对其译码(二)一、填空题(共151分)1、信源编码的主要目的是,信主要目的是。

信息论与编码期末试卷

信息论与编码期末试卷

信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一.选择题(每小题3分,共15分)1)设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX,则此信源的熵为:比特/符号A) 1.25 B) 1.5 C) 1.75 D) 22)对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P,信道容量是比特/符号A) 0 B) 1 C) 2 D) 33)对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ,其中熵最小A) X B) Y C) Z D)无法计算4)信源编码的变长编码中,下面说法不正确的是A)无失真r进制变长码平均码长不得低于信源r进制符号熵B)变长编码时,随着信源序列长度的增大,编码效率会提高C)变长码要求各个码字的长度各不相同D)变长编码的编码效率通常高于定长码5)以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一 参考答案一.选择题(每小题3分,共15分) 1)C ) 2)A ) 3)A ) 4)C ) 5)C )二.三状态马尔科夫(Markov )信源,其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000, 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H (15分)解:1)二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2)假设稳态时各个状态概率为p(0),p(1),p(2),则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到:()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223)极限熵∞H 为稳态时各个状态熵的数学期望三.两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ,第一个信道的输入符号为X ,4个符号等概率分布,输出符号为Y ,第二个信道的输入符号为Y ,输出符号为Z ,求I (X ;Y ),I (Y ;Z ),I (X ;Z )其信道容量及信源最佳分布(8分)解:由第一个信道的转移矩阵,以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到:()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ,⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时:β四.信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ,现采用二进制fano 编码,求各自的码字和编码效率(8分) 解:编码过程如下: 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五.设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ,接收符号{}21,0,=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ,求()()max min max min ,,,D R D R D D 和对应的信道矩阵(10分)解:根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ,则可得到失真值得最小值0m in =D ,此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真,对应的信道传输的信息为0,此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时,∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时,∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时,11=D 则,1m ax =D ,()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六.二元(n ,k )线性分组码的全部码字:000000,000111,011001,011110,101011,101100,110010,110101,求1)n ,k 各为多少? 2)求该码的生成矩阵G s ?3)此码的校验矩阵H ?(12分) 解:1)n 为码字长度,所以n=6,而码字个数M=8,所以k=logM=log8=3 2)G 为三行6列的矩阵,其行向量线性无关。

信息理论与编码-期末试卷A及答案

信息理论与编码-期末试卷A及答案

一、填空题(每空1分,共35分) 1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

信息论的基础理论是 ,它属于狭义信息论。

2、信号是 的载体,消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。

4、某离散无记忆信源X ,其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面,一是 ,二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件:一、 ; 二、 。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100,则该信道的信道容量C=__________。

10、根据是否允许失真,信源编码可分为 和 。

11、信源编码的概率匹配原则是:概率大的信源符号用 ,概率小的信源符号用 。

(填短码或长码)12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

16、对于密码系统安全性的评价,通常分为 和 两种标准。

17、单密钥体制是指 。

信息论与编码期末复习试题含参考答案

信息论与编码期末复习试题含参考答案

信息论与编码期末复习试题含参考答案在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。

要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码,然后_____加密____编码,再______信道_____编码,最后送入信道。

带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。

保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。

已知n =7的循环码,则信息位长度k 为 3 ,校验多项式h(x)= 。

设输入符号表为X ={0,1},输出符号表为Y ={0,1}。

输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=。

已知用户A 的RSA 公开密钥(e,n )=(3,55),,则 log(1)C W SNR =+42()1g x x x x =+++31x x ++1001⎡⎤⎢⎥⎣⎦1010⎡⎤⎢⎥⎣⎦5,11p q ==()φn =40 ,他的秘密密钥(d,n )=(27,55) 。

若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。

二、判断题可以用克劳夫特不等式作为唯一可译码存在的判据。

(√ ) 线性码一定包含全零码。

(√ )算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的编码,是以另外一种形式实现的最佳统计匹配编码。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

上海大学2011~2012学年度冬季学期试卷(A卷)
课程名:信息论与编码课程号: 07276033学分: 4
应试人声明:
我保证遵守《上海大学学生手册》中的《上海大学考场规则》,如有考试违纪、作弊行为,愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。

应试人应试人学号应试人所在院系
题号 1 2 3 4
得分——————————————————————————————————————一:填空题(每空2分,共40分)
1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位)
2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________.
3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________.
4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________.
5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性.
6:若某信道的信道矩阵为












001
100
010
100
,则该信道为具有____归并____性能的信道
7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________.
9:若循环码的生成多项式为1
)
(2
3+
+
=x
x
x
g,则接收向量为(1111011)的伴随多项式为_______________
10:对有32个符号的信源编4进制HUFFMAN码,第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为:00000,10101,01111,11010,则该码为(____,_____),该码最多可以纠正_______位错误,共有________陪集.
12:码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位.
13:(7,4)汉明码的一致校验矩阵为










1,0,1,0,1,
,1
0,1,1,0,0,
,1
0,0,0,1,1,
,1
3
2
1
r
r
r
,则3
2
1
r r r
为__________.
_______________________________________________________________
草稿纸
成绩
二;计算分析题(共60分)
1:(本题满分18分)某离散无记忆信道的信源分布为p(0)=0.75,p(1)=0.25,传送
时0错成1的概率为0.1, 0错成2的概率为0.2, 1错成0的概率为0.1, 1错成
2的概率为0.2,其余则正确传送。

1:写出信道矩阵。

2:求此信道的噪声熵,疑义度,信息传输率。

3:求此信道的信道容量与最佳分布。

草稿纸
2:(本题满分21分)设有一个二元一阶马尔科夫信源,信源的符号集为0和1,已知
条件概率为p(0/0)=0.25, P(0/1)=0.5
计算该信源的状态极限概率分布与极限熵
用3个符号合成一个来编2进制HUFFMAN码,要求有具体的编码过程,再求新符号的平
均码字长度和编码效率。

草稿纸
3:(本题满分21分)已知(7,4)循环码生成的多项式为
1)(3
++=x x x g 求:
1:一致校验矩阵(升幂) 2:该码的纠检错能力如何 3:求信息1101对应的系统码字
4:画出该码的r 级系统码编码电路,给出电路的工作过程 5:若接收序列为11111110011011,请检错 6:求该码的对偶码的生成矩阵的标准式S G
草稿纸。

相关文档
最新文档