信息论与编码试题集与答案(新)
信息论与编码试题集与答案(新)
一填空题(本题20分,每小题2分)1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下:5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。
6、只要,当N足够长时,一定存在一种无失真编码。
7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位,可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下:5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。
6、只要,当N足够长时,一定存在一种无失真编码。
7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位,可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题集与答案
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 已知n =7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。
四、计算题1.已知(),X Y 的联合概率(),p x y 为: 求()H X ,()H Y ,(),H X Y ,();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统(7,4)码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为:231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3(1)求对应的生成矩阵和校验矩阵; (2)计算该码的最小距离;(3)列出可纠差错图案和对应的伴随式; (4)若接收码字R =1110011,求发码。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分,信源可以分为(有记忆信源)和(无记忆信源)2.连续信源的熵是(无穷大),不再具有熵的物理含义。
3.对于有记忆离散序列信源,需引入(条件熵)描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时,符合(正态)分布才具有最大熵,最大熵是(1/2ln(2 ⅇ 2))。
4.数据处理过程中信息具有(不增性)。
5.信源冗余度产生的原因包括(信源符号之间的相关性)和(信源符号分布的不均匀性)。
6.单符号连续信道的信道容量取决于(信噪比)。
7.香农信息极限的含义是(当带宽不受限制时,传送1bit信息,信噪比最低只需-1.6ch3)。
8.对于无失真信源编码,平均码长越小,说明压缩效率(越高)。
9.对于限失真信源编码,保证D的前提下,尽量减少(R(D))。
10.立即码指的是(接收端收到一个完整的码字后可立即译码)。
11.算术编码是(非)分组码。
12.游程编码是(无)失真信源编码。
13.线性分组码的(校验矩阵)就是该码空间的对偶空间的生成矩阵。
14.若(n,k)线性分组码为MDC码,那么它的最小码距为(n-k+1)。
15.完备码的特点是(围绕2k个码字、汉明矩d=[(d min-1)/2]的球都是不相交的每一个接受吗字都落在这些球中之一,因此接收码离发码的距离至多为t,这时所有重量≤t的差错图案都能用最佳译码器得到纠正,而所有重量≤t+1的差错图案都不能纠正)。
16.卷积码的自由距离决定了其(检错和纠错能力)。
(对)1、信息是指各个事物运动的状态及状态变化的方式。
(对)2、信息就是信息,既不是物质也不是能量。
(错)3、马尔可夫信源是离散无记忆信源。
(错)4、不可约的马尔可夫链一定是遍历的。
(对)5、单符号连续信源的绝对熵为无穷大。
(错)6、序列信源的极限熵是这样定义的:H(X)=H(XL|X1,X2,…,XL-1)。
(对)7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分,信源可以分为(有记忆信源)和(无记忆信源)2.连续信源的熵是(无穷大),不再具有熵的物理含义。
3.对于有记忆离散序列信源,需引入(条件熵)描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时,符合(正态)分布才具有最大熵,最大熵是(1/2ln (2πⅇσ2))。
4.数据处理过程中信息具有(不增性)。
5.信源冗余度产生的原因包括(信源符号之间的相关性)和(信源符号分布的不均匀性)。
6.单符号连续信道的信道容量取决于(信噪比)。
7.香农信息极限的含义是(当带宽不受限制时,传送1bit信息,信噪比最低只需-1.6ch3)。
8.对于无失真信源编码,平均码长越小,说明压缩效率(越高)。
9.对于限失真信源编码,保证D的前提下,尽量减少(R(D))。
10.立即码指的是(接收端收到一个完整的码字后可立即译码)。
11.算术编码是(非)分组码。
12.游程编码是(无)失真信源编码。
13.线性分组码的(校验矩阵)就是该码空间的对偶空间的生成矩阵。
14.若(n,k)线性分组码为MDC码,那么它的最小码距为(n-k+1)。
15.完备码的特点是(围绕2k个码字、汉明矩d=[(d min-1)/2]的球都是不相交的每一个接受吗字都落在这些球中之一,因此接收码离发码的距离至多为t,这时所有重量≤t的差错图案都能用最佳译码器得到纠正,而所有重量≤t+1的差错图案都不能纠正)。
16.卷积码的自由距离决定了其(检错和纠错能力)。
(对)1、信息是指各个事物运动的状态及状态变化的方式。
(对)2、信息就是信息,既不是物质也不是能量。
(错)3、马尔可夫信源是离散无记忆信源。
(错)4、不可约的马尔可夫链一定是遍历的。
(对)5、单符号连续信源的绝对熵为无穷大。
(错)6、序列信源的极限熵是这样定义的:H(X)=H(XL|X1,X2,…,XL-1)。
(对)7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1.信息是( b )a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2.下列表达式哪一个是正确的(e )a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3.离散信源序列长度为L ,其序列熵可以表示为( b )a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内,则连续信源为( c ),具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5.对于平均互信息);(Y X I ,下列说法正确的是( b )a. 当)(i x p 一定时,是信道传递概率)(i j x y p 的上凸函数,存在极大值b. 当)(i x p 一定时,是信道传递概率)(i j x y p 的下凸函数,存在极小值c.当)(i j x y p 一定时,是先验概率)(i x p 的上凸函数,存在极小值d.当)(i j x y p 一定时,是先验概率)(i x p 的下凸函数,存在极小值 6.当信道输入呈( c )分布时,强对称离散信道能够传输最大的平均信息量,即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时,可以通过以下哪些方法提高抗干扰性(b d ) a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道,接收符号为Y={y 1,y 2},信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求:(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
(完整版)信息论与编码试题集
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
(√ )2. 线性码一定包含全零码。
(√ )3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。
(×)4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。
(×)5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
(×)6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。
信息论与编码试题集与答案
信息论与编码试题集与答案1. 在⽆失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须⾸先信源编码,然后_____加密____编码,再______信道_____编码,最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的⾹农公式是log(1)C W SNR =+;当归⼀化信道容量C/W 趋近于零时,也即信道完全丧失了通信能⼒,此时E b /N 0为 -1.6 dB ,我们将它称作⾹农限,是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩,密钥熵H (K )就越⼩,其密⽂中含有的关于明⽂的信息量I (M ;C )就越⼤。
5. 已知n =7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ={0,1},输出符号表为Y ={0,1}。
输⼊信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001??;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息,则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
(√ )2. 线性码⼀定包含全零码。
(√ )3. 算术编码是⼀种⽆失真的分组信源编码,其基本思想是将⼀定精度数值作为序列的编码,是以另外⼀种形式实现的最佳统计匹配编码。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码试卷及答案
一、(11')填空题(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
(2)必然事件的自信息是0 。
(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍.(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。
(5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为3 。
(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。
(8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1。
6米以上的,而女孩中身高1。
6米以上的占总数的一半。
假如我们得知“身高1。
6米以上的某女孩是大学生”的消息,问获得多少信息量?解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则P(A)=0。
25 p(B)=0.5 p(B|A)=0。
75 (2分)故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0。
25/0。
5=0。
375 (2分)I(A|B)=—log0.375=1。
42bit (1分)四、(5')证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)—H(XY)证明:(2分)同理(1分)则因为(1分)故即(1分)五、(18')。
黑白气象传真图的消息只有黑色和白色两种,求:1)黑色出现的概率为0。
信息论与编码习题参考答案(全)
111
(1)在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0);
(2)在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0);
(3)在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01);
(4)从码字W4=011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞;
(3)求当p=0,p=1时的信息熵,并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S:{S1S2S3},符号集X:{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明:对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i,j=1,2,…,r,都有pij(n0)>0,则对每个j=1,2,…,r都存在状态极限概率:
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为:
信息论与编码作业答案(新)超全
信息论与编码作业答案(新)超全篇一:信息论与编码姜丹第三版答案信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是74页,的(1)(5),,,,,还有证明熵函数的连续性、扩展性、可加性同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:11样本空间:N?c6c6?6?6?36n12??I(a)??logP1?log18?(2)P2?2??I(a)??logP2?log36?N36(1)P1?(3)信源空间:?log?6??log36? 36236?H(x)?15?2436636836?log36+?log??log??log36362363364 1036636??log+?log?365366n1136(5) P3?3??I(a)??logP3?log?N3611?H(x)?如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。
(1)若仅有质点A,求A落入任一方格的平均信息量;(2)若已知A已落入,求B落入的平均信息量;(3)若A,B是可辨认的,求A,B落入的平均信息量。
解:1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848?H(a)P(ai)logP(ai)?log48?i?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47?H(b)P(bi)logP(bi)?log47?i?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847H(ABi)P(ABi)logP(ABi)?log(48?47)?从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码考试试题
信息论与编码考试试题一、选择题(每题 5 分,共 30 分)1、以下关于信息熵的说法,错误的是()A 信息熵是对信息不确定性的度量B 信息熵越大,信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为{A, B, C, D},对应的概率分别为 1/2, 1/4, 1/8, 1/8,则该信源的熵为()A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长()信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中,出现概率越大的符号,编码长度()A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码()A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道,其信道容量与()有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题(每题 5 分,共 30 分)1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ={02, 03, 01, 04},则信源的熵为__________比特/符号。
3、香农第一定理指出,对于离散无记忆平稳信源,当信源熵小于信道容量时,可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01,则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101},其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题(每题 10 分,共 20 分)1、简述信息熵的物理意义,并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于,熵越大,说明信源的不确定性越大,需要更多的信息来消除这种不确定性。
例如,抛硬币的结果只有正反两面,其概率各为 05。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码试题集与答案(新)
一填空题(本题20分,每小题2分)1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下:5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。
6、只要,当N足够长时,一定存在一种无失真编码。
7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位,可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码填空题(新)
信息论与编码填空题(新)1.在无失真的信源中,信源输出由H(X)来度量;在有失真的信源中,信源输出由R(D) 来度量。
2.要使通信系统做到传输信息有效、可靠和保密,必须首先信源编码,然后_加密_编码,再_信道编码,最后送入信道。
3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是=+;当归一化信道容量C/W趋近于零C W SNRlog(1)时,也即信道完全丧失了通信能力,此时E b/N0为 -1.6 dB,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4.保密系统的密钥量越小,密钥熵H(K)就越小,其密文中含有的关于明文的信息量I(M;C)就越大。
5.已知n=7的循环码42g x x x x=+++,则信息位长()1度k为 3 ,校验多项式h(x)= 31++。
x x6.设输入符号表为X={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p=(1/2,1/2),失真函数为d(0,0) = d(1,1) = 0,d(0,1) =2,d(1,0) = 1,则D min= 0 ,R(D min)= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。
1.设X的取值受限于有限区间[a,b ],则X 服从 均匀 分布时,其熵达到最大;如X 的均值为μ,方差受限为2σ,则X 服从 高斯 分布时,其熵达到最大。
2.信息论不等式:对于任意实数0>z ,有1ln -≤z z ,当且仅当1=z 时等式成立。
信息论与编码试卷及答案(DOC)
一、(11’)填空题(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
(2)必然事件的自信息是0 。
(3)离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。
(5)若一离散无记忆信源的信源熵H (X )等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为3 。
(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。
(8)设有一离散无记忆平稳信道,设有一离散无记忆平稳信道,其信道容量为其信道容量为C ,只要待传送的信息传输率R__小于___C (大于、小于或者等于),则存在一种编码,当输入序列长度n 足够大,足够大,使译码错误概率任意小。
使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5¢)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?解:设解:设A A 表示“大学生”这一事件,表示“大学生”这一事件,B B 表示“身高表示“身高1.601.601.60以上”这一事件,则以上”这一事件,则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ((2分)故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ((2分) I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit ((1分)四、(5¢)证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明:(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; ((2分)分)同理同理()()()X Y H Y H Y X I -=; ((1分)分) 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += ((1分)分) 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; ((1分)分)五、(18’).黑白气象传真图的消息只有黑色和白色两种,求:黑白气象传真图的消息只有黑色和白色两种,求:1) 黑色出现的概率为0.3,白色出现的概率为0.7。
信息论与编码理论(最全试题集+带答案+各种题型)
答:抗干扰能力强,中继时可再生,可消除噪声累计;差错可控制,可改善通信质量;便于加密和使用DSP处理技术;可综合传输各种信息,传送模拟系统时,只要在发送端增加莫属转换器,在接收端增加数模转换器即可。
7.简述信息的性质。
答:存在普遍性;有序性;相对性;可度量性;可扩充性;可存储、传输与携带性;可压缩性;可替代性;可扩散性;可共享性;时效性;
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.(D)是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三.简答(
1.通信系统模型如下:
2.信息和消息的概念有何区别?
答:消息有两个特点:一是能被通信双方所理解,二是能够互相传递。相对于消息而言,信息是指包含在消息中的对通信者有意义的那部分内容,所以消息是信息的载体,消息中可能包含信息。
31.简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32. 的后验概率与先念概率的比值的对数为 对 的互信息量。
33.在信息论中,互信息量等于自信息量减去条件自信息量。
34.当X和Y相互独立时,互信息为0。
35.信源各个离散消息的自信息量的数学期望为信源的平均信息量,也称信息熵。
第一章
一、填空(
1.1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
2.按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。
3.按照信息的地位,可以把信息分成客观信息和主观信息。
4.人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
"1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 已知n =7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。
6. ?7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
( )2. 线性码一定包含全零码。
( )3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。
(×)4. "5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。
(×)6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
(×)7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。
( )8. 循环码的码集中的任何一个码字的循环移位仍是码字。
( )9. 信道容量是信道中能够传输的最小信息量。
(×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
(×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方法叫做最佳译码。
( )三、计算题某系统(7,4)码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为:231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ (1)求对应的生成矩阵和校验矩阵;$(2)计算该码的最小距离;(3)列出可纠差错图案和对应的伴随式; (4)若接收码字R =1110011,求发码。
解:1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.S E ; 000 0000000 001 0000001 010 ******* 100 0000100 | 101 0001000111 0010000 011 0100000 1101000000】4. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)四、计算题已知(),X Y 的联合概率(),p x y 为: 求()H X ,()H Y ,(),H X Y ,();I X Y)解: (0)2/3p x == (1)1/3p x ==01X Y011/31/301/3(0)1/3p y == (1)2/3p y ==()()(1/3,2/3)H X H Y H === bit/symbol (),(1/3,1/3,1/3)H X Y H == bit/symbol ();()()(,)I X Y H X H Y H X Y =+-= bit/symbol五、计算题一阶齐次马尔可夫信源消息集},,{321a a a X ∈,。
状态集},,{321S S S S ∈,且令3,2,1,==i a S i i ,条件转移概率为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=03132313131214141)/(i j S a P ,(1)画出该马氏链的状态转移图; (2)计算信源的极限熵。
解:(1)$(2)⎪⎪⎩⎪⎪⎨⎧=++=+=++=++1321323112123312311411332231141w w w w w w w w w w w w w w →⎪⎩⎪⎨⎧===3.03.04.0321w w wH(X|S 1) =H (1/4,1/4,1/2)=比特/符号*H(X|S 2)=H (1/3,1/3,1/3)=比特/符号H(X|S 3)=H (2/3,1/3)= 比特/符号()3|0.4 1.50.3 1.5850.30.918 1.3511Hw H X S i ii ==⨯+⨯+⨯=∑∞=比特/符号六、计算题若有一信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.08.021x x P X ,每秒钟发出个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 (假设信道是无噪无损的,容量为1bit/二元符号), —而信道每秒钟只传递2个二元符号。
(1) 试问信源不通过编码(即x 10,x 21在信道中传输) (2) 能否直接与信道连接(3) 若通过适当编码能否在此信道中进行无失真传输 (4) 试构造一种哈夫曼编码(两个符号一起编码),(5) 使该信源可以在此信道中无失真传输。
解:1.不能,此时信源符号通过0,1在信道中传输,二元符号/s>2二元符号/s ¥2. 从信息率进行比较, *(0.8,0.2)H = < 1*2可以进行无失真传输?3.410.640.16*20.2*3i i i K p K ===++=∑ 二元符号/2个信源符号此时 2*=二元符号/s < 2二元符号/s(七、计算题x 1x 1x 1x 2x 2x 1x 2x 2 0.640.160.16 10111001010.64 0.20.161010.36010εε1ε-1ε-两个BSC 信道的级联如右图所示: (1)写出信道转移矩阵; (2)求这个信道的信道容量。
解: (1)22122211(1)2(1)112(1)(1)P PP εεεεεεεεεεεεεεεε--⎡⎤-+-⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥----+⎣⎦⎣⎦⎣⎦'(2)22log 2((1))C H εε=--+信息理论与编码试卷A答案中南大学考试试卷200 -- 2010 学年 上学期期末考试试题 时间100分钟信息论基础 课程 32 学时 学分 考试形式: 闭 卷专业年级: 通信07级 总分100分,占总评成绩70%注:此页不作答题纸,请将答案写在答题纸上一填空题(本题20分,每小题2分)1 无失真信源编码的中心任务是编码后的信息率压缩接近到 1 限失真压缩中心任务是在给定的失真度条件下,信息率压缩接近到2 。
.2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学,故称为 3 ;1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用熵对信源的 4 的度量,同时也是衡量 5 大小的一个尺度;表现在通信领域里,发送端发送什么有一个不确定量,通过信道传输,接收端收到信息后,对发送端发送什么仍然存在一个不确定量,把这两个不确定量差值用 6 来表示,它表现了通信信道流通的 7 ,若把它取最大值,就是通信线路的 8 ,若把它取最小值,就是 9 。
3 若分组码H 阵列列线性无关数为n,则纠错码的最小距离d min 为 10 。
二 简答题 (本题20分,每小题4分)1. 根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗2. 我们知道,“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备,它可以在一个音频电话线上传输二进制数据,并且没有太高的错误率。
现在,我们上网用的“猫”的速度已可达到56Kbps 了,但是,如果你用网络蚂蚁或其它软件从网上下载东西时,你会发现很多时候网络传输的速度都很低,远低于56Kbps (通常音频电话连接支持的频率范围为300Hz 到3300Hz ,而一般链路典型的信噪比是30dB )(摘自中新网)3. 结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.4. 用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣?(1) (2)5. 新华社电,2008年 5月16日下午6时半,离汶川地震发生整整100个小时。
虚弱得已近昏迷的刘德云被救援官兵抬出来时,看到了自己的女儿。
随即,他的目光指向自己的左手腕。
女儿扑上去,发现父亲左手腕上歪歪扭扭写着一句话:“我欠王老大3000元。
” 请列出上面这段话中 信号、 消息、 信息。
三 计算编码题(本题60分)1. 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%。
(10分)(1) 若问一位女士:“你是否是色盲”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量从计算的结果得出一个什么结论 (2) ~ (3) 如果问一位女士,问她回答(是或否)前平均不确定性和回答(是或否)后得到的信息量各为多少2.黑白气象传真图的消息只有黑色和白色两种,即信源X ={黑,白}。
设黑色出现的概率为P(黑) = ,白色出现的概率为P(白) = 。
(10分)(1) 假设图上黑白消息出现前后没有关联,求信源的H ∞熵;(2) 假设消息只前后有关联,其依赖关系为P(白/白) = ,P(黑/白) = ,P(白/黑) = ,P(黑/黑) = ,求信源的H ∞熵;(3) 比较上面两个H ∞的大小,并说明其物理含义。
3. 离散无记忆信源 P(x1)=8/16; P(x2)= 3/16; P(x3)= 4/16; P(x4)=1/16;(10分)(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率; (2) 对信源编二进制哈夫曼码,并计算平均码长和编码效率。