西安电子科技大学2011信息论与编码期末考试试题

1 0 1 1 1 0 0 G= 0 1 1 1 0 1 0 。 1 1 0 1 0 0 1
（1）求该码的一个校验矩阵 H。 （2）求该码的最小码距离。 （3）写出以 s=(1, 1, 1, 1) 为伴随式的所有向量，并求出对应的陪 集首 e(s)。
六（10 分）时间离散的可加高斯噪声信道，限定输入平均功率的上限 为 S， 噪声服从高斯分布 N (0, 2 ) 。 证明： 信道容量为 C 最佳输入分布为高斯分布 N (0, S ) 。
一（15 分） 设随机变量 X 和 Y 的联合分布如下所示： X X ,Y ~ 0 1 Y 1 0.4 0.1 0.1 0.4 0
随机变量 Z=X Y，式中 为模 2 加。试分别求 H ( X ) ， H (Y ) ，
I ( X ;Y ) ， H ( X Z ) 。
（2）写出与伴随式(111)对应的所有接收矢量。 （3）若接收矢量 1011000，试根据最小距离译码准则进行译码。 （4）若通过转移概率为 p 的 BSC 传送，求最小距离译码准则下的平均错误译 码概率 pe 及不可检错误概率 pud。 五（15 分）离散无记忆信道转移矩阵如下所示
1 / 3 1 / 3 0 1 / 3 P 0 1 / 3 1 / 3 1 / 3 1 / 3 0 1 / 3 1 / 3
一（30 分）基本概念题 （1）请给出信道疑义度、信道散布度的定义及其含义。 （2）请给出熵功率的定义式，并与平均功率进行数值大小比较。 （3）简述信息处理定理，并说明其含义。 （4）解释说明最大似然准则和和最大后验概率准则之间的关系。 （5）请判断正误，并说明理由： 以 R=105bit/s 的速率通过一个带宽为 20KHz、信噪比为 140 的连续信道 传送数据，一定是可行的。 （6）请定性画出离散信源和连续信源的率失真函数 R(D)曲线
H (P1 (1 )P2 ) H (P1 ) (1 ) H (P2 )
六（15 分）设二元(7,4)线性分组码的生成矩阵为
1 0 G 0 0
（1）计算最小汉明距离。
1 0 0 1 0 1 1 0 0 0 1 1 0 1 0 1 1 1 0 1 1 0 1 0
1 S log1 2 ， 2
七 （ 10 分 ） 证 明 H K (P ) 是 概 率 矢 量 P P 1 , P2 , , PK 的 上 凸 函 数 。 即 对
0 1 和矢量 P1 ( p11 , p12 , , p1K ) 、 P2 ( p 21 , p 22 , , p 2 K ) ，证明：
信源输入概率依次为 1/2,1/4,1/4。 （1）求输入输出之间的平均互信息 I ( X ; Y ) 。 （2）求信道容量 C。
四（10 分）设二元信源的字母概率为 p (0)
1 3 ， p (1) 。若信源输出序列为 4 4
1011 0111 1011 0111，试对其进行 LZ 编码并计算其编码效率。 三（10 分）令离散无记忆信源
二（15 分） （1）一个信源随机变量有 7 个事件，且其二元 huffman 编码和 二元 Shannon-Fano 编码的平均码长相同。试写出该信源随机变 量的一种概率分布。 （2）二元(9, 5)线性分组码的最小码距离 dmin 不会超过多少？为 什么？ （3）连续信道中的可加噪声信道，当未知噪声统计特性时，通 常将其假设为高斯分布，为什么？ a 2 a3 a 4 a 5 a 6 a 7 a 三 （15 分） DMS 的一维概率分布为 1 。 0.1 0.1 0.1 0.1 0.1 0.2 0.3 对其进行五元 Huffman 编码，并给出平均码长和编码效率。 四（15 分）DMC 的输入事件集为{0, 1}，输出事件集为{0, ？, 1}（其 中“？”称为删除） ，转移概率矩阵为如下，求信道容量和最佳输入分 布。 0.9 0.1 0 0 0.1 0.9 如果二元线性分组码的生成矩阵为试问可以恢复几个删除？为 什么？
1 0 1 1 0 0 G 1 1 0 0 1 0 0 1 1 0 0 1
五（15 分）设一个长为 16 的信息序列为 1110111011101110。对其进行 二元 LZ 编码，并给出编码速率。能否近似计算编码效率？
六 （ 15 分 ） 二 元 （ 7 ， 3 ） 线 性 分 组 码ຫໍສະໝຸດ Baidu， 其 生 成 矩 阵 为
a1 a 2 a3 a 4 a 5 a 6 U 0.3 0.2 0.15 0.15 0.1 0.1
试求 U 的最佳三元码以及相应的平均码长和编码效率。
二（10 分）设有一批电阻，按阻值分 70%是 2 千欧姆，30%是 5 千欧姆；按瓦数 分 64%是 0.125 瓦， 36%是 0.25 瓦。 现已知 2 千欧姆阻值中的电阻 80%是 0.125 瓦，问通过测量阻值可以得到多少关于瓦数的信息量？