西安电子科技大学2012信息论与编码期末考试试题

所需最小码长为 N log 2 M / log 2 D ， 因为是二元码所以 D＝2
N log 2 M 18
④ 首先求信源发出一源符组，有码字与之对应的概率。由题
意，只有当源符组含有 3 个“1”或少于 3 个“1”时，才有码 字与之对应。因此有码字的概率为
0 1 Pc C100 P(0)100 P(1) 0 C100 P (0)99 P(1)1 2 3 C100 P(0) 98 P(1) 2 C100 P (0)97 P(1)3
3． （15 分）一信源产生概率为 P (1) 0.005 , P(0) 0.995 的统计独立二进制
数符。 这些数符组成长度为 100 的数符组。 我们为每一个含有 3 个或少于 3 个 “1” 的源数符组提供一个二进制码字，所有码字的长度相等。 ① 求出为所规定的所有源符组都提供码字所需的最小码长。 ② 求信源发出一数符组，而编码器无相应码字的概率. 4． （15 分） 求 下 图 中 DMC 的 信 道 容 量 。 如 果 输 入 分 布 为 {p(x=0)=1/2 ， p(x=1)=1/4，p(x=2)=1/4） ，试求输入的信息熵和经过该信道的输入、输出间的平 均互信息量。 1/3 1/3 1/3 1/3
Y2 {1111,1110,1101,1011,0111} Y3 {0011,1100,0110,1001,1010,0101} 试
给出译码错误概率和有错而不能判决的概率。
7． （10 分）对于任意概率事件集 X、Y、Z，证明下述三角不等式 成立 H(X|Y) + H(Y|Z) ≥ H(X|Z)
0
0 1 2 3
1 1/3 1/3 1/3 1/3 2 1/3
5． （ 15 分 ） 设 二 元 （ 7, 4 ） 线 性 分 组 码 的 生 成 矩 阵 为 1 0 G 1 1 1 1 1 0 0 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1
所以原命题得证。
2． （15 分）已知一个信源包含八个符号消息,它们的概率分布如下表,
A 0.1 B 0.18 C 0.4 D 0.05 E 0.06 F 0.1 G 0.07 H 0.04
① 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。 ② 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 ③ 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。若 接收矢量 v (0001011) ，试计算出其对应的伴随式 S 并按照最小距离译码准则 试着对其译码。
6． （15 分）证明最小错误概率译码与最大似然译码在先验等概的条件下
等价。设 M＝2 且两个消息等概，令 x1 (0000) ， x 2 (1111) 。通过信道转移 概率 p<1/2 的信道传输。若将译码区间分为 Y1 {0000,0001,0010,0100,1000}
x
又因为 H(Y)= p ( y ) log 2 p ( y ) = 1+ 1/6log6 + 1/3log3
y
H(XY) = p( xy ) log 2 p ( xy )
xy
= log6 + 1/2 所以 I(X, Y) = H(X) + H(Y) － H(XY) = 7/6 － 1/2log3 5．该码的一致校验矩阵为
b. 因为，S/N=63 C = Wlog2(1+S/N) = 6W 所以，W ＝ 6C ＝20.9 MHz 2.
④ H(X) = －∑p(x)logp(x) = 2.552 bits/符号。由于每秒中只有 一个符号，所以传输速率 R = H = 2.552 bits/S ⑤ 各符号对应的码组如下： A―100； B―110； C―0； D―11101； E－1010； F－1111； G－1011； H－11100。 平均码长 N ＝ ∑PiNi ＝0.4*1 + 0.28*3 + 0.23*4 + 0.09*5 = 2.61 编码效率 η ＝ H(X)/N = 97.79% ⑥ 各符号对应的码组如下： A―11； B―12； C―2； D―022；E －00； F－10； G－01； H－021。 平均码长 N ＝ ∑PiNi ＝0.4*1 + 2*0.51 + 3*0.09 = 1.69 编码效率 η ＝ H(X)/N = 95.28%
0.606 0.304 0.075 0.012 0.99833
无码字与之对应的概率为 Pe 1 Pc 1 0.99833 0.00167
4． 由图可知，该信道的转移概率矩阵如下
Y=2 Y=3 X=0 0 1/3 X=1 0 1/3 1/3 1/3 X=2 1/3 0 1/3 1/3 易知该信道是一个准对称信道，则当输入为等概分布时
1 0 0 1 0 1 1 H ＝ 0 1 0 1 1 1 0 0 0 1 0 1 1 1
因为二元（7，4）码的纠错范围是 7 个一位错，所以各陪集首和与之 相对应的 S 如下： e = 0000001――S=101 e = 0000010―― S =111 e = 0000100――S=011 e = 0001000―― S =110 e = 0010000――S=001 e = 0100000―― S =010 e = 1000000――S=100 当 V＝0001011 的时候，S＝100，对照最小距离译码准则与 S 和 e 之间 的关系表，可知，e＝1000000。所以 C ＝ e ＋ V ＝ 1001011
当收到的序列属于 Y3 时无法判定为 X1 或 X2，但此时 必然有错误发生。所以，有错而不能判决的概率为：
Pe 6 P 2 (1 P ) 2
7．证：因为 H ( X | YZ ) H ( X | Y ) ，所以：
H ( X | Z ) H ( X | Y ) H ( X | Z ) H ( X | YZ ) I ( X ,Y | Z ) H (Y | Z ) H (Y | XZ ) H (Y | Z )
1.（15 分） 彩色电视显象管的屏幕上有 5×105 个象元，设每个象元有 64 种彩色度， 每种彩度又有 16 种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概 率出现并且各个组合之间相互独立。 ① 计算每秒传送 25 帧图象所需要的信道容量； ② 如果在加性高斯白噪声信道上信号与噪声平均功率的比值为 63， 为实时传送 彩色电视的图象，信道的带宽应为多大？
6．令信道输入为 xm 时输出 y 的转移概率为 PN(y|xm)，则最小 错误概率译码实际上为最大后验概率译码
P(m | y )
M Q(m) PN ( y | x m ) 其中 w( y ) Q(m) PN ( y | x m ) w( y ) m 1
对 于 给 定 的 y 和 所 有 的 m ， 其 w(y) 必 然 相 同 ， 所 以 p(m | y ) p (m ' | y ) 就可化为比较如下式子
1. a. 每种彩色度和亮度层次组合的概率 P =1/(64*16)。每个彩色像元 的自信息量 I1=log 1/P = 10 bits/每像元。 每帧彩色图像的信息量 I2= 10*5*105 = 5*106 bit/帧。因为每秒有 25 帧图像，所以 ，所需的信道 容量至少为 C ＝ 5*106*25 = 1.25 * 108 bits
3．
③ 含有 1 个“ 1”的个数为 C100 100 ； 不含有“ 1”的个数为
0 C100 1； 2 1
含有 2 个“ 1 ”的个数为 C100 4950 ；含有 3 个“ 1 ”的个数为
3 C100 161700 ；所以，含有 3 个“1”或少于 3 个“1”的源符组个数
为 M = 1+100+4950+161700 = 166751
3
Y=0 1/3
Y=1 1/3
C = I(x=0, Y) =
P( j | 0) log 1
j 0
p ( j | 0)
2 i0
p( j | i ) 3
3
=
P( j | 0) log
j 0
p ( j | 0) w( j )
因为 W(0) = 1/3 [1/3 + 1/3] = 2/9 W(1) = 1/3[1/3 +1/3] = 2/9 W(3) = 1/3[1/3+1/3+/13] = 1/3 1 1 1 1 1 1/ 3 所以 C log 3 log 3 log = 2/3log3/2 bits 2 3 2 3 3 1/ 3 9 9 当 p(x=0) = 1/2, p(x=1) = 1/4, p(x=2) = 1/4 时: H(X) = p ( x) log 2 p ( x) =3/2 bits
Q(m) PN ( y | x m ) Q(m ' ) PN ( y | x m' ) 则 当 先 验 等 概 时
Q(m)=Q(m’)上式进一步化为 PN ( y | x m ) PN (源自文库y | x m ' ) ，此即最 大似然译码。 所以，当先验等概时，最小错误概率译码与最大似然 译码是等价的。 因为 M＝2 且输入等概，所以由题可知，当收到 Y2 判为 X1 时 应为错，同理，收到 Y1 区间中任一序列，判为 X2 也为错。这 样： Pe Pe1 Pe 2 P 4 4 P 3 (1 p )