信息论与编码习题与答案第四章
信息论与编码第四章习题参考答案

4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码,分别计算最短平均码长和编码效率。
解:信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时,序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数,取L1=9比特/符号,平均每个符号的码长为9.0NL L 11==比特/符号 所以编码效率为%9.97L )(H 11==X η 当N=100时,序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号,平均每个符号的码长为89.0NL L 22==比特/符号 编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为,允许错误概率为,求编码序列的长度。
解:信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-)2.0(2.0)8.0(8.0D 222=+=lb lb采用二进制码进行等长编码,序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码,而允许译码错误概率为,求编码序列的长度。
(2) 如果采用序列变长编码,求编码序列的长度,并且与(1)比较,说明为什么会有这样的结果。
解1)信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-)25.0(25.0)75.0(75.0D 222=+=lb lb采用二进制编码,序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2)对信源进行二次扩展,并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号 每个符号码长为84375.026875.12L L ===比特/符号 编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码,概率越大,序列的码长越短,概率越小,序列的码长越长,所以相对等长编码而言,变长编码的平均码长很短。
《信息论与编码》习题解答-第四章(新)

《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真:εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0210d , 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ,0)(max =D R因为取的是第二列的max D 值,所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解:0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ,bit X H R D R 24log )()0()(min ==== 因为没有失真,此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ,0)(max =D R因为任何一列的max D 值均为3/4,所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ,即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解: 依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=4/1014/110d , 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ,0)(max =D R因为取的是第三列的max D 值为1/4,所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ,即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解:(1)依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率为:⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数,所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ,此时0=D(3) ∑-=⨯+⨯===iji i j j ,p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数,所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ,此时p D -=1(图略,见课堂展示)4.6解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡∞∞=1010d ,信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ,∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个,∞=∞∞=10≤≤D因为二元等概信源率失真函数:⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ,所以率失真函数为:D D R -=1)(4.7解:失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ,按照P81页方法求解。
信息论与编码习题与答案第四章

4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ,通过一个二进制对称信道(BSC )。
其失真函数ij d 与信道转移概率ij p 分别定义为j i j i d ij =≠⎩⎨⎧=,0,1 ,j i j i p ij =≠⎩⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。
解:由题意得,失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ,信道转移概率矩阵为P ⎥⎦⎤⎢⎣⎡--=εεεε11)(i j 平均失真为εεεεε=⨯-+⨯+⨯+⨯-==∑0)1(211211210)1(21),()()(,j i d i j p i p D ji 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3},且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。
解:由题意,得 0min =D则symbol bit X H R D R /24log )()0()(2min ====这时信源无失真,0→0,1→1,2→2,3→3,相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010*********)j (i P ∑===303,2,1,0max ),()(min i j j i d i p D,,141141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=}041141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯, 43}43,43,43,43min{== 则0)(max =D R此时输出概率分布可有多种,其中一种为:p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P4-5 具有符号集{}10,u u U =的二元信源,信源发生概率为:2/10,1)(,)(10≤<-==p p u p p u p 。
信息论与编码第四章课后习题答案

p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ,已知 X ≥ 0 ,其平均值受限,即数学期望为 A ,试求 在此条件下获得的最大熵的最佳分布,并求出最大熵。 解: 给定条件如下:
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数,并计算变量 Y 的熵 h(Y ) 。 解: 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log (2) e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注: (2)题直接借用了(1)的结论。
信息论第四章习题解答

e( x)
1 x x2 x3 x4 x5 x6
0
校验子
s0( x) = 1 s1 ( x) = x s2 ( x) = x2 s3 ( x) = x2 ? 1 s4( x) = x2 ? x ? 1 s5( x) = x ? 1 s6( x) = x2 ? x
s无 (x) = 0
20
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
注:实际上,正反码仅仅用作纠错码 。
8
习题解答
第 4.6 试分析用于电报系统的纠错码 正反码的检错和纠错
四
能力。若已知信道的误码率 Pe = 10- 4 , 求系统的正确接
章
收概率和漏检概率。
抗解 干 扰 二 元 编 码
(2) 当收到的码字无错或者一位错时, 能够正确接收, 因此正确接收的概率为: P正 = (1 - Pe)10 ? C110 Pe (1 - Pe)9 = 0.9999995502 4;
扰 二解 元 编
汉明码序列。
(1) 生成矩阵 [G] =
1000 101 0100 111 0010 110 0001 011
码
(2) 编码序列 1 1 0 1 1 1 0 1 0 0 1
0110 0110001
1010 1010011
14
习题解答
第 4.10 已知 (7, 3) 汉明码的监督矩阵为:
习题解答
第 四 章
抗 干
第四章 习题解答
扰
二
元
编
码
1
习题解答
第 4.1 写出与 10011 的汉明距离为 3 的码字。
四 章
信息论与编码第三版 第4章

p( x)
信息论与编码
3. 根据平均互信息量I(X; Y)达到信道容量的充要条件式对C进行验证:
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为:
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x),由于信道转移概率是确定的,求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知,在p ( y )等概率分布时,H ( Y ) 达到最大,则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
信息论与编码技术第四章课后习题答案

解:(1) D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
(2)根据题4.5,可知R(D)的最大值为H(p),此时q=0,平均失真D=0; (3)R(D)的最大值为0,此时q=1,平均失真D=(1-p); 4.7 设连续信源 X ,其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ,试求: ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式(4)的傅立叶反变换,又根据式(2)得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解:
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ,求 Dmax , Dmin 及信源的 R ( D ) 函数,并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
信息论与编码第四章课后习题答案

∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
(2)
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注:(2)题直接借用了(1)的结论。
【4.3】设有一连续随机变量,其概率密度函数为:
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码第4章习题解答

《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量: 习题4.1图[解] (a )信道概率转移矩阵为−−−−=δεδεεδδε11P , 信道是准对称信道,因此在输入为等概分布时达到信道容量,即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= (b )信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ,0)(=X P 时,5.0)0(==Y P ,25.0)1(==Y P ,25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ; 所以满足定理4.2.2条件,由达到信道容量充要条件可知,信道容量C =1 bit/次(c )信道转移概率矩阵为−−−=εεεεεε101001P ,信道是对称信道,当输入为均匀分布时,即31)2()1()0(======X P X P X P 时,达到信道容量。
《信息论、编码与密码学》课后习题答案

(3)两个码字之间的最小距离等于任何非零码字的最小重量,即
设 ,即 , , , ,
首先证明条件(1):
, , , , , ,
很明显,条件(1)是满足的。条件(2)也是显然成立的。
最后证明条件(3):
不难看出最小距离 ,并且最小重量 ,即
综上,三个条件都满足,那么 就是一个线性码,它的最小距离是2。
0.01
1111
该信源的熵为:
每个组的平均比特数为:
故该码的效率为:
(3)依题意,把符合每三个分成一组,再重新应用霍夫曼编码算法,得:
编码表格如下:
符号对
概率
自信息
码字
0.1250
2.7090
100
0.1000
3.3223
0000
0.1000
3.3223
0001
0.1000
3.3223
110
0.0800
12)这是一个线性码?
解:(1) =
=
=
=
=
=
=
=
此矩阵生成的码为:{00000,01010,10011,11001,10100,11110,00111,01101}
(2)
又在二元情况下,
奇偶校验矩阵可写为:
(4该码的标准阵列
(5)奇偶校验矩阵H的第1、3列的和为零向量,
因此,这个码的最小距离为:d*=2。
3.6443
011
0.0800
3.6443
0100
0.0800
3.6443
0101
0.0640
3.9662
0011
0.0250
5.3223
信息论与编码第4章习题解答

P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ,以及 N 充分大时 2
求该级联信道的容量 C N
,并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4(1)图 级联信道
(2)并联输入信道,把输入 X 并联接到各信道,输出是矢量,当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4(2)图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
(f)信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q , p( X = 1) = 1 − q , 0 < q < 1
王育民信息论与编码理论第四章答案2

4.5若将N 个相同的BSC 级联如题图4.5所示,各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11。
令Q t =P{X t =0},t=0,1,…,N,且Q 0为已知。
题图 4.5(a)求Q t 的表达式。
(b)证明N →∞时有Q N →1/2,且与Q 0取值无关,从而证明N →∞级联信道的信道容量C N →0,P>0。
解:(a)对于满足X N 为马氏链的串联信道,他们总的信道转移概率矩阵为各个串联信道矩阵的乘积,即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1)由已知得,但各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11 则两个信道级联的转移概率矩阵为: P 2=⎥⎦⎤⎢⎣⎡--p p p p 11⎥⎦⎤⎢⎣⎡--p p p p 11=()()()()⎥⎦⎤⎢⎣⎡-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为: P 3=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为: P 4=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+44441221211221211221211-2p 2121p p p 以此类推:可得N 个信道级联的转移概率矩阵为:P N =()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+N N N N p p p 1221211221211221211-2p 2121 则Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡-+即Q t 的表达式为:Q t =()()012122121Q p p t t -+-- t=0,1,……,N (b) 由(a)可得到:Q N =()()012122121Q p p t t -+-- 由0<p<1,则0<2p<2,-1<2p-1<1,即|2p-1|<1 则21lim =∞→N N Q ,与Q 0取值无关。
信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论编码第四章答案

解:
唯一可译码是A,B,C,E 唯 可译码是A,B,C,E,非延长码为A,C,E A的平均码长:n = p( si )ni
i =1 6
= 3(1 / 2 + 1 / 4 + 1 / 16 + 1 / 16 + 1 / 16 + 1 / 16)
= 3码符号 / 信源符号
编码效率:
η=
H (s) 2 = * 100% = 66.67% n log r 3
2. 有一个信源X如下:
x2 x3 x4 x5 x6 X x1 p ( x) = 0.32 0.22 0.18 0.16 0.08 0.04
(1)、求信源熵; (2)、用Shannon编码法编成二进制变长码,并计算其编码效 率; (3)、用 用Fano编码法编成二进制变长码,并计算其编码效率; 编码法编成二进制变长码 并计算其编码效率 (4)、用Huffman码编码成二进制变长码,并计算其编码效率; (5)、用Huffman码编码成三进制变长码,并计算其编码效率; (6)、比较三种编码方法的优缺点。
H ( X ) 2.3522 = × 100% = 98% n log l r 2.4 log l 2
三进制Huffman编码 ? 首先, 判断q − (r − 1)α = r 6 − (3 − 1) × 2 = 2 < 3
选择m = r − [q − (r − 1)α ] = 3 − 2 = 1个虚假符号
0.40 0.60 0 0.37 0 0.40 1 0 0.23 1 1
L = P( si )li = 2.63
i =1
二元符号/灰度级
通过哈夫曼最佳二元编码后,每个像素平均需要用 2.63个二元符号,则此图象平均共需要用263个二元符 号来表示。因此,需2.63秒才能传送完这幅图象。 (3)在(2)题中计算时没有考虑图象的像素之间的依赖 关系,但实际此图象的像素之间是有依赖的。例如,若 考虑像素前后之间灰度的依赖关系,就有灰度“1”后 面只可能出现灰度“1”或 “2”;灰度“2”后只可能 出现“2” 或“3” ,等等。这时,此图象灰度值信源 S可以看成一阶马尔可夫信源。还可以进一步看成为m 阶马尔可夫信源。因此,在考虑了这些依赖关系后,像 素的灰度值信源S的实际信息熵 H ∞ < H ( S ) 。根据香农第 一理,总可以找到一种编码,使每个灰度级的平均码 长L → H ∞ (极限熵)。所以,这幅图象还可以进一步压缩, 平均每个像素(灰度)所需要的二元码符号数 L < H ( S ) 。
信息论第四章习题解答

抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码,下面仅给出其中的一种。
扰
100000 1001
二
010000 1100
元 编
生成阵 [G] =
001000 000100
1110 1111
= [I6 P T ]
000010 0111
码
000001 0011
[ [ ] ] 生成码字 x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 = x1 x2 x3 x4 x5 x6 G].
注:实际上,正反码仅仅用作纠错码 。
8
习题解答
第 4.6 试分析用于电报系统的纠错码 正反码的检错和纠错
四
能力。若已知信道的误码率 Pe = 10- 4 , 求系统的正确接
章
收概率和漏检概率。
抗解 干 扰 二 元 编 码
(2) 当收到的码字无错或者一位错时, 能够正确接收, 因此正确接收的概率为: P正 = (1 - Pe)10 ? C110 Pe (1 - Pe)9 = 0.9999995502 4;
8
5
习题解答
第 4.5 已知信道的误码率 Pe = 10- 4 , 若采用五三定比码和 ARQ
四
系统纠错方式,问这时系统的等效 (实际)误码率为多少?
章 解 (1) 五三定比码不能发现的错误为:
抗
偶数位错,且一半为 0 出错,一半为 1 出错。
干
故其漏检概率为:
扰
二
P1
=
C
21C
1 3
Pe
2
(1
-
习题解答
第 四 章
抗 干
信息论与编码理论-第4章无失真信源编码-习题解答-20071202

第4章无失真信源编码习题及其参考答案4-1 有一信源,它有六个可能的输出,其概率分布如下表所示,表中给出了对应的码A、B、C、D、E和F(1)求这些码中哪些是唯一可译码;(2)求哪些码是及时码;(3)对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码,其对应的码长为(l1,l2,…,l6)=(1,1,2,3,2,3),求m值的最好下限。
(提示:用kraft不等式)4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦,编成这样的码:(000,001,010,011,100,101,110,111)。
求(1)信源的符号熵;(2)这种码的编码效率;(3)相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下:121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦(1)用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码,并计算其平均码长和编码效率;(2)从X ,Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为(00,01,10,11)和(0,10,110,111),求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,求其三元霍夫曼编码。
信息论与编码理论习题答案

资料范本本资料为word版本,可以直接编辑和打印,感谢您的下载信息论与编码理论习题答案地点:__________________时间:__________________说明:本资料适用于约定双方经过谈判,协商而共同承认,共同遵守的责任与义务,仅供参考,文档可直接下载或修改,不需要的部分可直接删除,使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此每个码字的信息量为 2=23=6 bit因此,信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} ==得到的信息量 ===2.585 bit(2) 可能的唯一,为 {6,6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量是多少?(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?解:(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z表示3颗骰子的点数之和,试求、、、、。
解:令第一第二第三颗骰子的结果分别为,,,相互独立,则,,==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=,所以= 2-=1.8955 bit或=-=+-而= ,所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0.5的概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202

第4章无失真信源编码习题及其参考答案4-1 有一信源,它有六个可能的输出,其概率分布如下表所示,表中给出了对应的码A、B、C、D、E和F(1)求这些码中哪些是唯一可译码;(2)求哪些码是及时码;(3)对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码,其对应的码长为(l1,l2,…,l6)=(1,1,2,3,2,3),求m值的最好下限。
(提示:用kraft不等式)4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦,编成这样的码:(000,001,010,011,100,101,110,111)。
求(1)信源的符号熵;(2)这种码的编码效率;(3)相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下:121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦(1)用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码,并计算其平均码长和编码效率;(2)从X ,Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为(00,01,10,11)和(0,10,110,111),求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,求其三元霍夫曼编码。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ,通过一个二进制对称信道(BSC )。
其失真函数ij d 与信道转移概率ij p 分别定义为
j i j i d ij =≠⎩⎨⎧=,0,1 ,j i j i p ij =≠⎩
⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。
解:由题意得,
失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ,信道转移概率矩阵为P ⎥⎦
⎤⎢⎣⎡--=εεεε11)(i j 平均失真为ε
εεεε=⨯-+⨯+⨯+⨯-=
=∑0)1(211211210)1(21),()()(,j i d i j p i p D j
i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3},且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。
解:由题意,得 0min =D
则symbol bit X H R D R /24log )()0()(2min ====
这时信源无失真,0→0,1→1,2→2,3→3,相应的编码器转移概率矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=1000
010*********)j (i P ∑===30
3,2,1,0max ),()(min i j j i d i p D
,,14
1141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=
}04
1141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯, 43}43,43,43,43min{== 则0)(max =D R
此时输出概率分布可有多种,其中一种为:p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P
4-5 具有符号集{}10,u u U =的二元信源,信源发生概率为:2/10,1)(,)(10≤<-==p p u p p u p 。
Z 信道如下图所示,接收符号集},{10v v V =,转移概率为:q u v q u v q -==1)(,1)(1100。
发出符号与接收符号的失真:1),(),(,0),(),(10011100====v u d v u d v u d v u d 。
(1)计算平均失真D ;
(2)率失真函数R(D)的最大值是什么当q 为什么值时可达到该最大值此时平均失真D 是多大
(3)率失真函数R(D)的最小值是什么当q 为什么值时可达到该最小值此时平均失真D 是多大
(4)画出R(D)-D 的曲线。
0u 1u 0
v 1v 1
q q -1
解:由题意,知
失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110,转移概率矩阵为⎥⎦
⎤⎢⎣⎡-=q q Q 101 p u p p u p -==1)(,)(10
(1) 平均失真)
1(0)1()1(1)1(1001)
,()()(,p q q p q p p p v u d u v q u p D j i i j j
i i -=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑
(2) )
1(log )1(log )
()0()()(max 22min p p p p U H R D R D R ----==== 此时的平均失真0min ==D D ,则q=0
(3) minR(D)=0 此时),()(101,0max min j i
i i j v u d u p D ∑===
}0)1(1,1)1(0{min ⨯-+⨯⨯-+⨯=p p p p p p p =-=},1min{
此时输出符号概率1)(,0)(10==v p v p ,相应的的转移概率矩阵为
⎥⎦
⎤⎢⎣⎡=1010Q 而在给定的信道下,⎥⎦
⎤⎢⎣⎡-=q q Q 101 令 )]()([min );(min )(V U H U H V U I D R -===0
)](log ),()1log()1(log min[101
0j i j i j i v u q v u p p p p p ∑∑==+----=
)]
log()()1(log )1(log )1log()1(log min[pq q p pq q p p q p q p p p p p p -+-+---++----= 0
)]log()()1(log )1()1log()1(min[=-+-+---+---=pq q p pq q p p q p q p p 容易看出当 1=q 时,R(D)=0
此时的平均失真D=q(1-p)=1-p>p )2/10(≤<p
(4)
)(D R D )
(U H max D p
1
R(D)-D 曲线。