第四章 信源编码 习题解答
信息论与编码第四章习题参考答案
4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。
解：信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时，序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为9.0NL L 11==比特/符号 所以编码效率为%9.97L )(H 11==X η 当N=100时，序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号，平均每个符号的码长为89.0NL L 22==比特/符号 编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为，允许错误概率为，求编码序列的长度。
解：信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-）2.0（2.0）8.0（8.0D 222=+=lb lb采用二进制码进行等长编码，序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。
(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结果。
解1）信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-）25.0（25.0）75.0（75.0D 222=+=lb lb采用二进制编码，序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号 每个符号码长为84375.026875.12L L ===比特/符号 编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
清华《信源编码》第四章
b 1 4e b e 2b
要使D最小, 令 e-b=0.293, D=0.657,则 =R(D)=60.6%, 比分别量化有所提高. 三维四维联合量化尚可进一步提高.
30
进一步提高压缩比的探讨（7）
K维情况,Zador得下列结果:
Lim n 2 / k G ห้องสมุดไป่ตู้ [ p( x ) k ,
21
语声的脉码调制(6)
A=87.65, y’(0)=16, =20log1016=24 db, 可压缩4比特，仍能满足小信号信扰比。 y’(1)=0.183, =-15db, 大信号时量化 噪声仍可满足。 实际用13线段来近似，均匀量化后用数 字逻辑电路实现
22
语声的脉码调制(7)
1
y
信号功率 W=2/2, 量化噪声 L 2 n L2 L Wq pi L p( x)dx 3n 2 (1 e ) 12 i 1 12
18
语声的脉码调制(3)
过载噪声
2 Wo 2 ( x L ) p( x )dx 2 L
2 L L 2 2 ( } n n
26
进一步提高压缩比的探讨（3）
要后处理,也可不用先达到最小平均失真, p(y)=p(-y)=z/2, H(Y)=z+H(z) =-log(1-2z+2z)/[z+H(z)] 取导置零,可得z=0.41, =69%. 对于独立序列,后处理虽能提高编码效率, 但效果不明显,如何能快速逼近R(D)也不 知. 对于相关信源,后处理以消除相关性, 可取得很大压缩比,以后讨论.
13
2
最佳标量量化(7)
绝对失真
( 2i 1) L dx L D |x | n L 4n 4 i 1 ( i 1) L
信息论第四章习题解答
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r ? n ? 1,
章
由 n = 6 ? r 可求得满足该条件的最小的 r 为 r = 4 .
抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码，下面仅给出其中的一种。
扰
111100 1000
二 元
监督阵 [H ] =
二
元 编
当
d
为偶数时，可以纠正
??? d
2
2 ?? 位错误， ?
码
且发现 ?? d - 2 ?? ? 1 位错误。
?2?
4
习题解答
第 4.4 试计算 ( 8, 7 ) 奇偶校验码的漏检概率和编码效率，
四
已知码元的错误概率为 Pe = 10- 4 .
章 解 (1) 奇偶校验码不能发现偶数位错误，其漏检概率为：
码
(5) 系统码和非系统码 (略)。
(P 175)
19
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
四
当收到一循环码字为 0010011 时，根据校验子判断有
章
无错误？哪一位错了？
抗 解 (1) 求校验子 干 扰 二 元 编 码
c0 位错 c1 位错 c2 位错 c3 位错 c4 位错 c5 位错 c6 位错
00000，11101，11110，11000，10100。
编
码
2
习题解答
第 4.2 求 000000、110110、011101、101010 四码字的汉明距离，
四
并据此拟出校正错误用的译码表。
通信原理第四章(数字基带传输系统)习题及其答案
第四章（数字基带传输系统）习题及其答案【题4－1】设二进制符号序列为110010001110，试以矩形脉冲为例，分别画出相应的单极性码型，双极性码波形，单极性归零码波形，双极性归零码波形，二进制差分码波形。
【答案4－1】【题4－2】设随机二机制序列中的0和1分别由g(t)和g(t)组成，其出现概率分别为p和(1p)：1）求其功率谱密度及功率；2）若g(t)为图（a）所示的波形，T为码元宽度，问该序列存在离散分量s1f Ts否？3）若g(t)改为图（b）所示的波形，问该序列存在离散分量1f Ts否？【答案4－2】1）随机二进制序列的双边功率谱密度为2 2P ( ) f P(1 P) G ( f ) G ( f ) f [PG (mf ) (1 P)G (mf )] ( f mf ) s s 1 2 s 1 s 2 s sm由于g1(t) g2 (t) g(t )可得：22 2 2P ( ) 4 f P(1 P)G ( f ) f (1 2P) G(mf ) ( f mf )s s s s sm式中：G( f )是g(t )的频谱函数。
在功率谱密度P() 中，第一部分是其连续谱成s分，第二部分是其离散谱成分。
随机二进制序列的功率为1S P ( )ds2－－22[4 f P(1 P)G ( f ) f (1 2P)G (mf ) ( f mf )] dfs s s sm224 f P(1 P) G ( f )df f (1 2P)G( mf ) ( f mf )dfs s s s－－m2 2 24 f P(1 P) G ( f )df f (1 2P) G( m f )s s s－m22）当基带脉冲波形g(t ) 为Ts1 tg(t) { 20 elset g(t )的付式变换G( f )为G( f ) T Sa( T f )s s因此sinG( f s ) T s Sa( T s f s) T s 0式中：fs1T 。
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
第四章信源编码习题解答
第四章信源编码习题解答1种编码方法：1）哪些是非奇异码哪些是唯一可译码哪些是即时码2）分别计算每个唯一可译码的平均码长和编码效率。
解：1）A、B、C、D、E、F是非奇异码。
A、B、C、F是唯一可译码（E不满足克拉夫特不等式）。
A、C、F是即时码（B是续长码）。
3）编码A：平均码长：3AL=码元/消息信源熵：111111()lb lb4lb222441616H X=---⨯=比特/消息编码效率：max ()/2/366.7% lb21AH H X L Hη====码码编码B和C：平均码长：11111123456 2.1252416161616B CL L==+⨯+⨯+⨯+⨯+⨯=码元/消息编码效率：max ()/2/2.12594.1% lb21B CH H X L Hηη=====码码编码F：平均码长：111234 2.52416FL⎛⎫=⨯+⨯+⨯=⎪⎝⎭码元/消息编码效率：max ()/2/2.580%lb21F H H X L H η====码码2、离散无记忆信源X 的概率空间为：1234567()0.200.190.180.170.150.100.01X x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦ 1）对其进行费诺编码，并计算其编码效率；2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。
解：1平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+⨯+++⨯++⨯=码元/符号 信源熵：()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号编码后平均码元熵：() 2.608740.95212.74H X H L===码比特/码元编码效率：max 0.952195.21%lb2H H η===码码2）哈夫曼编码： 码长码字 信源X (X )2 10 x 1 2 11 x 2 3000 x 33 001 x 43 010 x 54 0110 x 64 0111x 7平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+⨯+++⨯++⨯=码元/符号 编码后平均码元熵：() 2.608740.95912.72H X H L===码比特/码元编码效率：max 0.959195.91%lb2H H η===码码与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。
信息论与编码第4章习题解答
《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量： 习题4.1图［解］ （a ）信道概率转移矩阵为−−−−=δεδεεδδε11P ， 信道是准对称信道，因此在输入为等概分布时达到信道容量，即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= （b ）信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ，0)(=X P 时，5.0)0(==Y P ，25.0)1(==Y P ，25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ； 所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C =1 bit/次（c ）信道转移概率矩阵为−−−=εεεεεε101001P ，信道是对称信道，当输入为均匀分布时，即31)2()1()0(======X P X P X P 时，达到信道容量。
信息论与编码第四章课后习题答案
−∫
1 − sin x d sin x 1 − sin x
因此有
h( X ) = −2 A log A −
A log e(2 ln 2 − 2 + 2 ln 2 − 2) 2Байду номын сангаас= −2 A log A + 2 A log e − 2 A log e ln 2 = −2 A log A + 2 A log e − 2 A 1 ，因此 2
试计算 h( X ) ， h(Y ) ， h( XY ) 和 I ( X ; Y ) 。 解： p( x) = ∫ p ( x, y )dy 1 =∫ dy (a 2 − a1 )(b2 − b1 ) = 1 a2 − a1
同理， p( y ) = 因此
1 。 b2 − b1
h( X ) = − ∫ p ( x ) log p ( x)dx = log(a 2 − a1 ) h(Y ) = − ∫ p( y ) log p( y )dy = log(b2 − b1 ) h( XY ) = − ∫ p ( x, y ) log p ( x, y )dxdy = log( a2 − a1 ) + log(b2 − b1 ) I ( X ; Y ) = h( X ) + h(Y ) − h( XY ) = 0 【4.7】在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明 （1） h( X | Y ) ≤ h( X ) ，当且仅当 X 和 Y 统计独立时等号成立； （2）h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) ，当且仅当 X 1 X 2 L X N 彼此统计 独立时等式成立。 证明： （1） h( XY ) = − ∫ p( y )dy ∫ p( x | y ) log p ( x | y )dx ≤ − ∫ p ( y )dy ∫ p( x | y ) log p ( x )dx = − ∫ p( x, y ) log p ( x )dxdy = h( X ) 等号成立当且仅当 p( x | y ) = p ( x ) ，即 p( x, y ) = p( x ) p ( y ) ，因此仅当 X 和 Y 统计 独立时等号成立。 （2）根据条件概率密度的相关公式，有 h( X 1 X 2 X N ) = h( X 1 ) + h( X 2 | X 1 ) + h( X 3 | X 1 X 2 ) + L + h( X N | X 1 X 2 X N −1 ) 根据（1）的结论，条件差熵小于差熵，因此有 h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) 等号成立当且仅当
信源编码原理习题与思考题
信源编码原理习题与思考题第⼀章：信源编码的概念（绪论）1. 数据压缩的⼀个基本问题是“我们要压缩什么？”；你对此如何理解？2. 你所了解的各类编码的⽬的是什么？请各举⼀例解释编码作⽤。
3. 你怎样理解信息率失真函数R (D )对于信源编码的指导作⽤？试举例。
4. 等概率信源还能否压缩？为什么？请举例说明。
5 你理解的联合编码的发展⽅向是什么？信源编码的发展趋势和进展有哪些？第⼆章：⽆损信源编码1.有⼆元独⽴序列，已知00.9p =，10.1p =，求这序列的符号熵。
当⽤赫夫曼编码时，以三个⼆元符号合成⼀个新符号，求这种符号的平均代码长度和编码效率。
设输⼊⼆元符号的速率是每秒100个，要求三分钟内溢出和取空的概率均⼩于0.01，求所需要的信道码率（bit/s ）和存储器容量（⽐特数）。
若信道码率已规定为50 bit/s ，存储器容量将如何选择？2.有⼆元平稳马⽒链，已知P （0|0）=0.8，P （1|1）=0.7，求它的符号熵。
⽤三个符号合成⼀个来编赫夫曼码，求这新符号的平均代码长度和编码效率。
3.对上题的信源进⾏游程编码。
若“0”游程长度的截⽌值是16，“1”游程的截⽌值是8，求编码效率。
这样的编码效率是否已达到最佳？为什么？4.求三阶马⽒链的“0”游程长度和“1”游程长度的条件概率，设原序列的条件概率为：P （0|r ）=r a其中r=0，1，2，···7，是前三位的⼆进制位数。
5.计算帧长N=63，信息位数Q=0，1，2，4，8，16，和32时L-D 码和信息标志码的压缩率，并讨论计算结果。
第三章：算术编码1.已知⼆元序列的概率011/8,7/8p p ==011/8,7/8p p ==。
试对下列序列编算数码，取W=3的计算精度，并计算符号的平均码长：11111111110111111111102.计算上题的序列的符号熵，并与算数码的符号平均码长⽐较，理解这⼀结果。
信息论与编码第4章习题解答
P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ，以及 N 充分大时 2
求该级联信道的容量 C N
，并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4（1）图 级联信道
（2）并联输入信道，把输入 X 并联接到各信道，输出是矢量，当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4（2）图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
（f）信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q ， p( X = 1) = 1 − q ， 0 < q < 1
王育民信息论与编码理论第四章答案2
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11。
令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。
题图 4.5(a)求Q t 的表达式。
(b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。
解：(a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1)由已知得，但各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=⎥⎦⎤⎢⎣⎡--p p p p 11⎥⎦⎤⎢⎣⎡--p p p p 11=()()()()⎥⎦⎤⎢⎣⎡-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为：P N =()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+N N N N p p p 1221211221211221211-2p 2121 则Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡-+即Q t 的表达式为：Q t =()()012122121Q p p t t -+-- t=0,1,……,N (b) 由(a)可得到：Q N =()()012122121Q p p t t -+-- 由0<p<1，则0<2p<2，-1<2p-1<1，即|2p-1|<1 则21lim =∞→N N Q ，与Q 0取值无关。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码理论-第4章无失真信源编码-习题解答-20071202信息论与编码理论第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长。
?X??s14-2 设信源????p(s)P(X)???1s6?p(s2)?p(s6)???s2?p(s)?1。
对此次能源进行m元唯一ii?16可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）?s?X??14-3设信源为??1??p(X)???2?（1）信源的符号熵；（2）这种码的编码效率；s214s3s411816s5132s6s7s8?，编成这样的码：（000，001，111???64128128?010，011，100，101，110，111）。
求（3）相应的仙农码和费诺码。
4-4求概率分布为(,11122信)源的二元霍夫曼编码。
讨论此码对于概率分布为355151511111(,,,,)的信源也是最佳二元码。
555554-5有两个信源X和Y如下：1信息论与编码理论s2s3s4s5s6s7??X??s1??p(X)??0.200.190.180.170.150.100.01?????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01?????（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率；（2）从X，Y两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。
4-7设信源为?码。
第四章第5 章习题答案
第四章 信息率失真函数-习题答案4.1 一个四元对称信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0111101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。
解：041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i ij i i j j y x d x p D y x d x p D D因为n 元等概信源率失真函数：⎪⎭⎫⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为：()()D D DD D R --++=1ln 13ln4ln )(函数曲线：D其中：symbolnat D R D symbolnat D R D symbolnat D R D symbolnat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.2 若某无记忆信源⎭⎬⎫⎩⎨⎧-=⎥⎦⎤⎢⎣⎡3/113/13/101)(X P X ，接收符号⎭⎬⎫⎩⎨⎧-=21,21Y ，其失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。
4.3 某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵为⎥⎦⎤⎢⎣⎡=a a D 00求这信源的D max 和D min 和R(D)函数。
解：021021),(min )(202121),()(min min min max =⨯+⨯===⨯+⨯===∑∑i j i j i ij i i j j y x d x p D aa y x d x p D D因为二元等概信源率失真函数：⎪⎭⎫⎝⎛-=a D H n D R ln )(其中n = 2, 所以率失真函数为：⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.4 已知信源X = {0, 1}，信宿Y = {0, 1, 2}。
信息论编码第四章答案
解：
唯一可译码是Ａ，Ｂ，Ｃ，Ｅ 唯 可译码是Ａ，Ｂ，Ｃ，Ｅ,非延长码为A，C，E Ａ的平均码长：n = p( si )ni
i =1 6
= 3(1 / 2 + 1 / 4 + 1 / 16 + 1 / 16 + 1 / 16 + 1 / 16)
= 3码符号 / 信源符号
编码效率：
η=
H (s) 2 = * 100% = 66.67% n log r 3
2. 有一个信源X如下：
x2 x3 x4 x5 x6 X x1 p ( x) = 0.32 0.22 0.18 0.16 0.08 0.04
(1)、求信源熵; (2)、用Shannon编码法编成二进制变长码，并计算其编码效 率； (3)、用 用Fano编码法编成二进制变长码，并计算其编码效率； 编码法编成二进制变长码 并计算其编码效率 (4)、用Huffman码编码成二进制变长码，并计算其编码效率； (5)、用Huffman码编码成三进制变长码，并计算其编码效率； (6)、比较三种编码方法的优缺点。
H ( X ) 2.3522 = × 100% = 98% n log l r 2.4 log l 2
三进制Huffman编码 ? 首先, 判断q − (r − 1)α = r 6 − (3 − 1) × 2 = 2 < 3
选择m = r − [q − (r − 1)α ] = 3 − 2 = 1个虚假符号
0.40 0.60 0 0.37 0 0.40 1 0 0.23 1 1
L = P( si )li = 2.63
i =1
二元符号／灰度级
通过哈夫曼最佳二元编码后，每个像素平均需要用 2.63个二元符号，则此图象平均共需要用263个二元符 号来表示。因此，需2.63秒才能传送完这幅图象。 (3)在(2)题中计算时没有考虑图象的像素之间的依赖 关系，但实际此图象的像素之间是有依赖的。例如，若 考虑像素前后之间灰度的依赖关系，就有灰度“1”后 面只可能出现灰度“1”或 “2”；灰度“2”后只可能 出现“2” 或“3” ，等等。这时，此图象灰度值信源 Ｓ可以看成一阶马尔可夫信源。还可以进一步看成为m 阶马尔可夫信源。因此，在考虑了这些依赖关系后，像 素的灰度值信源Ｓ的实际信息熵 H ∞ < H ( S ) 。根据香农第 一理，总可以找到一种编码，使每个灰度级的平均码 长L → H ∞ (极限熵)。所以，这幅图象还可以进一步压缩， 平均每个像素(灰度)所需要的二元码符号数 L < H ( S ) 。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
第4章习题解答
4.1 某集源按P(0)=3/4，P(1）=1/4的概率产生统计独立的二元序列.（1) 试求N 0，使当N 〉N 0时有： P{|I(a i ）/N －H （S ）｜ ≥0.05}≤0.01其中H(S)是信源的熵。
(2）试求当N= N 0时典型序列集G εN 中含有的信源序列个数.解：（1） H （S)= —∑Pi ㏒Pi= -3/4㏒（3/4)-1/4㏒（1/4） =0。
811 比特/符号根据契比雪夫不等式，对于任意ε＞0，当N ＞N0时，P ｛∣I （αi ）/N – H （S)∣≥ε}≤D[I （Si)]/N ε2现有ε=0。
05,欲证原式，只要 D ［I （Si ）]/N ε2≤0。
01根据信源，D ［I （Si ）］=∑P （Si ）[㏒P(Si ）]2– H 2（S ）=3/4（㏒3/4）2+1/4(㏒1/4）2—（0.811)2=0.471∴N0= D[I （Si)］/0。
01ε2=0。
471/0。
01×(0。
05)2=18840(2） 序列G εN 是所有N 长的ε典型序列集合，（1—δ）2N[H(S)-ε］≤‖G εN ‖≤2N[H （S ）-ε］0。
99×214342.5≤‖G εN ‖≤216226。
54.2 设无记忆二元信源，其概率为P1=0。
005， P0=0.995。
信源输出N ＝100的二元序列。
在长为N ＝100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
(1)求码字所需的最小长度. （2）计算式（4。
27a ）中的ε。
（3）考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率PE 是多少？若从契比雪夫不等式（4。
22）考虑，PE 应是多少？试加以比较.解：（1）无记忆二元信源()⎢⎣⎡⎥⎦⎤=⎢⎣⎡⎥⎦⎤005.0995.01,0i s P S N=100的扩展信源()()()()()⎢⎢⎢⎣⎡⎥⎥⎦⎤⨯⨯=====⎢⎢⎣⎡⎥⎦⎤--N N N N NN N N i N N N P S 005.0,005.0995.0005.0995.0,995.0111,1011010001121221，，，，，－ ααααα 现只对含有3个或小于3个“1”的各信源序列构成一一对应的一组二元等长码。
第四章 信源编码 习题解答
第四章信源编码 习题解答1、一个信源由1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。
解：1）A 、B 、C 、D 、E 、F 是非奇异码。
A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。
A 、C 、F 是即时码（B 是续长码）。
3） 编码A ：平均码长：3A L = 码元/消息 信源熵：111111()lb lb 4lb 222441616H X =---⨯=比特/消息 编码效率：max ()/2/366.7%lb21A H H X L H η====码码编码B 和C ：平均码长：11111123456 2.1252416161616B C L L ==+⨯+⨯+⨯+⨯+⨯= 码元/消息 编码效率：max ()/2/2.12594.1%lb21B C H H X L H ηη=====码码编码F ：平均码长：111234 2.52416F L ⎛⎫=⨯+⨯+⨯= ⎪⎝⎭ 码元/消息 编码效率：max ()/2/2.580%lb21F H H X L H η====码码2、离散无记忆信源X 的概率空间为：1234567()0.200.190.180.170.150.100.01X x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦ 1）对其进行费诺编码，并计算其编码效率；2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。
解：1）费诺编码：平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+⨯+++⨯++⨯=码元/符号 信源熵：()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号编码后平均码元熵：() 2.608740.95212.74H X H L===码比特/码元编码效率：max 0.952195.21%lb2H H η===码码2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 40111x 7平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+⨯+++⨯++⨯=码元/符号 编码后平均码元熵：() 2.608740.95912.72H X H L===码比特/码元编码效率：max 0.959195.91%lb2H H η===码码与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。
第四章习题答案
第4章习题4-1 对信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s P S 7654321进行二元编码，编码方案为（1）计算平均码长L ； （2）编码后信息传输率R ； （3）编码信息率R '；（4）编码效率η。
解：（1）()14.3Ls p L iq1i i=⋅=∑=（码元/信源符号）（2）()61.2S H =（比特/信源符号）()831.014.361.2L S ===H R （bit/码元） （3）logr L R ='=3.14（ bit/信源符号） （4）831.0R Rmax==η 或者()831.0RS H ='=η 4-2 设离散无记忆信源的概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡4143s s S 21P ，若对信源采取等长二元编码，要求编码效率96.0=η，允许译码错误概率510-≤δ，试计算需要的信源序列长度N 为多少？解：信源熵为()811034log 434log 41S .Η=+=（bit/符号）自信息量的方差()()()[]22i q1i i 2S H logp p S -=∑=σ4715.0811.041log 4143log 43222=-⎪⎭⎫⎝⎛+⎪⎭⎫ ⎝⎛= 因为编码效率96.0=η，由()()ε+=S S H H η可得()3379.0811.096.004.0S H 1=⨯=-=ηηε 可得()752221013.4103379.04715.0S N ⨯=⨯=≥-δεσ 所以，信源序列长度达到71013.4⨯以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。
4-6设离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.09.0s s S 21P ，对信源进行N 次扩展，采用霍夫曼编码。
当N=1，2，∞时的平均码长和编码效率为多少？解：（1）N=1时，将1s 编成0，2s 编成1，则1L 1=又因为信源熵()469.0))logp(s p(s S H q1i i i =-=∑=bit/符号所以()469.0L S H 11==η （2）N=2时，编码过程如下2S概率 霍夫曼编码11s s 0.81121s s 0.09 01 12s s 0.09 000 22s s 0.01001所以()=+⨯+⨯+⨯=0.090.0130.0920.811L 2则645.02L 2= 所以()==0.645X H 2η （3）N=∞时，由香农第一定理可知，必然存在唯一可译码，使()S H N L limr NN =∞→而霍夫曼编码为最佳码，即平均码长最短的码，故()()469.0S H S H N L limr NN ===∞→即1lim N N =∞→η4-7已知信源共7个符号消息，其概率空间为()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s x P S 7654321试进行香农编码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章信源编码 习题解答
1、一个信源由
1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。
解：1）A 、B 、C 、D 、E 、F 是非奇异码。
A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。
A 、C 、F 是即时码（B 是续长码）。
3） 编码A ：
平均码长：3A L = 码元/消息 信源熵：111111
()lb lb 4lb 222441616
H X =---⨯=比特/消息 编码效率：max ()/2/3
66.7%lb21
A H H X L H η====码码
编码B 和C ： 平均码长：111111
23456 2.1252416161616
B C L L ==+⨯+⨯+⨯+⨯+⨯= 码元/消息 编码效率：max ()/2/2.125
94.1%lb21
B C H H X L H ηη=====码码
编码F ：
平均码长：11
1234 2.524
16F L ⎛⎫=⨯
+⨯+⨯= ⎪⎝⎭ 码元/消息 编码效率：max ()/2/2.5
80%lb21
F H H X L H η====码码
2、离散无记忆信源X 的概率空间为：1
234567()0.200.190.180.170.150.100.01X x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦
1）对其进行费诺编码，并计算其编码效率；
2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。
解：1）费诺编码：
平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+⨯+++⨯++⨯=码元/符号 信源熵：
()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号
编码后平均码元熵：() 2.60874
0.95212.74H X H L
===码比特/码元
编码效率：max 0.9521
95.21%lb2
H H η=
==码码
2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4
0111
x 7
平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+⨯+++⨯++⨯=码元/符号 编码后平均码元熵：() 2.60874
0.95912.72H X H L
===码比特/码元
编码效率：max 0.9591
95.91%lb2
H H η=
==码码
与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。
一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。
3、离散无记忆信源X 的概率空间为：1
2345678()0.220.200.180.10.150.020.050.08X x x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦
1）对其进行费诺编码；
2）对其进行哈夫曼编码。
解：1
2）哈夫曼编码：
4、离散无记忆信源S 描述为：1
23456()0.370.250.10.180.030.07S s s s s s s p S ⎧⎫⎡⎤=⎨⎬⎢⎥⎩
⎭⎣⎦ 1）计算信源熵及其冗余度；
2）对其进行费诺编码； 3）对其进行哈夫曼编码；
4*）对其进行香农-费诺-埃利阿斯编码； 5*）对其进行香农编码；
6）计算哈夫曼码的平均码长、编码效率和码冗余度；
7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)；
8）H [p (x 1), p (x 2)] 是否等于H 码（即平均码元熵）？为什么？ 解：1）信源熵：
()0.37lb0.370.25lb0.250.18lb0.180.1lb0.10.07lb0.070.03lb0.03 2.229H S =------= 比特/消息
冗余度：max () 2.23
1113.788%()lb6
H S E H S =-=-=
2）费诺编码：
3）哈夫曼编码：
4） 香农-费诺-埃利阿斯编码：
5）香农编码：
6）分析哈夫曼码，
其平均码长：6
1()2(0.370.250.18)30.14(0.07+0.03=2.3i i i L p s l ===⨯+++⨯+⨯∑） 码元/消息
平均码元熵：() 2.229
0.968962.3H S H L
===码 比特/码元 编码效率：max 0.97096.896%lb2
H H η=
==码码
码冗余度：max 0.96896
11 3.104%lb2
H E H η==-
=-=码码码1-
7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)：
11211
()(0)0.370.250.10.03+0.07=0.60422342p x p ==+⨯+⨯+⨯⨯
21131
()(1)0.250.10.180.030.070.39582342
p x p ==⨯+⨯++⨯+⨯=
8）计算12[(),()](0.6042,0.3958)0.6042lb0.60420.3958lb0.39580.9685 /H p x p x H ==--=比特码元 相比平均码元熵：12() 2.229
0.96896[(),()]2.3H S H H p x p x L
=
==≈码 比特/码元 可见，两者很相近，但理论上不相同。
因为平均码元熵计算的是算术平均值，而12[(),()]H p x p x 作的是统计平均。
5. 设有6个消息，其出现概率分别为
A B C D E F 1/16 1/16 2/16 3/16 4/16 5/16
将它们分别进行费诺编码和霍夫曼编码，并比较编码效率。
是否在任何情况下费诺编码比霍夫曼编码效率都低？
解：信源：112345()161616161616A B C D E F X p X ⎧⎫
⎡⎤⎪⎪
=⎨⎬⎢⎥⎣⎦⎪
⎪⎩⎭
费诺编码：
平均码长：543211234 2.375161616161616L ⎛⎫⎛⎫
=++⨯+⨯++⨯=
⎪ ⎪⎝⎭⎝⎭
码元/符号
信源熵：111111331155
()lb lb lb lb lb lb 2.35216161616881616441616
H X =-
-----=比特/符号 编码后平均码元熵：() 2.352
0.992.375H X H L
=
==码比特/码元 二元信源最大码元熵为1比特/码元，故编码效率：max 0.99
99%1
H H η===码码
哈夫曼编码：
由于平均码长与费诺编码一样，故编码效率也为99%。
一般情况下哈夫曼编码效率较高，但费诺编码如
果每次划分概率很接近，则效率也很高。
6. 有一冗余位序列，N =15，码字为001000000010000，试将其编成L-D 码，并将L-D 码译回原序列。
解：001000000010000 N=15 编码：
[]()21122121
11111312152,3,11
45247105 lb105 6.77 lb 151 4
n n Q n n T C C C C C ----====+=+=+====+=⎡⎤⎣⎦已知：计算： 24477Q T ==将转变成位二进制数，转变成位二进制数，于是得L-D 码： 0010 0101111
译码：
2
2
1011215,
2,47
454755
10111
N Q T C C n ====≤<==+=
修正：
21101123147452223
213
T T C C C n =-=-==≤<==+=
故译码恢复出原序列：001000000010000
作业：1、2、4。