信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码第四章习题参考答案
4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。
解：信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时，序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为9.0NL L 11==比特/符号 所以编码效率为%9.97L )(H 11==X η 当N=100时，序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号，平均每个符号的码长为89.0NL L 22==比特/符号 编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为，允许错误概率为，求编码序列的长度。
解：信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-）2.0（2.0）8.0（8.0D 222=+=lb lb采用二进制码进行等长编码，序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。
(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结果。
解1）信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-）25.0（25.0）75.0（75.0D 222=+=lb lb采用二进制编码，序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号 每个符号码长为84375.026875.12L L ===比特/符号 编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。
《信息论与编码》习题解答-第四章(新)
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论、编码与密码学课后复习题答案
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
信息论与编码第4章无失真信源编码
0
2
1
w1 0 1 2 0 1 2
01
2w2
w3 w4
0
1
2
w5
w6 w7 w8
w9 w10 w11
0级节点 1级节点 2级节点
3级节点
25
4.3 变长编码
码树编码方法
（1）树根编码的起点； （2）每一个中间节点树枝的个数编码的进制数； （3）树的节点编码或编码的一部分； （4）树的终止节点（端点、树叶）码； （5）树的节数码长； （6）码位于多级节点变长码； （7）码位于同一级节点码等长码；
设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的
>0, >0, 只要
L log m H ( 率小于。
反之，当
L log m H ( X ) 2
N
时, 则译码差错概率一定是有限值(不可能实现无失真编 码), 而当N足够大时, 译码错误概率近似等于1。
概率分布 0.5 0.25 0.125 0.125
码1:C1 码2:C2 码3:C3
00
0
0
码4:C4 1
码5:C5 1
01
11
10
10
01
10
00
00
100
001
11
11
01
1000
0001
等长码 非唯一 非 唯 唯一可译 及时码 可译 一可译
11
4.1 无失真信源编码的概念
关系 即时码一定是唯一可译码 唯一可译码一定是非奇异码 定长的非奇异码一定是唯一可译码 非定长的非奇异码不一定是唯一可译码
一般地，平均码长: L 3.322 (N ) N
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论.第4章无失真信源编码
S N
1
P
p(1 )
2 ... p(2 ) ...
qN
p(qN )
扩展信源熵为H(SN)，
5
用码符号集X=(x1,…,xr)对SN 编码，则总可以找到
一种编码方法，构成唯一可译码，使信源S中的一
个信源符号所需要的码字平均长度满足
H (S) 1 LN H (S) log r N N log r
N log r 则当N足够大时，译码错误概率趋于1。
3
信源编码效率 编码速率：对于定长编码，编码速率定义为
R L log r N
编码效率：
H(S)
R
4
变长无失真信源编码定理（香农第一定理）
设离散无记忆信源
S
P
s1 p( s1 )
s2 p(s2 )
... ...
sq
p(
sq
)
其信源熵为H(S)，它的N次扩展信源SN为
l log q log r
2
定长信源编码定理
设有离散无记忆信源，熵为H(S) ，若对信源的长为N 的符号序列进行定长编码，设码字是从r个码符号集中选 取L个码元构成，对于 > 0 只要满足
L H(S)
N log r 则当N足够大时，可实现译码错误概率任意小的等长编
码，近似无失真编码。
反之，若 满足 L H (s) 2
i 1
克拉夫特证明不等式为即时码存在的充要条件； 麦克米伦证明不等式为唯一可译码存在的充要条件。
1
简单信源S存在唯一可译定长码的条件为：
q r l l log q
log r
N次扩展信源SN存在唯一可译定长码的条件为：
qN rL
L log r N log q来自L log q N log r
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
信息论与编码_第4章无失真信源编码
2
信源编码的基本途径有两个：
使序列中的各个符号尽可能地互相
独立，即解除相关性；
使编码中各个符号出现的概率尽可
能地相等，即概率均匀化。
3
信源编码的基础是信息论中的两个编码定理：
无失真信源编码定理
限失真信源编码定理 无失真信源编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进 行限失真编码 下面介绍几种典型的离散信源编码方法。
奇异码 非唯一可译码 非及时码 非奇异码 唯一可译码 等长码 及时码 非等长码
13
第4章
4.1 4.2 4.3 4.4
无失真信源编码
无失真信源编码的概念 等长编码 变长编码 常用的变长编码算法
14
4.2 等长编码
L log m H ( X ) N
则当N足够大时，必可使译码错误概率小于。 反之，当 时, 则译码差错概率一定是有限值(不可能实现无失真编 码), 而当N足够大时, 译码错误概率近似等于1。
19
L log m H ( X ) 2 N
4.2 等长编码
等长信源编码定理 最佳等长编码:
log q log10 如果N =1 L N 1 log10 log m log 2 L L 4 4. N L 如果N =2 L 2 log10 L 7 3.5. N L 一般地，平均码长: 3.322 ( N ) N
17
4.2 等长编码
L log m H ( X ) N
编码效率:
N H(X ) H(X ) . L log m H ( X )
20
4.2 等长编码
第4章习题解答
信息论与编码习题详解第四章4。
1 某集源按 P（0)=3/4，P(1）=1/4 的概率产生统计独立的二元序列.(1)试求 N0，使当 N>N 0时有： P｛｜ I(a i)/N－H(S）｜≥ 0.05}≤ 0.01其中 H（ S)是信源的熵。
(2)试求当 N= N0时典型序列集 Gε N 中含有的信源序列个数.解：(1) H(S)= —∑ Pi ㏒ Pi= -3/4 ㏒ (3/4) —1/4 ㏒ (1/4 ）=0.811比特/符号依照契比雪夫不等式，对于任意ε＞0，当 N＞ N0 时，P ｛∣ I( αi)/N – H(S ）∣≥ε｝≤ D[I(Si ）］/N ε2现有ε =0.05, 欲证原式，只要D［ I(Si ）]/N ε2≤ 0。
01依照信源， D［ I （ Si)]= ∑P（ Si ）［㏒ P(Si) ］2– H 2（ S)=3/4 （㏒ 3/4) 2+1/4 （㏒ 1/4) 2— (0 。
811) 2=0 。
4712 2∴ N0= D[I(Si)]/0。
01ε =0.471/0 。
01×（ 0.05) =18840(2)序列 GεN是所有 N 长的ε典型序列会集，（1-δ）2N［H（ S）—ε ] ≤‖GεN‖≤2N[H（ S） - ε]0.99 × 214342。
5≤‖ GεN‖≤ 216226。
54。
2 设无记忆二元信源，其概率为P1=0.005, P0=0。
995.信源输出 N＝ 100 的二元序列 .在长为 N＝100 的信源序列中只对含有 3 个或小于 3 个“1的”各信源序列组成一一对应的一组等长码。
（1）求码字所需的最小长度。
（2）计算式（ 4.27a）中的ε。
(3）考虑没有恩赐编码的信源序列出现的概率，该等长码引起的错误概率PE 是多少？若从契比雪夫不等式（ 4。
22）考虑， PE 应是多少？试加以比较。
解：（ 1）无记忆二元信源S 0, 1P s i 0.995 0.005N=100 的扩展信源S NN N N N1 0，2 0，，2 N 1 11 10, 2 N 11 1P i 0 01N N－1 ，，N 1 N0.995 , 0.995 0.995 0.005 , 0.0050.005现只对含有 3 个或小于 3 个“ 1”的各信源序列组成一一对应的一组二元等长码。
信息论与编码第4章习题解答
P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ，以及 N 充分大时 2
求该级联信道的容量 C N
，并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4（1）图 级联信道
（2）并联输入信道，把输入 X 并联接到各信道，输出是矢量，当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4（2）图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
（f）信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q ， p( X = 1) = 1 − q ， 0 < q < 1
信息论编码第四章答案
解：
唯一可译码是Ａ，Ｂ，Ｃ，Ｅ 唯 可译码是Ａ，Ｂ，Ｃ，Ｅ,非延长码为A，C，E Ａ的平均码长：n = p( si )ni
i =1 6
= 3(1 / 2 + 1 / 4 + 1 / 16 + 1 / 16 + 1 / 16 + 1 / 16)
= 3码符号 / 信源符号
编码效率：
η=
H (s) 2 = * 100% = 66.67% n log r 3
2. 有一个信源X如下：
x2 x3 x4 x5 x6 X x1 p ( x) = 0.32 0.22 0.18 0.16 0.08 0.04
(1)、求信源熵; (2)、用Shannon编码法编成二进制变长码，并计算其编码效 率； (3)、用 用Fano编码法编成二进制变长码，并计算其编码效率； 编码法编成二进制变长码 并计算其编码效率 (4)、用Huffman码编码成二进制变长码，并计算其编码效率； (5)、用Huffman码编码成三进制变长码，并计算其编码效率； (6)、比较三种编码方法的优缺点。
H ( X ) 2.3522 = × 100% = 98% n log l r 2.4 log l 2
三进制Huffman编码 ? 首先, 判断q − (r − 1)α = r 6 − (3 − 1) × 2 = 2 < 3
选择m = r − [q − (r − 1)α ] = 3 − 2 = 1个虚假符号
0.40 0.60 0 0.37 0 0.40 1 0 0.23 1 1
L = P( si )li = 2.63
i =1
二元符号／灰度级
通过哈夫曼最佳二元编码后，每个像素平均需要用 2.63个二元符号，则此图象平均共需要用263个二元符 号来表示。因此，需2.63秒才能传送完这幅图象。 (3)在(2)题中计算时没有考虑图象的像素之间的依赖 关系，但实际此图象的像素之间是有依赖的。例如，若 考虑像素前后之间灰度的依赖关系，就有灰度“1”后 面只可能出现灰度“1”或 “2”；灰度“2”后只可能 出现“2” 或“3” ，等等。这时，此图象灰度值信源 Ｓ可以看成一阶马尔可夫信源。还可以进一步看成为m 阶马尔可夫信源。因此，在考虑了这些依赖关系后，像 素的灰度值信源Ｓ的实际信息熵 H ∞ < H ( S ) 。根据香农第 一理，总可以找到一种编码，使每个灰度级的平均码 长L → H ∞ (极限熵)。所以，这幅图象还可以进一步压缩， 平均每个像素(灰度)所需要的二元码符号数 L < H ( S ) 。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
信息论与编码第4章无失真信源编码
THANKS
感谢观看
编码性能的评价指标
压缩比
压缩比是指编码后数据量与原始数据量之比，是衡量 编码效率的重要指标。
编码复杂度
编码复杂度是指实现编码算法所需的计算量和存储量 ，是衡量编码性能的重要指标。
重建精度
重建精度是指解码后数据的准确度，是衡量编码性能 的重要指标。
编码效率与性能的关系
01
编码效率与压缩比成正比，压缩比越高，编码效率越高。
游程编码
对连续出现的相同符号进 行编码，如哈夫曼编码等 。
算术编码
将输入信号映射到一个实 数轴上的区间，通过该区 间的起始和长度表示码字 ，如格雷码等。
编码的数学模型
信源
产生随机变量的集合 ，表示各种可能的信 息符号。
编码器
将输入信号映射到码 字的转换设备，其输 出为码字序列。
解码器
将接收到的码字还原 成原始信号的设备。
拓展应用领域
无失真信源编码技术的应用领域正在不断拓 展，未来研究将致力于将其应用于更多领域 ，如多媒体处理、物联网、云计算等。
融合其他技术
将无失真信源编码技术与其他相关技术进行 融合，以实现更高效、更实用的信息处理系 统。例如，将无失真信源编码与图像处理、 语音处理等技术相结合，提高信息传输和处
理的效率和质量。
03
行程编码的缺点包 括
压缩比有限、对于离散无记忆信 源效果不佳。
03
CATALOGUE
无失真信源编码的效率与性能
编码效率的定义与计算
定义
编码效率是指编码后信息量与原始信 息量之比，通常用比特率（bit per symbol）或比特率（bit per source symbol）来表示。
计算
本_信息论与编码A_第4章无失真信源编码
13
4.2 等长编码
无失真编码 假设信道无干扰 译码错误概率: Pe=P{MM’} 无失真编码: 译码错误概率Pe可以任意小.
M W W M’
信源
信源编码
信 道
信源解码
信宿
14
4.2 等长编码
等长信源编码定理 定理4-1(Shannon信源编码定理) 设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的 >0, >0, 只要
s4 备注
平均码长
0.125
11 2
2
11 非唯一可译
1.5
01
1000
0001 及时码
1.875
非唯一可译 唯一可译
1.5 1.875
24
4.3
变长编码
码树编码方法 三元树码：C={w1, w2,…,w11} w1=0, w2=11, w3=12, w4=20, w5=22, w6=100, w7=101, w8=102, w9=210, w10=211, w11=212. 树码一定是即时码
H(X ) R R H(X )
2.55 2.83 0.90
即每个符号用2.83bit进行定长二元编码，最多有7.11 (= 22.83)个码字。但信源符号共有8个，其中一个无码字， 取概率最小的s8不编码, 则译码错误概率为0.04.太大！
18
4.2 等长编码
例4-3(续)
H(X ) =0.90 0.28 H(X )
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
信息论与纠错编码(电子工业出版社)第四章率失真编码 参考答案
4.1 当率失真函数R （D ）取什么值的时候，表示不允许有任何失真。
解：当D=0时，表示不允许有任何失真，此时R （D ）= H （X ）， 即R max （（D ）= H （X ）4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值是什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？解：不允许失真时，信息率压缩极限值R （D ）= H （X ）；不允许失真时，信息率压缩极限值 R （D ）= 04.3 在例4.8中，当允许D= 0.5δ时，请问每个信源符号至少需要几个二进制符号来对其编码？解：因为二元信源率失真函数：⎪⎭⎫⎝⎛-=a D H p H D R )()(其中a = 1（汉明失真）, 所以二元信源率失真函数为：)()()(D H p H D R -=当D= 2P 时[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡25.025.05.0x 321x x ，失真测度矩阵[d]=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡011302120，求率失真函数R （D ）。
解：定义域：D min =0×0.5+0×0.25+0×0.25=0D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域：R （D min ）= －0.5log0.5－0.25log0.25－0.25log0.25=0.45 R （D max ）= 04.5 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα,求率失真函数R(D)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑LL。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：1234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。
表中数字为相应像素上的灰度级。
（1）不考虑图像的任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？（2）若考虑图像的统计特性，求这幅图像的信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示。
4-10在MPEG 中为了提高数据压缩比，采用了____方法。
A ．运动补偿与运行估计 B.减少时域冗余与空间冗余 C ．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测4-11 JPEG中使用了____熵编码方法。
A.统计编码和算术编码B.PCM编码和DPCM编码C.预测编码和变换编码D.哈夫曼编码和自适应二进制算术编码4-12 简述常用信息编码方法的两类。
4-13 简述等长编码和变长编码的特点，并举例说明。
4-14已知信源X＝[x1=0.25,x2=0.25,x3=0.2,x4=0.15,x5=0.10,x6=0.05]，试对其进行Huffman编码。
4-15已知信源X＝[x1＝1/4，x2＝3/4]，若x1＝1,x2＝０，试对1011进行算术编码。
4-16离散无记忆信源发出A，B，C三种符号，其概率分布为5/9，1/3，1/9，应用算术编码方法对序列CABA进行编码，并对结果进行解码。
4-17给定一个零记忆信源，已知其信源符号集为A=｛a1，a2｝＝｛0，1｝，符号产生概率为P(a1)＝1/4，P(a2)＝3/4。
对二进制序列11111100，求其二进制算术编码码字。
4-18有四个符号a，b，c，d构成的简单序列S＝abdac，各符号及其对应概率如表所示。
应用算术编码方法对S进行编码，并对结果进行解码。
符号符号概率p ia 1/2b 1/4c 1/8d 1/84-19简述游程编码的思想和方法。
4-20简述JEPG算法的主要计算步骤，并详细说明每个步骤。
4-21设二元信源的字母概率为P(0)=1/4,P(1)=3/4。
若信源输出序列为10111（a）对其进行算术编码并计算编码效率。
（b）对其进行LZ编码并计算编码效率。
4-22设有二元信源符号集，输入信源符号序列为101000110110,a a a a a a a a a a a a L求其序列的字典编码。
4-23一个离散记忆信源A={a,b,c},发出的字符串为bccacbcccccccccccaccca。
试用LZ算法对序列编码，给出编码字典及发送码序列。
4-24 用LZ算法对信源A={a,b,c}编码，其发送码字序列为：2，3，3，1，3，4，5，10，11，6，10。
试据此构建译码字典并译出发送序列。
习题参考答案4-1：(1) A 、B 、C 、E 编码是唯一可译码。
(2) A 、C 、E 码是及时码。
(3) 唯一可译码的平均码长如下：61111111()3()32416161616A i i i l p s l ===⨯+++++=∑ 码元/信源符号61111111()123456 2.1252416161616B i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()123456 2.1252416161616C i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()12()422416161616E i i i l p s l ===⨯+⨯++++⨯=∑码元/信源符号4-3：(1)/bit ∑8i i i=1H(X)=-p(x )logp(x )1111111111=-log -log -log -log -log 22448816163232111111 -log -log -log646412812812812863=164符 (2) 平均码长：6111111111()3()3248163264128128i i i l p s l ===⨯+++++++=∑码元/信源符号所以编码效率：()0.6615H X lη==4-5：(1)霍夫曼编码：l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符号0.220.1920.1830.1730.1530.140.014 2.7271()log 2.61i i i H X p p ===∑ 码元/符号() 2.610.95962.72H X lη===平均码长：0.4910.14320.07420.0440.0250.0260.016 2.23l =⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符 91()log 2.31i i i H Y p p ===∑码元/符号编码效率：() 2.310.99142.33H Y lη=== (2) 仙农编码：平均码长：0.230.1930.1830.1730.1530.140.017 3.14l =⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符() 2.610.83123.14H X lη===平均编码长度：0.4920.1420.07420.0450.02620.0260.017 2.89l =⨯+⨯+⨯⨯+⨯+⨯⨯+⨯+⨯=码元/信源符编码效率：() 2.310.79932.89H Y lη=== (3) 费诺编码：对X 的费诺编码：0.220.1930.1830.1720.1530.140.014 2.74l =⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符号 编码效率：() 2.610.95262.74H X lη=== 对Y 进行费诺编码：0.4910.14230.07420.0440.0250.0260.016 2.33l=⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符号编码效率：() 2.310.99142.33H Ylη===(4)由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。
4-7：由三元编码方式可知：R=D－B=R D-1(K－2)+2由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：译码：46738()0.9292,172996738572990.36280,89190.36280580.6530,5991950.6530590.36280,85999F u ⎡⎫==∈⎪⎢⎣⎭∴-⎡⎫=∈⎪⎢⎣⎭-∴-⎡⎫=∈⎪⎢⎣⎭-∴-⎡⎫=∈⎪⎢⎣⎭-∴第一字符是:C 第二字符是:A 第二字符是:B第二字符是:A所以译码结果是：CABA4-21： 1011 0111 1011 0111124124()31(1)(0)()()0.0001237441011 0111 1011 0111p s p p ====算术码的码长log ()13l p s =-=由序列S 的分布函数F （S ）由二元整树图来计算：2482103124()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)3313131311()()()()()()()()()4444444440.35114030.0101100110011F S p p p p p =-----=-----== 所以算术编码为：0100 0011 0011 平均码长及编码效率如下：130.812516l ==码元/符号 ()(1)log (1)(0)log (0)0.8113H S p p p p =--= bit/符号 ()0.9985H S lη== (2)由于信源符号集中共有2个元素，因此只需要⎡⎤12log =位二进制数就可以表示其编码，该符号集的编码表如下：按照分段规则，分段为：1 0 11 01 111 011 0111 短语数为7，可用⎡⎤37log ==n 位来表示段号；每个信源符号编码长度为1，所以短语长度为：3+1=4，具体编码过程如下：平均编码长度： 1.7516l ==码元/符号编码效率为：4636.075.18113.0)(===lS H η。