信息论与编码第四章
信息论与编码_曹雪虹__第4章
以得到（ 4.5）式。 证毕。
30
例4.3 设试验信道输入符号 {a1, a2 , a3} ，概率
分别为1/3，1/3，1/3，失真矩阵如下所示，
2°绝对误差失真函数 d ( xi , yj ) = | xi - yj |
3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi |
4°误码失真函数
0 i j
d( xi , y j ) 1 其他
失真函数1°,2°,3°用于连续信源 , 失真函数4°用
于离散信源 , 失真函数4°也称Hanmming失真函数
min
R ( D )0
D
因此可以得到R(D)的定义域为
D 0, Dmax
n
Dmax min j 1,2, ,m
pi dij
i 1
25
Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0， 这时试验信道输入与输出是互相独立的，所以条 件概率p(yj/xi)与xi无关。即
pij p( y j / xi ) p( y j ) p j
存储容量(如各种数据库、电子出版物、多媒体娱乐)
、传输时间(如数据通信和遥测)、或占有带宽(如多媒
体通信、数字音频广播、高清晰度电视)，要想方设法
压缩给定消息 集合占用的空间域、时间域和频率域资
源。
3
4.1.1 引 言
4.1 实际生活中的需要
基
实际生活中，人们一般并不要求获得完全无失真的消息 ，通常只要求近似地再现原始消息，即允许一定的失真
凡满足保真度准则的这些试验信道称为D失真许 可的试验信道。把所有D失真许可的试验信道 组成一个集合PD。
20
（2）信息率失真函数R(D)
信息论与编码 第四章
4. 信息率失真函数 R（D）
R( D) = min I ( X ; Y )
PD '
�
说明:
n pij ∈pD ' m
对于离散无记忆信源， R（D）函数可写成
R(D) = min ∑∑ p(xi ) p( y j / xi ) log
i=1 y j )
例4－1－2
�
说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数 R（D）
�
1. 信息率失真函数R（D）问题产生? 对于信息容量为 C 的信道传输信息传输率为 R的信源时，如果R＞C，就必须对信源压缩， 使其压缩后信息传输率R 小于信道容量 C ，但 同时要保证压缩所引人的失真不超过预先规定 的限度,信息压缩问题就是对于给定的信源，在 满足平均失真
■
2. R(D)函数的下凸性和连续性
定理 R（D）在定义域内是下凸的 证明: 令
�
D = αD'+(1 − α)D' ' , 0 ≤α ≤1 R(D' ) = min I ( pij ) = I ( p'ij )
pij∈pD'
α
其中： p 是使I（Pij）达到极小值的 证D≤D’。
' ij
p ij ，且保
说明: (1) 由于xi和yj都是随机变量，所以失真函 数d(xi,yj)也是随机变量，限失真时的失真 值，只能用它的数学期望或统计平均值，因 此将失真函数的数学期望称为平均失真。
�
�
(2) p（xi,yj）, i=1,2,…,n， j=1,2,…,m是联合分布； p（xi）是信源 符号概率分布； p（yj ／xi），i= l， 2，…，n，j＝ l，2，…，m是转移概率 分布；d（xi,yj），i=1，2，…， n,j=1，2，… ，m是离散随机变量的 失真函数. (3)平均失真 D是对给定信源分布 p（xi） 在给定转移概率分布为 p（yj／xi）的信 道中传输时的失真的总体量度。
《信息论与编码》习题解答-第四章(新)
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
信息论与编码课件(第四章)
• 信源编码基本思想：尽可能缩短出现概率大的信 源符号的码字
电气信息工程学院
4.1 编码器及码的分类
• 码的分类 • 二元码：若码符号集X＝{0，1}，所得码字为一
些二元序列，则称二元码。[在二元信道中传输]
• 允许错误概率越小，编码效率要求越高，则信源 序列长度N就必须越长。
• 实际情况下，要实现几乎无失真的等长编码，N 需要非常大。
电气信息工程学院
4.4 等长信源编码定理
• 例 设离散无记忆信源
S P(s)
s1 3
4
, ,
s2 1 4
• 信源熵 H (S)1lo4 g3lo4g 0.81 (b1istym ) bol • 自信息方差 4 4 3
• 编码的意义： • 通信的基本问题：如何高速、高质地传送信息。 • 高速和高质＝鱼和熊掌。 • 编码讨论的问题： • （1）质量一定，如何提高信息传输速度（提高
编码效率或压缩比）---- 信源编码（本章讨论 问题） • （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
• 当进行二元编码时，r＝2，则：
等长编码时平均每个 信源符号所需的二元 码符号的理论极限
l H(S)
N
信源等 概分布
l log q N
时
• 一般情况下，信源符号并非等概率分布，且符号
之间有很强的关联性，故信源的熵H(S)<<logq。
电气信息工程学院
4.4 等长信源编码定理
• 从定理4.3可知，在等长编码中每个信源符号平 均所需的二元码符号可大大减少，从而使编码效 率提高。
信息论与编码(第四章PPT)
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
《信息论与编码》第四章习题解答
习题 4.4（3）图
（3）N 个相同 BSC 的积信道，求这时积信道容量 C N ，且证明 lim C N = ∞
N →∞
［证明］ （1）见例 4.3.2 （2）首先因为
I ( X ; Y1 , Y2 ,L , YN ) = H ( X ) − H ( X | Y1 , Y2 LYN )
≤ H(X )
利用切比雪夫不等式
1 P[ Z N = 1| X = 0] = P Z ' N > | X = 0 2 1 = P Z ' N − p > − p | X = 0 2 1 ' ≤ P| Z N − p |> − p p 2 p(1 − p ) = 1 N ( − p )2 2
2
2
二元对称信道C2
4
退化信道容量为 C1 = 0 ，二元对称信道容量为 C2 = 1 − H (ε ) ， 所以和信道的容量为
C = log 1 + 21− H ( ε )
达到信道容量的输入分布为
[
]
p ( X = 0) = 2 C1 − C 1 = 1 + 21− H (ε ) p ( X = 1) = p( X = 2)
所以满足定理 4.2.2 所规定的达到信道容量的充要条件，信道容量为
C=
（e）
3 bit/次 4
1 3 P = 0 1 3
1 3 1 3 0
0 1 3 1 3
1 3 1 3 1 3
信道是准对称信道，当输入分布为均匀分布时达到信道容量，即
p ( X = 0) = p( X = 1) = p ( X = 2) =
0 1
0 1
信息论与编码技术第四章课后习题答案
''
a − a | x| 2 e − D a e− a|x| , (6) 2 2
s
R( D) ≥ R L( D) = h(u ) − h( g )
2 1 = a log e − log (2eD) 2
当（5）式大于零时， R ( D ) = a log e − 4.8
2 1 log (2eD) 2
4.10
X ⎤ ⎡0 1 ⎤ 一二元信源 ⎡ ，每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某二元 ⎢ p( x) ⎥ = ⎢0.5 0.5⎥ ⎣ ⎦ ⎣ ⎦
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 解：（1）此信源的熵 H(s)=1 （比特/符号） 所以信源输出的信息传输率为 Rt=2.66 （比特/秒） 将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。 此信道的最大信息传输速率：Ct=2 比特/秒 因为 Rt>Ct 根据信道编码定理， 不论进行任何编码此信源不可能在此信道中实现无错误地传输， 所以信源在此 信道中传输会引起错误和失真。 （2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率 失真函数 R(D)=1-H(D) 若当 Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误， 也就是不会因信道而增加信源新的失真。 总的信源的失 真是信源压缩编码所造成的允许失真 D 所以有 2=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真 D ≈ 0.0415 时，此信源就可以在此信道中传输。 比特/信源符号 比特/秒 Rt(D)=2.66*R(D)
(信息论、编码及应用)第4章连续信源与连续信道
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
《信息论与编码》PPT第四章
L
L
2）误差准则：
→ → e( f , g ) p ε 即P g f (uL ) ≠ uL p ε差准则： E [e ( f , g )] p ε 即E P g f (u ) ≠ u p ε ，
四、 密码 它是研究信息与通信系统在传输最安全的指标下， 系统中的信源和信宿，在什么样条件下能实现统计匹 配，即最优的加、解密密码存在； 反之，又在什么样条件下不能实现统计匹配，即 最优的加、解密密码不存在。
定理： 设掌握密钥的信宿V，它对应的系统传送的互信息 R=I（U，V，）不掌握密钥的信宿V’，它对应的系统传 送的互信息R’=I（U，V’），信源的信息熵为H（U）。 则：掌握密钥的信宿V，通过最优化的加、解密码 V （f2,g2），使得R=I（U，V）=H（U）。 反之，对不掌握密钥的信宿V’，几乎找不到最优化密钥 （f2,g2’）=（f2,g2），即R’=I（U，V’）→0. ——1949年，香农给出的密码学基本定理。 * 概率分布分析： P (ϕ ) = P (u L ).P (cm | sm ).P ( sm | cm ) ′ ′
定理：若系统要求达到的实际传输速率为R，无失真 信源的可用信息熵为H（U），则若R＞H（U）时， 最有效的信源编、译码 ( f1 , g1 ) 存在，反之R＜ H（U）则不存在。——香农编码第一定理。 从另一角度来理解定理——用系统的概率分布函数
′ 由无失真准则，则 即 P ( sm | uL ) = P (vL | sm ) → → 所以 P(ϕ ) = p(uL ) f .g = p(uL ) 即系统与信源匹配。
•系统优化其物理实质： 就是要研究系统在某种优化指标下，上述两类 参数在满足什么条件时对应的编、译码存在； 又在什么条件下，对应的编、译码不存在。
信息论与编码第四章课后习题答案
−∫
1 − sin x d sin x 1 − sin x
因此有
h( X ) = −2 A log A −
A log e(2 ln 2 − 2 + 2 ln 2 − 2) 2Байду номын сангаас= −2 A log A + 2 A log e − 2 A log e ln 2 = −2 A log A + 2 A log e − 2 A 1 ，因此 2
试计算 h( X ) ， h(Y ) ， h( XY ) 和 I ( X ; Y ) 。 解： p( x) = ∫ p ( x, y )dy 1 =∫ dy (a 2 − a1 )(b2 − b1 ) = 1 a2 − a1
同理， p( y ) = 因此
1 。 b2 − b1
h( X ) = − ∫ p ( x ) log p ( x)dx = log(a 2 − a1 ) h(Y ) = − ∫ p( y ) log p( y )dy = log(b2 − b1 ) h( XY ) = − ∫ p ( x, y ) log p ( x, y )dxdy = log( a2 − a1 ) + log(b2 − b1 ) I ( X ; Y ) = h( X ) + h(Y ) − h( XY ) = 0 【4.7】在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明 （1） h( X | Y ) ≤ h( X ) ，当且仅当 X 和 Y 统计独立时等号成立； （2）h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) ，当且仅当 X 1 X 2 L X N 彼此统计 独立时等式成立。 证明： （1） h( XY ) = − ∫ p( y )dy ∫ p( x | y ) log p ( x | y )dx ≤ − ∫ p ( y )dy ∫ p( x | y ) log p ( x )dx = − ∫ p( x, y ) log p ( x )dxdy = h( X ) 等号成立当且仅当 p( x | y ) = p ( x ) ，即 p( x, y ) = p( x ) p ( y ) ，因此仅当 X 和 Y 统计 独立时等号成立。 （2）根据条件概率密度的相关公式，有 h( X 1 X 2 X N ) = h( X 1 ) + h( X 2 | X 1 ) + h( X 3 | X 1 X 2 ) + L + h( X N | X 1 X 2 X N −1 ) 根据（1）的结论，条件差熵小于差熵，因此有 h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) 等号成立当且仅当
信息论与编码第四章
r li ⒄1
i 1
码长 li ，码符号集中符号个数r，信源符号个数q，称作kraft
不等式。
说明：唯一可译码一定满足不等式，反之，满足不等 式的码不一定是唯一可译码。
• 充分性证明：假定满足不等式的码长为 l1,l2 , ，,lq 在q个码字
中可能有长度相同的码字。设码长为1的有n1个，长度为2
111111
同价码：每个码符号（元）所占的传输时间都相
同
§4.2 等长码和等长信源编码定理
实现无失真编码的条件：
1、信源符号与码字一一对应 2、任意一串有限长的码符号序列与信源s的符号序列也 是一一对应，即N次扩展后仍满足一一对应关系。 同时满足上述条件称为唯一可译码
s : s1 s2 s3 s4 w j c : 0 10 00 01
N
N
I (ai ) log p(ai ) log pik I (sik )
k 1
k 1
E[I (ai )] H (S N ) NH (S )
E(x) xP （x） m H(s)
x
D[I (ai )] ND[I (si )] N{E[I 2 (si )] [H (s)2 ]
q
n
r li
nl m ax
Ajr j
i 1
jn
q
n
r
li
nl max
r j •rj
上界 ⑻
1 (N, ) p(G) MG • max p(ai ) ⑼
max p(ai ) 2 N[H (s) ]
下界 M G [1 (N , )]2 N[H (⑽ s) ]
我们可以只对集G中MG个信源序列进行一一对应的等长编码，
这就要求码字总数不小于MG就行，即
信息论与编码课件chapter4_part2
信息论与编码
4-5 变长编码方法
4.5.3 霍夫曼编码方法（Huffman）
信息论与编码
若以X :{a1 , a2 , , ar }为码符号集，用霍夫曼编码方法， s2 S s1 对信源空间为 = P p( s1 ) p( s2 ) 忆信源S，进行无失真信源编码 进行无失真信源编码 其步骤如下： sq 的离散无记 p ( sq )
i = 1,2, , q N
信息论与编码
4-4 变长编码定理 4.4.3 离散平稳无记忆序列变长编码定理 定理：
将信源S的N次扩展信源SN的消息作为编码对象， 的消息作为编码对象 使非延长码的码字与消息一一对应，则当信源扩 展次数N足够大时，信源 足够大时 信源S的每 的每一个信源符号 个信源符号si所 需要的平均码符号数，即平均码长可以无限接近 于下界H(S)/logr ，接近的程度随 接近的程度随N增加而增加
S : {s1 , s 2 , , s q }
W : {w1 , w2 , , wq }
a1
信 源
s1 s2 sq
编码器
X : {a1 , a 2 ,, a r }
a2 ar
信 道
n1 n2 nq
w1 w2 wq
信源空间：
S s1 P = p( s ) 1
王育民信息论与编码理论第四章答案2
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11。
令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。
题图 4.5(a)求Q t 的表达式。
(b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。
解：(a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1)由已知得，但各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=⎥⎦⎤⎢⎣⎡--p p p p 11⎥⎦⎤⎢⎣⎡--p p p p 11=()()()()⎥⎦⎤⎢⎣⎡-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为：P N =()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+N N N N p p p 1221211221211221211-2p 2121 则Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡-+即Q t 的表达式为：Q t =()()012122121Q p p t t -+-- t=0,1,……,N (b) 由(a)可得到：Q N =()()012122121Q p p t t -+-- 由0<p<1，则0<2p<2，-1<2p-1<1，即|2p-1|<1 则21lim =∞→N N Q ，与Q 0取值无关。
信息论与编码技术课件4
上述三个例子说明了具体失真度的定义。一般情况下根据 实际信源的失真，可以定义不同的失真和误差的度量。另外 还可以按其他标准，如引起的损失、风险、主观感觉上的差 别大小等来定义失真度d(u,v)。
二、 平均失真度
信源 U 和信宿 V 都是随机变量，故单个符号失真度d(ui,vj) 也是随机变量。显然，规定了单个符号失真度d(ui,vj) 后，传 输一个符号引起的平均失真，即信源平均失真度：
4.2
信息率失真函数及其性质
一、信息率失真函数的定义
信源给定，且又具体定义了失真函数以后，总希望在满足 一定失真的情况下，使信源传输给收信者的信息传输率R尽可 能地小。即在满足保真度准则下，寻找信源必须传输给收信者 的信息率R的下限值-------------这个下限值与D有关。 从接收端来看，就是在满足保真度准则下，寻找再现信源 消息所必须获得的最低平均信息量。 而接收端获得的平均信息量可用平均互信息I(U;V)来表示 ，这就变成了在满足保真度准则的条件下，寻找平均互信息 I(U;V)的最小值。
i= j 0 d (ui , v j ) = α (> 0) i ≠ j
称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ui,vj)＝0 表示没有失真。
若信源变量U有r个符号，接收变量V有s个符号， 则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：
d (u1 , v1 ) d (u1 , v 2 ) d (u , v ) d (u , v ) 2 1 2 2 D= : : d (u r , v1 ) d (u r , v 2 )
求率失真函数R(D) 。 解：由
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
信息论与编码第四章习题参考答案
4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。
解：信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时，序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为9.0NL L 11==比特/符号 所以编码效率为%9.97L )(H 11==X η 当N=100时，序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号，平均每个符号的码长为89.0NL L 22==比特/符号 编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为，允许错误概率为，求编码序列的长度。
解：信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-）2.0（2.0）8.0（8.0D 222=+=lb lb采用二进制码进行等长编码，序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。
(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结果。
解1）信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-）25.0（25.0）75.0（75.0D 222=+=lb lb采用二进制编码，序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号 每个符号码长为84375.026875.12L L ===比特/符号 编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
00 01 10 11 0.81 0.09 0.0ቤተ መጻሕፍቲ ባይዱ 0.01
如取00，01，10编码，概率和为：0.99
扩展N＝3 000 001 010 100 101 110 111
0.729 0.081 0.081 0.081 0.009 0.009 0.001
取≥两位0的编码，概率为0.972；取前7个编码，概率为：0.999
这就要求码字总数不小于MG就行，即
rl MG
M G2N[H(s)] rl
llor gN [H (s)] l H (s)
N lorg
⑾
pEp(G )(N,]D [N I(s2i)] ⑿
满足式⑾的条件下，N时，译码错误概率 pE 0
但当
l H (s)2 rl 2N [H (s)2]
N lorg
⒀
由MG的下界式⑽可知，这种情况下选取的码字总数小
1002 取≥3个0的编码 (05个)，概率为0.9477； 1003 取≥2个0的编码 (11个)，概率为0.9963； 1004 取≥1个0的编码 (15个)，概率为0.9999
§4.3 变 长 码
变长码可以在N不很大时就可编出效率很高而且
无失真的码；变长码也必须是唯一可译码才能实
现无失真编码。
如取不等号，则为非用尽的即时码，∵即时码是唯一可译
码的一类子码，所以定理的充分性也就得到了证明。
必要性证明：已知唯一可译码的码长为 l1,l2,,lq ，设n是一个 任意的正整数，考虑等式：
qr li n r l1 r l2 r lqnq
r (li1 li2 lin )
其中正确的译码概率： pE 1pE p[G 中 rl个 a i] 1 p E 2 N
pE 12N
⒃
N pE 1
等长信源编码定理
一个熵为H（S）的离散无记忆信源，若对信源
长为N的符号序列进行等长编码，设码字是从r个
字母的码符号集中选取 l 个字母组成，对于任
意 ，0 只要满足
l N
H，l(osg)当r
式⒆为各
r
j
项之和，
li1,都 ,可lin 取
而l1,l2,,lq, 又都l1可,取,lq值,
为序话码列说qA n中，j 码就l三m ，符是in个所号把1,2码以,总总 w字:,相长长{l1m,所0a同相度x1,0组数等为0}合1值的j的成j码的序的字出列长序现的度列不数不止目止的一记一序次为个列，，，共也例令有就如为7是种由j在＝个：唯6A，j个一码可换字译句
除一些无效字符组合，扩展信源中的符号总数 所需q编N
码的码字个数可大大下降。
设离散无记忆信源： sN: a1, p(a):p(a1),
aqN p(aqQ)
ai (si1,si2,siN)， i1,,qN i1,i2,,iN1,q
N
p(ai ) pik i 1,2,,qN k1
N
N
I(a i) lop (g a i) lop ig k I(sik )
于集G中可能有的信源序列数，将有相应码字对应的信源
序列的概率和记作 p[G中rl个ai]，它必然满足：
p[G 中 rl个 ai]rl•m ai Gp a(aix )
⒁
p [ G 中 r l 个 a i] 2 N [ H ( s ) 2 ]• 2 N [ H ( s ) ] 2 N
⒂
rl MG 造成有些序列没有码字对应，译码时必出错，
1 01 001，1 001 01，01 1 001，01 001 1，001 1 01，001 01 1，01 01 01
a1 a2 a3 ，a1 a3 a2， a2 a1 a3， a2 a3 a1 ， a3 a1 a2， a3 a2 a1，a2 a2 a2
因将此：代式入（上1式9）：可以合并： Aj r j
码长。
共n个码字
1
2
n 1 n
l i1
li2
令： li1li2linj
lin 1
l in
i1in1,2,,q
j的值是个码字组成的码字序列的总长，也就是n个信源符 号组成的序列所对应的码符号序列的总长度。因为讨论的
是变长码，所以设 l i 的取值范围为：
lmi nli lmax
nm l injnm l 则ax j的lm取in值1范围n为jnlmax
s 1 s 1s 1 s 2 s 1 s 3 s 1 s 4 s 2 s 1 s 2 s 2 s 2 s 3 s 2 s 4 s 3 s 1 s 3 s 2 s 3 s 3 s 3 s 4s4s1 s4s2 s4s3 s4s4 001 00 0 00 0 10 10 0 11 0 1 0 0 0 0 0 0 0 0 1 0 0 01 0 0 0 0 0 010 00 011 1001000101
• 充分性证明：假定满足不等式的码长为 l1,l2,，,lq 在q个码字
中可能有长度相同的码字。设码长为1的有n1个，长度为2
的有n2个，长度为j的有nj个，…，最大长度为l 的有nl个，
此处n为节点的阶数，（即n次扩展），此节点中的码字长
度为ni；ni为长度为i的码字个数。有：
l
ni q
一共q个码字，全为1时， l ，q 满足不等式 ： i1
i 1
i1 1 i2 1 in 1
q
q
r li1 r li n r l 1 r l2 r lq r l 1 r lq
i 1 1
in 1
⒆
右边共有 q n 项，代表了n个码字组成的码字序列的总数。
每项均对应于n个码字组成的一个码字序列，如下图，图
中1、2、…、n表明码字的序号，li1,li2,lln 分别为对应的
若通过一个二进制信道进行传输，为使信源适合信道的传输，
将用0,1符号序列表示，码符号集为
s x，[0序,1]列与 i的对应
形式可有多种，得不同的码。
码1 00 01 10 11 码2 0 01 001111
码的基本分类： 固定长度码（等长码） 变长码：各码字的码长不等 非奇异码：码中所有码字都不相同 奇异码：有同码
n 1 r l 1 n 2 r l 2 n l 1 r n l r l n l r l n 1 r l 1 n 2 r l 2 n l 1 r
移项后为：
由于都为正整数，将⒅左边去掉一项（等号去掉），有：
l 1
ni r i 1
同理得：
i 1
nl 1 r l 1 n1r l 2 n 2 r l 3 nl 2 r nl2 r l2 n1r l3 n2 r l4 nl3r
扩展N＝4
0000 0001 0010 0011 0100 0101 0110 0111
0.6561 0.0729 0.0729 0.0081 0.0729 0.0081 0.0081 0.0009
1000 1001 1010 1011 1100 1101 1110 1111
1001 0.0729 0.0081 0.0081 0.0009 0.0081 0.0009 0.0009 0.0001
单义（唯一）可译定理：设信源符号集为：s[s1s2，sq码] 符号
集为：
x ，[x又1x2 设x码r] 字为
，其w分1w2别 对wq 应的码长
为； ， 则l1l2存 l在q 唯q 一可译码的充分必要条件是：
r li ⒄1
码长
li
i 1
，码符号集中符号个数r，信源符号个数q，称作kraft
不等式。
说明：唯一可译码一定满足不等式，反之，满足不等 式的码不一定是唯一可译码。
由切贝雪夫不等式： pI(ai)N(H s)ND ([N I(a)i2)]
p I(N a i)H (s) D [I(si)/]N 2(N ,)
⑴
方差为定值
表明 N l i m (N,)N l i m D [N I(s2i)]0
I (ai ) / N 依概率收敛于H (s)
Gai
:
I(ai)H(s) N
q
rli rl1r－ l2rlj rlq 1
i 1
考虑有码长相等的情况，合并同类项后得：
l
⒅ n 1 r 1 n 2 r 2 n lr l 1 n ir i 1 i 1
l
两边同乘以 r ：l nirli rl i1
n l r l n 1 r l 1 n 2 r l 2 n l 1 r
码的N次扩展： s 2 [ a 1 s 1 s 1 ; a 2 s 1 s 2 , a 3 s 1 s 3 ; , a 1 6 s 4 s 4 ] 码2的二次扩展码为：
a 1 a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a 10a 16 000 01 0 00 1 0 1 1 1 0 1 0 1 00 11 0 01 0 0 1 1 0 1 01 1 00 1 1 0 1 1 11
有重码，非唯一可译码 等长非奇异码一定单义可译
等长编码条件： q r l ，满足此条件，才有可能无
重码（非奇异）；扩展后：qN rl Nloqgllorg
l log q N log r
N 1 lloqg/lorg
l ：平均每个信源符号所需要的码符号（元）个数 N 考虑到符号出现的概率以及符号之间的依赖性 。再去
m i Gp i(nai)2N[H(s)]
MG2N[H(s)]
上界 ⑻
1 ( N ,) p ( G ) M G • m a x p ( a i) ⑼
mp a(ax i)2N [H (s) ]
下界 M G [1 (N ,)2 ] N [H (⑽s) ]
我们可以只对集G中MG个信源序列进行一一对应的等长编码，
时，N几乎 可实现无