第八章 限失真信源编码
第八章 限失真信源编码
第八章 限失真信源编码8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:∑==ri j i ji b a d a p D 1min )},(min ){(并写出取得min D 的试验信道的传输概率选取的原则,其中))}/(,),/(),/({min ),(min 21i S i i jj i ja b p a b p a b p b a d =(证明详见:p468-p470)8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:}),()({min 1max ∑==ri j i i jb a d a p D并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478)8.5设二元信源X 的信源空间为:-1)( 1 0X:][X ⎩⎨⎧•ωωX P P令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求:(1) D min ,R(D min ); (2) D max ,R(D max );(3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解：{}{}{}{}0)()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(100110][10 000)1(0)0(),(min )()1(max 21min max min min 21min ==∴====++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑==ωωωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D jji j i i j i j i j i j i j i 此时故此时或的信道矩阵则满足保真度＝最小允许失真度：⎩⎨⎧≥<≤-=-=-=∴---=ωωωωD D D H H D R D H H D H X H D R r D D H X H D R 00 )()()()()()()()()1log()()()(,)3(即对此信源下离散信源在汉明失真度由上，可得R(D)曲线如下:(4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble 8.6一个四进展等概信源41 41 41 41 )( 3 2 1 0U :][U ⎪⎩⎪⎨⎧•U P P接收符号集V:{0,1,2,3},其失真矩阵为:⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110]D [ (1) D min ,R(D min ); (2) D max ,R(D max );(3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解:{}{}{}symble/bit 2)41,41,41,41()()/()(min );(min )0()(0)/(),4,3,2,1(1)/(0)/(1000010*********][0min 00)3(0)2(0)1(0)0(),(min )(min },{:)1(min 4121===-===∴====⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡===•+•+•+•==∑=H U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p p p b u d u p D b b Y i j i j i j i j i 故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集DH(0maxsymble/bit 0)43(,43 ;symble /bit 208.0)21(,21 ;symble /bit 792.0)41(,41 ;symble /bit 258.1)81(,81 ;symble /bit 2)0(,0:43 0430 3log )(2)(3log )(23log )()()()1log()()()(,)3(0)()(0);(,4343,43,43,43min ),()(min )2(max 41min max ==========⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧=⎭⎬⎫⎩⎨⎧='=∑=R D R D R D R D R D D D D D H D R D D H D D H U H D R r D D H X H D R R D R Y X I Y U b u d u p D D ji j i i j 可计算得即对此信源下离散信源在汉明失真度故相互独立、此时ω可得R(D)曲线如下:8.7某二进制信源:⎪⎩⎪⎨⎧• 21 21 )( 1 0U :][U U P P其失真矩阵为:⎥⎦⎤⎢⎣⎡=0010][1 0 a a D (1) 试求D min ,R(D min );(2) 试求D max ,R(D max ); (3) 试求R(D);D2{}{}{}{}⎪⎪⎩⎪⎪⎨⎧≥<≤-=-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅⋅=++=⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====2 020 )(1)()(1)()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)2a()(0);(,Y 2a)}0(a );1(a {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2(bit/symble 12log )()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min },{;)1(2121max 21min max min 2121a D a D d D H D R aDH a D H U H D R r dDd D H U H Y U I D R D r aDa D H U H Y U H U H Y U I r aDa D H r P P H Y U H aP D D aP p u p a D ub p p a b p a p a b u d u b p u p D R D R Y U I U p p d p d p d p d p b u d u p D D U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p b u d u p D b b Y e e ee ji i e i ji i j ei ji i j i i j j i i j i j ji j i i j i j i j i j i j i 即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).8.9试证明对于离散无记忆信源,有R N (D)=NR(D),其中N 为任意正整数,D>D min . 8.10某二元信源X 的信源空间为:-1 )( X:][X 21⎩⎨⎧•ωωX P a a P其中ω<1/2,其失真矩阵为:⎥⎦⎤⎢⎣⎡=0d d 0][D(1) 试求D min ,R(D min ); (2) 试求D max ,R(D max ); (3) 试求R(D);(4) 写出取得R(D)的试验信道的各传输概率;(5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解:{}{}{}{}⎪⎩⎪⎨⎧≥<≤-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅=⋅⋅=++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====ωωωωωωωd D d D dD H H D R dDH H D R r dDd D H X H Y X I D R D r dDd D H X H Y X H X H Y X I r dDd D H r P P H Y X H dP D D dP p a p d D a b p p a b p a p d b a d a b p a p D R D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p De e ee ji i e i ji i j ei ji i j i i j j i i j i jji j i i j i j i j i j i j i00 )()()()()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)()(0);(,Y X d )1(d )}0(d );1(d {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min )1(2121max 21min max min 21即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：.,""487)()()/()();()( ]log )1log()1[()]()([ ]log )()1log()1)((log )()1log()1)(([ )]/(log )/()()/(log )/()( )/(log )/()()/(log )/()([ )/(log )/()()/(12222)1()()/()()/(22)()/()()/(222)1()()/()()/(122)()/()()/(2)1)(1()/()()(222)1(2)/()()(:2222222][:)();()4(2122112222221212121211111121212222222222222212121222121212222111111212222222221112222222222222矩阵再由反推正向信道传输矩阵反向信道求出或者直接按照课本实际上是先根据参数法检验阵为时的试验信道的信道矩取得p dDH H Y X H X H Y X I dDH dDd D d D d D y p y p dDd D y p d D d D y p d D d D y p d D d D y p y x p y x p y p y x p y x p y p y x p y x p y p y x p y x p y p b a p b a p b p Y X H d D D d D d d Dd Dd d d D Dd Dd d d y p x y p x p y x p d D Dd D d d d D d D d D Dd y p x y p x p y x p d D Dd D d Dd Dd d d D Dd y p x y p x p y x p d D Dd D d d D d D d D Dd d y p x y p x p y x p D d Dd d D D x y p x p y p D d Dd Dd Dd d d D Dd d D d D d D Dd d x y p x p y p Dd Dd d d D Dd Dd d d Dd Dd d d D Dd d D d D d D Dd d D d D d D Dd d P D R Y X I i j j i j i j i i i i i i X -=-=∴=+--⋅+-=+--++---=+++-=-=-=---+--++---===------===--+----==-=---+--==---=--+==--=+----+-+--==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+--++--+-------+--=∑∑∑∑====ωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωω⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--==d D dD d D d DP d Y 11][:1,)5(反向试验的信道矩阵为时与试验信道相对应的由上面8.14设离散无记忆信源:⎪⎩⎪⎨⎧• 31 31 31 )( u uU :][U 321U P u P其失真失真度为汉明失真度.(1) 试求D min ,R(D min ),并写出相应试验信道的信道矩阵; (2) 试求D max ,R(D max ), 并写出相应试验信道的信道矩阵;(3) 若允许平均失真度D=1/8,试问信源[U ·P]的每一个信源符号平均最少由几个二进制码符号表示? 解:{}{}{}.9164.0symble/bit 9164.081)81(3log )81(,8131 0310 )(3log )()(3log 2log )()()()1log()()()(,)3(0)31()(0);(3131;31;31min )}();());({min ),()(min )2(symble /bit 585.13log )()/()(min );(min )0()(0)/(,),3,2,1(1)/(0)/(100010001][ 000)(0)(0)(),(min )()1(max 32131min max min min 32131min 个二进制码符号来表示均最少可以用则信源的每一个符号平时即对此信源下离散信源在汉明失真度此时则此时设输出符号集合或的信道矩阵则满足保真度＝最小允许失真度：=--==⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧==⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===•++•+•==∑∑==H R D D D D D H D R DD H D D H U H D R r D D H X H D R R D R Y U I u p u p u p b a d a p D D U H Y U H U H Y U I R D R Y U H Y i u b p a b p P D D u p u p u p b u d u p D jj i j i i j i j i j i j i j i8.15设二元信源X 的信源空间为:-1)( u uU :][U 21⎩⎨⎧•ωωU P P(ω<1/2),其失真度为汉明失真度.若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解:.)21()()3(21)2log()2(21)1log()1(log 21)21()()21(2100 )()()()()()()()()1log()()()(,个二进制码符号来表示需要每个信源符号平均最少时即对此信源下离散信源在汉明失真度ωωωωωωωωωωωωωωωωωH H H H R D D D D H H D R D H H D H U H D R r D D H X H D R -∴----+----=-==∴⎩⎨⎧≥<≤-=-=-=∴---=。
IT_18_限失真信源编码定理
失真典型序列 失真典型序列：
1 2 3 4
1 log p x H X N 1 log p y H Y N 1 log p xy H XY N d x , y E d X ,Y
0
1 p x , y K x , y p x , y Gd , Pe 0
Pe 0
E d X , Y D Pe d max E d X ,Y D 即当R R D 时, R,D 是可达的.
x y 2
N R I X ;Y 3
2 NR
Pe 1 p x , y K x , y e
x y
2
N R I X ;Y 3
R R D R I X ;Y e
x y
2
N R I X ;Y 3
NR H Y N I Y N ; X N
H Y N H Y N X N
H X N H X N YN
N i 1 N
H Xi H X N Y N
N
H X i H X i Y N , X i 1 , , X i
y
K x, y
Pe p x 1 p y K x , y x y
2 NR
N I X ;Y 3 p x 1 p y x 2 K x , y x y N I X ;Y 3 p x 1 2 p y x K x , y x y
信源编码
S {S1, S2 ,..., Sq}
编码器
C :{W1,W2 ,...,Wq}
X {x1, x2,..., xr}
wi 称为码字，Li为码字wi 的码元个数，称为码字wi 的码字 长度，简称码长。
第二节 码的分类
1、二元码： 码符号集X={0,1}，如果要将信源通过二元信道传输，必
须将信源编成二元码，这也是最常用的一种码。 2、等长码：
第八章 信源编码
1 引言 2 等长信源编码定理、变长信源编码定理
3 各种编码 4 有噪信道编码定理
5 联合信源信道编码定理
第五章 有噪信道编码
第一节 错误概率与译码规则 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第四节 联合信源信道编码定理 第六节 纠错编码的基本思想 第七节 常用编码方法
l H (S) 2
N log r
则不可能实现无失真编码，当N趋向于无穷大是，译码错 误率接近于1。
第三节 等长信源编码定理
•定理4.3的条件式可写成： l log r NH (S)
左边表示长为 l 的码符号所能载荷的最大信息量， 而右边代表长为N的序列平均携带的信息量。因此， 只要码字传输的信息量大于信源序列携带的信息量， 总可以实现无失真编码 。
信源编码的分类：离散信源编码、连续信源编码和相关信源编 码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。
第二节 码的分类
编码器可以看作这样一个系统，它的输入端为原始信
源S，其符号集为S {S1, S2,..., Sq}；而信道所能传输的符号集 为 X {x1, x2,..., xr} 编码器的功能是用符号集X中的元素，将 原始信源的符号 Si 变换为相应的码字符号wi ，所以编码器 输出端的符号集为 C :{W1,W2,...,Wq}
限失真信源编码
m
p(ui , v j )d (ui , v j )
i1 j1
nm
p(ui ) p(v j | ui )d (ui , v j )
i1 j1
DD
D 为给定的失真度
设离散信源U =[0,1]的概率分布为均匀分布，信宿V =[0,1,2]，传递概
率矩阵为
p(v
|
u)
0.6 0.3
求失真矩阵 D.
解：
d(0,0) = d(1,1) = d(2,2) = 0; d(0,1) = d(1,0) = d(1,2) = d(2,1) = 1; d(0,2) = d(2,0) = 4;
0 1 4
D
1
0
1
4 1 0
D Ed (u, v) n
这里 n=2
R(D) H (U ) H (D) H () H (D) H () - log (1 ) log(1 )
H (D) -D log D (1 D) log(1 D)
R(D) 1.0
0.8
ω=0.5
0.6
ω=0.4
ω=0.3
0.4
ω=0.2
inf 为 下确界 （最大下边界）
二元对称信源 U =[0,1], 概率分布为
P(u) [, 1 ] （ 1/ 2）
信宿 V =[0,1], 采用汉明失真，求 0 D 的率失真函数 R(D) 。
.
由汉明失真，有
R(D) H (U ) H (D) D log(n 1)
考虑对均值为零，方差为1的高斯随机变量进行8级量化。由最小均方 误差最小化，可以得到如下表所列出的最优量化及Huffman编码。
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
信息论与编码8----限失真信源编码2
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
限失真编码
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
限失真信源编码定理
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
第8章 限失真信源编码
33
8.4.1 预测编码预测值xn ~ xn d n
预测误差
34
线性预测是最常用的预测方法，其表达式为
xn wi xni
i 1
p
预测阶数应该取多大，加权系数又应该怎样选取，才能在性能 和简单上得到合理的折中？
增量调制（或DM，Differential Modulation） 差分脉冲编码调制（DPCM，Differential Pulse Code Modulation） 自适应差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation）， 这类方案通常也称为差值编码。
x 256 286 256 30 32 16 8 40
C0 0
C3 0
C2 0
C1 1
故段内码 C3C2C1C0 0010。
C7 C6 C5C4 C3C2 C1C0 01010010
码长为8的语音信号13折线A律非线性量化编码与码长为12的均 匀量化编码的量化噪声水平基本相当，而编码效率却提高了50%。 21
在矢量量化中，将L个采样时刻的信号值组成一组，将其看作一 个L维矢量，以这些L维矢量为单位逐个进行量化编码。
23
a2
S3
x(Ts ) x(2Ts )
x(12Ts )
S4 S1
S2
a1
S6 S5
X1
X2
X6
图8.3.6 二维矢量的形成
图8.3.7 平面的划分
24
矢量量化就是在给定码书中搜索、计算一个与信号矢量最接近 的码字，并用信号和量化矢量之间的误差衡量二者的接近程度。接 收端用同样的码书，通过序号检索到最接近X的码字。
第八章 限失真信源编码
1 1 4
Dmax=ω
2 1 4
3 1 4
D
©H.F.
2002 Copyright EE Lab508
(1)设输出符号集Y :{b1,b2}最小允许失真度：
4
D min p(ui )min jd (ui ,bj ) p(0) 0 p(1) 0 p(2) 0 p(3) 0＝0 i 1
R(Dmin ) R(0) minI ( X ;Y ) minH ( X ) H ( X / Y ) H ( X ) H ()
D min
(2)Dmax
min
j
2
min{p(1); p(0)} p(1) j
此时I ( X ;Y ) 0 R(Dmax ) R() 0
i 1
p(ai
D
3
,
3 R( )
44
0bit
/
0
3 4
(u
minH
symble
i
D
R(D) 2 (bit/bymble)
1.258
0.792
0.208
,
b
j
)
3 4
0 1/8 1/4 1/2 3/4
(U
)
H
min3 , j 4
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，力通根保1据过护生管高产线中工敷资艺设料高技试中术卷资0配不料置仅试技可卷术以要是解求指决，机吊对组顶电在层气进配设行置备继不进电规行保范空护高载高中与中资带资料负料试荷试卷下卷问高总题中体2资2配，料置而试时且卷，可调需保控要障试在各验最类；大管对限路设度习备内题进来到行确位调保。整机在使组管其高路在中敷正资设常料过工试程况卷中下安，与全要过，加度并强工且看作尽护下可1都关能可于地以管缩正路小常高故工中障作资高；料中对试资于卷料继连试电接卷保管破护口坏进处范行理围整高，核中或对资者定料对值试某，卷些审弯异核扁常与度高校固中对定资图盒料纸位试，置卷编.工保写况护复进层杂行防设自腐备动跨与处接装理地置，线高尤弯中其曲资要半料避径试免标卷错高调误等试高，方中要案资求，料技编试术写5、卷交重电保底要气护。设设装管备备置线4高、调动敷中电试作设资气高，技料课中并术3试、件资且中卷管中料拒包试路调试绝含验敷试卷动线方设技作槽案技术，、以术来管及避架系免等统不多启必项动要方方高式案中，；资为对料解整试决套卷高启突中动然语过停文程机电中。气高因课中此件资，中料电管试力壁卷高薄电中、气资接设料口备试不进卷严行保等调护问试装题工置，作调合并试理且技利进术用行，管过要线关求敷运电设行力技高保术中护。资装线料置缆试做敷卷到设技准原术确则指灵：导活在。。分对对线于于盒调差处试动，过保当程护不中装同高置电中高压资中回料资路试料交卷试叉技卷时术调，问试应题技采，术用作是金为指属调发隔试电板人机进员一行，变隔需压开要器处在组理事在；前发同掌生一握内线图部槽纸故内资障，料时强、，电设需回备要路制进须造行同厂外时家部切出电断具源习高高题中中电资资源料料，试试线卷卷缆试切敷验除设报从完告而毕与采，相用要关高进技中行术资检资料查料试和，卷检并主测且要处了保理解护。现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
第八章无失真的信源编码.ppt
质量：客观评价 主观评价
延时：质量和延时的关系 不同业务对延时的要求
复杂性：算法的复杂性及软硬件实现的复杂性
11/15/2019
6/31
香农编码
设离散无记忆信源
二进制香农码的编码步骤如下(4步)： 将信源符号按概率从大到小的顺序排列
p(x1)≥ p(x2)≥…≥ p(xn) 令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率
结论：在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺 序重新排列时，应使合并后的新符号尽可能排在靠前的位置，这样 可使合并后的新符号重复编码次数减少，使短码得到充分利用。
11/15/2019
26/31
m进制哈夫曼编码
“全树”概念
定义：码树图中每个中间节点后续的枝数为m时称为全树；若有些 节点的后续枝数不足m，就称为非全树。
将每一分组再按同样原则划分，重复步骤2和3，直至概率 不再可分为止。
11/15/2019
10/31
[例] 与香农编码一样的单符号离散信源
对该信源编二进制费诺码。编码过程如表。
信源符号 概率
二进制费诺编码 编码
x1
0.25
0
0
x2
0.25
1
x3
0.20
0
x4
0.15 1
0
x5
0.10
1
0
1
x6
0.05
11/15/2019
2/31
信源编码：提高通信有效性。通常通过压缩信源的
冗余度来实现。采用的一般方法是压缩每个信源符号的 平均比特数或信源的传输率（码率）。即同样多的信息 用较少的信息率来传送，使单位时间内传送的平均信息 量增加，从而提高通信的有效性。
第8章 无失真的信源编码
幻灯片1第8章无失真的信源编码幻灯片2●信源编码主要可分为无失真信源编码和限失真信源编码。
●无失真信源编码主要适用于离散信源或数字信号，要求进行无失真地数据压缩，要求完全能够无失真地可逆恢复。
●限失真信源编码主要适用于波形信源或波形信号（即模拟信号），不要求完全可逆地恢复，而是允许在一定限度内可以有失真的压缩。
●两种信源编码都是为了用较少的码率来传送同样多的信息，增加单位时间内传送的信息量，从而提高通信系统的有效性。
幻灯片3●香农信息理论——香农第一定理和香农第三定理是信源压缩编码的理论基础，从理论上给出了进行无失真信源压缩和限失真信源压缩的理论极限，还论证与指出了理想最佳信源编码是存在的，但没有给出信源编码实际构造方法和实用码的结构。
幻灯片4●本章主要研究无失真信源编码的技术和方法。
从第5章香农第一定理已知，信源的信息熵是信源进行无失真编码的理论极限值。
总能找到某种合适的编码方法使编码后信源的信息传输率R’任意地逼近信源的信息熵而不存在任何失真。
在数据压缩技术中无失真信源编码又常被称为熵编码。
幻灯片5●从第二章的讨论可知，正是由于信源概率分布的不均匀性，或者信源是有记忆的、具有相关性，使信源中或多或少含有一定的剩余度。
只要寻找到去除相关性或者改变概率分布不均匀的方法和手段，就能找到熵编码的具体方法和实用码的结构。
幻灯片6● 本章首先讨论了典型的霍夫曼编码、游程编码及算术编码的原理和方法。
这都是当信源的统计特性已确知时，能达到或接近压缩极限界限的编码方法。
前者主要适用于多元独立的信源，后两者主要适用于二元信源及具有一定相关性的有记忆信源。
最后讨论了通用编码（又称字典码）的原理和方法。
是针对信源的统计特性未确知或不知时所采用的压缩编码方法。
● 本章主要介绍霍夫曼编码。
幻灯片7香农Shannon 编码——非最佳码 ● 香农码的编码流程：● 1、将信源符号以概率递减次序排列起来。
● 2、确定满足下列不等式的整数码长● 3、为编成唯一可译码，计算第i 个消息的累加概率：● 4、将累加概率Pi 变换成二进制数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第八章 限失真信源编码8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:∑==ri j i ji b a d a p D 1min )},(min ){(并写出取得min D 的试验信道的传输概率选取的原则,其中))}/(,),/(),/({min ),(min 21i S i i jj i ja b p a b p a b p b a d =(证明详见:p468-p470)8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:}),()({min 1max ∑==ri j i i jb a d a p D并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478)8.5设二元信源X 的信源空间为:-1)( 1 0X:][X ⎩⎨⎧•ωωX P P令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求:(1) D min ,R(D min ); (2) D max ,R(D max );(3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解：{}{}{}{}0)()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(100110][10 000)1(0)0(),(min )()1(max 21min max min min 21min ==∴====++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑==ωωωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D jji j i i j i j i j i j i j i 此时故此时或的信道矩阵则满足保真度＝最小允许失真度：⎩⎨⎧≥<≤-=-=-=∴---=ωωωωD D D H H D R D H H D H X H D R r D D H X H D R 00 )()()()()()()()()1log()()()(,)3(即对此信源下离散信源在汉明失真度由上，可得R(D)曲线如下:(4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble 8.6一个四进展等概信源41 41 41 41 )( 3 2 1 0U :][U ⎪⎩⎪⎨⎧•U P P接收符号集V:{0,1,2,3},其失真矩阵为:⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110]D [ (1) D min ,R(D min ); (2) D max ,R(D max );(3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解:{}{}{}symble/bit 2)41,41,41,41()()/()(min );(min )0()(0)/(),4,3,2,1(1)/(0)/(1000010*********][0min 00)3(0)2(0)1(0)0(),(min )(min },{:)1(min 4121===-===∴====⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡===•+•+•+•==∑=H U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p p p b u d u p D b b Y i j i j i j i j i 故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集DH(0maxsymble/bit 0)43(,43 ;symble /bit 208.0)21(,21 ;symble /bit 792.0)41(,41 ;symble /bit 258.1)81(,81 ;symble /bit 2)0(,0:43 0430 3log )(2)(3log )(23log )()()()1log()()()(,)3(0)()(0);(,4343,43,43,43min ),()(min )2(max 41min max ==========⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧=⎭⎬⎫⎩⎨⎧='=∑=R D R D R D R D R D D D D D H D R D D H D D H U H D R r D D H X H D R R D R Y X I Y U b u d u p D D ji j i i j 可计算得即对此信源下离散信源在汉明失真度故相互独立、此时ω可得R(D)曲线如下:8.7某二进制信源:⎪⎩⎪⎨⎧• 21 21 )( 1 0U :][U U P P其失真矩阵为:⎥⎦⎤⎢⎣⎡=0010][1 0 a a D (1) 试求D min ,R(D min );(2) 试求D max ,R(D max ); (3) 试求R(D);D2{}{}{}{}⎪⎪⎩⎪⎪⎨⎧≥<≤-=-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅⋅=++=⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====2 020 )(1)()(1)()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)2a()(0);(,Y 2a)}0(a );1(a {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2(bit/symble 12log )()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min },{;)1(2121max 21min max min 2121a D a D d D H D R aDH a D H U H D R r dDd D H U H Y U I D R D r aDa D H U H Y U H U H Y U I r aDa D H r P P H Y U H aP D D aP p u p a D ub p p a b p a p a b u d u b p u p D R D R Y U I U p p d p d p d p d p b u d u p D D U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p b u d u p D b b Y e e ee ji i e i ji i j ei ji i j i i j j i i j i j ji j i i j i j i j i j i j i 即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).8.9试证明对于离散无记忆信源,有R N (D)=NR(D),其中N 为任意正整数,D>D min . 8.10某二元信源X 的信源空间为:-1 )( X:][X 21⎩⎨⎧•ωωX P a a P其中ω<1/2,其失真矩阵为:⎥⎦⎤⎢⎣⎡=0d d 0][D(1) 试求D min ,R(D min ); (2) 试求D max ,R(D max ); (3) 试求R(D);(4) 写出取得R(D)的试验信道的各传输概率;(5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解:{}{}{}{}⎪⎩⎪⎨⎧≥<≤-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅=⋅⋅=++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====ωωωωωωωd D d D dD H H D R dDH H D R r dDd D H X H Y X I D R D r dDd D H X H Y X H X H Y X I r dDd D H r P P H Y X H dP D D dP p a p d D a b p p a b p a p d b a d a b p a p D R D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p De e ee ji i e i ji i j ei ji i j i i j j i i j i jji j i i j i j i j i j i j i00 )()()()()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)()(0);(,Y X d )1(d )}0(d );1(d {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min )1(2121max 21min max min 21即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：.,""487)()()/()();()( ]log )1log()1[()]()([ ]log )()1log()1)((log )()1log()1)(([ )]/(log )/()()/(log )/()( )/(log )/()()/(log )/()([ )/(log )/()()/(12222)1()()/()()/(22)()/()()/(222)1()()/()()/(122)()/()()/(2)1)(1()/()()(222)1(2)/()()(:2222222][:)();()4(2122112222221212121211111121212222222222222212121222121212222111111212222222221112222222222222矩阵再由反推正向信道传输矩阵反向信道求出或者直接按照课本实际上是先根据参数法检验阵为时的试验信道的信道矩取得p dDH H Y X H X H Y X I dDH dDd D d D d D y p y p dDd D y p d D d D y p d D d D y p d D d D y p y x p y x p y p y x p y x p y p y x p y x p y p y x p y x p y p b a p b a p b p Y X H d D D d D d d Dd Dd d d D Dd Dd d d y p x y p x p y x p d D Dd D d d d D d D d D Dd y p x y p x p y x p d D Dd D d Dd Dd d d D Dd y p x y p x p y x p d D Dd D d d D d D d D Dd d y p x y p x p y x p D d Dd d D D x y p x p y p D d Dd Dd Dd d d D Dd d D d D d D Dd d x y p x p y p Dd Dd d d D Dd Dd d d Dd Dd d d D Dd d D d D d D Dd d D d D d D Dd d P D R Y X I i j j i j i j i i i i i i X -=-=∴=+--⋅+-=+--++---=+++-=-=-=---+--++---===------===--+----==-=---+--==---=--+==--=+----+-+--==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+--++--+-------+--=∑∑∑∑====ωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωω⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--==d D dD d D d DP d Y 11][:1,)5(反向试验的信道矩阵为时与试验信道相对应的由上面8.14设离散无记忆信源:⎪⎩⎪⎨⎧• 31 31 31 )( u uU :][U 321U P u P其失真失真度为汉明失真度.(1) 试求D min ,R(D min ),并写出相应试验信道的信道矩阵; (2) 试求D max ,R(D max ), 并写出相应试验信道的信道矩阵;(3) 若允许平均失真度D=1/8,试问信源[U ·P]的每一个信源符号平均最少由几个二进制码符号表示? 解:{}{}{}.9164.0symble/bit 9164.081)81(3log )81(,8131 0310 )(3log )()(3log 2log )()()()1log()()()(,)3(0)31()(0);(3131;31;31min )}();());({min ),()(min )2(symble /bit 585.13log )()/()(min );(min )0()(0)/(,),3,2,1(1)/(0)/(100010001][ 000)(0)(0)(),(min )()1(max 32131min max min min 32131min 个二进制码符号来表示均最少可以用则信源的每一个符号平时即对此信源下离散信源在汉明失真度此时则此时设输出符号集合或的信道矩阵则满足保真度＝最小允许失真度：=--==⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧==⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===•++•+•==∑∑==H R D D D D D H D R DD H D D H U H D R r D D H X H D R R D R Y U I u p u p u p b a d a p D D U H Y U H U H Y U I R D R Y U H Y i u b p a b p P D D u p u p u p b u d u p D jj i j i i j i j i j i j i j i8.15设二元信源X 的信源空间为:-1)( u uU :][U 21⎩⎨⎧•ωωU P P(ω<1/2),其失真度为汉明失真度.若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解:.)21()()3(21)2log()2(21)1log()1(log 21)21()()21(2100 )()()()()()()()()1log()()()(,个二进制码符号来表示需要每个信源符号平均最少时即对此信源下离散信源在汉明失真度ωωωωωωωωωωωωωωωωωH H H H R D D D D H H D R D H H D H U H D R r D D H X H D R -∴----+----=-==∴⎩⎨⎧≥<≤-=-=-=∴---=。