第四章 信息率失真函数-习题答案2
第4章 信息率失真函数

原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D),并论述了关于这个 函数的基本定理。 定理指出:在允许一定失真度D的情况下,信源输出的信 息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与 允许失真之间的关系,奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容,重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质; 讨论离散信源和连续信源的信息率失真函数计算; 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0,即: D D0 称此为保真度准则。
信源固定(即给定了p(x)),单个符号失真度固定时(即 给定了d(ai,bj)) ,选择不同试验信道,相当于不同的编码方 法,所得的平均失真度是不同的。 有些试验信道满足D D0,而有些试验信道D>D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合,用符号PD表 示,则: PD={p (bj / ai): D D0}
则
0 1 D 1 0
1 2 1 2
[例3] 对称信源(s = r) 。信源X={a1,a2,…ar} ,接收Y= {b1,b2,…bs} 。若失真度定义为:
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值,这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重,其严重的程度用平方来表示。 当 r=3时, X={0,1,2},Y={0,1,2} ,则失真矩阵为:
《信号处理原理》 第4章 信息失真率

d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明:失真函数d (xi, yj) 的数值是依据实际应 用情况,用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中,用y=2代替x=0和x=1所导致 的失真程度相同,用0.5表示;而用y=0代替x=1 所导致的失真程度要大,用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取,例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小,然而R越小,引起的平 均失真就越大。给出一个失真的限制值D,
在满足平均失真 D D的条件下,选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道,即为接收端Y需要 获得的有关X的信息量,也就是互信息 I(X;Y)。这样,选择信源编码方法的问题就 变成了选择假想信道的问题,符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ;输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m);对于 图所示的系统,对应于每一对(xi, yj)(i = 1, 2, …,n;j=1, 2, …, m),定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第四章信道率失真函数后续习题课

2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题:在允许一定程度的失真条件下,信
4.1.1 失真函数
源信息能够压缩到何种程度?至少需要多 少比特的信息率才能描述信源?
•香农信息率失真理论指出:
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题,
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后,则可以 求出满足保真度准则 下的所有转移概率分布 pij,构 成一个信道集合PD,
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
第4章信息率失真函数

R( D) min p(ai ) p(b j / ai ) log
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai),i=1,2,…,n 是信源符号概率分布; p(bj/ai),i=1,2,…,n,j=1,2,…,m 是转移概率分布; p(bj),j=1,2,…,m 是接收端收到符号概率分布。
如果选取对压缩更为有利的编码方案,则压缩的 效果可能更好。但一旦达到最小互信息这个极限 值,就是R(D)的值,或超过这个极限值,那么失 真就要超过失真限度,如果需要压缩的信息率更 大,则可容忍的平均失真就要更大。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
17
4.1.4 信息率失真函数的性质
1 L d L (x i , y j ) d ( xil , y jl ) L l 1
其中d(xil,yjl)是信源输出L长符号样值xi中的第l个符号xil
时,编码输出L长符号样值yj中的第l个符号yjl的失真函数。
7
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
4.1.2
以R(D)也是一个非负函数,它的下限值为0。当 R(D)=0意
味着什么呢? 不需传输任何信息。显然D越大,直至无限大都能满足这
样的情况。
选择所有满足R(D)=0中D的最小值,定义为R(D)定义域 的上限Dmax,即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
n
D 0, Dmax
第4章
信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少
信息率,从分析失真函数、平均失真出发,求出信息 率失真函数R(D) 。 平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
《信息论与编码》习题解答-第四章(新)

《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真:εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0210d , 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ,0)(max =D R因为取的是第二列的max D 值,所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解:0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ,bit X H R D R 24log )()0()(min ==== 因为没有失真,此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ,0)(max =D R因为任何一列的max D 值均为3/4,所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ,即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解: 依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=4/1014/110d , 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ,0)(max =D R因为取的是第三列的max D 值为1/4,所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ,即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解:(1)依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率为:⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数,所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ,此时0=D(3) ∑-=⨯+⨯===iji i j j ,p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数,所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ,此时p D -=1(图略,见课堂展示)4.6解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡∞∞=1010d ,信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ,∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个,∞=∞∞=10≤≤D因为二元等概信源率失真函数:⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ,所以率失真函数为:D D R -=1)(4.7解:失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ,按照P81页方法求解。
信息率失真函数 第4章— 1

② 均方失真: d(ai ,bj ) (ai bj )2
③ 绝对失真: d (ai ,bj ) | ai bj |
④ 相对失真: d (ai ,bj ) | ai bj | / | ai |
⑤
误码失真:
d
(ai
,bj
)
(ai
bj
)
0, 1,
ai bj 其他
9
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
11
4.1.3 信息率失真函数R(D)
• 若平均失真度 D 不大于我们所允许的失真,即
DD
• 则称此为保真度准则
• 当信源p(xi)给定,单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi),相当于不同的编码 方法,其所得的平均失真度不同。
• 试验信道
D D 满足保真度准则
D
>D
12
4.1.3 信息率失真函数R(D)
• 满足 D D 条件的所有转移概率分布pij ,构成 了一个信道集合
PD {p(bj | a)i :D D} • D失真允许的试验信道:
– 满足保真度准则的试验信道。
• PD:
– 所有D失真允许的试验信道组成的一个集合。
13
4.1.3 信息率失真函数R(D)
信道容量
• 信道容量:
– 假定信道固定的前提下,选择一种试验信源 使信息传输率最大。
– 它所反映的是信道传输信息的能力,是信道 可靠传送的最大信息传输率。
• 一旦找到了信道容量,它就与信源不再有关, 而是信道特性的参量,随信道特性的变化而变 化。
信息论与编码陈运第二版答案

信息论与编码陈运第二版答案【篇一:信息论与编码第4章】s=txt>(2课时)主要内容:(1)平均失真和信息率失真函数(2)离散信源和连续信源的r(d)计算重点:失真函数、平均失真、信息率失真函数r(d)、信息率失真函数的计算。
难点:信息率失真函数r(d)、信息率失真函数的计算。
作业:4、1。
说明:本堂课推导内容较多,枯燥平淡,不易激发学生兴趣,要注意多讨论用途。
另外,注意,解题方法。
多加一些内容丰富知识和理解。
4-1 引言(一)引入限失真的必要性:失真在传输中是不可避免的;接收者(信宿)无论是人还是机器设备,都有一定的分辨能力与灵敏度,超过分辨能力与灵敏度的信息传送过程是毫无意义的;即使信宿能分辨、能判别,但对通信质量的影响不大,也可以称它为允许范围内的失真;我们的目的就是研究不同的类型的客观信源与信宿,在给定的qos要求下的最大允许(容忍)失真d,及其相应的信源最小信息率r(d)。
对限失真信源,应该传送的最小信息率是r(d),而不是无失真情况下的信源熵h(u). 显然h(u)≥r(d).当且仅当 d=0时,等号成立;为了定量度量d,必须建立信源的客观失真度量,并与d建立定量关系; r(d)函数是限失真信源信息处理的理论基础;(二) r(d)函数的定义?信源与信宿联合空间上失真测度的定义:d(uivj): u?v?r[0,?)其中: ui?u (单消息信源空间) vj?v (单消息信宿空间)则有d???uivjp(uivj)d(uivj)称d为统计平均失真,它在信号空间中可以看作一类“距离”,它有性质 1〉d(uivj)?0, 当ui?vj 2〉ui?u,vj?vmind(uvij)?0473〉0?d(uivj)??对离散信源:i=j=1,2……..n, d(uivj)?dij, 则有:?0,当i?j(无失真)dij??0,当i?j(有失真)?〉若取dij为汉明距离,则有: ?0,当i?j(无失真)dij???1,当i?j(有失真)对连续信源,失真可用二元函数d(u,v)表示。
《信息论与编码》习题解答第四章(新)new

《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真:εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0210d , 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ,0)(max =D R因为取的是第二列的max D 值,所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解:0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ,bit X H R D R 24log )()0()(min ==== 因为没有失真,此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ,0)(max =D R因为任何一列的max D 值均为3/4,所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ,即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解: 依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=4/1014/110d , 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ,bit X H R D R 12log )()0()(min ====因为没有失真,此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ,0)(max =D R因为取的是第三列的max D 值为1/4,所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ,即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解:(1)依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡=0110d ,转移概率为:⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数,所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ,此时0=D(3) ∑-=⨯+⨯===iji i j j ,p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数,所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ,此时p D -=1(图略,见课堂展示)4.6解:依题意可知:失真矩阵:⎥⎦⎤⎢⎣⎡∞∞=1010d ,信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ,∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个,∞=∞∞=10≤≤D因为二元等概信源率失真函数:⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ,所以率失真函数为:D D R -=1)(4.7解:失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ,按照P81页方法求解。
信息论第四章失真率函数

(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度,上式称为保真度准则。
根据[定理2.2],当信源q (x)一定时,平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数,这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值,定义这个
极小值为率失真函数R(D),即:
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D (y1)+(1-D) (y2)
由上面方程组解出,
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明(Hamming)失真测度
信源输出符号X = {x1, x2, …, xK},信道输出符号Y = {y1, y2, …,
第四章 信息率失真函数

D (N ) ND
例:设信源X取值于{0,1},失真函数数分别
为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次
扩展信源的输入X=X1X2X3,经信道传导输 后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].
译码必定出错。
K L
log 2
m
H
(X
)
2
• 变长编码定理
– 若一离散无记忆信源的符号熵为H(X),对信源 符号进行m元变长编码,一定存在一种无失真
编码方法,其码字平均长度满足下列不等式
1 H(X) K H(X)
log 2 m
log 2 m
信道编码定理
• 信道编码定理:若有一离散无记忆平稳信道,其
那么在允许一定程度失真的条件下,能 够把信源信息压缩到什么程度,也就是,允 许一定程度失真的条件下,如何能快速的传 输信息,这就是本章所要讨论的问题。
1、失真函数
信源
信源 编码
信道 信道 编码
信道 译码
信源 译码
信宿
干扰
根据信道编码定理,我们可以把信道编码、信道和信道 解码等价成是一个没有任何干扰的广义信道,这样收信者收 到消息后,所产生的失真只是由信源编码带来的。我们也可
(N)
I
(X
;Y
)
RN (D) NR(D)
§4.1.3 率失真函数性质
R(D)
连续
H(X)
离散
D D Dmax D
1 定义域:0, Dmax
D=0 R(D)=H(X)
第四章总结习题

U 0 1
P(u)
1 4
1 4
2 3
1 4
1 4
接收符号为V={0,1,2,3},其失真矩阵为 0 1 1 1
D 1 0 1 1 1 1 0 1 1 1 1 0
求Dmax,Dmin及信源的R(D)函数,并作出其曲线(取4到5 个点)
2024/7/16
13
习题1
第四章 信息率失真函数
解答:四元对称信源在汉明失真矩阵下,它的平均失真度
信息率失真函数也是一个界限。只要信息率大于这个界限, 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真,但仍能满足要求,否则就不能满足要求。
2024/7/16
11
第四章 信息率失真函数
研究信道编码和率失真函数的意义
研究信道容量的意义:在实际应用中,研究信道容量是为 了解决在已知信道中传送最大信息率问题。目的是充分利 用已给信道,使传输的信息量最大而发生错误的概率任意 小,以提高通信的可靠性。这就是信道编码问题。
第四步:求D(S),将上述结果代入式(4.2.14)有
nm
D(S)
p(xi ) p( y j )d (xi , y j )ieSd (xi ,y j )
i1 j1
D(S)
p(x1) p( y1)d (x1,
y ) eSd (x1, y1 ) 11
p(x2 ) p( y1)d (x2 ,
y ) eSd (x2 , y1 ) 11
(4.2.10)
p( y1 / x1) p( y1 / x2 ) p( y2 / x1)
p( y1)1eSd (x1, y1) p( y1)2eSd (x2 , y1) p( y2 )1eSd (x1, y2 )
第四章 信道失真率函数

n n
N p(ai ) k 1 p( xik ) N p(b j | ai ) k 1 p( y jk | xik )
nN m N
i1 1 m
i N 1 j1 1
6
常用的失真函数
失真函数是根据人们的实际需要和失真引起的损失、风险、 主观感觉上的差别等因素人为规定的,可以有多种形式 平方误差失真函数 d ( xi , y j ) ( y j xi )2 适用于 d ( x , y ) | y x | 绝对误差失真函数 i j j i 连续信源 相对误差失真函数 d ( xi , y j ) | y j xi | | xi |
率失真函数的定义域 (D 的下界)
允许失真度 D 是平均失真度的上限,而 D 是非负函数 d ( xi , y j ) 的数学期望,因此 D 的下界至多为 0,对应于无失真的情况, 此时信息传输率应等于信源输出的信息熵,即 Dmin 0 时: 离散信源:R( Dmin ) R(0) H ( X ) 连续信源:R( Dmin ) lim R( D )
N
由于 N 次扩展信源和 N 次扩展信道都是无记忆的,因此:
p(ai ) p( xi1 xi2
N xiN ) k 1 p( xik )
p(b j | ai ) p( y j1 y j2
y jN | xi1 xi2
N xiN ) k 1 p( y jk | xik )
9
符号序列的 平均失真度
i 1, 2, j 1, 2,
,n ,m
上述非负的失真函数共有 n m 个,可以整体表示成失真矩阵 d ( x1 , ym ) d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x n , ym ) d ( xn , y1 ) d ( xn , y2 ) 由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机 变量,因此单个符号的失真函数 d ( xi, yj ) 也是随机变量(的一 次实现)
第四章 信息率失真函数

失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备,都有一定的分辨能力与 即使信宿能分辨、能判别,但对通信质量的影响不大,也可以
灵敏度,超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素:
) i=1,2, ,n) 1)信源的统计特性,即 p(ai(
2)信道的统计特性,即 p(b j / ai ) 3)失真函数,即 d (ai , b j ) 一般情况下,人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D,即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C,就必须对信源压缩,使得压缩后的R*<C,但同时要 求引入的失真不能超过规定的限度。 对于给定的信源,在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述,一般可以对信源输出的信息进行限失真
处理,降低信息率,提高传输效率。
在允许一定程度的失真条件下,能够把信息压缩到 什么程度?需要多少比特的信息率才能描述信源? 本章主要讨论一定程度的失真情况下所需的最少的 信息率,即信息率失真函数R(D) 。 思路:从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况,用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同,均为0.5;而用b=0代替a=1所导致的失真程度要大 些,为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
信息论与编码---第4章信息率失真函数

6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道 失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发 的消息符号都是x 时 和 的消息符号都是 之间没有失真,所以失真函数 之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符 时 而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义 若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为 和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道 和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和 的联合概率 的联合概率p(x 称随机变量 和Y的联合概率 i yj )对失真函数 对失真函数 的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真 的统计平均值为该通信系统的 度.
第四章总结习题.

信息率失真函数也是一个界限。只要信息率大于这个界限, 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真,但仍能满足要求,否则就不能满足要求。
2018/8/6
11
第四章 信息率失真函数
研究信道编码和率失真函数的意义
对偶问题:信道容量和信息率失真函数的问题,都是求平均 互信息极值问题。分三个方面说明:
求极值问题
平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数, 信道容量就是在固定信道情况下,求平均互信息极大值的问题, 即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的下 凸函数,信息率失真函数就是在试验信道(满足保真度准则的信 道)中寻找平均互信息极小值的问题,即
4
2018/8/6
第四章 信息率失真函数
允许平均失真度:率失真函数中的自变量 D,也就 是人们规定的平均失真度 D 的上限值。 率失真函数的定义域问题就是在信源和失真函数已 知的情况下,讨论允许平均失真度 D 的最小和最大 值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选 定的失真函数 d(xi , yj),在平均失真度 D 的可能取 值范围内。
这个最小值 R(D) 称为信息率失真函数,简称率失真函数。
在信源给定以后,总希望在允许一定失真的情况下,传送信源所 必须的信息率越小越好。从接收端来看,就是在满足保真度准则 的条件下,寻找再现信源消息必须的最低平均信息量,即平均互 信息的最小值。
2018/8/6
7
第四章 信息率失真函数
求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下,在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到,就与求极值过程中选择的试验信道不再有关, 而只是信源特性的参量。不同的信源,其 R(D)是不同的。
信息论与编码(清华出版社)第4章信息率失真函数-Qtech

{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布, 根据2-2 由于互信息取决于信源分布和信道转移概率分布 , 根据 节所述, 一定时, 是关于p(y 型凸函数, 节所述,当p(xi)一定时,互信息 是关于 j/xi) 的U型凸函数, 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中,可以寻找一种信道 pij,使给定的信源 i)经过此信道传输后,互信息 ;Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X; 达 经过此信道传输后, 到最小。该最小的互信息就称为信息率失真函数R(D),即 到最小。该最小的互信息就称为信息率失真函数 ,
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中, 在实际问题中,信号有一定的失真是可以容 忍的。但是当失真大于某一限度后, 忍的。但是当失真大于某一限度后,信息质量将 被严重损伤,甚至丧失其实用价值。要规定失真 被严重损伤,甚至丧失其实用价值。 限度,必须先有一个定量的失真测度。 限度,必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真,允许失真到什么程度; 如何减小失真,允许失真到什么程度; 在允许一定程度的失真条件下, 在允许一定程度的失真条件下,把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率, 从分析失真函数、 所需的最少信息率 , 从分析失真函数 、 平 均失真出发,求出信息率失真函数R(D) 。 均失真出发,求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R(D)计算 离散信源的 ( )
信息论与纠错编码(电子工业出版社)第四章率失真编码 参考答案

4.1 当率失真函数R (D )取什么值的时候,表示不允许有任何失真。
解:当D=0时,表示不允许有任何失真,此时R (D )= H (X ), 即R max ((D )= H (X )4.2 说明信源在不允许失真时,其信息率所能压缩到的极限值是什么?当允许信源存在一定的失真时,其信息率所能压缩到的极限值又是什么?解:不允许失真时,信息率压缩极限值R (D )= H (X );不允许失真时,信息率压缩极限值 R (D )= 04.3 在例4.8中,当允许D= 0.5δ时,请问每个信源符号至少需要几个二进制符号来对其编码?解:因为二元信源率失真函数:⎪⎭⎫⎝⎛-=a D H p H D R )()(其中a = 1(汉明失真), 所以二元信源率失真函数为:)()()(D H p H D R -=当D= 2P 时[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡25.025.05.0x 321x x ,失真测度矩阵[d]=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡011302120,求率失真函数R (D )。
解:定义域:D min =0×0.5+0×0.25+0×0.25=0D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域:R (D min )= -0.5log0.5-0.25log0.25-0.25log0.25=0.45 R (D max )= 04.5 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα,求率失真函数R(D)。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
⇒
⎡1 ⎢⎢1 ⎢⎣1
0⎤ ⎡0 0⎥⎥ OR ⎢⎢0 0⎦⎥ ⎣⎢0
1⎤ 1⎥⎥ 1⎦⎥
4.3
某二元信源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 2
Dmin和R(D)函数。
解:
1⎫ 1/ 2⎭⎬
其失真矩阵为
D
=
⎡a ⎢⎣0
0 a
⎤ ⎥⎦
求这信源的Dmax和
∑ Dj =
i
p(xi )d (xi ,
D = 1 , R(D) = ln 4 − 1 ln 16 nat / symbol
4
23
D = 1 , R(D) = ln 4 − 1 ln12 nat / symbol
2
2
D = 3 , R(D) = 0 nat / symbol 4
4.2
若
某无记忆信
源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧ −1 ⎩⎨1/ 3
4.1
一个四元对称信源
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 4
12 1/ 4 1/ 4
3⎫ 1/ 4⎭⎬
,接收符号Y
=
{0,
1,
2,
⎡0 1 1 1⎤
3},其失真矩阵为 ⎢⎢1 ⎢1
0 1
1 0
1⎥⎥ 1⎥
,求Dmax和Dmin及信源的R(D)函数,并画出其曲线
⎢⎣1 1 1 0⎥⎦
(取 4 至 5 个点)。
R(1) = 0.231奈特 / 符号 = 0.331比特 / 符号,因此每个信源符号最少要用 1 个二进 3
制码表示。
4.11
设信源
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎧ ⎨ ⎩
x1 p
1
x2 −p
⎫ ⎬ ⎭
(p
<
0.5),其失真度为汉明失真度,试问当
允许平均失真度 D = 0.5p 时,每一信源符号平均最少需要几个二进制符号表示?
yj
)
=
min
⎧4
⎨ ⎩
3
,
4⎫
3
⎬ ⎭
=
4 3
由于 D1 = D2 ,因此,选 p (b1 ) = 1, p (b2 ) = 0 或 p (b1 ) = 0, p (b2 ) = 1时,平均失真度均
能取得 Dmax ,对应的试验信道不是唯一的,但满足
∑ ⎧
⎪ ⎪ ⎨
p(b1 / ai ) = p(b1)
解: 因为二元信源率失真函数:
R(D) = H ( p) − H ⎜⎛ D ⎟⎞ ⎝a⎠
其中 a = 1(汉明失真), 所以二元信源率失真函数为:
R(D) = H ( p) − H (D)
当D= p 时 2
R⎜⎛ p ⎟⎞ = H ( p) − H ⎜⎛
⎝2⎠
⎝
p ⎟⎞ = −[p ln p + (1−
D
R( D)
=
ln
n
+
D a
ln
a n −1
+
⎜⎛1 − ⎝
D a
⎟⎞ ln⎜⎛1 − ⎠⎝
D a
⎟⎞ ⎠
其中 a = 1, n = 4, 所以率失真函数为:
R(D) = ln 4 + D ln D + (1− D)ln(1− D)
3
函数曲线:
其中:
D = 0, R(0) = ln 4 nat / symbol
2⎠
p) ln(1 −
p)]+
⎡ ⎢⎣
p 2
ln
p 2
+ ⎜⎛1− ⎝
p ⎟⎞ln⎜⎛1− 2⎠ ⎝
p 2
⎟⎠⎞⎥⎦⎤
nat / symbol
4.9 设某地区的“晴天”概率 p(晴) = 5/6,“雨天”概率 p(雨) = 1/6,把“晴天”
预报为“雨天”,把“雨天”预报为“晴天”造成的损失为 a 元。又设该地区的
天气预报系统把“晴天”预报为“晴天”,“雨天”预报为“雨天”的概率均为
0.9;把把“晴天”预报为“雨天”,把“雨天”预报为“晴天”的概率均为 0.1。
⎧0
d
(
xi
,
y
j
)
=
⎪⎪1 ⎪⎨1
⎪⎩∞
i= j i = 0,1且j = 4 i = 2,3且j = 5 其他
证明率失真函数 R(D)如图所示。
R
2log2
log2D012 Nhomakorabea3
4.6 设信源 X = {0, 1, 2},相应的概率分布 p(0) = p(1) = 0.4,p(2) = 0.2。且失真函数为
= =
p(b1) = 1 p(b2 ) = 0
⎪⎩
p(b1) + p(b2 ) = 1
⎧ ⎪ ⎨ ⎪⎩
p(b1 / a1) + p(b1 / p(b2 / a1) = p(b2 /
p(b1) +
a2 ) + a2 ) = p(b2 )
p(b1 / a3) = 3 p(b2 / a3 ) = 0 =1
yj)
=
1 2
×
a
+
1 2
×0
=
a 2
Dmax
=
min
Dj
=
a 2
∑ Dmin =
i
p( xi
)
min j
d (xi
,
y
j
)
=
1 2
×
0
+
1 2
×
0
=
0
因为二元等概信源率失真函数:
R(D) = ln n − H ⎜⎛ D ⎟⎞ ⎝a⎠
其中 n = 2, 所以率失真函数为:
R(
D)
=
ln
2
−
⎡ ⎢⎣
D a
0.1⎤ 0.9⎥⎦
,失真矩
阵:
⎡0 ⎢⎣α
α⎤
0
⎥ ⎦
4.10
设离散无记忆信源
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎧ ⎨
x1
⎩1/ 3
x2
x3
⎫ ⎬
其失真度为汉明失真度。
1/ 3 1/ 3⎭
(1) 求Dmin和R(Dmin),并写出相应试验信道的信道矩阵; (2) 求Dmax和R(Dmax),并写出相应试验信道的信道矩阵; (3) 若允许平均失真度 D = 1/3,试问信源的每一个信源符号平均最少有几个二 进制符号表示?
xi
)
min j
d
(
xi
,
y
j
)
=
1 3
×
0
+
1 3
×
0
+
1 3
×
0
=
0
R(Dmin ) = 1.585 bit / 符号 ,即为信源熵,
⎡1 0 0⎤ 所以相应的相应的试验信道矩阵为没有失真 ⎢⎢0 1 0⎥⎥
⎢⎣0 0 1⎥⎦
∑ (2)由于 Dj =
i
p(xi )d (xi ,
yj
)
=
1 3
×1+
1 3
×1+
1 3
×1
=
1
,
对应的试验信道不是唯一的,但满足
⎧ ⎪ ⎨
p(b1
/
p(b1 / a2 ) +
a1) = 1 p(b2 / a2
)
=
1
⎪⎩
p(b2 / a3 ) = 1
⎡1 0 ⎤
⇒
⎢ ⎢
p
1− p⎥⎥
⎢⎣ 0 1 ⎥⎦
∑ 2) Dmax
=
min Dj
=
min j
i
p(xi )d (xi ,
0 1/ 3
1⎫ 1/ 3⎭⎬
,接收符号
Y
=
⎨⎧− ⎩
1 2
,
1⎫
2
⎬ ⎭
,其失真矩阵
⎡1 2⎤ D = ⎢⎢1 1⎥⎥ 求信源的最大失真度和最小失真度,并求选择何种信道可达到该Dmax和Dmin的失
⎢⎣2 1⎥⎦
真度。
∑ 解: 1) Dmin =
i
p(
xi
)
min j
d
(
xi
,
y
j
)
=
1 3
×1
+
解:
∑ Dmax
=
min Dj
=
min j
i
p(xi )d (xi , y j )
∑ Dj =
i
p( xi
)d (xi ,
y j )=
1 4
×1+
1 4
×1+
1 4
×1+
1 4
×0
=
3 4
∑ Dmin =
i
p( xi
)
min j
d
( xi
,
y
j
)
=
1 4
×
0
+
1 4
×
0
+
1 4
×
0
+
1 4
×
0
=
0
因为 n 元等概信源率失真函数:
)
min j
d (xi
,
y
j
)
=
1 2
×
0
+
1 2
×
0
=