第4章信息论与编码 43页PPT文档

• 当允许有一定失真时,R(D)将为有限值,传送才是 可能的。
24
R(D)的定义域
• R(D)的定义域为[Dmin，Dmax ]。
• 通常Dmin = 0，
R(Dmin) = H(X)
• 当 D≥Dmax时,
R(D) = 0
• 当 0 ≤D≤Dmax时, 0＜R(D) ＜H(X)
25
R(D)的定义域
此时输出符号概率p(b1)＝0，p(b2)＝1，
a 1 b 2,a2 b 2
28
• 例:设输入输出符号表为X=Y={0,1},输入
概率分布p(x)={1/3,2/3},失真矩阵
1/ 2 1
• 求： Dmin 和Dmax
d


2
1
n
Dmin i1 p(xi )mjind(xi, yj )
• 2、R(D)是关于D的下凸函数
– R(D)在定义域内是失真度D的U型下凸函数
• 3、R(D)的单调递减性及连续性
– 容许的失真度越大，所要求的信息率越小。 反之亦然。
30
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D) H(X)
R(D)
R(D) 0D
Dmax D
0
信息率失真曲线
Dmax D
11 21 5 32 3 6
Dmax m j1,2ii2n1pidijmj (i13n12322,131321)
3
m(in,1)1
j2
29
信息率失真函数的性质
• 1、R(D)是非负的实数, R(D)≥0。 其定义域为0~Dmax , 其值为0~H(X)。 当D＞Dmax时,R(D)≡0
• 平均失真D ：
– 描述某个信源在某一试验信道传输下的失真
大小,它对信源和信道进行了统计平均,是从总
体上描述整个系统的失真
9
p( y j xi )
xi
yj
信源编码器
对于连续随机变量同样可以定义平均失真

D pxy(x,y)d(x,y)dxdy
10
L长序列编码
• 如果假定离散信源输出符号序列X＝{X1X2… Xl… XL},其中L长符号序列xi =[xi1xi2…xiL],经信 源编码后,输出符号序列Y={Y1Y2…Yl…YL},其中 L长符号序列yj=[yj1yj2…yjL ],则失真函数定义为
R(D)mIi(nX,Y) PD
• 在信源给定后,我们希望在满足一定失真的情况下,使信 源必须传输给收信者的信息传输率R尽可能地小。
• 若从接收端来看,就是在满足保真度准则下,寻找再现信 源消息所必须获得的最低平均信息量。即在满足保真度 准则的条件下寻找平均互信息I(X,Y)的最小值。
16
信息率失真函数
序列为Y= {0,1,2},规定失真函数为
失真矩阵
d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5
0 1 0.5
d


1
0
0.5
6
失真函数
• 失真函数形式可以根据需要任意选取,最常用的有:
• 均方失真: d(xi,yj)(xi yj)2
13
信息率失真函数R(D)
• 若平均失真度D 不大于我们所允许的失真,即
D D
• 则称此为保真度准则
• 当信源p(xi)给定,单个符号失真度d(xi, yj) 给定时,选 择不同的试验信道p(yj | xi), 相当于不同的编码方 法,其所得的平均失真度不同。
• 假想信道
D D 满足保真度准则 D＞D
• 由于平均失真度是非负实数d(xi,yj)的数学期望,
因此也是非负的实数,即 D 0,D 的下界是0。
• 允许平均失真度能否达到其下限值0,与单个符号 的失真函数有关。
22
R(D)的定义域
• Dmin 和R(Dmin) • 信源的最小平均失真度：
n
Dmini1p(xi)mj idn(xi,yj)
p (x 1 |y 1 ) 4 3 ,p (x 1 |y 2 ) 1 3 ,p (x 2 |y 1 ) 1 4 ,p (x 2 |y 2 ) 3 2
I(X;Y)
i
j p(xiyj)lop(g p x(ix |iy )j)0.1b 2/i5 符 t18
• 编码器输入的概率分布为p(x)={0.5 ,0.5}
第4章
信息率失真函数
内容
4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算
2
• 失真 o 信道编码定理——欲无失真，必 R < C
若 R > C，必失真 o 失真必要性—— 连续信源R趋向于无穷大，必有失真 压缩亦有失真 o 失真可能性——终端性能有限，如人眼,人耳 • 研究：信息率～允许失真——信息率失真理论
• PD是所有满足保真度准则的试验信道集 合,因而可以在集合PD中寻找某一个信道 pij,使I (X,Y)取极小值。
• 离散无记忆信源
R(D )p m j iPDiinj p(ai)p(bj|ai)lop(g pb(b j|ja)i)
17
• 例已知编码器输入的概率分布为p(x)={0.5 ,0.5}
• 只有当失真矩阵的每一行至少有一个0元素时, 信源的平均失真度才能达到下限值0。
• 当Dmin = 0,即信源不允许任何失真时,信息率至
少应等于信源输出的平均信息量—信息熵。即
R(0) =H(X)
23
R(D)的定义域
• 对于连续信源：
R(Dm)i nlD i0m R(D)
• 因为实际信道总是有干扰的,其容量有限,要无失 真地传送连续信息是不可能的。
某些特殊情况下R（D）的表示式为：
（1）当d(x,y)=(x-y)2， p(x)
1

e
x2
22
2
时，
R(D) log
D
33
(2)当d(x,y)=|x-y|， p(x) e x 时，
2
R(D) log1
D
(3)当d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p时，
信息量是不同的。
• 可以证明，当p(x)一定时,I (X,Y)是关于p(yj|xi)的 下凸函数。
• 因此当改变p(yj|xi)时,I (X,Y)有一极小值。 19
平均互信息
• 平均互信息I(X;Y)：
– 信源的概率分布p(xi)的上凸函数。 p(yj|xi)一定 – 信道传递概率p(yj|xi)的下凸函数。 p(xi)一定
适于
连续
• 绝对失真: d(xi,yj)|xi yj |
信源
• 相对失真: d(xi,yj)|xiyj|/|xi|
适于 离散
•(汉误明码失失真真函:数d) (xi,yj)(xi• 汉明失真矩阵
0 1 1
d


1
0

1

• 信道矩阵
0.6 0.4
• 求互信息
pij

0.2
0.8

p (x iyj)p (x i)p (yj|x i)
p ( x 1 y 1 ) 0 . 3 , p ( x 1 y 2 ) 0 . 2 , p ( x 2 y 1 ) 0 . 1 , p ( x 2 y 2 ) 0 . 4 p(y1)0.4,p(y2)0.6
31
4.2 离散信源和连续信源R(D)计算
• 给定信源概率pi和失真函数dij,就可以求 得该信源的R(D)函数。
• 它是在保真度准则下求极小值的问题。 • 但要得到它的显式表达式,一般比较困难
通常用参量表达式。 • 即使如此,除简单的情况外实际计算还是
困难的,只能用迭代逐级逼近的方法。
32
4.2 离散信源和连续信源R(D)计算
• 失真函数定义为：
d(i,xyj ) 0 a,, a0
xi yj xi yj
5
失真函数
• 将所有的d(xi,yj)排列起来,用矩阵表示为:
失真矩阵
d(a1,b1)
d

d(an,b1)
d(a1,bm)
d(an,bm)
• 例：设信源符号序列为X={0,1},接收端收到符号
R＜C
– 总能找到一种编码使在信道上能以任意小的错 误概率,以任意接近C的传输率来传送信息
R＞C
– 就必须对信源压缩,使其压缩后信息传输率R’ 小于信道容量C,但同时要保证压缩所引入的失 真不超过预先规定的限度。
• 信息压缩问题就是对于给定的信源,在满足平均失 真 D D的前提下,使信息率尽可能小。
14
• 满足 D D条件的所有转移概率分布pij ,构成
了一个信道集合
PD{p(bj|a） i D ： D}
• D失真允许的试验信道：
– 满足保真度准则的试验信道。
• PD：
– 所有D失真允许的试验信道组成的一个集合。
15
信息率失真函数R(D)
• R(D)：
– 在限定失真为D的条件下信源输出的最小信 息率。
• 信道容量：
CmaIx (X;Y) p(xi)
• 信息率失真函数：
R(D)mIi(nX;Y) PD 20
率失真函数与信道容量的比较
信道容量C
率失真函数R(D)
数学上
固定 p(yj/xi),改变p(xi), 求得I(X;Y)最大值
固定p(xi),改变p(yj/xi), 求得I(X;Y)最小值
概念上
p(yj |xi)p(yj)
Dmax

min
p(yj )