第四章信息率失真函数练习题

合集下载

平均失真和信息率失真函数

解：失真矩阵为
d 10
1 0
00..55
说明: (1) 最常用的失真函数
均方失真函数：绝对失真函数：相对失真函数：
d(xi,yj)=(xi-yj)2 d(xi,yj)= d(xi,yj)=
误码失真函数： d(xj,yj)=
xi y j xi y j / xi
如果xj≠yj，就产生了失真。失真的大小，用一个量来表示，即失真
函数d(xi,yi),以衡量用yj代替xi所引起的失真程度。
一般失真函数定义为
d
(
xi
,
y
j
)

0, a,
a0
xi y j xi y j
如何定义失真矩阵? 将所有的失真函数 d(xi,yj)，i=1,2,…,n；j＝1,2,…,m排
离散矢量信源符号失真函数定义为：如果假定离散矢量信源符号为矢量序列X＝
{传符x1输号x2…后序x，列i…y接jx=收n[}y，端j1y其j收2…中到yNj矢N长]则量符失序号真列序函Y列=数{yx1定iy=2[…义xi1yx为ji…2…yxmi}N，]，其经中信N道长
式接d中收Nd端(x(收ikx,到yijk第,)是yj个信jN源)长输符出号N1第yji中个k的NN1长第d符k个(号x符xii中k号,的yjyk的第jk失k个)真符函号数x。ik，
p（x）＝{0.5，0.5}，
信道矩阵分别为:p'ij 00..2600..84,
p' 'ij

0.9 0.2
求: 互信息。
00..81
解：因为p(xiyj)＝p(xi)p(yj/xi)；用p’ij代人得 p’（x1y1）=0.3，p’（x1y2）＝0.2， p’（x2y1）=0.1，p’（x2y2）＝0.4

《信息论与编码技术》复习提纲复习题

《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。

信息论基础与编码课件第四章信息率失真函数

P D ' p (yx ):D D ' （4-7）
对于离散无记忆信道，有
P D ' p ( y jx i ) : D D ', i 1 , 2 ,n . , j . 1 , 2 . ,m , ..
8
信息率失真函数(续)
给定信源和失真度后，在允许信道中，总能找到一个信道 P(Y/X)，使得给定的信源经过此信道传输后，平均互信息量 I(X;Y)达到最小，这个最小的平均互信息称为信息率失真函数 R( D )，简称率失真函数：
最小值，即
m
n
Dmax min pj pidij
j1 i1
（4-10）
15
R(D)函数的定义域(续)
从上式观察可得：在j=1，…，m中，
可找到
n
p i d ij
值最小的j，当该j对应的pj＝1，而其余
i1
pj为零时，上式右边达到最小，这时上式可简化成
n
Dmax
min j1,2, ,m i1
信息率失真函数(续)
则平均互信息量为
I'(X ;Y)
ij
p'(xiyj)lo2p g (p x(ix |iy )j)0 .1b 2/i5 符 t 号
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用不同，传递的信息量也不同。可以证明这样一个结论：P(x)一定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数，即存在一极小值。
19
R(D)函数的一般形式
根据率失真函数所具有的下凸性、连续性、严格单调下降性可绘出率失真函数的典型曲线图

《信号处理原理》第4章信息失真率

d(0,2)=d(1,2)=0.5
则得失真矩阵
d

0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应用情况，用 yj代替xi, 所导致的失真大小是人为决定的。比如上例中，用y=2代替x=0和x=1所导致的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种转移概率分布为p(bj|ai)的有失真信源编码器后产生失真的总体量度。
13
4.1 平均失真和信息率失真函数

第四章信道率失真函数后续习题课

真传送要求信息率R为无穷大； •实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量 R>>C。
2018/10/13
Department of Communication China Ji Liang University
2
第四章信息率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章信息率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？
•香农信息率失真理论指出：
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章信息率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数。当p(xi)和d(xi,yj)给定后，则可以求出满足保真度准则下的所有转移概率分布 pij，构成一个信道集合PD，
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n

《信息论与编码》习题解答-第四章(新)

《信息论与编码》习题解答第四章信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。

第4章信息率失真函数

4.1
第4章信息率失真函数
定义: 信源序列的失真函数
N
基
d ( x, y) d (i , j ) d (ail , bjl )
本概
l 1
x X, y Y;i X N , j Y N ;ail X ,bjl Y
念
信源序列失真函数等于信源序列中对应的
单符号失真函数之和。也可写成rN sN阶矩阵形式。
Page 6
4..1.1
第4章信息率失真函数
4.1 基本概念
失 4.1.1失真函数（失真度）
真
函为什么引入失真函数？
数
在实际问题中，信号有一定的失真是可以容忍的，但是当失真大于某一限度后，将丧失其实用价值。
要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数.
Page 7
4.1.1
i1 j1
Page 19
4.1.2
第4章信息率失真函数
(3)均方失真函数
适用于连续信源
平均
d(a,b) (a b)2
(a X ,b Y 或 a,b R)
失
真在均方失真函数下，平均失真度就是均方误差。
度
rs
离散信源的均方误差 D (a b)2 P(a,b) i1 j1
连续信源的均方误差D： (a b)2 P(a, b)dxdy
1.离散信源单个符号的失真函数
定义:设离散无记忆信源输出变量X {a1, a2,L , ar}，
失真
概率分布为P(X ) [P(a1), P(a2),L , P(ar )],经过有失真的
函数
信源编码器，输出的随机变量 Y {b1,b2,L ,bs}。
将所有的 d(ai ,bj ) 0 (ai X ,bj Y ) 排列起来，用

信息率失真函数第4章— 1

② 均方失真: d(ai ,bj ) (ai bj )2
③ 绝对失真: d (ai ,bj ) | ai bj |
④ 相对失真: d (ai ,bj ) | ai bj | / | ai |
⑤
误码失真:
d
(ai
,bj
)
(ai
bj
)
0, 1,
ai bj 其他
9
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示
11
4.1.3 信息率失真函数R(D)
• 若平均失真度 D 不大于我们所允许的失真，即
DD
• 则称此为保真度准则
• 当信源p(xi)给定，单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi)，相当于不同的编码方法，其所得的平均失真度不同。
• 试验信道
D D 满足保真度准则
D
＞D
12
4.1.3 信息率失真函数R(D)
• 满足 D D 条件的所有转移概率分布pij ，构成了一个信道集合
PD {p(bj | a）i ：D D} • D失真允许的试验信道：
– 满足保真度准则的试验信道。
• PD：
– 所有D失真允许的试验信道组成的一个集合。
13
4.1.3 信息率失真函数R(D)
信道容量
• 信道容量：
– 假定信道固定的前提下，选择一种试验信源使信息传输率最大。
– 它所反映的是信道传输信息的能力，是信道可靠传送的最大信息传输率。
• 一旦找到了信道容量，它就与信源不再有关, 而是信道特性的参量，随信道特性的变化而变化。

ch4信息率失真函数

j
/
ai
)
p 1
(b
j
/
ai
)
(1
)
p
2
(b
j
/
ai
)
nm
D
p(ai ) p(bj / ai )d (ai ,bj )
i1 j1
D1 (1 )D2
满足保真度准则
D' (1 )D'' D
I ( X ;Y ) R ( D ) R[D ' (1 ) D '' ]
由 I ( X ;Y ) 对 p(b j ai )的下凸性： I ( X ;Y ) I ( X ;Y1 ) (1 ) I ( X ;Y2 )
nm
D(S )
p(a ) p(b )eSd(ai ,bj )d (a , b )
ii
j
ij
4
i1 j 1
（4.2.5）
n
R(S)
m
p(a
)
p(b
)eSd (ai ,bj )
ln
i
p(b )eSd(ai ,bj ) j
ii
j
i1 j1
p(b ) j
n
SD(S ) p(a ) ln
n
1
Dm a x
min j
Dj
min j
i 1
p(ai )d (ai , bj )
n
2
i p (ai )e Sd (ai ,b j ) 1
i
i 1
3
1
i
m j 1
p(b j )eSd (ai ,bj )
p(bj )
4 p(bj ai ) p(bj )ieSd(ai ,bj )

信息论考试答案

第4章作业1. 设输入符号表与输出符号表为X ＝Y ＝{0，1，2，3}，且输入信号的分布为p (X = i ) = 1/4，i ＝0，1，2，3，设失真矩阵为0111101111011110⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦d 求D min 、D max 和R (D min )、R (D max )以及相应的编码器转移概率矩阵，并求出信源的R(D)函数，画出其曲线（取4至5个点）。

解：10110 41011A A n A P n A A n -⎡⎤⎢⎥⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥=↔==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎢⎥-⎣⎦d有114i p n ==得：()()111011i ji ij ijA AD p P d n n n A n n n-==-⨯⨯+⨯⨯=--∑∑所以1A D =-，进而：()()1111j i ji iA A q p P n n n n n-==+-⨯=-∑()()()()()()()()()1111 ,,,,,1111 ,,1,,,11 log 1log 11log11log ,1log 1 2,1log 3j ji R D H q H p AA H H A n n n n D D H H D n n n n D Dn D D n n n n H D D D n H D D D ==--⎛⎫⎛⎫=- ⎪ ⎪--⎝⎭⎝⎭⎛⎫⎛⎫=-- ⎪ ⎪--⎝⎭⎝⎭=+--+-⨯--=----=--- ()minmin 0,2D R D bit ==，此时1000010000100001⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P()maxmax 3/4,0D R D ==，此时1000100010001000⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P2. 设输入符号为X ＝{0，1}，输出符号为Y ＝{0，1}。

输入信号的概率分布为P ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =d (1，0) =α。

离散信源的信息率失真函数

= exp{
p (u i )
}
µ
i
p (u i )
j
}
3.计算利用关系
p (v j
s
p(v j )、 i 和p(v j λ
j i
u ) = λ p(v ) exp{Sd (u , v )}
i i i j
u)
i
r j i =1 i j i
∑ p(v u ) = 1和p(v ) = ∑ p(u )p(v u )
解得
λi =
r 1 + ( r − 1) exp( S )
(i = 1,2,L, r)
(3)计算
p(v j ) ( j = 1,2, L, r )
1+ (r −1) exp(S) p(v1) + p(v2) exp(S) +L+ p(vr) exp(S) = r p(v1) exp(S) + p(v2) +L+ p(vr) exp(S) = 1+ (r −1) exp(S) r M 1+ (r −1) exp(S) p(v1) exp(S) + p(v2) exp(S) +L+ p(vr) = r
u)
p (v j )
∂ ∂p(v j
u)
i
[SD] = Sp(ui)d (ui , v j )
∂ ∂p(v j
u)
i
[µ
i
∑ p(v u )] = µ
s j =1 j i
i
将三个偏导结果代入得
p (v j
u i) = p(v j ) exp{Sd (u i , v j )} exp{
λ

第四章总结习题

U 0 1
P(u)
1 4
1 4
2 3
1 4
1 4
接收符号为V={0,1,2,3},其失真矩阵为 0 1 1 1
D 1 0 1 1 1 1 0 1 1 1 1 0
求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到5 个点）
2024/7/16
13
习题1
第四章信息率失真函数
解答：四元对称信源在汉明失真矩阵下，它的平均失真度
信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。
2024/7/16
11
第四章信息率失真函数
研究信道编码和率失真函数的意义
研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。
第四步：求D(S)，将上述结果代入式(4.2.14)有
nm
D(S)
p(xi ) p( y j )d (xi , y j )ieSd (xi ,y j )
i1 j1
D(S)
p(x1) p( y1)d (x1,
y ) eSd (x1, y1 ) 11
p(x2 ) p( y1)d (x2 ,
y ) eSd (x2 , y1 ) 11
(4.2.10)
p( y1 / x1) p( y1 / x2 ) p( y2 / x1)
p( y1)1eSd (x1, y1) p( y1)2eSd (x2 , y1) p( y2 )1eSd (x1, y2 )

第四章信息率失真函数-习题答案2

⇒
⎡1 ⎢⎢1 ⎢⎣1
0⎤ ⎡0 0⎥⎥ OR ⎢⎢0 0⎦⎥ ⎣⎢0
1⎤ 1⎥⎥ 1⎦⎥
4.3
某二元信源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 2
Dmin和R(D)函数。
解：
1⎫ 1/ 2⎭⎬
其失真矩阵为
D
=
⎡a ⎢⎣0
0 a
⎤ ⎥⎦
求这信源的Dmax和
∑ Dj =
i
p(xi )d (xi ,
D = 1 , R(D) = ln 4 − 1 ln 16 nat / symbol
4
23
D = 1 , R(D) = ln 4 − 1 ln12 nat / symbol
2
2
D = 3 , R(D) = 0 nat / symbol 4
4.2
若
某无记忆信
源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧ −1 ⎩⎨1/ 3
4.1
一个四元对称信源
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 4
12 1/ 4 1/ 4
3⎫ 1/ 4⎭⎬
，接收符号Y
=
{0,
1,
2,
⎡0 1 1 1⎤
3}，其失真矩阵为 ⎢⎢1 ⎢1
0 1
1 0
1⎥⎥ 1⎥
，求Dmax和Dmin及信源的R(D)函数，并画出其曲线
⎢⎣1 1 1 0⎥⎦
（取 4 至 5 个点）。
R(1) = 0.231奈特 / 符号 = 0.331比特 / 符号，因此每个信源符号最少要用 1 个二进 3
制码表示。
4.11

限失真信源与信息率失真函数R(D)

第四章限失真信源与信息率失真函数R(D)§4-1 引言（一）引入限失真的必要性：1）失真在传输中是不可避免的;2）接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;3）即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；4）我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D).5）对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然H(U)≥R(D).当且仅当D=0时，等号成立；6）为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；7）R(D)函数是限失真信源信息处理的理论基础；（二） R(D)函数的定义1）信源与信宿联合空间上失真测度的定义：)(j i v u d : ),0[∞→⨯+R V U其中： U u i ∈ （单消息信源空间） V v j ∈ （单消息信宿空间）则有∑∑=iju j i vj i v u d v u p d )()(称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质1〉0)(=j i v u d , 当 j i v u =2〉0)(min ,=∈∈j i Vv U u v u d ji3〉∞<≤)(0j i v u d对离散信源：i=j=1,2……..n,,)(ij j i d v u d = 则有：⎩⎨⎧≠==)j(i 0,)j(i ,0有失真当〉无失真当ijd 若取 ij d 为汉明距离，则有：⎩⎨⎧≠==)j(i ,1)j(i ,0有失真当无失真当ijd对连续信源，失真可用二元函数d (u,v )表示。

则有：v u v u v u d -=-=2)(),(推而广之，d (u,v )可表示任何用v 表达u 时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。

信息论与编码---第4章信息率失真函数

6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发的消息符号都是x 时和的消息符号都是之间没有失真,所以失真函数之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符时而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和的联合概率的联合概率p(x 称随机变量和Y的联合概率 i yj )对失真函数对失真函数的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真的统计平均值为该通信系统的度.

信息论与编码期末考试题1

（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0. （） 10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以与最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。

第四章总结习题.

信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。
2018/8/6
11
第四章信息率失真函数

研究信道编码和率失真函数的意义
对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明：

求极值问题

平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即
4
2018/8/6
第四章信息率失真函数

允许平均失真度：率失真函数中的自变量 D，也就是人们规定的平均失真度 D 的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度 D 的最小和最大值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选定的失真函数 d(xi , yj)，在平均失真度 D 的可能取值范围内。
这个最小值 R(D) 称为信息率失真函数，简称率失真函数。

在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。
2018/8/6
7
第四章信息率失真函数

求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其 R(D)是不同的。

信息论与纠错编码(电子工业出版社)第四章率失真编码参考答案

4.1 当率失真函数R （D ）取什么值的时候，表示不允许有任何失真。

解：当D=0时，表示不允许有任何失真，此时R （D ）= H （X ），即R max （（D ）= H （X ）4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值是什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？解：不允许失真时，信息率压缩极限值R （D ）= H （X ）；不允许失真时，信息率压缩极限值 R （D ）= 04.3 在例4.8中，当允许D= 0.5δ时，请问每个信源符号至少需要几个二进制符号来对其编码？解：因为二元信源率失真函数：⎪⎭⎫⎝⎛-=a D H p H D R )()(其中a = 1（汉明失真）, 所以二元信源率失真函数为：)()()(D H p H D R -=当D= 2P 时[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡25.025.05.0x 321x x ，失真测度矩阵[d]=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡011302120，求率失真函数R （D ）。

解：定义域：D min =0×0.5+0×0.25+0×0.25=0D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域：R （D min ）= －0.5log0.5－0.25log0.25－0.25log0.25=0.45 R （D max ）= 04.5 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα,求率失真函数R(D)。