第四章信道率失真函数后续习题课
信息论基础与编码课件第四章 信息率失真函数
对于离散无记忆 信道，有
P D ' p ( y jx i ) : D D ', i 1 , 2 ,n . , j . 1 , 2 . ,m , ..
8
信息率失真函数(续)
给定信源和失真度后，在允许信道中，总能找到一个信道 P(Y/X)，使得给定的信源经过此信道传输后，平均互信息量 I(X;Y)达到最小，这个最小的平均互信息称为信息率失真函数 R( D )，简称率失真函数：
最小值 ，即
m
n
Dmax min pj pidij
j1 i1
（4-10）
15
R(D)函数的定义域(续)
从上式观察可得：在j=1，…，m中，
可找到
n
p i d ij
值最小的j，当该j对应的pj＝1，而其余
i1
pj为零 时，上式右边达到最小，这时上式可简化成
n
Dmax
min j1,2, ,m i1
信息率失真函数(续)
则平均互信息量为
I'(X ;Y)
ij
p'(xiyj)lo2p g (p x(ix |iy )j)0 .1b 2/i5 符 t 号
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
19
R(D)函数的一般形式
根据率失真函数所具有的下凸性、连续性、严格单调下降性 可绘出率失真函数的典型曲线图
第四章信道率失真函数后续习题课
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
•香农信息率失真理论指出：
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
信息率失真函数 第4章— 1
② 均方失真: d(ai ,bj ) (ai bj )2
③ 绝对失真: d (ai ,bj ) | ai bj |
④ 相对失真: d (ai ,bj ) | ai bj | / | ai |
⑤
误码失真:
d
(ai
,bj
)
(ai
bj
)
0, 1,
ai bj 其他
9
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
11
4.1.3 信息率失真函数R(D)
• 若平均失真度 D 不大于我们所允许的失真，即
DD
• 则称此为保真度准则
• 当信源p(xi)给定，单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi)，相当于不同的编码 方法，其所得的平均失真度不同。
• 试验信道
D D 满足保真度准则
D
＞D
12
4.1.3 信息率失真函数R(D)
• 满足 D D 条件的所有转移概率分布pij ，构成 了一个信道集合
PD {p(bj | a）i ：D D} • D失真允许的试验信道：
– 满足保真度准则的试验信道。
• PD：
– 所有D失真允许的试验信道组成的一个集合。
13
4.1.3 信息率失真函数R(D)
信道容量
• 信道容量：
– 假定信道固定的前提下，选择一种试验信源 使信息传输率最大。
– 它所反映的是信道传输信息的能力，是信道 可靠传送的最大信息传输率。
• 一旦找到了信道容量，它就与信源不再有关, 而是信道特性的参量，随信道特性的变化而变 化。
信息论与编码_PPT_第4章信息率失真函数
R(D)是关于D的下凸函数，因而也是关于D的连
续函数。
R(D)是关于D的严格递减函数。
信息论基础
25
由以上三点结论，对一般R(D)曲线的形态可以画出来
R(D) R(D)
H(X)
R(D)
0
D
Dmax
D
0
Dmax
D
信息率失真曲线
信息论基础
26
4.2 离散信源和连续信源的R（D）计算
信息论基础
23
2、R(D)函数的下凸性和连续性
3、R(D)函数的单调递减性
容许的失真度越大，所要求的信息率越小。反之 亦然。
信息论基础
24
综上所述，可以得出如下结论：
R(D)是非负的实数，即R(D) 0。其定义域为0～
Dmax ， 其 值 为 0 ～ H(X) 。 当 D>Dmax 时 ，
R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
信息论基础
16
(2) Dmax和R(Dmax)
选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域 的上限Dmax，即
Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2，
p( x) 1
x2 2 e 2
2
时，
R( D) log
D
27
信息论基础
(2)当d(x,y)=|x-y|，p ( x )
2
e
x
第四信息率失真函数优秀课件
一、失真函数
失真函数d(x,y)表征了接收消息y与发送消息x之间 的定量失真度。
即：d(x,y) ∣x=ai,y=aj＝dij 其中，失真函数dij是一个与失真情况相对应的非 负实数： 0 ，i＝j
dij＝ d , d＞0 i≠j 显然：i＝j时，收发之间无失真，失真函数dij＝0
i≠j时，意味着出现了失真，dij值的大小表 示这种失真的程度。
例4－1：设信源符号有2n种，且等概，失 真函数定义为：dij＝0（i＝j时），dij＝1 （i≠j时），允许平均失真D＝1/2，要传 送此信源，需要多少信息率？
课堂练习：
设信源具有100个以等概率出现的符号，并以 每秒发出1个符号的速率从信源输出，试求在 允许失真度D＝0. 1的条件下，传输这些符号 所需要的信息传输速率的大小。
若X集有N个符号，Y集有M个符号时，则联合集上 有N×M个不同i、j取值的失真函数。 失真函数dij的二种表示方式： （1）矩阵表示法 （2）连线表示法 平均失真度：失真函数的统计平均值（数学期望）D
数学式为： 两个L维矢量之间的失真函数为：
信源的平均失真度：
若平均失真度不大于所允许的失真，则称为保真度
{P(y/x)} ∈PD
• 与离散情况类似， 并设
得公式：（1）
（2）
（3）
（4）
常用方法：
（1）分别求出p(x)和g(x)的特征函数 （2）
则：
（3）
若q0(x)符合概率密度函数
的要求（非负性、归一性），就可得到R(D)函数的
参量表达式。
例4－2：设连续信源的变量x服从正态分布，即
定义失真函数且 求信息率失真函数R(D)。 解：
二、R(Dmax)＝0 Dmax是平均失真度的上界值，使平均互信息量等于 0时所允许的失真度。
通信原理第四章习题及其答案
第四章（数字基带传输系统）习题及其答案【题4－1】设二进制符号序列为，试以矩形脉冲为例，分别画出相应的单极性码型，双极性码波形，单极性归零码波形，双极性归零码波形，二进制差分码波形。
【答案4－1】【题4－2】设随机二机制序列中的0和1分别由()g t 和()g t -组成，其出现概率分别为p 和(1)p -：1）求其功率谱密度及功率；2）若()g t 为图（a ）所示的波形，s T 为码元宽度，问该序列存在离散分量1s f T =否？3）若()g t 改为图（b ）所示的波形，问该序列存在离散分量1s f T =否？【答案4－2】1）随机二进制序列的双边功率谱密度为221212()(1)()()[()(1)()]()s s s s s s m P f P P G f G f f PG mf P G mf f mf ωδ∞-∞=--++--∑由于12()()()g t g t g t =-=可得：2222()4(1)()(12)()()s s ss s m P f P P G f f P G mf f mf ωδ∞=-∞=-+--∑式中：()G f 是()g t 的频谱函数。
在功率谱密度()s P ω中，第一部分是其连续谱成分，第二部分是其离散谱成分。
随机二进制序列的功率为222222221()2 [4(1)()(12)()()] 4(1)()(12)()() 4(1)()(12)()s s s s s m s s s s m s ss m S P d f P P G f f P G mf f mf df f P P G f df f P G mf f mf dff P P G f df f P G mf ωωπδδ∞∞∞∞∞=-∞∞∞∞∞∞=-∞∞∞∞=-∞==-+--=-+--=-+-⎰∑⎰∑⎰⎰∑⎰－－－－－2）当基带脉冲波形()g t 为1 (){20 else sTt g t t ≤=()g t 的付式变换()G f 为()()s s G f T Sa T f π=因此sin ()()0s s s s sG f T Sa T f T πππ===式中：1s s f T =。
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码技术第四章课后习题答案
''
a − a | x| 2 e − D a e− a|x| , (6) 2 2
s
R( D) ≥ R L( D) = h(u ) − h( g )
2 1 = a log e − log (2eD) 2
当（5）式大于零时， R ( D ) = a log e − 4.8
2 1 log (2eD) 2
4.10
X ⎤ ⎡0 1 ⎤ 一二元信源 ⎡ ，每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某二元 ⎢ p( x) ⎥ = ⎢0.5 0.5⎥ ⎣ ⎦ ⎣ ⎦
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 解：（1）此信源的熵 H(s)=1 （比特/符号） 所以信源输出的信息传输率为 Rt=2.66 （比特/秒） 将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。 此信道的最大信息传输速率：Ct=2 比特/秒 因为 Rt>Ct 根据信道编码定理， 不论进行任何编码此信源不可能在此信道中实现无错误地传输， 所以信源在此 信道中传输会引起错误和失真。 （2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率 失真函数 R(D)=1-H(D) 若当 Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误， 也就是不会因信道而增加信源新的失真。 总的信源的失 真是信源压缩编码所造成的允许失真 D 所以有 2=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真 D ≈ 0.0415 时，此信源就可以在此信道中传输。 比特/信源符号 比特/秒 Rt(D)=2.66*R(D)
第四章 信息率失真函数-习题答案2
⇒
⎡1 ⎢⎢1 ⎢⎣1
0⎤ ⎡0 0⎥⎥ OR ⎢⎢0 0⎦⎥ ⎣⎢0
1⎤ 1⎥⎥ 1⎦⎥
4.3
某二元信源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 2
Dmin和R(D)函数。
解：
1⎫ 1/ 2⎭⎬
其失真矩阵为
D
=
⎡a ⎢⎣0
0 a
⎤ ⎥⎦
求这信源的Dmax和
∑ Dj =
i
p(xi )d (xi ,
D = 1 , R(D) = ln 4 − 1 ln 16 nat / symbol
4
23
D = 1 , R(D) = ln 4 − 1 ln12 nat / symbol
2
2
D = 3 , R(D) = 0 nat / symbol 4
4.2
若
某无记忆信
源
⎡X ⎢⎣P( X
⎤ )⎥⎦
=
⎧ −1 ⎩⎨1/ 3
4.1
一个四元对称信源
⎡ ⎢ ⎣
X P( X
⎤ )⎥⎦
=
⎧0 ⎩⎨1/ 4
12 1/ 4 1/ 4
3⎫ 1/ 4⎭⎬
，接收符号Y
=
{0,
1,
2,
⎡0 1 1 1⎤
3}，其失真矩阵为 ⎢⎢1 ⎢1
0 1
1 0
1⎥⎥ 1⎥
，求Dmax和Dmin及信源的R(D)函数，并画出其曲线
⎢⎣1 1 1 0⎥⎦
（取 4 至 5 个点）。
R(1) = 0.231奈特 / 符号 = 0.331比特 / 符号，因此每个信源符号最少要用 1 个二进 3
制码表示。
4.11
通信原理课后习题答案
通信原理课后习题答案思考题1-1 什么是通信？常见的通信⽅式有哪些？1-2 通信系统是如何分类的？1-3 何谓数字通信？数字通信的优缺点是什么？1-4 试画出模拟通信系统的模型，并简要说明各部分的作⽤。
1-5 试画出数字通信系统的⼀般模型，并简要说明各部分的作⽤。
1-6 衡量通信系统的主要性能指标是什么？对于数字通信具体⽤什么来表述？1-7 何谓码元速率?何谓信息速率?它们之间的关系如何?习题1-1 设英⽂字母E出现的概率=0.105，X出现的概率为＝0.002，试求E和X的信息量各为多少？1-2 某信源的符号集由A、B、C、D、E、F组成，设每个符号独⽴出现，其概率分别为1/4、1/4、1/16、1/8、1/16、1/4，试求该信息源输出符号的平均信息量。
1-3 设⼀数字传输系统传送⼆进制信号，码元速率RB2=2400B，试求该系统的信息速率Rb2=？若该系统改为传送16进制信号，码元速率不变，则此时的系统信息速率为多少？1-4 已知某数字传输系统传送⼋进制信号，信息速率为3600b/s，试问码元速率应为多少？1-5 已知⼆进制信号的传输速率为4800b/s，试问变换成四进制和⼋进制数字信号时的传输速率各为多少（码元速率不变）？1-6 已知某系统的码元速率为3600kB，接收端在l⼩时内共收到1296个错误码元，试求系统的误码率=？1-7 已知某四进制数字信号传输系统的信息速率为2400b/s，接收端在0.5⼩时内共收到216个错误码元，试计算该系统=？l-8 在强⼲扰环境下，某电台在5分钟内共接收到正确信息量为355Mb，假定系统信息速率为1200kb/s。
（l）试问系统误信率=？（2）若具体指出系统所传数字信号为四进制信号，值是否改变？为什么？（3）若假定信号为四进制信号，系统传输速率为1200kB，则＝？习题答案第⼀章习题答案1-1 解：1-2 解：1-3 解：1-4 解：1-5 解：1-6 解：1-7 解：1-8 解：思考题2-1 什么是狭义信道？什么是⼴义信道？（答案）2-2 在⼴义信道中，什么是调制信道？什么是编码信道？2-3 试画出调制信道模型和⼆进制⽆记忆编码信道模型。
第四章 信道失真率函数
n n
N p(ai ) k 1 p( xik ) N p(b j | ai ) k 1 p( y jk | xik )
nN m N
i1 1 m
i N 1 j1 1
6
常用的失真函数
失真函数是根据人们的实际需要和失真引起的损失、风险、 主观感觉上的差别等因素人为规定的，可以有多种形式 平方误差失真函数 d ( xi , y j ) ( y j xi )2 适用于 d ( x , y ) | y x | 绝对误差失真函数 i j j i 连续信源 相对误差失真函数 d ( xi , y j ) | y j xi | | xi |
率失真函数的定义域 (D 的下界)
允许失真度 D 是平均失真度的上限，而 D 是非负函数 d ( xi , y j ) 的数学期望，因此 D 的下界至多为 0，对应于无失真的情况， 此时信息传输率应等于信源输出的信息熵，即 Dmin 0 时： 离散信源：R( Dmin ) R(0) H ( X ) 连续信源：R( Dmin ) lim R( D )
N
由于 N 次扩展信源和 N 次扩展信道都是无记忆的，因此：
p(ai ) p( xi1 xi2
N xiN ) k 1 p( xik )
p(b j | ai ) p( y j1 y j2
y jN | xi1 xi2
N xiN ) k 1 p( y jk | xik )
9
符号序列的 平均失真度
i 1, 2, j 1, 2,
,n ,m
上述非负的失真函数共有 n m 个，可以整体表示成失真矩阵 d ( x1 , ym ) d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x n , ym ) d ( xn , y1 ) d ( xn , y2 ) 由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机 变量，因此单个符号的失真函数 d ( xi, yj ) 也是随机变量(的一 次实现)
信息论与编码第4章习题解答
《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量： 习题4.1图［解］ （a ）信道概率转移矩阵为−−−−=δεδεεδδε11P ， 信道是准对称信道，因此在输入为等概分布时达到信道容量，即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= （b ）信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ，0)(=X P 时，5.0)0(==Y P ，25.0)1(==Y P ，25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ； 所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C =1 bit/次（c ）信道转移概率矩阵为−−−=εεεεεε101001P ，信道是对称信道，当输入为均匀分布时，即31)2()1()0(======X P X P X P 时，达到信道容量。
第四章总结习题.
信息率失真函数也是一个界限。只要信息率大于这个界限， 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真，但仍能满足要求，否则就不能满足要求。
2018/8/6
11
第四章 信息率失真函数
研究信道编码和率失真函数的意义
对偶问题：信道容量和信息率失真函数的问题，都是求平均 互信息极值问题。分三个方面说明：
求极值问题
平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数， 信道容量就是在固定信道情况下，求平均互信息极大值的问题， 即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的下 凸函数，信息率失真函数就是在试验信道（满足保真度准则的信 道）中寻找平均互信息极小值的问题，即
4
2018/8/6
第四章 信息率失真函数
允许平均失真度：率失真函数中的自变量 D，也就 是人们规定的平均失真度 D 的上限值。 率失真函数的定义域问题就是在信源和失真函数已 知的情况下，讨论允许平均失真度 D 的最小和最大 值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选 定的失真函数 d(xi , yj)，在平均失真度 D 的可能取 值范围内。
这个最小值 R(D) 称为信息率失真函数，简称率失真函数。
在信源给定以后，总希望在允许一定失真的情况下，传送信源所 必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互 信息的最小值。
2018/8/6
7
第四章 信息率失真函数
求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下，在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到，就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
[工学]信息论基础 --率失真函数 --练习与思考
![[工学]信息论基础 --率失真函数 --练习与思考](https://img.taocdn.com/s3/m/96795893ddccda38366baf4b.png)
2021/8/26
10
第四章 信息率失真函数
• 特性
– 信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有关，
反映信道特性，与信源特性无关；
– 信息率失真函数 R(D)一旦求出后，就只与信源概率分布 p(xi)
v
j
)
{
4 3
,
43}
i 1
nm
D
p(xi ) p( y j / xi )d (xi , y j )
i1 j1
Dmax min(D1, D2 ,
, Dm )
4 3
I (U,V ) 0
达到Dmax的信道为
1 1 ，0 1 1
1 0 1 0 1 0
达到Dmin的信道为 0
1 , 1
知的情况下，讨论允许平均失真度 D 的最小和最大
值问题。
• D 的选取必须根据固定信源 X 的统计特性D P(X) 和选
定的失真函数 d(xi , yj)，在平均失真度
值范围内。
的可能取
2021/8/26
6
• 常用的失真函数
– 第一种
第四章 信息率失真函数
0 a a a
0
i j
d (xi , y j ) a a 0 i j
对偶问题：信道容量和信息率失真函数的问题，都是求平均互 信息极值问题。分三个方面说明：
• 求极值问题 – 平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数，信
道容量就是在固定信道情况下，求平均互信息极大值的问题，即
– I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的下
信息论与编码-第4章信息率失真函数PPT课件
长江大学电信学院
X
19
4.1 基本概念
d(ai,bj)d(xi1xi2xiN,yj1yj2yjN) d(xi1,yj1)d(xi2,yj2)d(xiN,yjN)
N
d(xik,yjk) k1
对应的失真矩阵为
d(a1,b1)
长江大学电信学院
X
30
4.1 基本概念
说明在保真度准则条件下的信源编码比无失 真情况得到了压缩，同时R(D)是保真度条件下 对信源进行压缩的极限值，亦即信源信息率可 压缩的最低限度，它仅取决于信源特性和保真 度要求，与信道特性无关。
长江大学电信学院
X
31
4.1 基本概念
3. R(D)与C的比较
信道容量表示信道的最大传输能力，反映的 是信道本身的特性，应该与信源无关。但平均 互信息量与信源的特性有关，为排除信源特性 对信道容量的影响，在所有的信源中以那个能 够使平均互信息量达到最大的信源为参考，从 而使信道容量仅与信道特性有关，信道不同， C亦不同。
i 1 j 1
n
nm
m
N
p( xi1 ) p( xiN ) p( y j1 | xi1 ) p( y jN | xiN ) d xik , y jk
i1 1 iN 1 j1 1 jN 1
k 1
nm
p( xi1 ) p( y j1 | xi1 )d ( xi1 , y j1 )
i1 1 j1 1
长江大学电信学院
X
27
4.1 基本概念
I (X; Y)是p(yj|xi ) 的下凸函数，故总可以在 PD集合中找到某一试验信道，使R = I (X;Y)达 到最小值，亦即找到某一个I (X;Y)而使R达到 最小，这个最小值就是R(D)，称为信息率失真 函数，简称率失真函数，即
信息论与纠错编码(电子工业出版社)第四章率失真编码 参考答案
4.1 当率失真函数R （D ）取什么值的时候，表示不允许有任何失真。
解：当D=0时，表示不允许有任何失真，此时R （D ）= H （X ）， 即R max （（D ）= H （X ）4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值是什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？解：不允许失真时，信息率压缩极限值R （D ）= H （X ）；不允许失真时，信息率压缩极限值 R （D ）= 04.3 在例4.8中，当允许D= 0.5δ时，请问每个信源符号至少需要几个二进制符号来对其编码？解：因为二元信源率失真函数：⎪⎭⎫⎝⎛-=a D H p H D R )()(其中a = 1（汉明失真）, 所以二元信源率失真函数为：)()()(D H p H D R -=当D= 2P 时[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡25.025.05.0x 321x x ，失真测度矩阵[d]=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡011302120，求率失真函数R （D ）。
解：定义域：D min =0×0.5+0×0.25+0×0.25=0D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域：R （D min ）= －0.5log0.5－0.25log0.25－0.25log0.25=0.45 R （D max ）= 04.5 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα,求率失真函数R(D)。
通信原理第4章例题1
干扰传输的最高码元速率及频带利用率分别
为________、 ________、 _______。
4800Baud 2 Baud / Hz
3200 4 / 3
2400 1
10、某基带传输系统具有滚降系数为0.35
的升余弦滚降传输特性，若系统传输十六
进制码元，码元速率为1200B，求该系统 的信息传输速率、系统的带宽和频带利用 率。
7、在数字通信中，眼图是用实验的方法观察 _____________对系统性能的影响，从而对系 统的传输特性进行评估和调整。
码间干扰和加性噪声
8、部分响应技术通过有控制的引入码间干扰，
既可以提高系统的____________，同时又能使 ____________，从而降低系统对定时误差的灵 敏度。
1000baudbaudhz6在带宽为2400hz的某低通型信道上进行基带传输当基带传输特性分别为理想低通50余弦滚降及100余弦滚降时其无码间干扰传输的最高码元速率及频带利用率分别baudbaudhz10某基带传输系统具有滚降系数为035的升余弦滚降传输特性若系统传输十六进制码元码元速率为1200b求该系统的信息传输速率系统的带宽和频带利用7在数字通信中眼图是用实验的方法观察对系统性能的影响从而对系统的传输特性进行评估和调整
得到 f1 (t )及 f 2 (t )，试确定接收端的 c1 (t ) 及 c2 (t ) 。
2、AM信号的解调有两种方法：相关解调与非 相干解调。试画出这两种方法的原理框图，
并指出每个部分的功能。
3、什么是码间干扰？它是怎么产生的？ 4、数字基带传输系统的组成。
激响应 h(t ) 应该满足什么条件？
5、某数字基带系统具有截止频率为1000Hz，
通信原理习题课(下)
A
s1 (t )
图1
−A
图2（暂略）
12
数字信号最佳接收
[解] (1)略 (2)略
T
(3)根据 E = ∫ s 2 (t )dt ， E0 = E1 = Eb = A2T
0
∫ ρ=
(4)
T
0
s0 (t ) s1 (t )dt E0 E1
=0
Eb (1 − ρ ) 1 Pe = erfc 2 2n0 A2T 1 = erfc 2n0 2 1 T = erfc A 2 2n0
Hale Waihona Puke 13数字信号最佳接收设发送信号为s(t)，如图
s (t )
(1)求与此信号匹配的滤波器传输特性H(ω)和冲激响应h(t)； (2)匹配滤波器输出波形so(t)； (3)最佳抽样时刻和最大信噪比ro (设接收机输入端噪声功率谱为 n0 2 )
[或s(t)为
Aet s(t ) = 0
0≤t ≤T ] others
解调器输入端信号幅度为信道加性白高斯噪声的功率密度谱为2fsk信号的频带宽度2非相干检测时系统误码率3相干检测时系统误码率近似公式10baud数字调制解1信号带宽接收端带通滤波器带宽为输入噪声功率输入信噪比2非相干检测时系统误码率3相干检测时系统误码率2341039161025810数字调制已知数字信号码元速率为1mbaud采用2psk和2dpsk调制传输载波频率为1mhz发送功率为1w信道衰减为30db信道噪声功率谱为1若输入信息码为11001001试分别画出2psk2dpsk信号波形2画出2dpsk相干检测码反变换的框图3试分别求2psk相干检测2dpsk相干检测和2dpsk差分相干检测时的误码率
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
几种常用的失真函数： （1）均方失真 （2）绝对失真 （3）相对失真 （4）误码失真 （5）汉明失真
2018/10/13
Department of Communication China Ji Liang University
第四章 信息 率失真函数
• 平均失真定义
•
4.1.2 平均失真
• d(xi , yj)只能表示两个特定的具体符号 xi和 yj之间
风险、主观感觉上的差别大小等因素人为规定的。
2018/10/13
Department of Communication China Ji Liang University
7
第四章 信息 率失真函数
4.1.1 失真函数
d(xi ,yj )=(xi -y j ) 2 d(xi ,yj )= xi -y j d(xi ,yj )= xi -y j / xi 0，xi yj d(xi ,yj )=(xi ,y j )= 1， 其他 0， i=j d(xi ,yj )= 1， 其他
R( D) R(0) H ( X )
在允许一定失真度D的情况下，信源 输出的信息率可压缩到R(D)。
R(D)是定义的信息率失真函数。
为了描述失真度D，我们先来引入失真函数。
2018/10/13
Department of Communication China Ji Liang University
4
第四章 信息 率失真函数
4.1.1 失真函数
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
Hale Waihona Puke 4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
• 平均失真的意义
•
• 如果信源和失真度一定，
就只是信道统计特性的函数。 信道传递概率不同，平均失真度随之改变。
• 保真度准则
•人们所允许的失真指的都是平均意义上的失真。 •保真度准则：规定平均失真度 不能超过某一限定的值D，
即 ，则D就是允许失真的上界。该式称为保真度准则。
2018/10/13
Department of Communication China Ji Liang University
2018/10/13
Department of Communication China Ji Liang University
5
第四章 信息 率失真函数
• 失真矩阵
4.1.1 失真函数
• 失真度还可表示成矩阵的形式
• 称d 为失真矩阵。它是n×m阶矩阵。
• 如例题：4－1
2018/10/13
Department of Communication China Ji Liang University
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
n+1 信息压缩了 log(n 1)，付出的代价：允许1/2的失真 2n
2018/10/13
Department of Communication China Ji Liang University
18
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
a1 a2
是一个归并信道，pij =1或者0，H(Y/X)=0, I(X;Y)=H(Y)-H(Y/X)=H(Y) 输出概率分布为： p1 =p2 =...=p n-1 =1/(2n), p n = p(xi yn ) p(aia n ) p(ai )p(a n /ai )
10
第四章 信息 率失真函数
4.1.2 平均失真
对于连续随机变量，定义平均失真为： D
px , y ( x, y )d ( x, y )dxdy
L
L长序列编码下，平均失真定义为： 1 1 DL E[d ( xil , y jl )] Dl L l 1 L l 1
的失真。 平均失真：平均失真为失真函数的数学期望，
2018/10/13
Department of Communication China Ji Liang University
9
第四章 信息 率失真函数
4.1.2 平均失真
是在平均意义上，从总体上对整个系统失真情况的描述。 它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度 d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(xi,yj)给定后，平均失 真度就不是一个随机变量了，而是一个确定的量。
L
2018/10/13
Department of Communication China Ji Liang University
11
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{x1, x2,…, xi,…, xn}
Y∈{y1,y2,…,yj,…,ym}
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{a1, a2,…, ai,…, an}
Y∈{b1,b2,…,bj,…,bm}
• 定义失真函数：
0, d ( xi , y j ) , xi y j xi y j , 0
称d(xi,yj)为单个符号的失真函数。表示信源发出一个 符号xi，在接收端再现yj所引起的误差或失真。
真传送要求信息率R为无穷大； •实际信道带宽是有限的，所以信道容量受限制。要 想无失真传输，所需的信息率大大超过信道容量 R>>C。
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
•
4.1.1 失真函数
• 实际生活中，人们一般并不要求获得完全无失真的消
• •
息，通常只要求近似地再现原始消息，即允许一定的 失真存在。 例如打电话：即使语音信号有一些失真，接电话的人 也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的 “视觉暂留性”，实际上只要每秒放映24幅静态画面。 随着科学技术的发展，数字系统应用得越来越广泛， 这就需要传送、存储和处理大量的数据。为了提高传 输和处理效率，往往需要对数据压缩，这样也会带来 一定的信息损失。
4.1.3 信息率失真函数R(D)
药和行装等方面的准备，于今日晚上十一时准时向 对面山上的敌军发动进攻，希望各部队做好思想政 治工作，一定要取得这次战役的全面胜利。”
2018/10/13
Department of Communication China Ji Liang University
17
第四章 信息 率失真函数
2018/10/13
Department of Communication China Ji Liang University
16
第四章 信息 率失真函数
•例如： •司令员发布命令：“请各部队官兵做好武器、弹 •通信兵：“今晚十一点发动进攻，必夺胜利。”
结果是：取得了胜利。 说明：信源所需输出信息率是可以压缩的。
R>C,就必须对信源压缩，使其压缩后信息传输率小于C，但同时 要保证压缩所引入的失真不超过预先规定的限度D，所以信息压 缩问题就是对于给定的信源，在满足保真度准则 下，使其 R值尽可能小。
• R 值就是所需要输出的有关信源X的信息量，对应到信道，即
符号转移概率p(yj /xi)对应信道转移概率。
为接收端Y需要获得的有关X的信息量，亦是互信息I（X；Y）。
2018/10/13
Department of Communication China Ji Liang University
19
第四章 信息 率失真函数
4.1.4 信息率失真函数的性质
1. R(D)的定义域(D的取值范围)
（1）因为D是非负函数d(x,y)的数学期望，因此D 也是非负函数，其下界为0。此时，意味着不允 许失真，所以信道的信息率等于信源的熵，即
6
第四章 信息 率失真函数
• 信源符号X取自{0，1},编码器输出符号取自{0,1,2}, 规定
失真函数为： d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5, 则失真矩阵为：
4.1.1 失真函数
d
0 1 0.5 1 0 0.5
失真函数是根据人们的实际需要和失真引起的损失、
假想信道
图4－2 将信源编码器看作信道
这样就可以用分析信道传输的方法来研究限失真信源编码问题。
2018/10/13
Department of Communication China Ji Liang University
12
第四章 信息 率失真函数