信息率失真理论及其应用 11.1 (2)
信息率失真函数的定义
x
上式中第二项最小，所以令 p(b2 ) 1 ， p(b1 ) p(b3 ) 0 ，可得对应 Dmax 的试验信道转移概率矩阵为
0 1 0 0 1 0 p( y | x 0 1 0
2、 R(D)是关于平均失真度D的下凸函数 设
D1 , D2 为任意两个平均失真，0 a 1，则有：
寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度 准则的试验信道集合，因而可以在D失真许可的试验信道集合 BD中寻找一个信道P(vj / ui) ，使I(U;V) 取极小值。
由于平均互信息I(U;V)是P(vj / ui)的U型凸函数，所以在BD
集合中，极小值存在。这个最小值就是在D D的条件下，信源 必须传输的最小平均信息量。即：
3.1 失真测度
一、失真度
• 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。
• 所以信息传输率与信源编码所引起的失真(或误差) 是有关的。
失真的测度
离散无记忆信源U，信源变量U＝{u1,u2,…ur}， 概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接 收变量V＝ {v1,v2,…vs} 。
[例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs}。定义单个符号失真度：
0 d (u i , v j ) 1
ui v j ui v j
这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的 元素为零，即：
0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
率失真理论-中国科学技术大学
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
第8章 信息率失真理论(090318)
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
信息论 第四章 信息率失真函数(1)
4.1 基 本 概 念
当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以 定义失真度为0； 当i≠j时，用Y代表X就有误差。
这种定义认为对所有不同的i和j引起的误差都一样，所以定 义失真度常数a。 失真矩阵的特点是对角线上的元素均为0，对角线以外的其 它元素都为常数a。
第四章 信息率 失真函数
第1章：概述
第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
第四章 信息率 失真函数
基本概念
在前面几章的讨论中，其基本出发点都是如何保 证信息的无失真传输。 但在许多实际应用中，人们并不要求完全无失真 地恢复消息，而是只要满足一定的条件，近似地 恢复信源发出的消息就可以了。 然而，什么是允许的失真？如何对失真进行描 述？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题，已成为量化、数据转换、频带压缩和数 据压缩等现代通信技术的理论基础。
1 2 N 1 2 N
4.1 基 本 概 念
i ai , ai , , ai , ai , ai , , ai a1 , a2 , , an
i1 , i2 , , iN =1, 2, , n，i=1, 2, , n N
信道的输出共有mN个不同的符号
j bi , bi , , bi , bi , bi , , bi b1 , b2 , , bm
率失真理论及经典的码率控制算法
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
信息率失真理论及其应用 11.1 (2)
“信息论与编码”课件
信息率失真函数与信息价值
解 （ 1）
Dmax
V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 0.722
v V a/5 0.1444 a 元/比特 R( D1 ) 0.722
好 坏
2 4a a a min p (ai )dij min , j 5 5 5 i 1
“信息论与编码”课件
4.3信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例4.6某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
4
“信息论与编码”课件
信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 1 0
平均失真度为 D 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵， 有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息 量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量 的最大价值为98元，则每一比特信息的最大价值为
信息率失真函数及其性质
j 1,2,, s
pd
i 1 i
r
ij
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 例 设输入输出符号表示为U＝V{0，1}，输入概率分布 p(u)={1/3，2/3}，失真矩阵为
d (u1 , v1 ) d (u1 , v2 ) 0 1 d d ( u , v ) d ( u , v ) 1 0 2 1 2 2 分析： 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
s
j
1
D中的最小值 ，即
Dmax min p j pi dij
j 1 i 1
s
r
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
r
3、信息率失真函数的性质
（3）Dmax的计算 从上式观察可得：在j=1，…，s中，可找到 pi dij
i 1
值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右 边达到最小，这时上式可简化成
s中可找到为零时上式右边达到最小这时上式可简化成max123信息率失真函数的性质信息论电子信息工程学院max的计算设输入输出符号表示为uv01输入概率分布pu1323失真矩阵为minhxh1323091比特符号这时信源编码器无失真所以该编码器的转移概率为3信息率失真函数的性质信息论电子信息工程学院max的计算所以该编码器的转移概率为minmin3信息率失真函数的性质信息论电子信息工程学院max的计算此时输出符号概率3信息率失真函数的性质信息论电子信息工程学院rd是关于d的严格递减函数
信息率失真函数及信源编码定理的应用
《信息论与编码》课程自学报告题目：信息论与编码自学报告学号：姓名：任课教师：联系方式：二零一四年2 月15 日1 自学内容阐述1.1 信息率失真函数1.1.1 失真函数与平均失真度失真函数：设离散信源概率分布为： 经信道传输后输出序列为: ，对任一 指定一个非负数 称为单个符号的失真度（或称失真函数）。
失真函数用来表征信源发出一个符号i a ，而在接收端再现成符号j b 所引起的误差或失真。
d 越小表示失真越小，等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式： 平均失真度：由于i a 和j b 都是随机变量，所以失真函数),(j i b a d 也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为1.1.2 信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I 是关于p(bj/ai) 的下凸函数，存在极小值。
该最小的互信息就称为信息率失真函数R(D)： 对于离散无记忆信源，R(D)可以写成：);(m in )()()/(N N P p N Y X I D R N D i j ∈=αβ1.1.3 信息率失真函数的性质 率失真函数的定义域： 。
允许失真度D 的下限可以是零，即不允许任何失真的情况。
率失真函数对允许平均失真度的下凸性：设21,D D 为任意两个平均失真，10≤≤a ，则有： )(,),(,),(),( , , , , ,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X }...{21m b b b Y =),(j i b a 0),(≥ji b a d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(............),(...),(),(),(...),(),(][212221212111m n n n m m b a d b a d b a d b a d b a d b a d b a d b a d b a d D ∑∑∑∑====-===n i mj j i i j i n i m j j i j i ji b a d a b p a p b a d b a p b a d E D 1111),()/()(),()()],([);(min )()/(Y X I D R D i j P a b p ∈=min max 0D D D ≤≤≤1212((1))()(1)()R aD a D aR D a R D +-≤+-率失真函数的单调递减和连续性：由信息率失真函数的下凸性可知， R(D)在),(max min D D 上连续。
信息率失真函数的定义
信源最小平均失真度Dmin
是非负函数d(xi , yj)的数学期望，也是一个非负 D 函数，显然其下限为 0。因此允许平均失真度 。因此允许平均失真度D的下 限也必然是0，这就是不允许有任何失真的情况。 – 允许平均失真度D能否达到其下限值0，与单个符号 的失真函数有关。 – 信源最小平均失真度 Dmin ：对于每一个xi，找出一个 yj与之对应，使d(xi , yj)最小，不同的xi对应的最小 d(xi , yj)也不同。这相当于在失真矩阵的每一行找出 一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。 对所有这些不同的最小值求数学期望，就是信源的 最小平均失真度。
（2）若设此信源的失真度为汉明失真。因为是二元信源， 输入是等概率分布，所以信源的信息率失真函数 R(D)=1R(D)=1-H(D) 比特/信源符号 Rt(D)=2.66*R(D) Rt(D)=2.66*R(D) 比特/秒 若当 Ct>=Rt(D ) Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误，也就是不会因信 道而增加信源新的失真。总的信源的失真是信源压缩编码所 造成的允许失真D 所以有 2=2.66*[12=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真D ≈ 0.0415时，此信源就可以在次信道 中传输。
R ( D)
1 D I (U ;V ) = H (U ) − H (U | V ) = H ( ) − H ( ) 2 α
α
0, D >
α
2
2
A = − , ，失真 = 4.1设无记忆信源 p ( x ) 1 3, 1 3, 1 3 ，接收符号集 2 2 1 2 矩阵 D = 1 1 ，试求：Dmax 和 Dmin及达到 Dmax ， 时的转移概率矩 D min 2 1 阵。
率失真理论
我们先讨论信息率失真函数的性质， 计算一个简单的例子， 然后证明这个函数总是可达的， 即总是存在失真为 D 而码率为 R ( D ) 的率失真码。
I
ˆ ) ，则 5. 定理 4.1：对于 i.i.d 的信源 X，如果其分布为 p(x)，且其有界失真度量函数为 d ( x, x
率失真函数与对应的信息率失真函数总是相等的。即：
R( D) = R I ( D) =
ˆ | x ): p( x
( x ,x )
ˆ) I(X ; X min ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x ∑ ˆ
6.2 计算 1. 一个简单例子：考虑一个二元 Bernulli 信源，其输出符号 1 的概率为 p，失真度量为汉明 失真，则：
(b)是因为增加条件会降低熵 (c)是因为对于汉明失真度量函数：
3 / 8
ˆ ) = Pr( X ≠ X ˆ )d ( X , X ˆ ) + Pr( X = X ˆ )d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 = Pr( X ≠ X ˆ) = Pr( X ≠ X ≤D
Dmax 也可以通过另一种方法来进行定义：满足 R ( D) = 0 的所有 D 中的最小值。
3. 率失真函数 R ( D ) 的性质 (1) R ( D ) 是 D 的非增函数 (2) R ( D ) 是凸函数 (3) 当 D ≥ Dmax ， R ( D ) = 0
ˆ = 1 表示 x (1) 我们首先寻找率失真函数的一个下界：注意到对于 Bernolli 信源， x ⊕ x
ˆ ，类似的， x ⊕ x ˆ 。 ˆ 不相等，换句话说， x ⊕ x ˆ = 1 等价于 X ≠ X ˆ = 0 等价于 X = X 与x
第八章 信息率失真理论及其应用
计算率失真函数R(D)
无记忆信源R(D)的计算
(1) 先求出Dmax
D j p( xi )d ( xi , y j )
i 1 n
Wuhan University
Dmax min D j
率失真函数
Wuhan University
信道容量求解：假定信道固定的前提下，选择一种 试验信源，使信息率最大。一旦找到了这个信道容 量，它就与信源不再有关，而是信道特性的参量， 随信道特性的变化而变化。（信道编码问题） 率失真函数求解：信源给定的情况下，在用户可 以容忍的失真度内再现信源消息所必须获得的最 小平均信息量。它反映的是信源可压缩程度。不 同的信源，其R(D)是不同的。 （信源编码问题）
PV |U (v | u ) P(v) Dmax min P(v) P(u )d (u, v) Dmax min P(u )d (u, v) min {D1 , D2 , D|V |}
vV u v u
率失真函数的基本性质
性质1：R(D)的定义域
例 P(0)=P(1)=0.5
约 束 条 件
使 I ( P) Q(ui ) P V / U (v j / ui ) ln
i 1 j 1
Q(u ) P
i' i'
PV /U (v j / ui ) ( v j / ui ' )
关于PV|U (vj|ui)最小
拉格朗日函数
Wuhan University
引入拉格朗日乘数S和μi(i=1,2,…,n)，构造 一个新函数
i j
1
解出 (v j )
3.由 Ds (ui )Q(ui )(v j )esd (ui ,v j ) d (ui , v j ) 得到D(s) 代入 R( Ds ) sDs Q(ui ) ln (ui ) 得到R(s)
应用信息论-第12讲-率失真函数2解读
当p=0.5时，曲线延伸至D=0.5 处，此时Smax=0，故S(D)是连 续曲线，定义域为D=0~0.5。
2018/9/28
30
第四章 信息率 失真函数
4.2.2
二元及等概率离散信源的信息率失真函数
4.2 离 散 信 源 的 信 息 率 失 真 函 数
(3) 二元等概率离散信源的率失真函数
R( Dmin ) H (U ) R( Dmax ) 0
2018/9/28
3
第四章 信息率 失真函数
4.2 离散信源的信息率失真函数
对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互 信息极值问题，只是约束条件不同； C是求平均互信息的条件极大值， R(D)是求平均互信息的条件极 小值。
2018/9/28
5
第四章 信息率 失真函数
4.2.1 离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y) 的极值，引入拉格朗日乘数S和μi(i=1,2,…,n)，构造一个 新函数
4.2 离 散 信 源 的 信 息 率 失 真 函 数
PD为满足保真度准则 信息率失真函数为
的所有试验信道集合。
相当于离散信源中求极小值，严格地说，连续集合未必存在极小值， 但是一定存在下确界。 R(D)函数的参量表达式：
2018/9/28
一般情况，在失真度积分存在情况下， R(D) 的解存在，直接求解 困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。
2018/9/28
15
第四章 信息率 失真函数
浅析媒体传播中的新闻信息失真现象
浅析媒体传播中的新闻信息失真现象摘要：现今新闻在媒体传播的过程中经常出现失真的现象，或者从一开始在新闻被创造的时候就不真实，或者在传播的过程中经过不断的加工和选择造成了新闻的失真。
尤其是在互联网时代，信息传播速度之快、传播范围之广，影响力之大可见一斑。
那么造成新闻失真的原因是什么？我们又该如何来防范和杜绝新闻的失真？本文将介绍新闻失真的原因以及应对的措施。
新闻，还人们一个真实的世界。
关键词：新闻、信息失真、媒体传播、一、信息失真的内涵所谓信息失真，指的是“信息偏离了客观事物的真实状况与一定的衡量标准”。
在信息的反映过程、传输过程和理解过程中，都有可能造成信息的失真。
二、信息失真的案例（一）案例一：2005年4月17日，国内众多媒体发表关于“高露洁牙膏可能含致癌成分”的报道。
报道称，据美国最新研究显示，数十种牙膏、洗手液等抗菌清洁品，当中包括高露洁等品牌的产品，含有化学物质三氯生，这种物质与经氯消毒的自来水接触后会产生三氯甲烷(俗名氯仿或哥罗芳)，而三氯甲烷是一种可能致癌的物质。
随着这则消息的飞速传播，高露洁在中国的市场销量出现了明显下跌。
截至4月19日上午8点，据新浪网的网上调查表明，88％以上的消费者原来信任高露洁品牌，而现在会继续使用该品牌牙膏的消费者不到10％。
据上海市商业信息中心对该市两家颇有影响的大型超市、大卖场进行专题调查显示，4月18日至4月24日这一周，高露洁牙膏每天的销售额比上周同期的降幅达到45%～65%。
然而，随后的追踪调查表明，所谓“高露洁致癌事件”，不过是媒体信息传递失真而导致的一起“公共卫生危机”。
4月19日，这一发现的研究者美国弗吉尼亚工学院的彼得·威克斯兰在弗吉尼亚《The Roanoke Time》报纸的网站上说，许多媒体断章取义了他关于潜在健康风险的发现。
威克斯兰说，事实上，自己在《环境科学技术》杂志上发表的文章只是称：在洗手液中发现的三氯生以及含氯的自来水在实验条件下可以产生反应，进而生成“哥罗芳”。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息率失真函数与信息价值
(续) V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)P(好/好) +P(坏)P(坏) =0.80.95+0.20.05=0.77 P2 (坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 0.778
4
“信息论与编码”课件
信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 1 0
平均失真度为 D 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵， 有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息 量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量 的最大价值为98元，则每一比特信息的最大价值为
v R( D) R( D)
例8.7 设某地区的天气状况可简单地用好天气和坏天气 来表示，据长期统计，它们的概率分别为P(好) = 4/5和 P(坏) = 1/5。假如对某种生产，把次日是好天气当坏天 气来准备和把坏天气当好天气来准备都会损失a元，否 则无损失。（1）试求完全正确预报的信息率价值V及信 息价值率v；（2）若气象台的误报概率为10%，再求V 及 v。
即这种情况每销售出去一块PCB板，加工厂将要另外承担 可能损失200元的风险。考虑到每块销售100元，实际上是 每卖出一块可能要实际净损失100元。 情况2 全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 好 废 信道矩阵为
18
本章总结
“信息论与编码”课件
• 平均失真定义：
平均失真为失真函数的数学期望，
D p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
n
m
19
本章总结
“信息论与编码”课件
• 保真度准则
•人们所允许的失真指的都是平均意义上的失真。 •规定平均失真度 不能超过某一限定的值D
6
“信息论与编码”课件
信息率失真函数与信息价值
从可能带来的另外损失角度考虑，这种情况和最大损 失（98元）相比，其减少量为98 – 14.9 = 83.1 (元) 减少的原因是由于从检验的过程中获取了信息量，如 前所述，检验的过程好比“信道”，获取的信息量也 就是平均互信息量I(X;Y)，可用I(X;Y)=H(X) – H(Y|X) 求得。现在来求H(Y/X)，为此先求H(Y)。 设出厂产品为信宿Y，则有
好 0 1 废 0 1
3
“信息论与编码”课件
信息率失真函数与信息价值
平均失真度为
D
P(ai )P(b j /ai )d(ai ,b j )
i j
=P(好)P(好/好) d(好,好)+ P(好)P(废/好) d(好,废) +P(废)P(好/废) d(废,好)+ P(废)P(废/废) d(废, 废) =0.98110 0=98元/块
1
“信息论与编码”课件
信息率失真函数与信息价值
选择失真函数为 d(好，好)=0 d(废，废)=0 d(好，废)=100 d(废，好)=10 000 将产品检验分成4种情况：全部产品都当合格品，全部 产品都当废品，完美的检验和允许出错的检验。 情况1 全部产品不经检验而出厂——都当合格品 把这一过程看作是一个“信道”，其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 好 废
14
• 问题：在允许一定程度的失真条件下，信
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
本章总结
“信息论与编码”课件
•香农信息率失真理论指出：
在允许一定失真度D的情况下，信源 输出的信息率可压缩到R(D)。
15
本章总结
“信息论与编码”课件
• 定义失真函数：
0, d ( xi , y j ) , xi y j xi y j , 0
（2）
D2
P(ai )P(b j /ai )d(ai ,b j )
i j
12
坏 0.2 0.8
好 0.8 0.2
=P(好)P(坏/好) d(好, 坏)+P(坏)P(好/坏) d(坏,好) =0.80.05a+0.20.05a = a /20
“信息论与编码”课件
9
“信息论与编码”课件
R( D )
H ( x)
R1
R
R2
D1
D
D2
Dmax
D
图8.8信息率失真函数图
10
“信息论与编码”课件
信息率失真函数与信息价值
（2）信息率R的价值率 定义8.7 信息率R的价值率用v表示，定义为每比特信息 量的价值，即信息率R的价值率为 Dmax D( R) V （8.165）
“信息论与编码”课件
4.3信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例4.6某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
即每生产一块PCB板，加工厂将有损失98元的风险。因 为把98％本来可以卖100元一块的板子也报废了。 比较情况1、2可知，做出全部报废决定造成的损失，要 小于做出全部出厂决定所造成的损失。不做任何检验， 在全部出厂和全部报废两者之间抉择，选择后者的损失 反而小。因此，有 Dmax 98 ；R( Dmax ) 0 产品未进行质量管理，相当于信源没有输出任何信息量。
0.071
而情况3每比特信息量的价值为690.14元。比较而言，第 4种情况的信息价格最高，是最合算的检验准则。
8
“信息论与编码”课件
信息率失真函数与信息价值
把上述概念一般化，有： （1）信息率R的价值 在保真度准则下，信息速率R是设计时允许失真D的函数， R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的 反函数D =D(R)，同样，给出一个R值，就有一个D与之 对应。 定义8.6 信息率R的价值用V表示，定义为 V = Dmax – D(R) （8.164） 它的含义是当获取关于信源X某一信息率R(D)时，平均 损失从Dmax降低到D所具有的差值。 例如，图8.8中对应于R1，V1=Dmax–D1；对应于R2， V2=Dmax–D2。
16
本章总结
“信息论与编码”课件
• 失真矩阵
– 失真度还可表示成矩阵的形式
– 称d 为失真矩阵。它是n×m阶矩阵。
17
本章总结
几种常用的失真函数： （1）均方失真 （2）绝对失真 （3）相对失真 （4）误码失真 （5）汉明失真
“信息论与编码”课件
d(xi ,yj )=(xi -yj ) 2 d(xi ,yj )= xi -yj d(xi ,yj )= xi -yj / xi 0，xi yj d(xi ,yj )=(xi ,yj )= 1， 其他 0， i=j d(xi ,yj )= 1， 其他
H (Y | X) P(ai )P(bj | ai )lbP(bj | ai ) 0.286
i j
I(X;Y) = 0.778 – 0.286 = 0.492
v V a / 20 0.102a 元/比特 R( D2 ) 0.492
13
“信息论与编码”课件
本章小结
本章讨论了离散消息的失真函数和信息率失真函数，同 时对连续消息也做了相应的讨论。限失真信源编码定理 是本章的重点，由此引出了信息价值这一具有实际意义 的概念。但该定理只是一个存在性定理。在实际应用中， 该理论主要存在着两大类问题。第一类问题是符合实际 信源的R(D)函数的计算相当困难。首先，需要对实际信 源的统计特性有确切的数学描述；其次，需要对符合主、 客观实际的失真给予正确的度量，否则不能求得符合主、 客观实际的R(D)函数。 第2类问题是即便求得了符合实际的信息率失真函数， 还需要研究采取何种最佳编码方法才能达到极限值。尽 管如此，限失真信源编码定理仍为信源的压缩编码指明 了方向，是各种信源压缩编码的理论基础。
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.980.95+0.020.05=0.932 PY(废)=0.068
则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
7
“信息论与编码”课件
信息率失真函数与信息价值
每生产一个产品，对应于是废品还是合格品的平均不确 定度为 H (Y | X) P(ai )P(bj | ai )lbP(bj | ai )
98 690.14 元/比特 0.142
5
废 0 1
“信息论与编码”课件
信息率失真函数与信息价值
情况4 检测时允许有一定的错误——非完美的检验 依题意检验的正确率约为95%，则信道的传输概率为
P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 好 废 信道矩阵为 好 0.95 0.05