限失真信源编码定理的实用意义
第5章 限失真信源编码

R(D) min I(X ;Y) min
Pij PD
Pij PD
n i1
m j 1
p(xi
)
p( y
j
/
xi
) log
p(y j / p( y j
xi) )
其单位是比特/信源符号。
应当注意,在研究R(D)时,我们引用的条件概 率 p(y / x)并没有实际信道的含义,只是为了求
平均互信息的最小值而引用的、假想的可变试
第5章 限失真信源编码
1. 信息率失真函数
2. 限失真信源编码定理
3. 常用信源编码方法
第三章我们讨论了无失真信源编码。但是,在很多 场合,特别是对于连续信源,因为其绝对熵为无限 大,若要求无失真地对其进行传输,则要求信道的 信息传输率也为无限大,这是不现实的。因此也就 不可能实现完全无失真传输。
显然或者是最小值不变,或者是变小了,所以 R(D)是非增的。
关于R(D)的连续性,这里我们就不再证明了。 所以,R(D)有如下基本性质: • R(D) 0,定义域为 0 ~ Dma,x 当 D Dm时ax ,
R(D)=0。 • R(D)是关于D的连续函数。 • R(D)是关于D的严格递减函数。
因此,当规定了允许失真,又找到了适当的失真
函数 dij ,就可以找到该失真条件下的最小信息
率R(D),用不同的方法进行数据压缩时(在允 许的失真限度D内),其压缩的程度如何,可以 用R(D)来衡量。由它可知是否还有压缩潜力, 有多大的压缩潜力。因此,有关R(D)的研究也 是信息论领域的一个研究热点。
0 1
1 0
求 Dmax
解:Dmax min d ' ( y) min p(x)d (x, y)
信息论与编码民大06限失真信源编码

23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值, 引入参量S和μi(i=1,2,…,n),构造一个新函数ф (4.2.6) (S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式
理论上“消息完全无失真传送”的可实现性 信道编码定理:无论何种信道,只要信息率 R=(Klog2 m)/L 小于信道容量C,总能找到一种编码,使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之,若R>C,则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的,信息率无限大,要无失真传送 要求信道容量C为无穷大; 实际信道带宽是有限的,所以信道容量受限制。要想无失 真传输,所需的信息率大大超过信道容量R>>C。
引入一个失真函数,计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49
23-Oct-18
信息率与失真的关系
信道中固有的噪声和不可避免的干扰,使信源的消息通 过信道传输后造成误差和失真 误差或失真越大,接收者收到消息后对信源存在的不确 定性就越大,获得的信息量就越小,信道传输消息所需 的信息率也越小。
研究信道容量的意义:是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道,使传输的信息量 最大而发生错误的概率任意小,以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质
率失真函数的定义域
信息率失真函数与限失真信源编码

§7.1:概述-4
• 实际需求特点: – 信宿对真实度的要求: • 实际语音信号: 20Hz~8KHz 人耳能够分辨: 300Hz~3400Hz • 图象色差:可达足够多 视觉分辨:256级(黑白)已足够
– 可以允许一定的失真度 • 完全保真没必要
§7.1:概述-5
• 引出的研究内容 – 限失真的信源编码问题 • 允许一定的失真度下,能将信源信息压缩到什么程度?(最少需要 多少比特才能在收端描述信源?) • 一定的信息传输率R下,可能达到的最小的平均失真是多少?
§7.2:失真的度量-3
• 失真度定义
0, ui=vj
– 离散信源:用失真矩阵描述。dij=
>0, ui≠ vj
汉明距离度量时:dij=
1, ui≠ vj
0, ui=vj
– 连续信源:用失真函数描述。d(u,v)=(u-v)2 =|u-v|
§7.2:失真的度量-4
• 平均失真度
– 单符号失真度: d(ui,vj)≥ 0,(i=1~r,j=1~s) 信源的失真矩阵可表示为:
第七章:信息率失真函数与限失真 信源编码定理
• 概述
本章研究内容
• 失真的度量
• 信息率失真函数
• 限失真信源编码定理
• 限失真信源编码定理应用
• 实用型信源编码
• 香农三大定理的关系和比较
§7.1:概述-1
• 无噪信道编码定理回顾:
– 总可以找到一种输入分布(信源编码方法),使在无 噪无损信道上,能够以信道容量C无误地传输信息。
试验信道的统计特性有关。
D
§7.2:失真的度量-7
• 平均失真度 – N维信源符号序列的平均失真度: 此时D为一 rN×sN阶的矩阵
第六章 限失真信源编码

n
m
平均失真度
D 是在平均意义上,从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后,平均失 当 p( xi ) , 真度就不是一个随机变量了,而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下,在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到, 就与求极值过程中选择的试验信道不再有关, 而只是信源特性的参量。不同的信源,其 R(D)是不同的。
即,d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道,称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示,即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中,总可以找到某一试验信道,使平均 互信息量达到极小值(最小值),这个最小 值就是信息率失真函数,或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ,指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ,在接收端 再现 y j 所引起的误差或失真。
第5章限失真信源编码.

第5章 限失真信源编码
例 题:
0 1 1/2 删除信道 X {0 , 1} , Y {0 , 1, 2} , D ,求 Dmin 1 0 1/2
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定,则根据式( 5-3) , D 就只与信道特性有关,把所有满足保真度 准则 D ≤ D 的信道集中起来,构成一个所谓 D 失真允许的试验信道集合,记为 PD ,即:
PD = p( y j | xi ); D ≤ D ; i = 1 , 2 , , m ; j = 1 , 2 , ,n
yn p( y 2 ) p( y n ) y2
对于每一对 ( xi , y j ) ,指定一个非负的函数 d ( xi , y j ) ≥ 0, i 1 , 2 , , m ; j 1 , 2 , , n , 称 d ( xi , y j ) 为单位符号的失真度或失真函数,用它来表示信源发出一个符号 x i ,而在接收端再 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真,而 d ( xi , y j ) 0 表示没 有失真。由于信源 X 有 m 个符号,信道传输 Y 有 n 个符号,所以 d ( xi , y j ) 有 m n 个,这 m n 个非负的函数可以排列成矩阵形式,即:
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵,且对角线上的元素为 0。即:
0 1 D 1
D 是 m m 阶方阵。
例 题:
1 1 1 0 1 1 1 1 0
设信道输入 X {0 , 1} ,输出 Y {0 , 1 , 2} ,规定失真函数 d (0 , 0) d (1 , 1) 0 , d (0 , 1) d (1 , 0) 1 , d (0 , 2) d (2 , 0) 0.5 ,求 D 。 解:由失真函数和失真矩阵可得出:
第5章2无失真和限失真信源编码

28
5.2.3
最佳变长编码
最佳变长编码 凡是能载荷一定的信息量,且码字的 平均长度最短,可分离的变长码的码字集 合称为最佳变长码。
29
5.2.3
最佳变长编码
能获得最佳码的编码方法主要有:
香农(Shannon)
费诺(Fano)
哈夫曼(Huffman)等
30
5.2.3
最佳变长编码
2
2.83
7.11
Pe=0.04 太大
16
5.2.1
定长编码定理
0.28
H(X ) = 0.90, H(X )
2 8 i 1
( X ) D[ I ( xi )] pi (log pi ) 2 [ H ( X )]2 7.82(bit) 2
若要求译码错误概率 10-6
对于平均符号熵为 HL(X) 的离散平稳 无记忆信源,必存在一种无失真编码方法, 使平均信息率满足不等式
H L (X) K H L (X)
其中为任意小正数。
20
5.2.2
变长编码定理
用变长编码来达到相当高的编码效率, 一般所要求的符号长度 L可以比定长编码小得 多。 编码效率的下界:
编码。
12
5.2.1
定义
定长编码定理
H L ( X) K
为编码效率,即信源的平均符号熵为H(X), 采用平均符号码长为 来编码,所得的效 K 率。 编码效率总是小于1,且最佳编码效率为
H L ( X) , 0 H L ( X)
13
5.2.1
定长编码定理
编码定理从理论上阐明了编码效率接 近1的理想编码器的存在性,它使输出符号 的信息率与信源熵之比接近于1,即
第五章 限失真信源编码和率失真函数修改

无失真信源编码定理和信道编码定理得出 这样一个结论:无论是无噪信道还是有噪信道, 只要信道的信息传输率R小于信道容量C,总能 找到一种编码,在信道上以任意小的错误概率和 , 任意接近信道容量C的信息率传输消息.反之,若 信道信息传输率R大于信道容量C,一定不能使 传输错误概率任意小而实现无失真传输.
这两个概念的适用范围是不一样的,研究信道容量 C是为了在已知信 道中尽可能地传送信息,是为了充分利用已给定的信道,使传输的信息量最 大而错误概率任意小,以提高通信的可靠性,这是信道编码的问题 . 研究信息率失真函数是为了在已知信源和允许失真度条件下,使信源 输出的信息率尽可能小,也就是在允许的一定失真度 D的条件下,使信源必 须传送给信宿的信息量最少,尽可能用最少的码符号来传送信源信息,使信 源的信息可以尽快地传送出去,以提高通信的有效性,这是信源编码问题 .
平均失真定义为
Ed ( X n , g n ( f n ( X n ))) =
码率定义为
p( x n )d ( x n , g n ( f n ( x n ))) ∑
x n ∈χ n
R=
1 log 2 M n
定义 5.1.4 设信源随机变量 X 与其复制随机变 ˆ ˆ 量 X 服从概率分布 p (x) ,有失真测度 d ( x, x) 定义信息率失真函数为
≥ Dmax
ˆ x
x
由 Q (D ) 的定义必有 D ≥ Dmax 。
ˆ ˆ 反之,设 D ≥ Dmax 。由定义知,存在 x ∈ χ ,使
*
ˆ Dmax = ∑ p( x)d ( x, x * )
x
定义条件概率
1 x = x * ˆ ( x x) = ˆ ˆ Q ˆ ˆ ˆ 0 x ≠ x*
信息论与编码 限失真信源编码

第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
2015秋.信息论.第5章限失真信源编码

r r 1 N 1 d N ( x , y ) d ( xi , yi ) d ( x1 , y1 ) d ( x2 , y2 ) d ( x3 , y3 ) N i 1 3
1 1 d3 000,000 d 0,0 d 0,0 d 0,0 0 0 0 0 3 3 1 1 1 d3 000,001 d 0,0 d 0,0 d 0,1 0 0 1 3 3 3
常见失真函数: 1. 汉明失真: 0, if x y, d ( x, y ) 1, if x y.
2. 平方失真:
2 d ( x, y ) (y x) .
3. 绝对失真: d (x, y ) y x
图像处理中,常用平方误差和绝对误差度量失真
9
若源符号集A包含r个符号,码符号集B包含s个符号,
5.1.2 平均失真
失真函数的数学期望称为平均失真。
D E[d ]
i
p( x y
i i j j
j
)d ( xi , y j )
p ( x ) p ( y
i j
| xi )d ( xi , y j ).
单个符号的 失真函数
信源特性
试验信 道特性
矢量平均失真: DN 1 E[ d N ] N 1 E[d ( xi , yi )] N i 1
13
例7.1.2 假定离散矢量信源N=3,输出矢量序列为X=X1X2X3, 其中Xi的取值为{0,1};经信道传输后的输出为Y=Y1Y2Y3, 其中Yi的取值为{0,1}。定义失真函数
d 0, 0 d 11 , 0 d 0, 1 d 1, 0 1
限失真信源编码方法

限失真信源编码方法
限失真信源编码方法是一种在满足保真度准则的前提下,通过选择不同的编码方法,使信息传输的失真度达到最小的方法。
该方法的目标是在保证信号质量的前提下,尽可能地降低信息传输所需的码长,从而提高信息传输的效率。
限失真信源编码方法包括以下步骤:
1. 对原始信源进行概率分布的分析,确定每个符号出现的概率。
2. 根据概率分布,选择合适的编码方法,使得信源编码后的失真度最小。
3. 对信源进行编码,得到压缩后的码字。
4. 将压缩后的码字通过信道传输到接收端。
5. 在接收端,对接收到的码字进行解码,恢复出原始的信源。
需要注意的是,在实际应用中,要根据具体的信源和信道特性选择合适的限失真信源编码方法。
同时,由于信息传输的失真度不可能完全消除,因此需要在保证信号质量的前提下,尽可能地降低失真度。
限失真编码

TK:门限电平(k+1个)
qk:电平值 (k个)
4) 均匀量化 概念:量化间隔相等
最优均匀量化:使DK达到最小均匀量化 例:对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题:均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5)Lioyd-Max算法 思想:反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义:将空域图像信号映射变换到另一个正交矢量空 间(变换域或频域),产生一批变换系数,对系数进 行编码处理
• 原理:
– 信号在时域描述时信息冗余度大,变换后,参数独 立,去掉相关性,减少冗余,数据量大大减少。
– 利用人的视觉特性,对高频细节不敏感,可以滤除 高频系数,保留低频系数。
件进行迭代(必要条件为:P235) Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例:(高斯信源) 表6-2(P236)举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码:再现v(ω) – 失真度计算:在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理-5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理,没有构造方法 – 存在问题:
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
限失真信源编码定理

5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下,游程越长,出现的概率就越小;当游程 长度趋向于无穷时,出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则,概率越小码字越长,但 小概率的码字对平均码长影响较小,在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高;
• 游程编码对相关信源编码更有效; • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码; • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程:
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程:只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding)表 示。该压缩编码技术相当直观和经济,运算也相当 简单,因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像,对减少存储容量很有 效。
❖ 选取一个适当的n值,游程长度为1,2,…,2n-1, 2n, 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则,将上列2n 种概率从大到小排队,构 成码树并得到相应的码字。
第7章 限失真信源编码(08)

中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.1.2 平均失真
由于X,Y都是随机变量,故单个符号失真度 d ( xi , y j ) 也是随机变量。 显然,规定了单个符号失真度 d ( xi , y j ) 之后,传输一个符号引起 的平均失真,即信源的平均失真度 平均失真度为 平均失真度
在离散对称信道(r=s)中,定义单个符号失真度为汉明失真。 汉明失真矩阵D通常为方阵,且对角线上的元素为0。即
0 1 D= ⋮ 1 1 1 ⋯ 1 0 1 ⋯ 1 ⋮ ⋮ ⋮ 1 1 ⋯ 0
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
j
i
j
i
j
j
i
2. R(D)是关于 的下凸函数 是关于D的下凸函数 是关于 R(D)是关于D的下凸函数,即对于任意 0 ≤ α ≤ 1, D1 , D2 ≤ Dmax 有 R[α D + (1 − α ) D ] ≤ α R( D ) + (1 − α ) R ( D )
1 2 1 2
中国矿业大学信电学院
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.2 信息率失真函数
7.2.1 D失真许可信道 失真许可信道
如果要求信源符号的平均失真度小于我们所允许的失真D, 即 D ≤ D ,称为保真度准则。N维信源序列的保真准则是
我们总希望在满足保真度准则以后,压缩后的信息传输率 R∗ 尽可 能地小。把信源的压缩编码的过程看成一个信道,从这个信道的 接收端来说,R∗ 可以用平均互信息I(X;Y)来表示,压缩过程中引 入的失真可以用H (X|Y)表示。 我们的任务就是在满足保真度准则的所有D失真许可的试验信道 集合 BD 中寻找某一个信道 p ( y j | xi ) ,使I(X;Y)达到最小,即
第五章 信息率失真函数及限失真信源编码解析

第五章 信息率失真函数及限失真信源编码
正交变换编码基本方法有: 1)区域采样法:利用变换域中能量集中于低频区
域 的特点,用一个二维低通滤波器使低频分量的变换 域系数被保留和编码,其他分量被舍弃。解码后的 误差与变换形式及能量 集中程度有关。 2)区域编码法:在区域采样的基础上,依据变换
域 系数特点,分成子区域进行量化和编码。可进一步
则:
(3)
若q0(x)符合概率密度函数
的要求(非负性、归一性),就可得到R(D)函数的
参量表达式。
第五章 信息率失真函数及限失真信源编码
例:设连续信源的变量x服从正态分布,即
定义失真函数且 求信息率失真函数R(D)。 解:
第五章 信息率失真函数及限失真信源编码
给定允许失真度 D=-1/2S,即:
dij
第五章 信息率失真函数及限失真信源编码
可分别求得平均失真函数:
可得最大允许的失真度: 引用(2)式,得:
第五章 信息率失真函数及限失真信源编码
结果:
试验信道的传输概率:
第五章 信息率失真函数及限失真信源编码
可见:平均失真函数D就是平均误码率。 如图为不同信源概率值 的R(D)曲线:
显然Dmax=p, R(Dmax)=0
第五章 信息率失真函数及限失真信源编码
结论:在信源压缩问题中,规定D是一个困 难的任务。实际中,失真总是可以容忍的, 只是如何定义失真函数dij和规定可容许的D 值,D↑→压缩量↑→传输代价↓ 要发挥R(D)函数理论的作用,核心问题是研 究失真函数和平均失真值的合理性问题,这 须通过大量实验才能达到。
注意:D≥Dmax时,R(D)仍为0,R(D)的定义域为 (0,Dmax)
第五章 信息率失真函数及限失真信源编码
信息率失真函数及信源编码定理的应用

《信息论与编码》课程自学报告题目:信息论与编码自学报告学号:姓名:任课教师:联系方式:二零一四年2 月15 日1 自学内容阐述1.1 信息率失真函数1.1.1 失真函数与平均失真度失真函数:设离散信源概率分布为: 经信道传输后输出序列为: ,对任一 指定一个非负数 称为单个符号的失真度(或称失真函数)。
失真函数用来表征信源发出一个符号i a ,而在接收端再现成符号j b 所引起的误差或失真。
d 越小表示失真越小,等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式: 平均失真度:由于i a 和j b 都是随机变量,所以失真函数),(j i b a d 也是随机变量,限失真时的失真值,只能用它的数学期望或统计平均值,因此将失真函数的数学期望称为平均失真度,记为1.1.2 信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布,当信源的分布概率已知时,互信息I 是关于p(bj/ai) 的下凸函数,存在极小值。
该最小的互信息就称为信息率失真函数R(D): 对于离散无记忆信源,R(D)可以写成:);(m in )()()/(N N P p N Y X I D R N D i j ∈=αβ1.1.3 信息率失真函数的性质 率失真函数的定义域: 。
允许失真度D 的下限可以是零,即不允许任何失真的情况。
率失真函数对允许平均失真度的下凸性:设21,D D 为任意两个平均失真,10≤≤a ,则有: )(,),(,),(),( , , , , ,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X }...{21m b b b Y =),(j i b a 0),(≥ji b a d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(............),(...),(),(),(...),(),(][212221212111m n n n m m b a d b a d b a d b a d b a d b a d b a d b a d b a d D ∑∑∑∑====-===n i mj j i i j i n i m j j i j i ji b a d a b p a p b a d b a p b a d E D 1111),()/()(),()()],([);(min )()/(Y X I D R D i j P a b p ∈=min max 0D D D ≤≤≤1212((1))()(1)()R aD a D aR D a R D +-≤+-率失真函数的单调递减和连续性:由信息率失真函数的下凸性可知, R(D)在),(max min D D 上连续。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
青岛农业大学本科生课程论文论文题目限失真信源编码定理的实用意义学生专业班级信息与计算科学09级2班学生姓名(学号) 20094047 指导教师吴慧完成时间 2012年6月24日2012 年 6 月 24 日课程论文任务书学生姓名:指导教师:吴慧论文题目:限失真信源编码定理的实用意义论文内容:保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。
本文以此为依据举例说明了限失真的信源编码及R(D)的实用意义。
在允许一定失真度的情况下,将信源的R(D)函数作为衡量各种压缩编码方法性能优劣的一种尺度。
并结合香农第三定理分析现实生活中存在的问题,然后以此为依据关注限失真信源编码在现实生活中的发展。
资料、数据、技术水平等方面的要求:需要查阅资料,了解一些关于限失真信源编码定理方面的知识,以及其在现实生活中的应用与发展。
需要熟练掌握平均失真度、信息传输率等的运算。
在公式的应用和计算方面要准确,切忌由于马虎大意,造成结果错误,以致得出错误的结论。
发出任务书日期 2012年6月5日完成论文日期 2012年6月24日教研室意见(签字)院长意见(签字)限失真信源编码定理的实用意义摘要:限失真信源编码定理应用于社会生活的各个方面,本文通过举例阐明了如何进行有失真的信源编码和R(D)的实用意义。
接着判定这种压缩方法是否为最佳,及信源输出信息率是否还可以进一步压缩。
最后概括地分析了该理论存在的两大问题。
关键词:传输速率信源序列率失真函数Practical significance to limited distortion source coding theoremZhaocuicuiDirected by WuhuiAbstract:Limited distortion source coding theorem is applied to various aspects of social life, this paper illustrates how to have the distortion of source coding and the practical significance of R(D).Then to distinguish whether the compression method is the best and whether the source output information rate still can be further compressed.Finally it analyzes the existence of the theory of the two big problems.Key words:transmission rate Source sequences Rate-distortion function1引言保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。
本文以此为依据举例说明了限失真的信源编码及R (D )的实用意义。
在允许一定失真度的情况下,将信源的R(D)函数作为衡量各种压缩编码方法性能优劣的一种尺度。
并结合香农第三定理分析现实生活中存在的问题,然后以此为依据关注限失真信源编码在现实生活中的发展。
2限失真信源编码的应用及意义2.1相关理论知识由香农第二定理知,无论哪种信道,只要信息传输率R 小于信道容量C ,总能找到一种编码方法,使得在信道上能以任意小的错误概率,以任意接近C 的传输率来传送信息。
实际信道中,信源输出的信息传输率一般都会超过信道容量C ,因此也就不可能实现完全无失真地传输信源的信息[1]。
保真度准则下的信源编码定理及其逆定理是有失真信源压缩的理论基础。
这两个定理证实了允许失真D 确定后,总存在一种编码方法,使编码的信息传输率R ’大于R (D )且任意接近于R(D),而平均失真度小于允许失真D 。
反之,若R ’<R (D ),那么编码平均的失真度将大于D [2]。
如果用二元码符号来进行编码的话,在允许一定量失真D 的情况下,平均每个信源符号所需二元码符号的下限值就是R(D)。
可见,从香农第三定理可知,R (D )确实是允许失真度为D 的情况下信源信息压缩的下限值。
比较香农第一定理和第三定理可知,当信源肯定后,无失真信源压缩的极限值是信源熵H(S);而有失真信源压缩的极限值是信息率失真函数R(D).在给定某D 后,一般R(D)< H(S). 2.2举例说明限失真信源的编码方法及R(D)的实用意义。
设某二元无记忆信源⎥⎦⎤⎢⎣⎡)(u P U =⎥⎥⎦⎤⎢⎢⎣⎡212110 此信源的熵为H(U)=1(比特/信源符号)。
根据香农第一定理可知,若对此信源进行无失真编码,每个信源符号必须用一个二元符号来表示,不能小于任一个二元符号。
此时,信源输出的信息率R=H=1 (比特/信源符号).若假设此信源在再现时允许失真存在,并定义失真函数为汉明失真,即d(u i ,v j )= ⎝⎛=≠j i j i v u v u 10现在设想这样一种有失真的信源压缩分组编码方案,就是把过去讨论的重复码反过来运用。
我们把信源U 的输出符号序列每N 个(取N=3)符号分成一组,用矢量U 表示。
因为信源符号0,1是等概率分布的,所以U 序列的不同形式共有23=8种,并且都是等概率分布[3]。
为了进行压缩,不是传输所有8种不同的信源序列U ,而只传输其中两个序列。
即把这8个不同的U 序列,都映射成两种V 序列来传输(V 序列仍是长为N=3的二元序列)。
所采用的映射方法是把u 1=(000),u 2=(001), u 3=(010) u 4=(100)映射成v 1=(000)来传输;而把u 5=(111) u 6=(110) u 7=(101) u 8=(011)映射成v 2=(111)来传输。
一般这种映射关系写成V=f(U).假设信道是无噪无损二元信道。
对信道而言,这时输入端只有M ’=2个不同的消息,完全可以用码C=(0,1)来传输序列V.把v 1变成码字0,把v 2变成码字1.由此可见,通过这种简单编码方法,把原来传输的三个二元信源符号压缩成一个二元符号。
因此,这种编码后信源的信息传输率为R ’=NM 'log =31(比特/信源符号)从接收端来看当收到码字0或1时,就译成对应的信源序列v 1和v 2,这v 1和v 2就是再现的信源序列U 。
这种编译码方法可用图1直观表示。
U −−→−)(U f V −→−)(码字0.1=C −−−→−实际信道Y −−→−译码Λu ⎪⎪⎭⎪⎪⎬⎫====100u 010u 001u 000u 4321−→−v 1=000−→−0 0−→−000 ⎪⎪⎭⎪⎪⎬⎫====011u 101u 110u 111u 8765−→−v 2=111−→− 1 1−→−111该再现的信源序列ΛU 与实际发送的信源序列U 之间存在着失真。
这种失真是进行信源压缩编码后人为引起的,如图2所示↓U 000, 101, 100, 110, 011, 111, 001,……编码 V↓ 000 ,111, 000, 111,111, 111, 000……信道 C↓ 0, 1, 0, 1, 1, 1, 0……译码 Y↓ 0, 1, 0, 1, 1, 1, 0…… ΛU 000, 111, 000, 111,111,111,000…… 从图2中可以看出,接收序列U 与发送序列U 有很大差异。
根据这编码方法,可看成一种特殊的实验信道,其P (v j |u i )=⎩⎨⎧≠=∈)(0)(,1i j i j j u f v u f v C v根据式-D N =N 1-D (N)=N1∑∑==N Nr i s j 11P(a i ) P(βj |a i )d(a i, βj )计算得d(C)=N1)](,[)(u f u d u P U∑又根据式d(u,v)=d(a i,βj )=∑=Nl jl il v u d 1),(得d(u 1=000,v 1=000)= d(u 5=111,v 2=111)=0d(u 2=001,v 1=000)= d(u 3=010,v 1=000)= d(u 4=100,v 1=000)= d(u 6=110,v 2=111) = d(u 7=101,v 2=111)= d(u 8=011,v 2=111)=1 所以求得这种简单压缩编码的平均失真度为d(C)=31 P(u))](,[u f u d U∑= 31⨯81[0+1+1+1+0+1+1+1]=41其中,P(u)=∏=31)(l l u P =21⨯ 21⨯21=81可见,经这种编码方法压缩后信源的信息传输率R ’=1/3(比特/信源符号)。
而产生的平均失真等于1/4.现在的问题是对于等概率分布的二元信源U 来说,在允许平均失真等于1/4的情况下,这种压缩方法是否是最佳的呢?信源输出信息率是否还可以进一步压缩呢?根据香农第三定理的含义,若允许失真D=1/4时,总可找到一种压缩编码,使信源输出信息率压缩到极限值R(1/4).根据式R (D )=⎩⎨⎧>≤≤-w D wD D H w H 00)()(得R (41)=1-H(41)≈0.189(比特/信源符号) 显然,R (41)<R ’。
所以,在允许失真为1/4时,对等概率分布的二元信源来说,前述简单的压缩方法并不是最佳的方法,即信源还可以进一步压缩。
3结论由上例分析可知,在允许一定失真度的情况下,信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。
但香农第三定理只给出了一个存在定理,至于如何寻找这种最佳压缩编码方法,定理中并没有给出。
在实际应用中,该理论主要存在着两大类问题。
第一类问题是符合实际信源的R(D)函数的计算相当困难。
第一,需要对实际信源的统计特性有确切的数学描述。
第二,需要对符合主客观实际的失真给予正确的度量,否则不能求得符号主客观实际的R(D)函数。
例如,通常采用均方误差来表示信源的平均失真度。
但对于图像信源来说,均方误差较小的编码方法,反而人们视觉感觉失真较大。
所以,人们仍采用主观观察来评价编码方法的好坏。
因此,如何定义符号主观和客观实际情况的失真测度就是件较困难的事。
第三,即使对实际信源有了确切的数学描述,又有符合主客观实际情况的失真测度,而率失真函数R(D)的计算仍然还是较困难的。
第二类问题是即便求得了符合实际的信息率失真函数,还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。
目前,这两个方面的工作都有了很大的进展。
尤其是对实际信源的各种压缩方法,如对语音信号,电视和电影图像信号和遥感图像等信源的各种压缩方法有了较大进展。