第6章 限失真信源编码

合集下载

第六章 限失真信源编码01

第六章 限失真信源编码01

6.2 信息率失真函数
2) 试验信道 1°有失真的信源编码器视作有干扰的信道 1 有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即P(X)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为 PD={ p( yi | xj ): D ≤ D ; i=1,2, … ,n ; j=1,2,…m } p( yi | xj )为信道的传递概率。 3) 信息率失真函数R(D) 定义 在允许信道 PD 中 , 寻求 寻求一个信道 个信道p( Y |X ) , 使给定 的信源经过此信道后 , 互信息量I(X ;Y )达到最小。该最小 互信息量称为信息率失真函数R(D) , 简称率失真函数
6.1 失真测度
各种图像信号应用的码率
应用种类 HDTV 普通电视 会议电视 电视电话 象素数 /行 1920 720 352 35 128 行 数 /帧 1080 480 288 88 112 码率bps 压缩前 1.18G 167M 36.5M 36.5 5.2M 压缩后 20~25M 4~8M 1.5~2M .5 56k
第六章 限失真信源编码
《信息论基础》 印刷与包装系
内容大纲
失真测度 信息率失真函数 限失真信源编码定理 常用信源编码方法
教学重点及难点
Hale Waihona Puke 掌握失真测度方法; 熟悉信息率失真函数及限失真信源编码定理; 熟悉常用信源编码方法。
6.1 失真测度
限失真编码:信源编码经过译码后能保留应用要求的 信息 允许信源有一定的失真 信息,允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大 1 连续信源的绝对熵为无限大,由于信道的带宽有限, 由于信道的带宽有限 受信道容量的限制。不可能实现完全无失真的信源信息的 传输 (可能性) 传输。 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输。 (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真. 模拟量的采样 量化也会引入失真

《限失真信源编码》课件

《限失真信源编码》课件

方法
常见的限失真信源编码方 法包括均匀量化、动态范 围压缩、预测编码和联合 编码等。
均匀量化
原理
均匀量化将信源数据划分为固定间隔的量化等级,将连续的数据离散化。
方法
均匀量化方法包括等距离离散量化和等中心离散量化等。
误差
均匀量化会引入量化误差,误差大小取决于量化等级的精度。
动态范围压缩
原理
动态范围压缩是通过改变信源数据的幅度范围,将较大幅度的数据变小。
方法
常见的动态范围压缩方法包括对数变换、分段线性变换等。
预测编码
原理
预测编码基于信源数据的统计特性,通过预测当前数据和上一时刻数据之间的关系来压缩数 据。
方法
常见的预测编码方法包括线性预测编码和差分编码等。
联合编码
原理
联合编码使用多个编码器进行信源编码,并 利用编码器之间的相关性进一步压缩数据。
《限失真信源编码》PPT 课件
欢迎观看本次《限失真信源编码》的PPT课件。在本课程中,我们将深入研 究失真、信源编码及限失真信源编码的概念、方法和应用。
简介
失真是信息传输过程中不可避免的问题,限失真信源编码旨在减少或控制失真程度,提高信息传输的可 靠性和质量。
信源编码是将信息进行压缩和编码以减少传输带宽的过程,限失真信源编码进一步在编码过程中限制失 真。
参考文献
1. 《信息论与编码》 - 傅斌 2. 《现代通信原理与系统分析》 - 张启元 3. 《数字信号处理》 - 张广义
一般信源编码
特点与缺点
一般信源编码可以实现较高的压缩比,但在一定程度上会引入一定的失真。
方法
常见的一般信源编码方法包括霍夫曼编码、算术编码等。
限比的前提下,通 过控制失真程度提高信息 传输质量。

信息论与编码民大06限失真信源编码

信息论与编码民大06限失真信源编码

23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值, 引入参量S和μi(i=1,2,…,n),构造一个新函数ф (4.2.6) (S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式


理论上“消息完全无失真传送”的可实现性 信道编码定理:无论何种信道,只要信息率 R=(Klog2 m)/L 小于信道容量C,总能找到一种编码,使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之,若R>C,则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的,信息率无限大,要无失真传送 要求信道容量C为无穷大; 实际信道带宽是有限的,所以信道容量受限制。要想无失 真传输,所需的信息率大大超过信道容量R>>C。
引入一个失真函数,计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49


23-Oct-18
信息率与失真的关系


信道中固有的噪声和不可避免的干扰,使信源的消息通 过信道传输后造成误差和失真 误差或失真越大,接收者收到消息后对信源存在的不确 定性就越大,获得的信息量就越小,信道传输消息所需 的信息率也越小。

研究信道容量的意义:是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道,使传输的信息量 最大而发生错误的概率任意小,以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质

率失真函数的定义域

第六章率失真函数理论及限失真信源编码

第六章率失真函数理论及限失真信源编码

§6. 1 率失真函数的基本概念与定义
种信息率的性能界限:R(D);使得信宿在R>R(D)时,收到信息后 所产生的失真应不会大于所给定的失真要求D。一旦R<R(D)以后 实际失真将必定大于失真要求D。 这种信源与信宿的依存关系,就是与信道无关的条件下,所 要讨论的率失真函数的概念。 一、失真度的定义: ( The Definition of Distortion Function ) 所谓失真函数或失真度,即信息传输中所产生的失真。可采 用以下数学方法描述:如果用 d(x,y) 表示当发端为x,而收端为 y 时所定义的某种误差代价;或者是当用y 来代替x 时,所定量 的失真度。具体的讲,对于离散信源设发端 x a1 , a2 , , an ; 收端:y b1 , b2 , , bm ;当发 ai 时收到 b j 符号的情况下定义 失真度为: def 0 i = j d(x = ai , y = b j ) d ij α i j
x , y a1 , a2 y a1 a2
then d11 d 22 0 d12 d 21 1
0 d ij 1 1 0
a2
0
则,失真度矩阵可表示为:
§6. 1 率失真函数的基本概念与定义
例6-2. when
x 0,1, 2,3, 4,5
1 d = E d(x, y) = T
x(t) - y(t) dt = p(x)P( y
2 XY
x )d(x, y)dxdy
注意:d(x,y) 是人为的传输失真定义, 它仅表示后果的代价程度,是 一‘权值’的概念。但它是与信息传输本身无关的量; 而E[d(x,y) ] 则是一个与信源、信道特性均有关的统计参量。如果对信息传输 过程中的平均失真规定在一个范围之内,比如小于某一指定值D 即, d D 这无疑是对传输特性 P(y/x) 有了规定限制,是要保证: d = pi Pji dij D 1 因为Pi反映信源特性,而给定信源则表示Pi已给定,不能改变; 而Pji是代表传输特性,这时只有它可以在某种范围内选择,即表示 改变不同的传输手段。如果选出的每一种传输方案都能保证平均失 真满足要求 d D,则可以定义:凡是满足失真要求的信道 Pji ; 我 们把它归为一类, 记为集合BD 。该集合中的任一元素都可使上式成 立,即满足失真要求。

限失真信源编码

限失真信源编码

m
p(ui , v j )d (ui , v j )
i1 j1
nm

p(ui ) p(v j | ui )d (ui , v j )
i1 j1
DD
D 为给定的失真度
设离散信源U =[0,1]的概率分布为均匀分布,信宿V =[0,1,2],传递概
率矩阵为
p(v
|
u)


0.6 0.3
求失真矩阵 D.
解:
d(0,0) = d(1,1) = d(2,2) = 0; d(0,1) = d(1,0) = d(1,2) = d(2,1) = 1; d(0,2) = d(2,0) = 4;
0 1 4
D


1
0
1

4 1 0
D Ed (u, v) n
这里 n=2
R(D) H (U ) H (D) H () H (D) H () - log (1 ) log(1 )
H (D) -D log D (1 D) log(1 D)
R(D) 1.0
0.8
ω=0.5
0.6
ω=0.4
ω=0.3
0.4
ω=0.2
inf 为 下确界 (最大下边界)
二元对称信源 U =[0,1], 概率分布为
P(u) [, 1 ] ( 1/ 2)
信宿 V =[0,1], 采用汉明失真,求 0 D 的率失真函数 R(D) 。
.
由汉明失真,有
R(D) H (U ) H (D) D log(n 1)
考虑对均值为零,方差为1的高斯随机变量进行8级量化。由最小均方 误差最小化,可以得到如下表所列出的最优量化及Huffman编码。

信息论与编码 限失真信源编码

信息论与编码 限失真信源编码

第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度

试验信道: 由于是失真编码, 所以信道不是一一
前 言

失真传输的研究方向:

在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;

也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言

这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言

失真传输的可能性:

传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.

对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.

6.3 限失真编码

6.3  限失真编码

2014-7-21
第六章 图像压缩编码
14Leabharlann 6.5 二值图像编码例如,对于一个二元序列 0000001111100011001
对应的游程序列为 653221,由于设定为从“0”开始,故 可以容易的恢复出原始的二元序列。然后根据不同长度段发生 的概率来分配不同长度的码字,通常采用Huffman编码。RLC中 每个像素的平均码长满足下式
信息率失真理论
信息率与允许失真之间的关系,就是香农提出的信息率失真理论的内容。 根据信息率失真理论,有一个函数R(D)存 在,只要信息率大于R(D),必存在一种编码 方法,其平均失真可无限逼近D;反之,若信 息率小于R(D),则任何编码的平均失真必须 大于D。这就是香农的限失真编码定理。 这里的R(D)称为率失真函数,如图 6.4.1所示,它是D 的单调递减函数。
压缩码流
子图像划分
fi (m, n)
正交变换 (a)
Fi (u, v)
量化
ˆ (u, v) F i
编码器
压缩码流
解码器
Fi' (u, v)
反变换
f i' (m, n)
(b)
解压图像 子图像合并
f ' (m, n)
图6.4.5 正交变换编码原理框图
(a)编码部分;(b)译码部分。
2014-7-21
第六章 图像压缩编码
2014-7-21 第六章 图像压缩编码
R(D)
D
图6.4.1 一个率失真函数的示意图
2
6.4 限失真编码
若以均方误差作为失真度量,对于正态分布的信源,其率 失真函数为
2 1 log ; 0 D R( D ) 2 2 D 2 0 ; D

信息论与编码8----限失真信源编码2

信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.

限失真编码

限失真编码
DK,MK
TK:门限电平(k+1个)
qk:电平值 (k个)
4) 均匀量化 概念:量化间隔相等
最优均匀量化:使DK达到最小均匀量化 例:对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题:均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5)Lioyd-Max算法 思想:反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义:将空域图像信号映射变换到另一个正交矢量空 间(变换域或频域),产生一批变换系数,对系数进 行编码处理
• 原理:
– 信号在时域描述时信息冗余度大,变换后,参数独 立,去掉相关性,减少冗余,数据量大大减少。
– 利用人的视觉特性,对高频细节不敏感,可以滤除 高频系数,保留低频系数。
件进行迭代(必要条件为:P235) Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例:(高斯信源) 表6-2(P236)举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码:再现v(ω) – 失真度计算:在所有随机码书和Un空间统计平均的基础上计算平均失真

§7.4:限失真信பைடு நூலகம்编码定理-5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理,没有构造方法 – 存在问题:
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难

第6章 限失真信源编码ll

第6章 限失真信源编码ll

N
符号平均失真度
D = E {d (ui , v j )}
序列平均失真度
D( N ) = ∑ E d (uhk , vlk )
k =1 N
{
}
式中
D1 = D2 = ⋯ = DN = D
当信源和信道 编码器) (编码器)均 无记忆时
是符号平均失真度
D( N ) = ∑ E d (uhk , vlk ) = ∑ Dk = ND
h =1 l =1 rN sN
= ∑∑ P(α h , βl )∑ d (uhk , vlk )
h =1 l =1 k =1
N
18
序列平均失真度与符号平均失真度 之间的关系
信源
U
{u1 , u2 ,⋯ , ur }
信道 信源编码器) (信源编码器)
V
符号的失真度
d (ui , v j )
{v1 , v2 ,⋯ , vs }
0
Dmin
Dmax
D
13
限失真信源编码定理
设离散无记忆平稳信源的信息率失真函数为 R ( D ) ,只要满 当信源序列足够长时,一定存在一种编码方法, 足 R > R( D) ,当信源序列足够长时,一定存在一种编码方法, D ,ε + 其中是任意小的正数;反过来, 其中是任意小的正数;反过来, 其译码失真小于或等于 若 R > ,(则无论采用什么样的编码方法,其译码失真必 R 则无论采用什么样的编码方法, D) 大于D。 大于 。
V
{v1 , v2 ,⋯ , vs }
r×s个失真度—— d (ui , v j ) d (u , v ) 个失真度 i j 平均失真度
r
取统计平均

限失真信源编码定理

限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下,游程越长,出现的概率就越小;当游程 长度趋向于无穷时,出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则,概率越小码字越长,但 小概率的码字对平均码长影响较小,在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高;
• 游程编码对相关信源编码更有效; • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码; • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程:
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程:只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding)表 示。该压缩编码技术相当直观和经济,运算也相当 简单,因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像,对减少存储容量很有 效。
❖ 选取一个适当的n值,游程长度为1,2,…,2n-1, 2n, 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则,将上列2n 种概率从大到小排队,构 成码树并得到相应的码字。

限失真信源编码定理和多用户信息论.pptx

限失真信源编码定理和多用户信息论.pptx

第11页/共24页
实际通信系统例如电话交换网、广播网、计算机网等都是网络通信系统。该系统的输入端涉及到两个或两个以上的信源,或者输出端涉及到两个或两个以上的信宿(终端或用户)。随着互联网、卫星通信、光纤通信、移动通信的发展,通信范围越来越大。这些通信网都是复杂的信息流通系统,信息是在众多用户和方向中流通的。怎样在这些网络通信中有效和可靠的传递信息,就是网络信息论(多用户信息论)所研究的问题 。
(失真典型序列)
限失真信源编码方法:预测法、变换法、、、
第9页/共24页
第10页/共24页
9-3 相关信源编码
多用户信息论(网络信息论): 当信息系统涉及三个或更多个用户时构成的通信系统。
前面研究的是只有一个信源和一个信宿的单向通信的单用户通信系统。随着空间通信、通信网和计算机网的发展,信息论的研究已从单用户通信系统发展到网络通信系统。
广播信道就是有一个发端和多个收端的信道。
第16页/共24页
译码器
信道
X2
XM
X1
信源1
信源2
信源3
编码器2
编码器1
编码器3
U1
U2
UM
U^2
U^1
U^M
卫星通信的上行线路
第17页/共24页
信 道
信源1
信源2
信源3
U1
U2
UM
编码器
X
译码器1
译码器1
译码器1
Y2
YM
Y1
U^2
第14页/共24页
R2
H(S2)
H(S1S2)
可达速率域R
R1+R2=H(S1S2)
R1
H(S2|S1)
H(S1|S2)

第6章 限失真信源编码

第6章  限失真信源编码

第6章 限失真信源编码一、例题:【例6.1】 二元对称信源,信源{0,1}U =,接收变量{0,1}V =,在汉明失真定义下,失真函数为:(0,0)(1,1)0d d ==,(0,1)(1,0)1d d ==其失真矩阵为0110⎡⎤=⎢⎥⎣⎦D 容易看出:对于离散对称信源,其汉明失真矩阵D 为一个方阵,且对角线上的元素为零,即:0111101111011110⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦D【例6.2】 信源U ={0,1,2},接收变量V ={0,1,2},失真函数为2(,)()i j i j d u v u v =-,求失真矩阵。

由失真定义得:d (0,0)=d (1,1)=d (2,2)=0d (0,1)=d (1,0)=d (1,2)=d (2,1)=1 d (0,2)=d (2,0)=4所以失真矩阵D 为14101414⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦D【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ,其中(1,2)i U i =取自符号集{0,1},通过信道传输到信宿,接收N 维随机序列12()V V =V ,其中(1,2)i V i =取自符号集{0,1},定义失真函数(0,0)(1,1)0(0,1)(1,0)1d d d d ====求符号序列的失真矩阵。

解: 由N 维信源序列的失真函数的定义得11(,)(,)(,),kk NN N i j i j k d d d uv Nαβ===∈∈∑u v u U v V所以[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)22N N d d d d d d =+==+=类似计算其他元素值,得到信源序列的失真矩阵为110122110122111022111022N⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦D【例6.4】 设信源符号有8种,而且等概率,即1()8i P u =。

失真函数定义为0(,)1i j i jd u v i j =⎧=⎨≠⎩假如允许失真度12D =,即只要求收到的符号平均有一半是正确的。

信息理论与编码 第六章 限失真信源编码 PPT课件

信息理论与编码 第六章 限失真信源编码 PPT课件

R(ND) min I(U N ;V N ) min{I(U N ;V N ); D(N ) ND}
P
V
N
|U
N
BND
信源和信道均无记忆,有
R( ND) min{I(U N ;V N ); D( N ) ND}
min{NI(U;V ); D D} NR(D)
6.2.2 信息率失真函数的性质
数常用于连续信源。
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义 如果要求平均失真 D小于某个给定值D,即要求
rs
D E{d(ui , v j )}
P(ui )P(v j | ui )d (ui , v j ) D
i1 j1
——保真度准则 D D
满足保真度准则 的信道称为D允许(试验)信道
Dmax
min
1
3
P(v1 )
1
3
1 3
0
1 3
1 3
6.2.2 信息率失真函数的性质
2. R(D)是D的下凸函数 3. R(D)是定义域上的非增函数
R(D)
0 Dmin
Dmax
D
6.3 限失真信源编码定理 -----香农第三编码定理
设离散无记忆信源的信息率失真函数为R(D),只 要满足R>R(D),当信源序列足够长时,一定存在一种 编码方法,其译码失真小于或等于D+ε,其中ε是任意 小的正数;反过来若R<R(D),则无论采用什么样的编 码方法,其译码失真必大于D。
将r×s个d(ui,vj)排成矩阵——失真矩阵,记为[d]:
d(u1, v1 ) [d ] d(u2 , v1 )
d(u1, v2 ) d(u2 , v2 )
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第6章 限失真信源编码一、例题:【例6.1】 二元对称信源,信源{0,1}U =,接收变量{0,1}V =,在汉明失真定义下,失真函数为:(0,0)(1,1)0d d ==,(0,1)(1,0)1d d ==其失真矩阵为0110⎡⎤=⎢⎥⎣⎦D 容易看出:对于离散对称信源,其汉明失真矩阵D 为一个方阵,且对角线上的元素为零,即:0111101111011110⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦D【例6.2】 信源U ={0,1,2},接收变量V ={0,1,2},失真函数为2(,)()i j i j d u v u v =-,求失真矩阵。

由失真定义得:d (0,0)=d (1,1)=d (2,2)=0d (0,1)=d (1,0)=d (1,2)=d (2,1)=1 d (0,2)=d (2,0)=4所以失真矩阵D 为14101414⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦D【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ,其中(1,2)i U i =取自符号集{0,1},通过信道传输到信宿,接收N 维随机序列12()V V =V ,其中(1,2)i V i =取自符号集{0,1},定义失真函数(0,0)(1,1)0(0,1)(1,0)1d d d d ====求符号序列的失真矩阵。

解: 由N 维信源序列的失真函数的定义得11(,)(,)(,),kk NN N i j i j k d d d uv Nαβ===∈∈∑u v u U v V所以[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)22N N d d d d d d =+==+=类似计算其他元素值,得到信源序列的失真矩阵为110122110122111022111022N⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦D【例6.4】 设信源符号有8种,而且等概率,即1()8i P u =。

失真函数定义为0(,)1i j i jd u v i j =⎧=⎨≠⎩假如允许失真度12D =,即只要求收到的符号平均有一半是正确的。

我们可以设想这样的方案:方案一:对于1234,,,u u u u 这四个信源符号照原样发送,而对于5678,,,u u u u 都以4u 发送。

如图6.1(a )所示。

方案二:对于1234,,,u u u u 这四个符号照原样发送,而对于5678,,,u u u u 分别以1234,,,u u u u 发送。

如图6.1(b )所示。

1u 1u 2u 2u 3u 3u 4u 4u 5u 6u 7u 8u 1u 1u 2u 2u 3u 3u 4u 4u 5u 6u 7u 8u(a ) 方案一 (b ) 方案二图6.1 例6.4有失真信源编码方案如果进行无失真编码,即无失真传送这个信源,编码信息率为2log 83=比特/信源符号。

在上述要求下,试问需要多少信息率?方案一编码后需要的信息率为12341115(,,,),,,1.5498888R H u u u u H ⎛⎫'=== ⎪⎝⎭比特/信源符号 方案二编码后需要的信息率为()12341111,,,,,,24444R H u u u u H ⎛⎫'=== ⎪⎝⎭比特/信源符号 可见,限失真信源编码需要的信息率小于信源熵()H U ,而且不同的编码方案可能得到不同的信息率R '。

【例6.5】 设二元对称信源{0,1}U =,其概率分布[]()P u ωω=,21≤ω。

而接收变量{0,1}V =,设汉明失真矩阵为110D ⎡⎤=⎢⎥⎣⎦计算这个信源的m in D 和m in ()R D 。

解: 因为最小允许失真度min 1()m in (,)0riijji D P u d u v===∑并能找到满足该最小失真的试验信道,且是一个无损无噪的试验信道,信道矩阵为1001⎡⎤=⎢⎥⎣⎦P 因此{}(|)(0)m in(;)()()j i DP v u B R I U V H U H ω∈===【例6.6】 设二元对称信源{}0,1U =,其概率分布[]()P u ωω=,21≤ω。

而接收变量{}0,1V =,采用汉明失真测度,计算m ax D 和max ()R D 。

解: 可计算出最大允许失真度为[][]m ax m in ()m in()(,)m in (0)(0,0)(1)(1,0);(0)(0,1)(1)(1,1)m in (1);VVUD d v P u d u v P d P d P d P d ωωω'===++=-=∑∑ 要达到最大允许失真度的试验信道,唯一确定为0101⎡⎤=⎢⎥⎣⎦P 即这个试验信道能正确传送信源符号1u =,而传送0u =时,接收信号一定为1v =。

那么,凡发送符号0u =时,一定都错了。

而0u =出现的概率为ω,所以信道平均失真为ω。

在这种试验信道条件下,可计算得max ()()(;)0R D R I U V ω===【例 6.7】 某二元对称信源()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡75.025.010U u P ,采用汉明失真。

假设允许失真度1.0D =,试分析信息源所能压缩的理论极限值为多少?分析:在保真度准则下信息源所能压缩的理论极限值,就是()D R 函数。

解:该二元对称信源的率失真函数为()()()469.0811.00.1H 25.0H D R -=-==0.342比特/信源符号【例6.8】 设某二元无记忆信源111()22U P u ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦若假设此信源再现时允许失真存在,并定义失真函数为汉明失真。

经过有失真信源编码后,得到的发送码字通过无噪无损广义信道传输,经译码后到达信宿,信宿得到的接收序列为ˆU。

如图6.2所示。

(1)计算图6.2所示的有失真编码方案的信息传输率R '和平均失真D ; (2)图6.2所示的有失真压缩编码是否为最佳方案?UV()f =V U 发送码字无噪无损广义信道接收码字ˆU译码12345678(000)(001)(010)(100)(110)(101)(011)(111)=⎫⎪==⎪⎪=⎭=⎫⎪==⎪⎪=⎭u u u u u u u u 1=v 2=0101(000)(111)图6.2 限失真压缩编码方法示例解:(1)图6.2中的有失真信源压缩编码方案为:将信源的输出每N (这里N = 3)个符号组成一组,用矢量U 表示。

因为信源符号0,1是等概率分布的,所以U 序列的不同形式共有823=种,并且都是等概率分布,为了进行压缩,不是传输所有8种不同的信源序列U ,而是只传输其中的两种。

所采用的映射方法将12(000),(001)==u u 3,(010),=u4(100)=u 映射成1(000)=v 来传输;而把5(110),=u 678(101),(011),(111)===u u u映射成2(111)=v 来传输,即8种不同的U 序列映射成2种V 序列来传输。

这时输入端只有2M '=个不同的消息,完全可以用0和1来传输,映射关系为1(000)0=→v ,2(111)1=→v 。

由此可见,通过这种编码方法,把原来传输的三个二元信源符号压缩成一个二元符号。

因此编码后的信息率为log 13M R N''==(比特/信源符号)从接收端来看,当收到码字0或1时,就译成对应的信源序列1v 和2v 。

1v 和2v 就是再现的信源序列ˆU,它与实际发送的信源序列U 之间存在着失真。

这失真是进行信源压缩编码后人为引起的,接收序列ˆU与发送序列U 之间有很大差异,如图6.3所示。

发送码字U(000)(001)(010)(011)(100)(101)(110)(111)(000)(000)(000)(111)(000)(111)(111)(111)0001011100010111(000)(000)(000)(111)(000)(111)(111)(111)图6.3 信源编码引起的失真这种简单压缩编码的平均失真为()[]1111(),01111110384Ud C E d N==⨯+++++++=⎡⎤⎣⎦∑u v可见,图7.2所示的这种限失真编码方法压缩后信息率1/3R '=(比特/信源符号),而产生的平均失真等于1/4。

(2)现在的问题是对于等概率分布的二元信源U 而言,在允许平均失真等于1/4的情况下,这种压缩方法是否是最佳的呢?信源输出信息率是否还可以进一步压缩呢?根据香农第三定理的含义,若允许失真度D = 1/4时,总可以找到一种压缩方法,使信源输出信息率压缩到极限值14R⎛⎫⎪⎝⎭,可以求得1110.18944R H⎛⎫⎛⎫=-≈⎪ ⎪⎝⎭⎝⎭(比特/信源符号)显然,14R R⎛⎫'<⎪⎝⎭。

所以,在允许失真度为1/4时,对等概率分布的二元信源来说,上例中的压缩方法并不是最佳方法,即信源还可以进一步压缩。

二、讨论题:1、如何理解信息率失真函数?2、如何理解限失真信源编码定理?三、思考题:1、限失真信源编码是否有实际意义?2、失真函数有哪些常见的定义方法?3、什么是保真度准则?4、信息率失真函数有哪些性质?。

相关文档
最新文档