您的位置：360文档中心› 第六章 限失真信源编码

第六章 限失真信源编码

合集下载

第六章 限失真信源编码01

第六章 限失真信源编码01

6.2 信息率失真函数
2) 试验信道 1°有失真的信源编码器视作有干扰的信道 1 有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即P(X)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为 PD={ p( yi | xj ): D ≤ D ; i=1,2, … ,n ; j=1,2,…m } p( yi | xj )为信道的传递概率。 3) 信息率失真函数R(D) 定义 在允许信道 PD 中 , 寻求 寻求一个信道 个信道p( Y |X ) , 使给定 的信源经过此信道后 , 互信息量I(X ;Y )达到最小。该最小 互信息量称为信息率失真函数R(D) , 简称率失真函数
6.1 失真测度
各种图像信号应用的码率
应用种类 HDTV 普通电视 会议电视 电视电话 象素数 /行 1920 720 352 35 128 行 数 /帧 1080 480 288 88 112 码率bps 压缩前 1.18G 167M 36.5M 36.5 5.2M 压缩后 20~25M 4~8M 1.5~2M .5 56k
第六章 限失真信源编码
《信息论基础》 印刷与包装系
内容大纲
失真测度 信息率失真函数 限失真信源编码定理 常用信源编码方法
教学重点及难点
Hale Waihona Puke 掌握失真测度方法； 熟悉信息率失真函数及限失真信源编码定理； 熟悉常用信源编码方法。
6.1 失真测度
限失真编码：信源编码经过译码后能保留应用要求的 信息 允许信源有一定的失真 信息，允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大 1 连续信源的绝对熵为无限大，由于信道的带宽有限， 由于信道的带宽有限 受信道容量的限制。不可能实现完全无失真的信源信息的 传输 (可能性) 传输。 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输。 (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真. 模拟量的采样 量化也会引入失真

信息论与编码(第三版) 第6章 信道编码理论

信息论与编码(第三版) 第6章 信道编码理论
信号无失真传 输条件：通频 带内系统增益 为常数；相位 为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同

信息论与编码民大06限失真信源编码

信息论与编码民大06限失真信源编码

23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值， 引入参量S和μi(i=1,2,…,n)，构造一个新函数ф (4.2.6) （S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式


理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R=(Klog2 m)/L 小于信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之，若R>C，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送 要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失 真传输，所需的信息率大大超过信道容量R>>C。
引入一个失真函数，计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49


23-Oct-18
信息率与失真的关系


信道中固有的噪声和不可避免的干扰，使信源的消息通 过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确 定性就越大，获得的信息量就越小，信道传输消息所需 的信息率也越小。

研究信道容量的意义：是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道，使传输的信息量 最大而发生错误的概率任意小，以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质

率失真函数的定义域

第六章 限失真信源编码

第六章 限失真信源编码
信息论基础 武汉科技大学
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D


在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。

第六章率失真函数理论及限失真信源编码

第六章率失真函数理论及限失真信源编码

用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量
的失真度。具体的讲，对于离散信源设发端
收端：y b1,b2, ,bm ；当发 ai时收到 b j

x a1, a2, , an ;
符号的情况下定义
失真度为：
def
0 i = j
问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
5º Guide action: Channel coding problem
I(X;Y) is a function of P(y/x).
R(D)是表达信源与失真要求 匹配条件下的最小传信率； 在RR(D)下，总能找到一种 编码方法,满足信宿要求。
Source coding problem with finite distortion (Data Compression)
i1 j 1
If let
0 i j dij 1 i j
then d Pe
即，平均每一符号可能发生的误码率。
当x, y都为L维的随机矢量时，可定义矢量间的失真函数为：
dL( x,
def
y)
1 L
L l=1
d(xl ,
yl
)
dL = E dL( x, y ) =
1 LE L l=1
d(xl , yl )

第6章 限失真信源编码

第6章 限失真信源编码
m ax


i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N

信息论与编码 限失真信源编码

信息论与编码 限失真信源编码

第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度

试验信道: 由于是失真编码, 所以信道不是一一
前 言

失真传输的研究方向:

在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;

也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言

这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言

失真传输的可能性:

传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.

对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.

信息论与编码8----限失真信源编码2

信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.

限失真编码

限失真编码
DK，MK
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难

限失真信源编码定理

限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。

信息理论与编码 第六章 限失真信源编码 PPT课件

信息理论与编码 第六章 限失真信源编码 PPT课件

R(ND) min I(U N ;V N ) min{I(U N ;V N ); D(N ) ND}
P
V
N
|U
N
BND
信源和信道均无记忆，有
R( ND) min{I(U N ;V N ); D( N ) ND}
min{NI(U;V ); D D} NR(D)
6.2.2 信息率失真函数的性质
数常用于连续信源。
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义 如果要求平均失真 D小于某个给定值D，即要求
rs
D E{d(ui , v j )}
P(ui )P(v j | ui )d (ui , v j ) D
i1 j1
——保真度准则 D D
满足保真度准则 的信道称为D允许(试验)信道
Dmax
min
1
3
P(v1 )
1
3
1 3
0
1 3
1 3
6.2.2 信息率失真函数的性质
2. R(D)是D的下凸函数 3. R(D)是定义域上的非增函数
R(D)
0 Dmin
Dmax
D
6.3 限失真信源编码定理 -----香农第三编码定理
设离散无记忆信源的信息率失真函数为R(D)，只 要满足R>R(D)，当信源序列足够长时，一定存在一种 编码方法，其译码失真小于或等于D+ε，其中ε是任意 小的正数；反过来若R<R(D)，则无论采用什么样的编 码方法，其译码失真必大于D。
将r×s个d(ui,vj)排成矩阵——失真矩阵，记为[d]：
d(u1, v1 ) [d ] d(u2 , v1 )
d(u1, v2 ) d(u2 , v2 )

第6章 无失真信源编码

第6章 无失真信源编码

通常情况下可以用码树来表示码字的构成：
•
如果码字序列符号为r进制的，可以用r个符号的码树 来构造码字； 每个码树有一个树根A；
•
•
• • •
树根有r个树枝；
树枝的尽头称为节点； 每个节点生出是树枝的数量等于码符号的数量r； 从而形成r进制的码树。
0 0 0 1 0 1 1 0 0 1 0 A 1 1 1 0 0 0 1 2 A 1 0 2 1 2 0 1 2
•
而3次扩展符号共有43=64个 如：
3次 扩展符号 AAA AAB AAC … 3次 扩展码字 000 0001 00001 … 3次 扩展符号 … DDB DDC DDD 3次 扩展码字 … 11111101 111111001 111111111
6.2 “无失真”的本质
• •
无失真信源编码：编码时没有信息丢失，译码器可以精确 恢复编码之前的消息。 无失真信源编码又叫“无损压缩”

6.1.3 N次（阶）扩展码

将N次扩展信源的概念加以延伸，可以得到N次扩展码 N • 集合 U (u1 , u2 ,, un ) 的N次扩展 U (ui1 , ui2 ,, uiN )
• •
相应码字集合的N次扩展 其中 ui j 和wi j
W N (wi1 , wi2 ,, wiN )
001
0001
100
1000
4、按译码时是否会产生歧义分
非唯一可译码：译码时会产生歧义 （码2） （码3、奇异码） 唯一可译码：译码时不会产生歧义 （码1、码4、码5）
符号 码1 码2 码3 码4 码5
u1
u2
00
01
0
10
0
11

IT_18_限失真信源编码定理

IT_18_限失真信源编码定理

失真典型序列 失真典型序列：
1 2 3 4
1 log p x H X N 1 log p y H Y N 1 log p xy H XY N d x , y E d X ,Y
0
1 p x , y K x , y p x , y Gd , Pe 0
Pe 0
E d X , Y D Pe d max E d X ,Y D 即当R R D 时, R,D 是可达的.
x y 2
N R I X ;Y 3
2 NR
Pe 1 p x , y K x , y e
x y
2
N R I X ;Y 3
R R D R I X ;Y e
x y
2
N R I X ;Y 3
NR H Y N I Y N ; X N
H Y N H Y N X N


H X N H X N YN
N i 1 N

H Xi H X N Y N
N

H X i H X i Y N , X i 1 , , X i
y
K x, y
Pe p x 1 p y K x , y x y
2 NR
N I X ;Y 3 p x 1 p y x 2 K x , y x y N I X ;Y 3 p x 1 2 p y x K x , y x y

第6章 限失真信源编码

第6章 限失真信源编码

第6章 限失真信源编码一、例题：【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为：(0,0)(1,1)0d d ==，(0,1)(1,0)1d d ==其失真矩阵为0110⎡⎤=⎢⎥⎣⎦D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即：0111101111011110⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦D【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2(,)()i j i j d u v u v =-，求失真矩阵。

由失真定义得：d (0,0)＝d (1,1)＝d (2,2)＝0d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4所以失真矩阵D 为14101414⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦D【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集{0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集{0,1}，定义失真函数(0,0)(1,1)0(0,1)(1,0)1d d d d ====求符号序列的失真矩阵。

解： 由N 维信源序列的失真函数的定义得11(,)(,)(,),kk NN N i j i j k d d d uv Nαβ===∈∈∑u v u U v V所以[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)22N N d d d d d d =+==+=类似计算其他元素值，得到信源序列的失真矩阵为110122110122111022111022N⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦D【例6.4】 设信源符号有8种，而且等概率，即1()8i P u =。

失真函数定义为0(,)1i j i jd u v i j =⎧=⎨≠⎩假如允许失真度12D =，即只要求收到的符号平均有一半是正确的。

信息论与编码 第6章(1)

信息论与编码 第6章(1)
假设Ｃi，Ｃj是某（ n，k）分组码的两个码字， 1,2是
码元字符集里的任意两个元素， 当且仅当 也是码字时，才称该码是线性码或群码。
2020/4/6
24
纠错码分类
按照适用的差错类型,分成:
纠随机差错码:用于随机差错信道,其纠错能力用码 组内允许的独立差错的个数来衡量。
纠突发差错码:针对突发差错而设计,其纠错能力主 要用可纠突发差错的最大长度来衡量
统
将13比特 线性码变为
模拟信号
RP E-LTP 译码器
RP E-LTP 译码器
基 站 系统 BSS
将13比特 线性码变换为 8比特A律码
RP E-LTP 编码器
将8比特A律 码变换为 13比
特线性码
移 动 交换 中心
公 用 电话 交 换网
(P STN/ ISDN)
模拟语音
话音编码 456比特
/帧
8000样本/秒 13比特线性码
前向 纠错编码
交织
无线接入和 GMSK调制
50帧 260比特/帧
8000样本/秒 13比特线性码
8000样本/秒 语8比音特编码A律
456比特 /帧
无线解调
去交织
纠错编码
纠错编码
去交织
无线GMSK 解调
双工器
无线接入 及调制
交织
前向 纠错编码
2020/4/6
3
GSM语音编解码的前向纠错（全速业务信道）
发端发送检错码, 如CRC(循环冗余校验码)， 收端译码器判断当前码字传输是否出错； 当有错时按某种协议通过一个反向信道请求发送端 消息重m 传纠已错编发码送的码码字C字(全信道部或接部收向分量)R。纠错译码 消息m’ FEC 应用于数据通信网、计算机网络
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

0 1 0.5 D 1 0 0.5
第七章：限失真编码
失真测度
7.1.1 失真函数
符号序列的失真函数
X X1 X 2 X N
X x1 , x2 , , xr
Y y1, y 2 , , y s
Y Y1Y2 YN
y j y j1 y j2 y jN
xi xi1 xi2 xiN
d (x i , y j ) d ( xi1 xi2 xiN , y j1 y j2 y jN ) d ( xi1 , y j1 ) d ( xi2 , y j2 ) d ( xiN , y jN )
N
k 1
d ( xi
, y ) j k k
信息率失真函数的性质
1. R( D) 的定义域
解：
1 1 1 1 1 Dmin 0 0 3 3 2 3 6
p( y1 | x1 ) 1 p( y | x ) 0 2 1 1 R( Dmin ) R( ) p( y1 | x 2 ) p ( y 2 | x 2 ) 1 6 p( y | x ) 0 min I ( X ; Y ) H ( X ) 1 3 p ( y j | xi )BD min p ( y 2 | x3 ) 1
计算 p( y1 ) 和 p( y 2 ) 。
（2）由
p ( y )e
j

1
i
（3）将求得的 1 ， 2 和 p( y1 ) ，p( y 2 ) 代入
得到平均失真度D(S)，并将S表示为D的函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R( D)
（4） 将参量S代入
第七章：限失真编码
信息率失真函数的性质
1. R( D) 的定义域
0 1 2 X 设信源 , Y 0,1 1 1 1 P( X ) 3 3 3
例7.4
0 1 D 2 1
1 1 ，求 Dmin 2 0
第七章：限失真编码
第七章：限失真编码
信息率失真函数的性质
1. R( D) 的定义域
Dmin min p( xi ) p( y j | xi )d ( xi , y j )
i j
p( xi ) min p( y j | xi )d ( xi , y j )
i i j
p( xi ) mind ( xi , y j )
D1 D2
R( D1 ) R( D2 )
D1 D0 D2
R( D0 ) R( D1 )
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R( D) 例7.6 二元信源的信息率失真函数 信源
1 X 0 P p 1 p ,
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
R( D) min I (X ;Y )
p ( y j | xi ):D D
是在信源固定，满足保真度准则的条件下的信息传输率的 最小值。反映了满足一定失真度的条件下信源可以压缩的 程度，也就是满足失真要求而再现信源消息所必须获得的 最少平均信息量。是信源特性的参量，一旦求到就与求极 值过程中选择的试验信道无关，不同的信源率失真函数不 同。
N
D( N ) D k
k 1
N
第七章：限失真编码
失真测度
7.1.2 平均失真
p( xik ) p( xi )
p( y jk | xik ) p( y j | xi )
(k 1,2, , N )
Dk D
D( N ) N D
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
第七章：限失真编码
信息率失真函数的性质
1. R( D) 的定义域
R( D) 0
p( y j | xi ) p( y j )
j i
Dmax min
p( y j ) p( xi )d ( xi , y j ) p( y j )
j
min p( xi )d ( xi , y j )
第七章：限失真编码
失真测度
7.1.1 失真函数 例7.1.2 假设信源输出序列 X X 1 X 2 X 3 ，其中每个随 机变量均取值于 X 0,1 。经信道传输(编码）后的输出 为 Y Y1Y2Y3 ，其中每个随机变量均取值于 Y 0,1 。 定义失真函数 d (0,0) =d (1,1) =0，
第七章：限失真编码
失真测度
7.1.1 失真函数 例7.1.1 设信道输入 X 0,1 ，输出 Y 0,1,2， 规定失真函数 d(0,0)=d(1,1)=0， d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。 解：
第七章：限失真编码
失真测度
7.1.1 失真函数 例7.1.1 设信道输入 X 0,1 ，输出 Y 0,1,2 ， 规定失真函数 d(0,0)=d(1,1)=0， d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。 解：
R N ( D) NR( D)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
C max I ( X ; Y )
p ( xi )
是在信道固定前提下，选择一种信源概率分布使信息传输 率最大（求极大值）。它反映了信道传输信息的能力，是 信道可靠传输的最大信息传输率。信道容量与信源无关， 是反映信道特性的参量，不同的信道其信道容量不同。
得到率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R( D)
R( D) H ( p) H ( D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R( D) 等概信源的信息率失真函数。
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
这两个概念适用范围是不一样。研究信道容量C 是为 了解决在已知信道中尽可能多地传送信息的问题，是为了 充分利用已给定的信道，使传输的信息量最大而错误概率 任意小，以提高通信的可靠性，这是信道编码的问题。 研究信息率失真函数是为了解决在已知信源和允许失 真度条件下，使信源输出的信息率尽可能小，也就是在允 许一定失真度D 的条件下，使信源必须传送给信宿的信息 量最少，尽可能用最少的码符号来传送信源信息，使信源 的信息可以尽快地传送出去，以提高通信的有效性，这是 信源编码问题。
7.2.1 D 允许信道 保真度准则
DD
D( N ) ND
D失真允许信道
BD p( y j | xi ) : D D

i 1,2,, r; j 1,2,, s


BD ( N ) p(y j | xi ) : D( N ) ND

i 1, 2, , r N ; j 1, 2, , s N
j
1 0 1 2 例7.3：删除信道 D 1 1 0 2
，求 Dmin
第七章：限失真编码
信息率失真函数的性质
1. R( D) 的定义域
0 1 1 D 0 1 1 1 0 1 1 0 0 P 1 0 0 0 1 0
第七章：限失真编码
信息率失真函数的性质
2. R( D) 是关于D的下凸函数 对于任意 0 1 和 D1 , D2 Dmax 有
RD1 (1 ) D2 R( D1 ) (1 ) R( D2 )
第七章：限失真编码
信息率失真函数的性质
3. R( D) 在定义域内是严格递减函数
2 1 3 2 1 0 2 1
2 3 1 2 1 2 0 1
3 2 2 1 2 1 1 0
第七章：限失真编码
失真测度
7.1.2 平均失真
D E d ( xi , y j ) p( xi y j )d ( xi , y j )
i 1 j 1


r
1 p 2
输出符号集为（0，1），失真函数定义为
0 i j dij 1 i j
，求 R( D) 。
i,j 1, 2
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R( D) 解：（1）由
p( x ) e
i i i
sdij j
sdij
1 计算 1 和 2 。
rs
第七章：限失真编码
失真测度
7.1.1 失真函数 常用的失真函数有： （1） 汉明失真
0 d ( xi , y j ) 1
xi y j xi y j
（2） 平方误差失真函数
d ( xi , y j ) ( xi y j ) 2
失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R( D)
p ( y j | xi ) BD
p ( y j |xi )BD
min
I ( X ;Y )
I (X; Y)
RN ( D)
min
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
xr p( x 2 ) p( x r ) x2
Y y1 P p( y ) 1
ys p( y 2 ) p( y s ) y2
相关文档
最新文档