第7章 限失真信源编码
(信息论)第7章限失真信源编码
(7.5)
BD p y | x : D D
i 1, 2, , n ; j 1, 2, , m
7.2.2 信息率失真函数的定义 在 D 允许信道 BD 中可以寻找一个信道 pY | X ，使 给定的信源经过此信道传输时，其信道传输率 I X , Y 达到 最小，定义为信息率失真函数 RD ，也称为率失真函数， 即
1 n d n xi , y j d xik , y jk n k 1
信源编码过程是这样进行的：当信源发送序列 xi 时， 就从分组码 Y 中选取一个码字 y j，使失真最小，即
d n xi | Y min d n xi , y j
y j Y
(7.7)
所以分组码 Y 的平均失真度为
当采用随机编码方法时，考虑到接收端输出序列分
布q yj
，则分组码 Y 的平均失真度为
p xi q y j d n xi | Y (7.9)
N M i 1 j 1
dn Y E dn Y
对于分组码 M , n ，其最大速率为
7.2 信息率失真函数
7.2.1 D 允许信道(试验信道)
问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信 源时，如果 R C ，就必须对信源进行压缩，使其压缩 后信息传输率 R 小于信道容量 C，但同时要保证压缩 所引入的失真不超过预先规定的限度。 保真度准则
如果预先规定的平均失真度为 D ，则称信源压缩后 的失真度 D 不大于 D 的准则为保真度准则，即保真度 准则满足
，则平均失真度为
现代通信原理指导书第七章信源编码习题详解
第七章 信源编码7-1已知某地天气预报状态分为六种：晴天、多云、阴天、小雨、中雨、大雨。
① 若六种状态等概出现，求每种消息的平均信息量及等长二进制编码的码长N 。
② 若六种状态出现的概率为：晴天—；多云—；阴天—；小雨—；中雨—；大雨—。
试计算消息的平均信息量，若按Huffman 码进行最佳编码，试求各状态编码及平均码长N 。
解: ①每种状态出现的概率为6,...,1,61==i P i因此消息的平均信息量为∑=-===6122/58.26log 1log i ii bit P P I 消息 等长二进制编码的码长N ＝[][]316log 1log 22=+=+L 。
②各种状态出现的概率如题所给，则消息的平均信息量为6212222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i iI P P bit -== = ------ ≈ ∑消息Huffman 编码树如下图所示：由此可以得到各状态编码为：晴—0，多云—10，阴天—110，小雨—1110，中雨—11110， 大雨—11111。
平均码长为：6110.620.2230.140.0650.01350.0071.68i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯ =∑—7-2某一离散无记忆信源（DMS ）由8个字母(1,2,,8)i X i =⋅⋅⋅组成，设每个字母出现的概率分别为：，，，，，，，。
试求：① Huffman 编码时产生的8个不等长码字； ② 平均二进制编码长度N ； ③ 信源的熵，并与N 比较。
解：①采用冒泡法画出Huffman 编码树如下图所示可以得到按概率从大到小8个不等长码字依次为：0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X②平均二进制编码长度为8120.2520.2030.1530.1240.140.0840.0540.052.83i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯ =∑ ③信源的熵∑=≈-=81279.2log)(i i i P P x H 。
信息论与编码7限失真信源编码1
d被称为失真矩阵。
信息论与编码-限失真信源编码
失真函数 d(xi , y j )的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代 价函数等：
平方失真：
d (xi , y j ) (xi y j )2
绝对失真：
d(xi , y j ) xi y j
相对失真： d(xi , y j ) xi y j / xi
§4.2 R(D)的计算
已知信源的概率分布和失真函数 信源的R(D)函数。
d ij
，就可以求得
信息论与编码-限失真信源编码
求R(D)函数，实际上是一个求有约束问题的最小 值问题。即适当选取试验信道的 p(y / x)使平均 互信息
I(X;Y)
m i1
m j 1
p(xi ) p( y j / xi ) log
而输出符号概率为 p(y1) 0, p(y2) 1
例题2：输入输出符号表同上题，失真矩阵为
d
d d
( x1 , ( x2 ,
y1 ) y1 )
d (x1, d ( x2 ,
y2 ) y2 )
1
2 2
1 1
求 Dmax
解： Dmax
min
j 1,2
2 i 1
p(xi )d (xi ,
yj)
信息论与编码-限失真信源编码
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。
关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： R(D) 0 ，定义域为 0 ~ Dmax ，当D Dmax 时，
R(D)=0。 R(D)是关于D的连续函数。 R(D)是关于D的严格递减函数。
误码失真：
IT_18_限失真信源编码定理
失真典型序列 失真典型序列：
1 2 3 4
1 log p x H X N 1 log p y H Y N 1 log p xy H XY N d x , y E d X ,Y
0
1 p x , y K x , y p x , y Gd , Pe 0
Pe 0
E d X , Y D Pe d max E d X ,Y D 即当R R D 时, R,D 是可达的.
x y 2
N R I X ;Y 3
2 NR
Pe 1 p x , y K x , y e
x y
2
N R I X ;Y 3
R R D R I X ;Y e
x y
2
N R I X ;Y 3
NR H Y N I Y N ; X N
H Y N H Y N X N
H X N H X N YN
N i 1 N
H Xi H X N Y N
N
H X i H X i Y N , X i 1 , , X i
y
K x, y
Pe p x 1 p y K x , y x y
2 NR
N I X ;Y 3 p x 1 p y x 2 K x , y x y N I X ;Y 3 p x 1 2 p y x K x , y x y
信息论_限失真信源编码
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
第七章 限失真信源编码
7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理和逆定理 * 7.5 熵压缩编码具体方法
第七章：限失真编码
概述
失真测度
X
Y
信源
编码器/信道
信宿
R=I(X;Y)>R(D)
第七章：限失真编码
7.1.1 失真函数
失真测度
X P
x1 p( x1
)
x2 p(x2 )
பைடு நூலகம்
xr p(xr )
Y P
y1 p( y1
)
y2 p(y2 )
ys p( ys )
d (xi , y j ) 0, i 1,2, , r, j 1,2, , s
第七章：限失真编码
7.1.1 失真函数
失真测度
失真矩阵
d(x1, y1) D d(x2 , y1)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R(D) min I (X ;Y )
p( y j | xi )BD
RN
(D)
min
p(y j |xi )BD
I (X; Y)
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
为 Y Y1Y2Y3 ，其中每个随机变量均取值于Y 0,1 。
定义失真函数
d (0,0) =d (1,1) =0，
d (0,1) =d (1,0) =1，求失真矩阵 D (N ）。
第七章：限失真编码
7.1.1 失真函数
0 1 1 2 1 2 2 3
第七章：信息率失真函数与限失真信源编码
• 信道编码→信道→信道译码
信道*
• 研究失真影响时，“信道*”可以忽略
– 根据信道编码定理 ： 信道*是一个没有干扰的 广义信道，信宿收到信息的失真只来自于信源 编码
§7.1:概述－7
• 方法：
– 虚拟：将讨论重点虚拟细化
• 将限失真信源的编译码过程虚拟
• 信源编码过程→信道* →信源译码过程
试验信道
]
• 失真函数：均方误差失真，即： d (u, v) (u v)2
–求解步骤：
• 计算平均失真度 D • 当 D ≤D，求互信息 • 求互信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
–验证：找到满足R(D)的试验信道，验证其正确性 –结果分析：R(D)曲线分析
i
j
§7.2:失真的度量－6
• 平均失真度
– confer :d & D
• d：描述了某个信源符号通过传输后失真的大小， 不同的信源符号，其d不同。
• D ：描述了某一个单符号信源在某一试验信道传输
下的失真，它不仅与单个符号的d有关，还与 试验信道的统计特性有关。
§7.2:失真的度量－7
• 平均失真度
R(D) log r D log(r 1) H (D)
R(D)
3.0
2.0
r 8
1.0
r4
r2
0.0 0.2 0.4 0.6 0.8 D
§7.3:率失真函数－11
• 高斯信源的R(D)计算
– 已知条件：高斯信源U，其均值为m，方差为σ2，
接收变量V
• 概密函数： p(u)
1 2
exp[
(um)2 2 2
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
第七章量子编码
概率记为
Pe Pr urˆL urL
（7.3）
对于给定的信源和编码速率R及任意 0 ，若存在 L0 及
编译码方法，使得当码长 L L0 时，Pe ，称R是可达的， 否则是不可达的。
无失真信源编码定理1：对于无噪声信道，若R H (U ) ，
则R是可达的，若 R H (U )，则R是不可达的。
T n, tr P n, ，满足
1 2nS T n, 2nS
(7.29)
（3）令 S n为到 H n 的任意至多 2nR 维子空间的一个投影，其中 R S 为固定，
则对任意 0 和充分大的 n，有
编码。
无失真信源编码是在不损失信息的前提下， 压缩信息的冗余度，而有失真编码基于率失 真理论，允许信息有一定损失，或波形失真 （对连续信源），从而达到降低信息速率的 目的。
7.1.1 经典信源编码简介
1.无失真信源编码
对于无失真编码，包括等长编码和不等长编码。
（1）等长编码
对于等长编码，如果将长度为L的消息序列 Байду номын сангаасrL u1,u2,...,uL U L
的最小互信息量。再定义失真－信息率函数：
D(
R)
min
DDR
D
由定义可见，率失真函数的取值范围为：0 R(D) H (U )
且
lim
D0
R(D)
H
(U
)
有失真时的逆信源编码定理：当速率 R R(D) ，不论采取
什么编译码方式，平均失真必大于D。
有为使失真D时 Pr的 离D 散，无且记I 忆Pr 信达源到编极码小定的理条：件给概定率失，真则D存，在令长P度*
限失真编码
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
限失真信源编码定理
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
第7章 限失真信源编码(08)
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.1.2 平均失真
由于X,Y都是随机变量，故单个符号失真度 d ( xi , y j ) 也是随机变量。 显然，规定了单个符号失真度 d ( xi , y j ) 之后，传输一个符号引起 的平均失真，即信源的平均失真度 平均失真度为 平均失真度
在离散对称信道(r=s)中，定义单个符号失真度为汉明失真。 汉明失真矩阵D通常为方阵，且对角线上的元素为0。即
0 1 D= ⋮ 1 1 1 ⋯ 1 0 1 ⋯ 1 ⋮ ⋮ ⋮ 1 1 ⋯ 0
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
j
i
j
i
j
j
i
2. R(D)是关于 的下凸函数 是关于D的下凸函数 是关于 R(D)是关于D的下凸函数，即对于任意 0 ≤ α ≤ 1, D1 , D2 ≤ Dmax 有 R[α D + (1 − α ) D ] ≤ α R( D ) + (1 − α ) R ( D )
1 2 1 2
中国矿业大学信电学院
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.2 信息率失真函数
7.2.1 D失真许可信道 失真许可信道
如果要求信源符号的平均失真度小于我们所允许的失真D， 即 D ≤ D ，称为保真度准则。N维信源序列的保真准则是
我们总希望在满足保真度准则以后，压缩后的信息传输率 R∗ 尽可 能地小。把信源的压缩编码的过程看成一个信道，从这个信道的 接收端来说，R∗ 可以用平均互信息I(X;Y)来表示，压缩过程中引 入的失真可以用H (X|Y)表示。 我们的任务就是在满足保真度准则的所有D失真许可的试验信道 集合 BD 中寻找某一个信道 p ( y j | xi ) ，使I(X;Y)达到最小，即
《通信原理》教学课件 张力军 第7章
24
第7章 信源与信源编码
7.5 模拟信源的编码技术
1. 脉冲编码调制（PCM）
PCM解决问题思路：对信号压扩处理，令大信号大量阶
小信号小量阶，保持相对的信噪比不变。
具体做法：数学表达A率（中、欧）或律（美、日）
y Ax 0x1
1lnA
A
y1lnAx 1x1 1lnA A
(7.5-1)
量化：十三折线 缺点：PCM是标量量化，语音信号的相关性没有被充分
利用，因此，更先进的ADPCM和参数编码逐渐盛行 25
y
PCM十三折线
1
A律（）
7/8
A1律3折量线化 ⑦
⑧
6/8
⑥
5/8 ⑤
线性量化
4/8 ④
3/8 ③
2/8 ②
x1 0.4
x2 0.2
x3 0.2
x4 x5
0.1 0 0.1 1
x1 0.4
x2 0.2
x3 0.2 0 x4 x5 0.2 1
x4 x5
0x3 1
0 1 x2
0 1 x1
0 1
第3步排序 符号 概率
x1 x3x4x5
x2
0.4
0.4 0 0.2 1
第4步排序 符号 概率
x2x3x4x5 0.6 0 x1 0.4 1
1.0
编出的霍夫曼码
符号 码字 码长
x1 1 x2 01 2 x3 000 3 x4 0010 4 x5 0011 4
1
16
第7章 信源与信源编码
7.3 离散信源编码
7.3.2 平稳离散信源的编码
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7.1 设输入符号集为}1 ,0{=X ，输出符号集为}1 ,0{=Y 。
定义失真函数为
1
)0,1()1,0(0)1,1()0,0(====d d d d
试求失真矩阵D 。
解：
041
041041041),(min )(43
0411********),()(min min min max =⨯+⨯+⨯+⨯===
⨯+⨯+⨯+⨯===∑∑i j i j i i
j i i j j y x d x p D y x d x p D D
7.2 设输入符号集与输出符号集为}3 ,2 ,1 ,0{==Y X ，且输入信源的分布为
)3 ,2 ,1 ,0( 4
1
)(===i i X p
设失真矩阵为
[]⎥⎥⎥⎥⎦
⎤⎢⎢⎢
⎢⎣⎡=01
11
101111011110d 求D max 和D min 及R(D)。
解：
041
041041041),(min )(43
0411********),()(min min min max =⨯+⨯+⨯+⨯===
⨯+⨯+⨯+⨯===∑∑i
j i j i i
j i i j j y x d x p D y x d x p D D
因为n 元等概信源率失真函数：
⎪⎭
⎫
⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )(
其中a = 1, n = 4, 所以率失真函数为：
()()D D D
D D R --++=1ln 13
ln
4ln )( 7.3 利用R(D)的性质，画出一般R(D)的曲线并说明其物理含义？试问为什么R(D)是非负且非增的？ 解：
函数曲线：
D
其中：
sym bol
nat D R D sym bol
nat D R D sym bol
nat D R D sym bol
nat R D /0)(,4
3
/12ln 21
4ln )(,21/3
16ln 214ln )(,41/4ln )0(,0==-==-==== 7.4 设二元信源为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110
P X
其失真矩阵为
[]⎥⎦
⎤⎢
⎣⎡=a a d 00 求这个信源的D min 和D max 及率失真函数R(D)。
解：
021
021),(min )(202121),()(min min min max =⨯+⨯===
⨯+⨯===∑∑i
j i j i i
j i i j j y x d x p D a
a y x d x p D D
因为二元等概信源率失真函数：
⎪⎭
⎫
⎝⎛-=a D H n D R ln )(
其中n = 2, 所以率失真函数为：
⎥⎦
⎤
⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(。