率失真理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 / 8
2
ˆ 之间的失真定义为： (4) 定义序列之间的失真：序列 x 与 x
ˆn ) = d ( xn , x
3. 率失真码定义 (1) 一个 (2 , n) 率失真码包括： 编码函数： f n : 译码函数： g n :
nR
n
n
1 n ˆi ) （4.3） ∑ d ( xi , x n i =1
( R , D ) 可达
ˆ ) ，定义其信息率失真函数为： 4. 定义：设 X 的失真度量为 d ( x, x
R I ( D) =
ˆ| x ): p(x
ˆ) ( x ,x
∑
ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x
min
ˆ) I(X ; X
ˆ) = min I ( X ; X
ˆ ) 在通信中代表的是信源值与估计值不相等的概率，或者说是通信中误差的概 Pr( X ≠ X
率，因此汉明失真度量也称为误差概率失真。
ˆ) = x − x ˆ 。该失真度量是连续信源使用最多，也是最简单的 例 4.2 平方误差失真： d ( x, x
一种失真度量，而且该失真度量与最小二乘预测的算法联系紧密。但是，工程实践证明该失 真度量在图像、语音编码中并不恰当。比如在语音编码中，同一波形在时间上很小的偏移对 人的听力是相似的，但该度量函数得到的是很大的数值。
而在 D <
1 2
时， H ( D) 是 D 的增函数。
ˆ ) ≥ H ( p) − H ( D) R ( D) = min I ( X ; X
这样我们就找到了率失真函数的一个下界。
(2) 我们进一步来证明这个下界是可达的，即我们构造一个信道，该信道满足关于信源分 布和失真约束的要求， 而且对应的率失真函数即为我们刚刚找出的下界。 考虑下图所示
− p− D p− D = 11 − 2 D i(1 − D ) + 1− 2 D i D = p
即我们构造的信道满足我们关于输入分布的假 从而 Pr( X = 0) = 1 − Pr( X = 1) = 1 − p ， 设。可以计算出对应该信道的互信息为：
ˆ ) = H(X ) − H(X | X ˆ ) = H ( p) − H ( D) I(X; X ˆ ) = D 。 对应的平均失真为 Pr( X = X
*
ˆ = (x ˆ ,..., x ˆ ) ，由于信源产生的符号是 i.i.d 随机变量，因此 考虑信源 X = ( x1 ,..., xn ) ， X
* *
ˆ * ) 也是 i.i.d 随机变量，根据弱大数定律： d(Xk , x ˆ)= d(X , X 1 n ˆ * ) → Ed ( X , x ˆ * ) = Dmax d(Xk , x ∑ 以概率收敛 n k =1
An → {1, 2,..., 2nR } ˆ {1, 2,..., 2 } → A
nR n
n n
失真定义为： D = Ed ( X , g n ( f n ( X ))) =
∑ p( x
x
n
n
)d ( x n , g n ( f n ( x n )))
nR ˆ n (1),..., X ˆ n (2nR ) ， 称 X ˆ n (1),..., X ˆ n (2nR ) 构 成 一 个 码 本 记 g n (1),..., g n (2 ) 为 X
(b)是因为增加条件会降低熵 (c)是因为对于汉明失真度量函数：
3 / 8
ˆ ) = Pr( X ≠ X ˆ )d ( X , X ˆ ) + Pr( X = X ˆ )d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 = Pr( X ≠ X ˆ) = Pr( X ≠ X ≤D
率失真函数与对应的信息率失真函数总是相等的。即：
R( D) = R I ( D) =
ˆ | x ): p( x
( x ,x )
ˆ) I(X ; X min ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x ∑ ˆ
6.2 计算 1. 一个简单例子：考虑一个二元 Bernulli 信源，其输出符号 1 的概率为 p，失真度量为汉明 失真，则：
ˆ = 1 表示 x (1) 我们首先寻找率失真函数的一个下界：注意到对于 Bernolli 信源， x ⊕ x
ˆ ，类似的， x ⊕ x ˆ 。 ˆ 不相等，换句话说， x ⊕ x ˆ = 1 等价于 X ≠ X ˆ = 0 等价于 X = X 与x
ˆ ) = H (X ) − H (X | X ˆ) I(X; X
第 6 章 率失真理论
6.1 导论 1. Shannon 三个编码定理简述 (1). 无噪信源编码定理，R>H (2). 有噪信道编码定理，R<C (3). 率失真信源编码定理。当 R<H 时，我们能做到的最好程度是什么？ 2. 失真测度：如果 R<H, 当 n 很大时，对（X1,…,Xn）进行编码，有失真的进行恢复。 率失真码：允许失真存在，尽可能高概率的恢复信源。 目标：研究失真与码率之间的折中，如果能够容忍的失真 D 越小，则用来对信源进行描 述所需要的码率 R 会越大，目标就是找出这两者之间的最优折中。 (1) 率失真编码模型 图 4.1：率失真编码框图
们 总 是 用 常 数 1 来 对 它 进 行 估 计或 者 重 构 。此 时 对 应 的 R ( D) = 0 ， 平 均 失 真 为
Pr( X = 0) = 1 − p ≤ D ，满足失真约束。
4 / 8
2. 定义最大失真 Dmax ：
ˆ 上最小化 Ed ( X , x ˆ 的状态集 A ˆ 代表在 X ˆ) 的 x ˆ ，即： 令x
ˆ → R ，A 代表 X 取值的集合。 (2) 失真度量的定义：定义失真度量为 d : A × A
+
(3) 有界失真：如果失真的最大值是有限的，则称该失真函数是有界的，即：
ˆ ) < ∞ （4.1） d max = max d ( x, x
ˆ x, x
ˆ) = ⎨ 例 4.1 汉明失真度量： d ( x, x
⎧ H ( p ) − H ( D) 0 ≤ D ≤ min{ p,1 − p} R( D) = ⎨ 0 D > min{ p,1 − p} ⎩
证明：不失一般性，假设 p < 1 2 。由于很多一般信源的率失真函数没有解析解或者很难计 算，所以实际中一般采用数值方法，如果有解析解，则计算率失真函数的方法一般是先找 到率失真函数的一个下界，然后构造一个合适的信道，证明这个下界是可达的，从而率失 真函数即是该下界。先考虑 D ≤ min{ p,1 − p} < 1 2 的情况。
（codeword book） 。称为对应信源的重构，有些文献也称为向量量化、再生、重构、表示、 信源编码、信源估计等等。 (2) 定 义 率 失 真 对 ( R, D ) 可 达 ： 若 存 在 一 个 (2 , n) 率 失 真 码 序 列 ， 满 足
nR
lim Ed ( X n , g n ( f n ( X n ))) ≤ D 。
*
ˆ * = min Ed ( X , x ˆ ) = min ∑ p( x)d ( x, x ˆ) x ˆ ˆ
ˆ∈ A x ˆ∈ A x
x
ˆ* ) Dmax = Ed ( X , x
ˆ 代表的是在没有信源 X 的任何信息的情况下，对 X 能得到的最 从上述定义可以看出， x
好估计。这种估计实际上是用一个常量来对一个变量进行估计，对应的平均失真为 Dmax 。
Dmax 也可以通过另一种方法来进行定义：满足 R ( D) = 0 的所有 D 中的最小值。
3. 率失真函数 R ( D ) 的性质 (1) R ( D ) 是 D 的非增函数 (2) R ( D ) 是凸函数 (3) 当 D ≥ Dmax ， R ( D ) = 0
2 / 8
我们先讨论信息率失真函数的性质， 计算一个简单的例子， 然后证明这个函数总是可达的， 即总是存在失真为 D 而码率为 R ( D ) 的率失真码。
I
ˆ ) ，则 5. 定理 4.1：对于 i.i.d 的信源 X，如果其分布为 p(x)，且其有界失真度量函数为 d ( x, x
n →∞
(3) 定义率失真区域：可达 ( R, D ) 对的闭包(closure hull) (4) 定义率失真函数: 给定 D 时， R ( D ) = min R 。目标是 R 越小越好。
( R , D ) 可达
(5) 定义失真率函数：给定 R 时， D ( R ) = min R 。
ˆ | x )∈BD p( x
ˆ | x)) = min I ( p ( x); p( x
ˆ | x )∈BD p( x
其中 BD 称为失真 D 允许信道，代表的是所有满足失真要求的转移概率的集合，或者在通 信的背景下，称为所有满足失真要求的信道的集合，定义为：
⎧ ⎫ ˆ ) = ∑ p ( x) p ( x ˆ | x) : Ed ( X , X ˆ | x ) d ( x, x ˆ) ≤ D⎬ BD := ⎨ p ( x ˆ) ( x, x ⎩ ⎭
I I I I
*
(4) R (0) ≤ H ( X )
I
பைடு நூலகம்
证明：(1) 由定义，D 越大，则 BD 越大，从而优化是在一个更大的集合上进行选择，因此 得到的 R ( D ) 更小。从而说明 R ( D) 是 D 的非增函数。
ˆ ，输出为 X，而且 Pr( X ˆ = 0) = 的交叉概率为 D 的二元对称信道，输入为 X
ˆ = 1) = p − D 。 Pr( X 1− 2 D
图 4.2 下界可达的信道 根据假设可以计算出输出的分布：
1− p − D 1− 2 D
，
ˆ = 1)i P( X = 1| X ˆ = 1) + Pr( X ˆ = 0)i P( X = 1| X ˆ = 0) Pr( X = 1) = Pr( X
ˆ = 0 ，即不管信源产生的输出是什么，我们总 (3) 如果允许的失真 D ≥ p ，则可以选择 x
是 用 常 数 0 来 对 它 进 行 估 计 或 者 重 构 。 此 时 对 应 的 R( D) = 0 ， 平 均 失 真 为
Pr( X = 1) = p ≤ D ，满足失真约束。
ˆ = 1 ，即不管信源产生的输出是什么，我 (4) 如果允许的失真 D ≥ 1 − p ，则可以选择 x
(a)
ˆ |X ˆ) = H ( p) − H ( X ⊕ X
(b )
ˆ) ≥ H ( p) − H ( X ⊕ X
(c)
≥ H ( p) − H ( D)
ˆ 是X 和X ˆ 的函数，所以 H ( X ⊕ X ˆ|X ˆ ) = H (X ⊕ X ˆ) 其中(a)是因为 X ⊕ X
ˆ ⎧0 x = x ，此时 ˆ ⎩1 x ≠ x
ˆ ) = Pr( X ≠ X ˆ )i d ( X , X ˆ ) + Pr( X = X ˆ )i d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 （4.2） = Pr( X ≠ X ˆ) = Pr( X ≠ X
但这个参数却是通过某种最小化来得到， 这里似乎存在着矛盾。 我们称 Dmax 为最大失真， 但是仔细考虑可以发现， Dmax 实际上是我们需要关心的最大的失真。当 D = Dmax ，即我们 能够允许的失真值为 Dmax 时，通信实际上已经没有必要，此时 R ( D) = 0 。因为我们可以用
ˆ 来估计信源，因此 Dmax 是我们需要关心的最大的失真。 常数 x
2
ˆ 之间的失真定义为： (4) 定义序列之间的失真：序列 x 与 x
ˆn ) = d ( xn , x
3. 率失真码定义 (1) 一个 (2 , n) 率失真码包括： 编码函数： f n : 译码函数： g n :
nR
n
n
1 n ˆi ) （4.3） ∑ d ( xi , x n i =1
( R , D ) 可达
ˆ ) ，定义其信息率失真函数为： 4. 定义：设 X 的失真度量为 d ( x, x
R I ( D) =
ˆ| x ): p(x
ˆ) ( x ,x
∑
ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x
min
ˆ) I(X ; X
ˆ) = min I ( X ; X
ˆ ) 在通信中代表的是信源值与估计值不相等的概率，或者说是通信中误差的概 Pr( X ≠ X
率，因此汉明失真度量也称为误差概率失真。
ˆ) = x − x ˆ 。该失真度量是连续信源使用最多，也是最简单的 例 4.2 平方误差失真： d ( x, x
一种失真度量，而且该失真度量与最小二乘预测的算法联系紧密。但是，工程实践证明该失 真度量在图像、语音编码中并不恰当。比如在语音编码中，同一波形在时间上很小的偏移对 人的听力是相似的，但该度量函数得到的是很大的数值。
而在 D <
1 2
时， H ( D) 是 D 的增函数。
ˆ ) ≥ H ( p) − H ( D) R ( D) = min I ( X ; X
这样我们就找到了率失真函数的一个下界。
(2) 我们进一步来证明这个下界是可达的，即我们构造一个信道，该信道满足关于信源分 布和失真约束的要求， 而且对应的率失真函数即为我们刚刚找出的下界。 考虑下图所示
− p− D p− D = 11 − 2 D i(1 − D ) + 1− 2 D i D = p
即我们构造的信道满足我们关于输入分布的假 从而 Pr( X = 0) = 1 − Pr( X = 1) = 1 − p ， 设。可以计算出对应该信道的互信息为：
ˆ ) = H(X ) − H(X | X ˆ ) = H ( p) − H ( D) I(X; X ˆ ) = D 。 对应的平均失真为 Pr( X = X
*
ˆ = (x ˆ ,..., x ˆ ) ，由于信源产生的符号是 i.i.d 随机变量，因此 考虑信源 X = ( x1 ,..., xn ) ， X
* *
ˆ * ) 也是 i.i.d 随机变量，根据弱大数定律： d(Xk , x ˆ)= d(X , X 1 n ˆ * ) → Ed ( X , x ˆ * ) = Dmax d(Xk , x ∑ 以概率收敛 n k =1
An → {1, 2,..., 2nR } ˆ {1, 2,..., 2 } → A
nR n
n n
失真定义为： D = Ed ( X , g n ( f n ( X ))) =
∑ p( x
x
n
n
)d ( x n , g n ( f n ( x n )))
nR ˆ n (1),..., X ˆ n (2nR ) ， 称 X ˆ n (1),..., X ˆ n (2nR ) 构 成 一 个 码 本 记 g n (1),..., g n (2 ) 为 X
(b)是因为增加条件会降低熵 (c)是因为对于汉明失真度量函数：
3 / 8
ˆ ) = Pr( X ≠ X ˆ )d ( X , X ˆ ) + Pr( X = X ˆ )d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 = Pr( X ≠ X ˆ) = Pr( X ≠ X ≤D
率失真函数与对应的信息率失真函数总是相等的。即：
R( D) = R I ( D) =
ˆ | x ): p( x
( x ,x )
ˆ) I(X ; X min ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x ∑ ˆ
6.2 计算 1. 一个简单例子：考虑一个二元 Bernulli 信源，其输出符号 1 的概率为 p，失真度量为汉明 失真，则：
ˆ = 1 表示 x (1) 我们首先寻找率失真函数的一个下界：注意到对于 Bernolli 信源， x ⊕ x
ˆ ，类似的， x ⊕ x ˆ 。 ˆ 不相等，换句话说， x ⊕ x ˆ = 1 等价于 X ≠ X ˆ = 0 等价于 X = X 与x
ˆ ) = H (X ) − H (X | X ˆ) I(X; X
第 6 章 率失真理论
6.1 导论 1. Shannon 三个编码定理简述 (1). 无噪信源编码定理，R>H (2). 有噪信道编码定理，R<C (3). 率失真信源编码定理。当 R<H 时，我们能做到的最好程度是什么？ 2. 失真测度：如果 R<H, 当 n 很大时，对（X1,…,Xn）进行编码，有失真的进行恢复。 率失真码：允许失真存在，尽可能高概率的恢复信源。 目标：研究失真与码率之间的折中，如果能够容忍的失真 D 越小，则用来对信源进行描 述所需要的码率 R 会越大，目标就是找出这两者之间的最优折中。 (1) 率失真编码模型 图 4.1：率失真编码框图
们 总 是 用 常 数 1 来 对 它 进 行 估 计或 者 重 构 。此 时 对 应 的 R ( D) = 0 ， 平 均 失 真 为
Pr( X = 0) = 1 − p ≤ D ，满足失真约束。
4 / 8
2. 定义最大失真 Dmax ：
ˆ 上最小化 Ed ( X , x ˆ 的状态集 A ˆ 代表在 X ˆ) 的 x ˆ ，即： 令x
ˆ → R ，A 代表 X 取值的集合。 (2) 失真度量的定义：定义失真度量为 d : A × A
+
(3) 有界失真：如果失真的最大值是有限的，则称该失真函数是有界的，即：
ˆ ) < ∞ （4.1） d max = max d ( x, x
ˆ x, x
ˆ) = ⎨ 例 4.1 汉明失真度量： d ( x, x
⎧ H ( p ) − H ( D) 0 ≤ D ≤ min{ p,1 − p} R( D) = ⎨ 0 D > min{ p,1 − p} ⎩
证明：不失一般性，假设 p < 1 2 。由于很多一般信源的率失真函数没有解析解或者很难计 算，所以实际中一般采用数值方法，如果有解析解，则计算率失真函数的方法一般是先找 到率失真函数的一个下界，然后构造一个合适的信道，证明这个下界是可达的，从而率失 真函数即是该下界。先考虑 D ≤ min{ p,1 − p} < 1 2 的情况。
（codeword book） 。称为对应信源的重构，有些文献也称为向量量化、再生、重构、表示、 信源编码、信源估计等等。 (2) 定 义 率 失 真 对 ( R, D ) 可 达 ： 若 存 在 一 个 (2 , n) 率 失 真 码 序 列 ， 满 足
nR
lim Ed ( X n , g n ( f n ( X n ))) ≤ D 。
*
ˆ * = min Ed ( X , x ˆ ) = min ∑ p( x)d ( x, x ˆ) x ˆ ˆ
ˆ∈ A x ˆ∈ A x
x
ˆ* ) Dmax = Ed ( X , x
ˆ 代表的是在没有信源 X 的任何信息的情况下，对 X 能得到的最 从上述定义可以看出， x
好估计。这种估计实际上是用一个常量来对一个变量进行估计，对应的平均失真为 Dmax 。
Dmax 也可以通过另一种方法来进行定义：满足 R ( D) = 0 的所有 D 中的最小值。
3. 率失真函数 R ( D ) 的性质 (1) R ( D ) 是 D 的非增函数 (2) R ( D ) 是凸函数 (3) 当 D ≥ Dmax ， R ( D ) = 0
2 / 8
我们先讨论信息率失真函数的性质， 计算一个简单的例子， 然后证明这个函数总是可达的， 即总是存在失真为 D 而码率为 R ( D ) 的率失真码。
I
ˆ ) ，则 5. 定理 4.1：对于 i.i.d 的信源 X，如果其分布为 p(x)，且其有界失真度量函数为 d ( x, x
n →∞
(3) 定义率失真区域：可达 ( R, D ) 对的闭包(closure hull) (4) 定义率失真函数: 给定 D 时， R ( D ) = min R 。目标是 R 越小越好。
( R , D ) 可达
(5) 定义失真率函数：给定 R 时， D ( R ) = min R 。
ˆ | x )∈BD p( x
ˆ | x)) = min I ( p ( x); p( x
ˆ | x )∈BD p( x
其中 BD 称为失真 D 允许信道，代表的是所有满足失真要求的转移概率的集合，或者在通 信的背景下，称为所有满足失真要求的信道的集合，定义为：
⎧ ⎫ ˆ ) = ∑ p ( x) p ( x ˆ | x) : Ed ( X , X ˆ | x ) d ( x, x ˆ) ≤ D⎬ BD := ⎨ p ( x ˆ) ( x, x ⎩ ⎭
I I I I
*
(4) R (0) ≤ H ( X )
I
பைடு நூலகம்
证明：(1) 由定义，D 越大，则 BD 越大，从而优化是在一个更大的集合上进行选择，因此 得到的 R ( D ) 更小。从而说明 R ( D) 是 D 的非增函数。
ˆ ，输出为 X，而且 Pr( X ˆ = 0) = 的交叉概率为 D 的二元对称信道，输入为 X
ˆ = 1) = p − D 。 Pr( X 1− 2 D
图 4.2 下界可达的信道 根据假设可以计算出输出的分布：
1− p − D 1− 2 D
，
ˆ = 1)i P( X = 1| X ˆ = 1) + Pr( X ˆ = 0)i P( X = 1| X ˆ = 0) Pr( X = 1) = Pr( X
ˆ = 0 ，即不管信源产生的输出是什么，我们总 (3) 如果允许的失真 D ≥ p ，则可以选择 x
是 用 常 数 0 来 对 它 进 行 估 计 或 者 重 构 。 此 时 对 应 的 R( D) = 0 ， 平 均 失 真 为
Pr( X = 1) = p ≤ D ，满足失真约束。
ˆ = 1 ，即不管信源产生的输出是什么，我 (4) 如果允许的失真 D ≥ 1 − p ，则可以选择 x
(a)
ˆ |X ˆ) = H ( p) − H ( X ⊕ X
(b )
ˆ) ≥ H ( p) − H ( X ⊕ X
(c)
≥ H ( p) − H ( D)
ˆ 是X 和X ˆ 的函数，所以 H ( X ⊕ X ˆ|X ˆ ) = H (X ⊕ X ˆ) 其中(a)是因为 X ⊕ X
ˆ ⎧0 x = x ，此时 ˆ ⎩1 x ≠ x
ˆ ) = Pr( X ≠ X ˆ )i d ( X , X ˆ ) + Pr( X = X ˆ )i d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 （4.2） = Pr( X ≠ X ˆ) = Pr( X ≠ X
但这个参数却是通过某种最小化来得到， 这里似乎存在着矛盾。 我们称 Dmax 为最大失真， 但是仔细考虑可以发现， Dmax 实际上是我们需要关心的最大的失真。当 D = Dmax ，即我们 能够允许的失真值为 Dmax 时，通信实际上已经没有必要，此时 R ( D) = 0 。因为我们可以用
ˆ 来估计信源，因此 Dmax 是我们需要关心的最大的失真。 常数 x