信息论与编码民大06-限失真信源编码
合集下载
(信息论)第7章限失真信源编码
(7.5)
BD p y | x : D D
i 1, 2, , n ; j 1, 2, , m
7.2.2 信息率失真函数的定义 在 D 允许信道 BD 中可以寻找一个信道 pY | X ，使 给定的信源经过此信道传输时，其信道传输率 I X , Y 达到 最小，定义为信息率失真函数 RD ，也称为率失真函数， 即
1 n d n xi , y j d xik , y jk n k 1
信源编码过程是这样进行的：当信源发送序列 xi 时， 就从分组码 Y 中选取一个码字 y j，使失真最小，即
d n xi | Y min d n xi , y j
y j Y
(7.7)
所以分组码 Y 的平均失真度为
当采用随机编码方法时，考虑到接收端输出序列分
布q yj
，则分组码 Y 的平均失真度为
p xi q y j d n xi | Y (7.9)
N M i 1 j 1
dn Y E dn Y
对于分组码 M , n ，其最大速率为
7.2 信息率失真函数
7.2.1 D 允许信道(试验信道)
问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信 源时，如果 R C ，就必须对信源进行压缩，使其压缩 后信息传输率 R 小于信道容量 C，但同时要保证压缩 所引入的失真不超过预先规定的限度。 保真度准则
如果预先规定的平均失真度为 D ，则称信源压缩后 的失真度 D 不大于 D 的准则为保真度准则，即保真度 准则满足
，则平均失真度为
信息论基础——限失真信源编码 率失真函数
16
四、信息率失真函数的性质
1、 R(D)的定义域 R(D)的定义域为
0 Dmin D Dmax
且：
Dmin p( x)mind ( x, y)
x y
Dmax min p( x)d ( x, y)
y x
当失真矩阵中每行 至少一个零元．
• 允许失真度D的下限可以是零，即不允许任何失真的情况.
ˆ ˆ ˆ ˆ D P( xx)d ( x, x) P( x) P( x | x)d ( x, x)
ˆ XX xX xX ˆ ˆ
10
若平均失真度D不大于我们所允许的失真D，即：
DD
称此为保真度准则（定义5.1.2）．
信源固定(给定P(x))，单个符号失真度固定时(给定 d(x,x^)) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。 有些试验信道满足D D，而有些试验信道D＞D. 凡满足保真度准则----平均失真度D D的试验信通称为--D失真许可的试验信道． 平均失真是对给定信源分布,在给定转移概 率分布的信道中传输时的失真的总体量度
0 1 4 D 1 0 1 4 1 0
上述例子说明了具体失真度的定义．一般情况下根据实际 信源的失真，可以定义不同的失真和误差的度量．另外还可 以按其他标准，如引起的损失、风险、主观感觉上的差别大 小等来定义失真度d(ｘ,ｘ^)．
8
须强调: 假设Ｘ是信源，Ｘ^是信宿，那么两者
20
[计算]
4.1.3 率失真函数R(D)性质(续)
n ˆ n Dmax min p( xi )d ( xi , x j ) j ˆ i 1 D j p( xi )d ( xi , x j ) i 1
四、信息率失真函数的性质
1、 R(D)的定义域 R(D)的定义域为
0 Dmin D Dmax
且：
Dmin p( x)mind ( x, y)
x y
Dmax min p( x)d ( x, y)
y x
当失真矩阵中每行 至少一个零元．
• 允许失真度D的下限可以是零，即不允许任何失真的情况.
ˆ ˆ ˆ ˆ D P( xx)d ( x, x) P( x) P( x | x)d ( x, x)
ˆ XX xX xX ˆ ˆ
10
若平均失真度D不大于我们所允许的失真D，即：
DD
称此为保真度准则（定义5.1.2）．
信源固定(给定P(x))，单个符号失真度固定时(给定 d(x,x^)) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。 有些试验信道满足D D，而有些试验信道D＞D. 凡满足保真度准则----平均失真度D D的试验信通称为--D失真许可的试验信道． 平均失真是对给定信源分布,在给定转移概 率分布的信道中传输时的失真的总体量度
0 1 4 D 1 0 1 4 1 0
上述例子说明了具体失真度的定义．一般情况下根据实际 信源的失真，可以定义不同的失真和误差的度量．另外还可 以按其他标准，如引起的损失、风险、主观感觉上的差别大 小等来定义失真度d(ｘ,ｘ^)．
8
须强调: 假设Ｘ是信源，Ｘ^是信宿，那么两者
20
[计算]
4.1.3 率失真函数R(D)性质(续)
n ˆ n Dmax min p( xi )d ( xi , x j ) j ˆ i 1 D j p( xi )d ( xi , x j ) i 1
第6章 限失真信源编码
m ax
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
信息论_限失真信源编码
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
2015秋.信息论.第5章限失真信源编码
r r 1 N 1 d N ( x , y ) d ( xi , yi ) d ( x1 , y1 ) d ( x2 , y2 ) d ( x3 , y3 ) N i 1 3
1 1 d3 000,000 d 0,0 d 0,0 d 0,0 0 0 0 0 3 3 1 1 1 d3 000,001 d 0,0 d 0,0 d 0,1 0 0 1 3 3 3
常见失真函数： 1. 汉明失真： 0， if x y, d ( x, y ) 1， if x y.
2. 平方失真：
2 d ( x, y ) （y x） .
3. 绝对失真： d (x, y ) y x
图像处理中，常用平方误差和绝对误差度量失真
9
若源符号集A包含r个符号，码符号集B包含s个符号，
5.1.2 平均失真
失真函数的数学期望称为平均失真。
D E[d ]
i
p( x y
i i j j
j
)d ( xi , y j )
p ( x ) p ( y
i j
| xi )d ( xi , y j ).
单个符号的 失真函数
信源特性
试验信 道特性
矢量平均失真： DN 1 E[ d N ] N 1 E[d ( xi , yi )] N i 1
13
例7.1.2 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3， 其中Xi的取值为{0,1}；经信道传输后的输出为Y=Y1Y2Y3， 其中Yi的取值为{0,1}。定义失真函数
d 0， 0 d 11 ， 0 d 0， 1 d 1， 0 1
信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
信息论与编码理论第6章无失真信源编码
LN N
Hr (U )
1 N
离散无记忆信源X的N次扩展信源XN的熵等于信 源X的熵的N倍，即
其中： LN 是N次扩展信源的平均 码长
H(XN)=NH(X)
变长信源编码定理的含义
H (U ) LN H (U ) 1 log r N log r N
以r=2，N=1为例，则 H (U ) L H (U ) 1 这说明，总可以找到一种唯一可译码，它的平均
u4 11 01 11 0001 1000
对码1，如果S=u2u4u1，则X=011100
符号 码1
6.1.2 码的分类
等长码：所有码子长度相同（码1）
u1 00 u2 01 u3 10 u4 11
变长码：码子的长度不同 （码2、码3、码4、码5）0
码2 码3 码4 码5
0
0
1
1
10 11 01 10
0.125
4
H (U ) p(xi ) log p(xi ) 1.75 i1
n
L p(ui )li 0.5 1 0.25 2 0.125 3 0.125 3 1.75 i 1
4
H (U )
p(xi ) log p(xi )
i1
100%
L log2 r
1.75log2 2
变长码的几个衡量指标
平均码长：每个信源符号 平均需用的码元数
n
L p(ui )li i 1
编码效率： H (U )
L log2 r
信息传输率：平均每个 码元携带的信息量
R H (U ) L
码集
{0, 1}
码元数
r=2（二元码）
码长
1
2
3
3
限失真编码
DK，MK
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
限失真信源编码定理和多用户信息论.pptx
第11页/共24页
实际通信系统例如电话交换网、广播网、计算机网等都是网络通信系统。该系统的输入端涉及到两个或两个以上的信源，或者输出端涉及到两个或两个以上的信宿（终端或用户）。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。这些通信网都是复杂的信息流通系统，信息是在众多用户和方向中流通的。怎样在这些网络通信中有效和可靠的传递信息，就是网络信息论（多用户信息论）所研究的问题 。
（失真典型序列）
限失真信源编码方法：预测法、变换法、、、
第9页/共24页
第10页/共24页
9－3 相关信源编码
多用户信息论（网络信息论）： 当信息系统涉及三个或更多个用户时构成的通信系统。
前面研究的是只有一个信源和一个信宿的单向通信的单用户通信系统。随着空间通信、通信网和计算机网的发展，信息论的研究已从单用户通信系统发展到网络通信系统。
广播信道就是有一个发端和多个收端的信道。
第16页/共24页
译码器
信道
X2
XM
X1
信源1
信源2
信源3
编码器2
编码器1
编码器3
U1
U2
UM
U^2
U^1
U^M
卫星通信的上行线路
第17页/共24页
信 道
信源1
信源2
信源3
U1
U2
UM
编码器
X
译码器1
译码器1
译码器1
Y2
YM
Y1
U^2
第14页/共24页
R2
H(S2)
H(S1S2)
可达速率域R
R1+R2=H(S1S2)
R1
H(S2|S1)
H(S1|S2)
信息论基础-第七章
12
信息论与编码-限失真信源编码
也可以按其它的标准，如引起的损失、风险、主观感觉 上的差别等来定义失真函数。 二、平均失真 由于信源X和信宿Y都是随机变量，所以符号失真度 函数也是一个随机变量，传输时引起的平均失真应该是 符号失真度函数 d(xi , y j )在信源概率空间和信宿概率空间 求平均，即：
信息论与编码-限失真信源编码
第七章 限失真信源编码
1
信息论与编码-限失真信源编码
第五章我们讨论了无失真信源编码。但是， 在很多场合，特别是对于连续信源，因为其绝对 熵为无限大，若要求无失真地对其进行传输，则 要求信道的信息传输率也为无限大，这是不现实 的。因此也就不可能实现完全无失真传输。 另一方面，从无失真信源编码定理来考虑， 由于要求码字包含的信息量大于等于信源的熵， 所以对于连续信源，要用无限多个比特才能完全 无失真地来描述。
d被称为失真矩阵。
10
信息论与编码-限失真信源编码
{ 0 ,1 } ,编码器的输出符号 例4-1-1 设信源符号 X Y { 0 , 1 ,2 } ，规定失真函数为：
d(0,0)=d(1,1)=0;d(0,1)=d(1,0)=1;d(0,2)=d(1,2)=0.5 求失真矩阵d. 解：由失真矩阵定义：
d ( 0 , 0 )d ( 0 , 1 )d ( 0 , 2 ) 010 . 5 d d ( 1 , 0 ) d ( 1 , 1 ) d ( 1 , 2 ) 1 0 0 . 5
11
信息论与编码-限失真信源编码
失真函数 d(xi , y j ) 的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代价 函数等： 2 d ( x , y ) ( x y ) i j i j 平方失真： (x yj i,y j)x i 绝对失真： d ( x x y 相对失真： d i,y j) i j /x i 0 , x y i j d ( x , y ) ( x , y ) 误码(汉明)失真： i j i j 1 , 其它
信息理论与编码 第六章 限失真信源编码 PPT课件
R(ND) min I(U N ;V N ) min{I(U N ;V N ); D(N ) ND}
P
V
N
|U
N
BND
信源和信道均无记忆，有
R( ND) min{I(U N ;V N ); D( N ) ND}
min{NI(U;V ); D D} NR(D)
6.2.2 信息率失真函数的性质
数常用于连续信源。
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义 如果要求平均失真 D小于某个给定值D，即要求
rs
D E{d(ui , v j )}
P(ui )P(v j | ui )d (ui , v j ) D
i1 j1
——保真度准则 D D
满足保真度准则 的信道称为D允许(试验)信道
Dmax
min
1
3
P(v1 )
1
3
1 3
0
1 3
1 3
6.2.2 信息率失真函数的性质
2. R(D)是D的下凸函数 3. R(D)是定义域上的非增函数
R(D)
0 Dmin
Dmax
D
6.3 限失真信源编码定理 -----香农第三编码定理
设离散无记忆信源的信息率失真函数为R(D)，只 要满足R>R(D)，当信源序列足够长时，一定存在一种 编码方法，其译码失真小于或等于D+ε，其中ε是任意 小的正数；反过来若R<R(D)，则无论采用什么样的编 码方法，其译码失真必大于D。
将r×s个d(ui,vj)排成矩阵——失真矩阵，记为[d]：
d(u1, v1 ) [d ] d(u2 , v1 )
d(u1, v2 ) d(u2 , v2 )
第四章 有限失真信源编码
可以允许一定的失真度
完全保真没必要
§4.1:概述－6
引出的研究内容
限失真的信源编码问题
允许一定的失真度下，能将信源信息压缩到什么 程度？（最少需要多少比特才能在收端描述信 源？） 一定的信息传输率R下，允许的最大失真是多少？ 失真如何度量？ 率失真函数如何计算？
相关问题
§4.1:概述－7
Calculation of R(D) of Gauss source
Known conditions：高斯信源U，其均值为m，方差为σ 2， 接收变量V 2 ( u m ) 1 概密函数： p (u ) exp[ 2 ]
2 2
失真函数：均方误差失真，即：
d (u, v) (u v)
1） 失真在传输中是不可避免的; 2） 接收者（信宿）无论是人还是机器设备， 都有一定的分辨能力与灵敏度，超过分辨能力 与灵敏度的信息传送过程是毫无意义的; 3） 即使信宿能分辨、能判别，但对通信质 量的影响不大，也可以称它为允许范围内的失 真； 4） 我们的目的就是研究不同的类型的客观 信源与信宿，在给定的 Qos 要求下的最大允许 （容忍）失真 D ，及其相应的信源最小信息率 R(D).
R(D)
R(D)>0
R(D)=0
min
Q(v)
U ,V
Q(v) p(u)d (u, v) Q (v ) d (v )
' V V U
min
Q(v)
Dmax
D
§4.3:率失真函数－4
R(D)的计算
求解R(D)，--求解互信息的极小值 互信息I(X,Y)是条件转移概率的下凸函数极小值 存在 一般情况下很难得到R(D)的显函数表达式，只能 得到参量表达式 具体计算很困难，一般利用计算机进行迭代计算 在一些特殊情况下，R(D)有显式解。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为 ，设状态的平稳分布为 ，根据
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
信息论与编码民大06限失真信源编码
23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值， 引入参量S和μi(i=1,2,…,n)，构造一个新函数ф (4.2.6) （S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式
理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R=(Klog2 m)/L 小于信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之，若R>C，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送 要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失 真传输，所需的信息率大大超过信道容量R>>C。
引入一个失真函数，计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49
23-Oct-18
信息率与失真的关系
信道中固有的噪声和不可避免的干扰，使信源的消息通 过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确 定性就越大，获得的信息量就越小，信道传输消息所需 的信息率也越小。
研究信道容量的意义：是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道，使传输的信息量 最大而发生错误的概率任意小，以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质
率失真函数的定义域
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2010/5/11
13/49
信息率失真函数
在信源和失真度给定以后, 在信源和失真度给定以后,PD是满足保真度准则 的试验信 道集合,平均互信息I(X;Y)是信道传递概率 j /xi)的下凸函数,所 是信道传递概率p(y 的下凸函数, 道集合,平均互信息 是信道传递概率 的下凸函数 以在P 中一定可以找到某个试验信道, 达到最小, 以在 D中一定可以找到某个试验信道,使I(X;Y)达到最小,即 达到最小 这个最小值R(D)称为信息率失真函数,简称率失真函数. 称为信息率失真函数,简称率失真函数. 这个最小值 称为信息率失真函数 率失真函数 在信源给定以后,总希望在允许一定失真的情况下, 在信源给定以后,总希望在允许一定失真的情况下,传送信源所必 须的信息率越小越好.从接收端来看, 须的信息率越小越好.从接收端来看,就是在满足保真度准则 的条件下,寻找再现信源消息必须的最低平均信息量, 的条件下,寻找再现信源消息必须的最低平均信息量,即平均互信 息的最小值. 息的最小值.
保真度准则
人们所允许的失真指的都是平均意义上的失真. 人们所允许的失真指的都是平均意义上的失真. 保真度准则: 不能超过某一限定的值D, 保真度准则:规定平均失真度 不能超过某一限定的值 , 即 ,则D就是允许失真的上界.该式称为保真度准则. 就是允许失真的上界.该式称为保真度准则. 就是允许失真的上界 将保真度准则作为信道传递概率的约束条件, 将保真度准则作为信道传递概率的约束条件,再求信道的信息率 R=I(X;Y)的最小值就有实际意义. 的最小值就有实际意义. 的最小值就有实际意义
2010/5/11
8/49
常用的失真函数
பைடு நூலகம்失真函数是根据人们的实际需要和失真引起的损失, 失真函数是根据人们的实际需要和失真引起的损失,风险大小等人为 规定的. 规定的.常用的失真函数有 (1)绝对失真:汉明失真 绝对失真: 绝对失真 0 x = y
i j d ( xi , y j ) = 1 xi ≠ y j
2010/5/11
15/49
研究率失真函数和信道容量的意义
研究信息率失真函数的意义: 研究信息率失真函数的意义:是为了解决在已知信源和允 许失真度D的条件下 的条件下, 许失真度 的条件下,使信源必须传送给信宿的信息率最 小.即用尽可能少的码符号尽快地传送尽可能多的信源消 提高通信的有效性.这是信源编码问题. 信源编码问题 息,以提高通信的有效性.这是信源编码问题.
研究信道容量的意义: 研究信道容量的意义:是为了解决在已知信道中传送最大 信息率问题.目的是充分利用已给信道, 信息率问题.目的是充分利用已给信道,使传输的信息量 最大而发生错误的概率任意小, 提高通信的可靠性. 最大而发生错误的概率任意小,以提高通信的可靠性.这 就是信道编码问题. 信道编码问题 就是信道编码问题.
2010/5/11 3/49
在允许一定失真程度的条件下, 在允许一定失真程度的条件下,怎样用尽可能少的信道符 号来表达信源的信息, 号来表达信源的信息,也就是信源熵所能压缩的极限或者 说编码后信源输出的信息率压缩的极限值, 说编码后信源输出的信息率压缩的极限值,这就是限失真 信源编码要讨论的问题. 信源编码要讨论的问题. 限失真信源编码也称保真度准则下的信源编码, 限失真信源编码也称保真度准则下的信源编码,熵压缩编 码或者称信息率失真理论,它是量化,数模转换, 码或者称信息率失真理论,它是量化,数模转换,频带压 缩和数据压缩的理论基础. 缩和数据压缩的理论基础. 如果无失真的冗余度压缩编码主要是针对离散信源的, 如果无失真的冗余度压缩编码主要是针对离散信源的,那 限失真的熵压缩编码主要是针对连续信源. 么,限失真的熵压缩编码主要是针对连续信源.
在离散对称信道中,定义单个符号失真度为汉明失真. 在离散对称信道中,定义单个符号失真度为汉明失真. 汉明失真矩阵D通常为方阵 且对角线上的元素为0. 通常为方阵, 汉明失真矩阵 通常为方阵,且对角线上的元素为 .即
0 1 D= 1 1 1 1 0 1 1 1 1 0
(2)均方失真:平方误差失真函数 均方失真: 均方失真
2010/5/11
11/49
平均失真度意义
是在平均意义上,从总体上对整个系统失真情况的描述. 是在平均意义上,从总体上对整个系统失真情况的描述.它是信源 统计特性p(x 信道统计特性p(y 和失真度d(x 的函数 统计特性 i) ,信道统计特性 j/xi )和失真度 i,yj)的函数 .当p(xi), 和失真度 , p(yj/xi )和d(xi,yj)给定后,平均失真度就不是一个随机变量了,而是一 给定后, 和 给定后 平均失真度就不是一个随机变量了, 个确定的量. 个确定的量. 如果信源和失真度一定, 就只是信道统计特性的函数. 如果信源和失真度一定, 就只是信道统计特性的函数.信道传递 概率不同,平均失真度随之改变. 概率不同,平均失真度随之改变.
2010/5/11
4/49
信息率失真函数极小值问题 I(X;Y)是P(X)和P(Y/X)的二元函数; 的二元函数; 是 和 的二元函数 在讨论信道容量时:固定 变成P(X)的函数. 的函数. 在讨论信道容量时:固定P(Y/X) , I(X;Y)变成 变成 的函数 在离散情况下,因为I(X;Y)对p(xi)是上凸函数,所以变更 是上凸函数, 在离散情况下,因为 对 是上凸函数 p(xi)所求极值一定是 所求极值一定是I(X;Y)的极大值; 的极大值; 所求极值一定是 的极大值 在讨论率失真时:固定p(xi) ,变更 j /xi)来求平均互信息 变更p(y 在讨论率失真时:固定 来求平均互信息 的极小值.由于I(X;Y)是p(yj /xi)的下凸函数,所求的极值 的下凸函数, 的极小值.由于 是 的下凸函数 一定是极小值.但若X和 相互统计独立 相互统计独立(p(yj /xi)= p(yj )), 一定是极小值.但若 和Y相互统计独立 , 这个极小值就是0,因为I(X;Y)是非负的,0必为极小值, 是非负的, 必为极小值 必为极小值, 这个极小值就是 ,因为 是非负的 这样求极小值就没意义了. 这样求极小值就没意义了. 引入一个失真函数,计算在失真度一定的情况下信息率的 引入一个失真函数, 极小值就变成有意义了. 极小值就变成有意义了.
限失真信源编码
信息率失真函数 保真度准则下的信源编码定理
2010/5/11
1/49
理论上"消息完全无失真传送" 理论上"消息完全无失真传送"的可实现性 信道编码定理:无论何种信道,只要信息率R=(Klog2m)/L 信道编码定理:无论何种信道,只要信息率 小于信道容量C,总能找到一种编码, 小于信道容量 ,总能找到一种编码,使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息 的传输率来传送信息. 意小的错误概率和任意接近于 的传输率来传送信息.反 之,若R>C,则传输总要失真. ,则传输总要失真. 实际上"消息完全无失真传送" 实际上"消息完全无失真传送"的不可实现性 实际的信源常常是连续的,信息率无限大, 实际的信源常常是连续的,信息率无限大,要无失真传送 要求信道容量C为无穷大 为无穷大; 要求信道容量 为无穷大; 实际信道带宽是有限的,所以信道容量受限制. 实际信道带宽是有限的,所以信道容量受限制.要想无失 真传输,所需的信息率大大超过信道容量R>>C. 真传输,所需的信息率大大超过信道容量 .
d ( xi , y j ) = ( xi y j ) 2
i, j
如果信源符号代表信源输出信号的幅度值, 如果信源符号代表信源输出信号的幅度值,则上式意味着较大的幅 度差值要比较小的幅度差值引起的失真更为严重, 度差值要比较小的幅度差值引起的失真更为严重,严重程度用平方 表示. 表示.
2010/5/11 9/49
2010/5/11 5/49
信息率与失真的关系
信道中固有的噪声和不可避免的干扰, 信道中固有的噪声和不可避免的干扰,使信源的消息通 过信道传输后造成误差和失真 误差或失真越大, 误差或失真越大,接收者收到消息后对信源存在的不确 定性就越大,获得的信息量就越小, 定性就越大,获得的信息量就越小,信道传输消息所需 的信息率也越小. 的信息率也越小.
2010/5/11
12/49
试验信道
单符号信源和单符号信道的试验信道
当固定信源( 已知),单个符号失真度也给定时, 当固定信源( P(X)已知),单个符号失真度也给定时,选择信道 已知),单个符号失真度也给定时 凡满足要求的信道称为D失真许可的试验信道 失真许可的试验信道, 使 .凡满足要求的信道称为 失真许可的试验信道, 所有试验信道构成的集合用P 来表示, 所有试验信道构成的集合用 D来表示,即
2010/5/11
14/49
信息率失真函数与信道容量的对偶问题
平均互信息I(X;Y)既是信源概率分布 i)的上凸函数, 既是信源概率分布p(x 的上凸函数 的上凸函数, 平均互信息 既是信源概率分布 又是信道传递概率p(y 的下凸函数. 又是信道传递概率 j /xi)的下凸函数. 的下凸函数 率失真函数R(D)是在允许失真 和信源概率分布 i)已给 是在允许失真D和信源概率分布 率失真函数 是在允许失真 和信源概率分布p(x 已给 的条件下,求平均互信息的极小值问题. 的条件下,求平均互信息的极小值问题. 而信道容量C是在信道特性 而信道容量 是在信道特性p(yj /xi)已知的条件下求平均互 是在信道特性 已知的条件下求平均互 信息的极大值问题. 信息的极大值问题.
失真矩阵
失真度还可表示成矩阵的形式
称[D]为失真矩阵.它是n×m阶矩阵. 为失真矩阵.它是 × 阶矩阵. 为失真矩阵 阶矩阵 d(x,y)≥0
2010/5/11
10/49
平均失真度
d(xi,yj)只能表示两个特定的具体符号 i和yj之间的失真. 只能表示两个特定的具体符号x 之间的失真. 只能表示两个特定的具体符号 平均失真度: 平均失真度:平均失真度为失真度的数学期望