第8章-图像压缩(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对Hamming编码结果进行解码,信道必须为先前设立的偶校验 的各个字段进行奇校验并检验译码值.
c1h1h2h5h7 c2 h2h3h6h7 c4 h4h5h6h7 如果找到一个非零值,则解码器只需简单地在校验字指出的位置补充码字比特.解码的 二进制h3h5h6h7就能从纠正后的码字中提取出来.
8.3 信息理论基础与熵编码
结论：对于有记忆信源,如果符号序列中前面的符号知道
得越多,那么下一个符号的平均信息量就越小
8.3 信息理论基础与熵编码
1)．香农信息保持编码定理
香农信息论已证明,信源熵是进行无失真编码的理论极限.低于此
极限的无失真编码方法是不存在的,这是熵编码的理论基础.而且 可以证明,考虑像素间的相关性,使用高阶熵一定可以获得更高的 压缩比.
信息理论是图像编码的主要理论依据之一,它给出无失真编码所需比特数的下限, 为逼近这些下限提出了一系列熵编码算法.
(1) 离散信源的熵表示:
设一个离散信源X：(x1,x2,,xN)
其概率分布： {p1,p2,,pN} 满足
N
pi 1
i 1
一般分成两种情况来考虑:
离散信源类型
无记忆信源 信源的当前输出与以前的输出无关
x0 y0
主观保真度准则:
8.2 图像压缩模型
信源 编码
信道 编码
编码器
信道
信道 解码
信源 解码
解码器
图8.5 一个常用的图像压缩系统模型
8.2 图像压缩模型
信源编码器和信源解码器
转换器
量化器
符号编码器
信道
信源编码器
符号解码器
反向转换器
信源解码器
信道
(a) 信源编码器 (b) 信源解码器
8.2 图像压缩模型
则,各信源符号自信息量：
I(a) 1.152I,(b)2,I(c)2.473,9I(d)3.0589
信源熵
H ( X ) 0 . 4 * 1 . 1 5 0 . 5 2 * 2 2 5 0 . 1 * 2 . 4 8 0 7 . 1 * 3 . 0 3 2 1 5 9 . 8
用例8.5第二种编码方法 ,平均码长为1.85,大于信源熵
信源熵
H ( X ) 1 / 2 * 1 1 / 4 * 2 1 / 8 * 3 1 / 8 * 3 1 . 7
8.3 信息理论基础与熵编码
可以有两种编码方法：
1、a,b,c,d用码字00,01,10,11来编码
平均码长： l a v 1 / g 2 * 2 1 /4 * 2 1 /8 * 2 1 /8 * 2 2
第8章-图像压缩(1)
8.1 图像压缩基础
相同数量的信息可以用不同数量的数据表示.图像压缩指减少表示给定 信息量所需的数据量.
数据冗余的量化:
压缩率：
CR
n1 n2
相对数据冗余：
RD
1
1 CR
越大,压缩效果越好
在数字图像压缩中,可以确定三种基本的数据冗余: 编码冗余、像素间冗余和心理视觉冗余.
数据中存在信息冗余,就有可能对图像数据量进行压缩,针对数据冗余的类型 不同,可以有多种不同的数据压缩方法.
例:对于二元信源X={a,b},N=2,符号a出现的概率为p,那么符号b出现的概率为 1-p,其熵为H(p)=-p*log2(p)+(1-p)*log2(1-p). 当p=1/N=0.5时,H(p)=1,取得最大值 当p=0或p=1时,H(p)=0,即是确定性事件集.
离散无计机信源的冗余度寓于信源符号的非等概率分布之中,因此,要想压缩 数据,就要设法改变信源的概率分布,使其尽可能非均匀.
2)．变长编码定理
变长编码定义：对于一个无记忆离散信源中每一个符号,若采用 相同长度的不同码字代表相应符号,就叫做等长编码,例如中国4 位电报码.若对信源中的不同符号,用不同长度的码字表示就叫做 不等长或变长编码.
与定长编码相比,变长编码更复杂,除唯一可译码（也称为单义可 译）的要求,还存在即时解码问题.
8.4 无误差压缩
1．霍夫曼编码
根据变长最佳编码定理,Huffman编码步骤如下：
（1）将信源符号xi按其出现的概率,由大到小顺序排列. （2）将两个最小的概率的信源符号进行组合相加,并重复这一步骤,始
2.63
1 RD 1 2.63 0.62
8.1 图像压缩基础
心理视觉冗余：
在正常的视觉处理过程中,各种信息的相对重要程度不同.那些不重要的信息称 为心理视觉冗余. 消除视觉冗余会导致一定量的信息丢失,这一过程常称为”量化”
例8.3 通过量化进行压缩
出现假轮廓
(a)256个灰度级的原图像 (b)均匀量化为16个灰度级 (c)用IGS量化为16个灰度级
信道编码器和解码器 信道带有噪声或易于出现错误,信道编码器和解
码器通过向信源编码数据中插入预制的冗余数 据来减少信道噪声的影响.
与4位2二制数b1b2b3b0相联系的 7位Hamming(7,4)码字h1h2...h5h6h7是: h1b3b2b0 h3b3 h2b3b1b0 h5b2 h4b2b1b0 h6b1 h7 b0
编码方法：a,b,c,d用码字00,01,10,11来编码,每个符号用2个比 特.平均码长也是2比特.
8.3 信息理论基础与熵编码
例8.5
设 X{a,b,c,d}
p ( a ) 1 /2 ,p ( b ) 1 /4 ,p ( c ) 1 /8 , p(d)1/8
则,各信源符号自信息量：
I ( a ) l2 o 2 1 , I g ( b ) l2 o 4 2 , I g ( c ) I ( d ) l2 o 8 3 g
压缩比率为2
8.1 图像压缩基础
心理视觉冗余：
IGS量化过程
8.1 图像压缩基础
保真度准则：图像的编码质量评价
定量分析丢失信息的性质和范围, 包括(1) 客观保真度准则 (2) 主观保真度准则 当信息损失的程度可以表示成初始图像或输入图像以及先被压缩而后被解压缩 的输出图像的函数时,就说这个函数是基于客观保真度准则的.
logr
logr
H (X)LH (X)1
给定一个无记忆离散信源, 意味着其统计特性已知,则 信源的熵已确定,那么,信源 的单义可译码长L的下界也 就随之确定了.
8.3 信息理论基础与熵编码
3)．变长最佳编码定理
在变长编码中,对出现概率大的信息符号赋予短码字,而对于出
现概率小的信息符号赋予长码字.如果码字长度严格按照所对应 符号出现概率大小逆序排列,则编码结果平均码字长度一定小于 任何其他排列形式.
8.3 信息理论基础与熵编码
若把信息论中的熵值应用到图像信息源中,若图像的灰度级为[0,L-1],则可以通 过直方图得到各灰度级概率ps(sk),那么此时图像的熵为:
L1
H ps(si)log2 ps(si) i0
考虑有记忆信源X（1阶马尔可夫信源 ）
条件概率 P(xi / xi1)
联合概率
P(xi , xi1) P (x i,x i 1 ) P (x i)P (x i/x i 1 )
8.3 信息理论基础与熵编码
例 8.4
设 X{a,b,c,d}
p ( a ) p ( b ) p ( c ) p ( d ) 1 /4
则,各信源符号自信息量：
I ( a ) I ( b ) I ( c ) I ( d ) lo 2 4 2 g
信源熵
H ( X ) 1 / 4 * 2 1 / 4 * 2 1 / 4 * 2 1 / 4 * 2 2
令 f(x ,y )表 示 输 入 图 像 , f ˆ(x ,y )表 示 由 对 输 入 先 压 缩 后 解 压 缩 得 到 的 f(x ,y ) 的 估 计 量
则 f(x,y)和 fˆ(x,y)之 间 的 误 差 e(x,y)可 定 义 为 :
e(x,y)fˆ(x,y)f(x,y)
总体误差为:
M 1 N 1
l1
Lavg l(rk)pr(rk) k0
M N 的 图 像 ,需 要 M N L a v g 比 特 .
8.1 图像压缩基础
m 比 特 自 然 二 进 制 编 码
例8.1
变长编码的例子
编码1
编码2
7
Lavg l2(rk)pr rk k0
2(0.19)2(0.25)2(0.21)3(0.16)4(0.08)
8.1 图像压缩基础
编码冗余: 图像灰度可用不同的编码表示
若 用 [0 ,1 ]内 的 一 个 随 机 变 量 rk表 示 图 像 的 灰 度 级 , 则 每 个 灰 度 级 rk出 现 的 概 率 为 :
pr(rk)n n k k0,1,2,...,L1
若 l( r k ) 为 表 示 r k 所 用 的 比 特 数 , 那 么 表 示 每 个 像 素 所 需 的 平 均 比 特 数 为 :
[ fˆ(x, y) f (x, y)]
x0 y0
均方根误差为:
1/2
erms
M1NM x01N y01[fˆ(x,y)f
(x,
y)]2
8.1 图像压缩基础
保真度准则：
均方信噪比 :
M 1 N 1
fˆ (x, y)2
SNRms
x0 M 1 N 1
y0
[ fˆ (x, y) f (x, y)]2
8.1 图像压缩基础
自相关系数的计算:
(n) A(n)
A(0)
其 中 A ( n )
1
N 1 n
f(x,y)f(x,y n )
N ny 0
另一种数据冗余形式:
因为任何给定像素的值可以根据与这些像素相邻的像素进行适当的预测, 所以由单个像素携带的信息相对较少.单一像素对于一幅图像的多数视觉共享 是多余的;它的值可以通过相邻像素进行推测.
8.3 信息理论基础与熵编码
[例]
编码A是可以即时解码的, 而编码B是有惟一解码的, 却不是即时的.如收到码串 01,要等下一个比特到来.
变长编码定理：若一个离散无记忆信源具有熵H(X),并有r个码元符 号集,则总可以找到一种无失真信源编码,构成单义可译码,使其平 均码长满足：
当r=2
H(X) LH(X)1
平均码长大于信源的熵
2、 a,b,c,d分别用码字0,10,110,111来编码
平均码长：la v1 g /2 * 1 1 /4 * 2 1 /8 * 3 1 /8 * 3 1 .75
平均码长等于信源的熵
ห้องสมุดไป่ตู้
8.3 信息理论基础与熵编码
例8.6
设 X{a,b,c,d}
p (a )0 .4,p 5 (b )0 .2,p 5 (c)0.1,8 p(d)0.12
l a v 0 . g 4 * 1 5 0 .2 * 2 5 0 .1 * 3 8 0 .1 * 3 2 1 .85
8.3 信息理论基础与熵编码
可得到几点提示：
➢信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界. ➢如果所有I(xk)都是整数,且l(xk)=I(xk),可以使平均码长等于熵. ➢对非等概率分布的信源,采用不等长编码其平均码长小于等长编码的平均码长. ➢如果信源中各符号的出现概率相等,信源熵值达到最大,这就是重要的最大离散 熵定理.
5(0.06)6(0.03)6(0.02) 2.7比特
CR 3/ 2.7 1.11
1
RD
1 1.11
0.099
8.1 图像压缩基础
图8.1 用变长编码的数据压缩基本原理的图表表示
8.1 图像压缩基础
像素间冗余
直方图
图像像素之间的相关性 自相关系数
相邻像素之间具有 高度相关性 图8.2 两幅图像和它们的灰度级直方图以及沿着某条线计算的归一化自相关系数
有记忆信源
8.3 信息理论基础与熵编码
考虑无记忆信源X,某个信源符号xk,如果它出现的概率是pk
xk的自信息量 I(xk)logp1k logpk
信源熵H(X)
N
H(X) pi lo2gpi 每个符号的平均自信息量
i1
单位: 比特/符号
直观地理解自信息量的概念: 一个概率小的符号出现将带来更大的信息量.
8.1 图像压缩基础
例8.2 行程编码的简单说明
(a)
(a)原图
(b)标记了线100
的二值图像
(b)
(c)线状剖面和二
值化门限
(d)行程编码
(c) (d)
8.1 图像压缩基础
1024×343个像素, 每个像素用1个比特表示
12166个行程, 每个行程用11比特表示
CR
1024 3431 12166 11
NN
1阶熵 H (x i/x i 1 ) P (x i,x i 1 )lo 2P g (x i/x i 1 ) i 1i 1
8.3 信息理论基础与熵编码
对m阶马尔可夫信源,可以证明：
H 0 ( • ) H 1 ( • ) H m ( • ) H m 1 ( • ) H ( • )
c1h1h2h5h7 c2 h2h3h6h7 c4 h4h5h6h7 如果找到一个非零值,则解码器只需简单地在校验字指出的位置补充码字比特.解码的 二进制h3h5h6h7就能从纠正后的码字中提取出来.
8.3 信息理论基础与熵编码
结论：对于有记忆信源,如果符号序列中前面的符号知道
得越多,那么下一个符号的平均信息量就越小
8.3 信息理论基础与熵编码
1)．香农信息保持编码定理
香农信息论已证明,信源熵是进行无失真编码的理论极限.低于此
极限的无失真编码方法是不存在的,这是熵编码的理论基础.而且 可以证明,考虑像素间的相关性,使用高阶熵一定可以获得更高的 压缩比.
信息理论是图像编码的主要理论依据之一,它给出无失真编码所需比特数的下限, 为逼近这些下限提出了一系列熵编码算法.
(1) 离散信源的熵表示:
设一个离散信源X：(x1,x2,,xN)
其概率分布： {p1,p2,,pN} 满足
N
pi 1
i 1
一般分成两种情况来考虑:
离散信源类型
无记忆信源 信源的当前输出与以前的输出无关
x0 y0
主观保真度准则:
8.2 图像压缩模型
信源 编码
信道 编码
编码器
信道
信道 解码
信源 解码
解码器
图8.5 一个常用的图像压缩系统模型
8.2 图像压缩模型
信源编码器和信源解码器
转换器
量化器
符号编码器
信道
信源编码器
符号解码器
反向转换器
信源解码器
信道
(a) 信源编码器 (b) 信源解码器
8.2 图像压缩模型
则,各信源符号自信息量：
I(a) 1.152I,(b)2,I(c)2.473,9I(d)3.0589
信源熵
H ( X ) 0 . 4 * 1 . 1 5 0 . 5 2 * 2 2 5 0 . 1 * 2 . 4 8 0 7 . 1 * 3 . 0 3 2 1 5 9 . 8
用例8.5第二种编码方法 ,平均码长为1.85,大于信源熵
信源熵
H ( X ) 1 / 2 * 1 1 / 4 * 2 1 / 8 * 3 1 / 8 * 3 1 . 7
8.3 信息理论基础与熵编码
可以有两种编码方法：
1、a,b,c,d用码字00,01,10,11来编码
平均码长： l a v 1 / g 2 * 2 1 /4 * 2 1 /8 * 2 1 /8 * 2 2
第8章-图像压缩(1)
8.1 图像压缩基础
相同数量的信息可以用不同数量的数据表示.图像压缩指减少表示给定 信息量所需的数据量.
数据冗余的量化:
压缩率：
CR
n1 n2
相对数据冗余：
RD
1
1 CR
越大,压缩效果越好
在数字图像压缩中,可以确定三种基本的数据冗余: 编码冗余、像素间冗余和心理视觉冗余.
数据中存在信息冗余,就有可能对图像数据量进行压缩,针对数据冗余的类型 不同,可以有多种不同的数据压缩方法.
例:对于二元信源X={a,b},N=2,符号a出现的概率为p,那么符号b出现的概率为 1-p,其熵为H(p)=-p*log2(p)+(1-p)*log2(1-p). 当p=1/N=0.5时,H(p)=1,取得最大值 当p=0或p=1时,H(p)=0,即是确定性事件集.
离散无计机信源的冗余度寓于信源符号的非等概率分布之中,因此,要想压缩 数据,就要设法改变信源的概率分布,使其尽可能非均匀.
2)．变长编码定理
变长编码定义：对于一个无记忆离散信源中每一个符号,若采用 相同长度的不同码字代表相应符号,就叫做等长编码,例如中国4 位电报码.若对信源中的不同符号,用不同长度的码字表示就叫做 不等长或变长编码.
与定长编码相比,变长编码更复杂,除唯一可译码（也称为单义可 译）的要求,还存在即时解码问题.
8.4 无误差压缩
1．霍夫曼编码
根据变长最佳编码定理,Huffman编码步骤如下：
（1）将信源符号xi按其出现的概率,由大到小顺序排列. （2）将两个最小的概率的信源符号进行组合相加,并重复这一步骤,始
2.63
1 RD 1 2.63 0.62
8.1 图像压缩基础
心理视觉冗余：
在正常的视觉处理过程中,各种信息的相对重要程度不同.那些不重要的信息称 为心理视觉冗余. 消除视觉冗余会导致一定量的信息丢失,这一过程常称为”量化”
例8.3 通过量化进行压缩
出现假轮廓
(a)256个灰度级的原图像 (b)均匀量化为16个灰度级 (c)用IGS量化为16个灰度级
信道编码器和解码器 信道带有噪声或易于出现错误,信道编码器和解
码器通过向信源编码数据中插入预制的冗余数 据来减少信道噪声的影响.
与4位2二制数b1b2b3b0相联系的 7位Hamming(7,4)码字h1h2...h5h6h7是: h1b3b2b0 h3b3 h2b3b1b0 h5b2 h4b2b1b0 h6b1 h7 b0
编码方法：a,b,c,d用码字00,01,10,11来编码,每个符号用2个比 特.平均码长也是2比特.
8.3 信息理论基础与熵编码
例8.5
设 X{a,b,c,d}
p ( a ) 1 /2 ,p ( b ) 1 /4 ,p ( c ) 1 /8 , p(d)1/8
则,各信源符号自信息量：
I ( a ) l2 o 2 1 , I g ( b ) l2 o 4 2 , I g ( c ) I ( d ) l2 o 8 3 g
压缩比率为2
8.1 图像压缩基础
心理视觉冗余：
IGS量化过程
8.1 图像压缩基础
保真度准则：图像的编码质量评价
定量分析丢失信息的性质和范围, 包括(1) 客观保真度准则 (2) 主观保真度准则 当信息损失的程度可以表示成初始图像或输入图像以及先被压缩而后被解压缩 的输出图像的函数时,就说这个函数是基于客观保真度准则的.
logr
logr
H (X)LH (X)1
给定一个无记忆离散信源, 意味着其统计特性已知,则 信源的熵已确定,那么,信源 的单义可译码长L的下界也 就随之确定了.
8.3 信息理论基础与熵编码
3)．变长最佳编码定理
在变长编码中,对出现概率大的信息符号赋予短码字,而对于出
现概率小的信息符号赋予长码字.如果码字长度严格按照所对应 符号出现概率大小逆序排列,则编码结果平均码字长度一定小于 任何其他排列形式.
8.3 信息理论基础与熵编码
若把信息论中的熵值应用到图像信息源中,若图像的灰度级为[0,L-1],则可以通 过直方图得到各灰度级概率ps(sk),那么此时图像的熵为:
L1
H ps(si)log2 ps(si) i0
考虑有记忆信源X（1阶马尔可夫信源 ）
条件概率 P(xi / xi1)
联合概率
P(xi , xi1) P (x i,x i 1 ) P (x i)P (x i/x i 1 )
8.3 信息理论基础与熵编码
例 8.4
设 X{a,b,c,d}
p ( a ) p ( b ) p ( c ) p ( d ) 1 /4
则,各信源符号自信息量：
I ( a ) I ( b ) I ( c ) I ( d ) lo 2 4 2 g
信源熵
H ( X ) 1 / 4 * 2 1 / 4 * 2 1 / 4 * 2 1 / 4 * 2 2
令 f(x ,y )表 示 输 入 图 像 , f ˆ(x ,y )表 示 由 对 输 入 先 压 缩 后 解 压 缩 得 到 的 f(x ,y ) 的 估 计 量
则 f(x,y)和 fˆ(x,y)之 间 的 误 差 e(x,y)可 定 义 为 :
e(x,y)fˆ(x,y)f(x,y)
总体误差为:
M 1 N 1
l1
Lavg l(rk)pr(rk) k0
M N 的 图 像 ,需 要 M N L a v g 比 特 .
8.1 图像压缩基础
m 比 特 自 然 二 进 制 编 码
例8.1
变长编码的例子
编码1
编码2
7
Lavg l2(rk)pr rk k0
2(0.19)2(0.25)2(0.21)3(0.16)4(0.08)
8.1 图像压缩基础
编码冗余: 图像灰度可用不同的编码表示
若 用 [0 ,1 ]内 的 一 个 随 机 变 量 rk表 示 图 像 的 灰 度 级 , 则 每 个 灰 度 级 rk出 现 的 概 率 为 :
pr(rk)n n k k0,1,2,...,L1
若 l( r k ) 为 表 示 r k 所 用 的 比 特 数 , 那 么 表 示 每 个 像 素 所 需 的 平 均 比 特 数 为 :
[ fˆ(x, y) f (x, y)]
x0 y0
均方根误差为:
1/2
erms
M1NM x01N y01[fˆ(x,y)f
(x,
y)]2
8.1 图像压缩基础
保真度准则：
均方信噪比 :
M 1 N 1
fˆ (x, y)2
SNRms
x0 M 1 N 1
y0
[ fˆ (x, y) f (x, y)]2
8.1 图像压缩基础
自相关系数的计算:
(n) A(n)
A(0)
其 中 A ( n )
1
N 1 n
f(x,y)f(x,y n )
N ny 0
另一种数据冗余形式:
因为任何给定像素的值可以根据与这些像素相邻的像素进行适当的预测, 所以由单个像素携带的信息相对较少.单一像素对于一幅图像的多数视觉共享 是多余的;它的值可以通过相邻像素进行推测.
8.3 信息理论基础与熵编码
[例]
编码A是可以即时解码的, 而编码B是有惟一解码的, 却不是即时的.如收到码串 01,要等下一个比特到来.
变长编码定理：若一个离散无记忆信源具有熵H(X),并有r个码元符 号集,则总可以找到一种无失真信源编码,构成单义可译码,使其平 均码长满足：
当r=2
H(X) LH(X)1
平均码长大于信源的熵
2、 a,b,c,d分别用码字0,10,110,111来编码
平均码长：la v1 g /2 * 1 1 /4 * 2 1 /8 * 3 1 /8 * 3 1 .75
平均码长等于信源的熵
ห้องสมุดไป่ตู้
8.3 信息理论基础与熵编码
例8.6
设 X{a,b,c,d}
p (a )0 .4,p 5 (b )0 .2,p 5 (c)0.1,8 p(d)0.12
l a v 0 . g 4 * 1 5 0 .2 * 2 5 0 .1 * 3 8 0 .1 * 3 2 1 .85
8.3 信息理论基础与熵编码
可得到几点提示：
➢信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界. ➢如果所有I(xk)都是整数,且l(xk)=I(xk),可以使平均码长等于熵. ➢对非等概率分布的信源,采用不等长编码其平均码长小于等长编码的平均码长. ➢如果信源中各符号的出现概率相等,信源熵值达到最大,这就是重要的最大离散 熵定理.
5(0.06)6(0.03)6(0.02) 2.7比特
CR 3/ 2.7 1.11
1
RD
1 1.11
0.099
8.1 图像压缩基础
图8.1 用变长编码的数据压缩基本原理的图表表示
8.1 图像压缩基础
像素间冗余
直方图
图像像素之间的相关性 自相关系数
相邻像素之间具有 高度相关性 图8.2 两幅图像和它们的灰度级直方图以及沿着某条线计算的归一化自相关系数
有记忆信源
8.3 信息理论基础与熵编码
考虑无记忆信源X,某个信源符号xk,如果它出现的概率是pk
xk的自信息量 I(xk)logp1k logpk
信源熵H(X)
N
H(X) pi lo2gpi 每个符号的平均自信息量
i1
单位: 比特/符号
直观地理解自信息量的概念: 一个概率小的符号出现将带来更大的信息量.
8.1 图像压缩基础
例8.2 行程编码的简单说明
(a)
(a)原图
(b)标记了线100
的二值图像
(b)
(c)线状剖面和二
值化门限
(d)行程编码
(c) (d)
8.1 图像压缩基础
1024×343个像素, 每个像素用1个比特表示
12166个行程, 每个行程用11比特表示
CR
1024 3431 12166 11
NN
1阶熵 H (x i/x i 1 ) P (x i,x i 1 )lo 2P g (x i/x i 1 ) i 1i 1
8.3 信息理论基础与熵编码
对m阶马尔可夫信源,可以证明：
H 0 ( • ) H 1 ( • ) H m ( • ) H m 1 ( • ) H ( • )