无损编码(霍夫曼编码)

P(ai) ≥ P(aj) ≥ P(ak) ≥…… ，则l(ai) ≤ l(aj) ≤ l(ak) ≤……
而霍夫曼编码法就是最常见的变字长编码方法。
霍夫曼编码法：
用变长编码定理消除编码冗余的方法 包括：静态霍夫曼编码、自适应霍夫曼编码
1. 缩减信源符号的数量
(1)将信号源的符号出现的概率（在此称为权值）{w1，w2，...， wn}构造成n棵二叉树集合F={T1，T2，...，Tn}，其中每棵二叉树 Ti中只有一个带权为wi的根结点，其左右子树均为空； (2) 在F中选取两棵根结点的权值最小的树作为左右子树构造一 棵新的二叉树，且置新的二叉树的根结点的权值为其左、右子 树上根结点的权值之和； (3)在F中删除这两棵树，同时将新得到的二叉树加入F中；
图像无损压缩和编码
——***
无损压缩编码：
无损压缩在压缩之后不丢失信息，即对 图像的压缩、编码、解码后可以不失真地恢 复原图像。我们把这种压缩编码称为无损压 缩编码，简称无损编码，或无失真编码、信 息保持编码或熵保持编码。
常见的变法算法：
• 霍夫曼算法
• 算术编码算法
• 香农-费诺编码算法
• 源自文库ZW编码算法
(4)重复(2)和(3)，直到F只含一棵树为止，这棵树便是霍夫曼树； (5)在合并中约定权值小的根结点在左子树上，权值大的在右子 树上，然后在每个左分支上标记为“0”，右分支上标记为 “1”，最后记录从霍夫曼(Huffman)树的根结点到每个叶子结 点所经过的分支上的“0”或“1”的序列，从而得到每个符号 的Huffman编码。
H(A) (1)编码效率： = Lavg
(2)冗余度： RD =(1 ) 100%
m (3)压缩比： CR = ，m为采用自然编码时的码长 Lavg
m 最大压缩比：(CR )max = H(A)
2. 变字长编码定理
信符出现概率越大，包含的信息量就越小，需 要短码字就可以表示；反之对出现概率小的信符， 信息量就大，也就需要长码字来表示。 当长码字长度严格按照所对应信符的出现概率大 小逆序排序，则编码的平均码长不会大于任何其他 排列方式。即：
当a=2时，信息量单位为比特； 当a=e时，信息量单位为奈特； 当a=10时，信息量单位为哈特； 一般取2为底对数。 若P(x)=1，则I(x)=0，说明确知事件的随 机性为0，信息量也为0。
信源的熵：
信源 信道 信宿
信源：信号的来源； 信宿：信源发出信息通过信道传输到的接收方。 该信源的平均随机程度或平均信息量就称为信 J 源的熵。 H(A) P(ai )log2 P(ai )
• 游程编码算法 ……
信息量：
无论图像、语言或者文字都是为了传达 信息，当一个信息能给我们传达许多未知的 内容时，这个信息就是有用信息，反之，若 传达的都是已知的东西，那这个信息就失去 了意义，信息量为零。
信息论中关于信息量是按该信息所传达 的事件的随机性来度量的。
若某随机事件x出现的概率为P(x)，则此 事件x所包含的信息量为： 1 I(x) loga log a P(x) P(x)
i1
基本编码原理：
1. 无失真编码定理
在无干扰条件下，存在一种无失真的编码方法， 使编码的Lavg与信源的熵H(A)任意的接近。即：
L avg H(A) , 0
是以 H(A)为下限，即 Lavg ≥H(A)，一旦出现 Lavg <H(A) ， 肯定会出现失真。
几个重要参数：
2. 分配码字
从缩减的最后一步开始反向进行编码，对最后两个概率代 表的符号一个赋“0”，一个赋“1”，“0”、“1”可随机赋 给任何一个；再倒一步，对遇到复合符号就增加一个二进制位 的码字，以区分两个符号，一直持续到原始的码原为止。
按照码字表将原图像中的各个像素灰度值用对应的码字表 示，就可以得到图像的霍夫曼编码结果。解码过程与编码过程 相反，即将图像编码值变成原灰度图像。 霍夫曼编码是无失真编码中效率较高的一种编码方法，但 其缺点是信源缩减过程复杂，运算量大。为了克服这一缺点。 人们也相应做了一些改进，所以就出现了算术编码和香农-费诺 编码。