013信息论基础

变换的要求是能够无失真或无差错地从 Y 恢复 X ， 也就是 能正确地进行反变换或译码 译码， 时需要的信息率最小。 能正确地进行反变换或 译码 ， 同时希望传输 Y 时需要的信息率最小。
中可能值（ 符号） ，平均每个符号输出的最大信息量 Yk 可取 m 中可能值 （ 符号 ） 平均每个符号输出的最大信息量 ， 比特 符号， 为 log 2 m 比特/符号 ， K L 长码字的最大信息量为 K L log 2 m 。 用该 符号 长的信源符号序列， 码字表示 L 长的信源符号序列 ， 则送出一个信源符号所需要的平均 信息量， 即信息率为： 信息量 ， 即信息率为 ：
一般情况下， 码可以分为两类： 一类是固定长度的码， 一般情况下 ， 码可以分为两类 ： 一类是固定长度的码 ， 码中所有码字的长度都相同， 即定长码； 另一类是可变长度码， 码中所有码字的长度都相同 ， 即定长码 ； 另一类是可变长度码 ， 码中的码字长短不一。 如下表。 码中的码字长短不一 。 如下表 。
非分组码 码 奇异码 分组码 非奇异码 唯一可译码 非即时码 非唯一可译码 非即时码
通常可用码树来表示各码字的构成。 通常可用码树来表示各码字的构成 。 对于 有一个树根节点 A ， 从节点 A 分出
进制的码树， r 进制的码树 ，
个树枝， r 个树枝 ， 树枝的尽头是
r 个树枝
节点（ 一级节点， 中间节点） ，再从每个一级节点分出 节点 （ 一级节点 ， 中间节点 ） 再从每个一级节点分出 ， （或少于 ，形成二级节点， ，形成二级节点 r 个） 形成二级节点，如此下去形成一个
由于信源符号之间存在分布不均匀和相关性， 由于信源符号之间存在分布不均匀和相关性 ， 使得信源 存在冗余度， 信源编码的主要任务就是减少冗余度， 存在冗余度 ， 信源编码的主要任务就是减少冗余度 ， 提高编码 效率。 就是针对信源输出符号序列的统计特性， 效率 。 就是针对信源输出符号序列的统计特性 ， 寻找一定的把 信源输出符号序列变换为最短码字序列的方法。 信源输出符号序列变换为最短码字序列的方法 。
编码的定义
将信源消息（ 由多个符号组成， 将信源消息 （ 由多个符号组成 ， 或说是由多符号序列 表示一个消息） 分成若干组， 表示一个消息 ） 分成若干组 ， 即子符号序列 ai ， ai = ( xi1 , xi 2 ,L , xiL ) ， 假设序列 ai = ( xi1 , xi 2 ,L , xiL ) 中每个符号都取自于符号集 A ， 即 xil ∈ A = {x1 , x2 ,L , xn } ， l = 1, 2,L , L 。
编码定理不但证明了必定存在一种编码方法， 可使代码的 编码定理不但证明了必定存在一种编码方法 ， 平均长度可以接近但不低于符号熵， 而且还阐明了达到这个目 平均长度可以接近但不低于符号熵 ， 而且还阐明了达到这 个目 标的途径， 就是使概率与码长匹配。 标的途径 ， 就是使概率与码长匹配 。
无失真编码或可逆编码只适用于离散信源。 无失真编码或可逆编码只适用于离散信源。对于连续 信源只能在失真受限制的情况下进行限失真编码。 信源只能在失真受限制的情况下进行限失真编码。
信源编码的基本途径有两个： 信源编码的基本途径有两个 ： 使序列中的各个符号尽可能 地相互独立， 即解除序列符号之间的相关性； 地相互独立 ， 即解除序列符号之间的相关性 ； 使编码中各个符号 出现的概率尽可能地相等， 即概率均匀化。 出现的概率尽可能地相等 ， 即概率均匀
信源编码的理论基础是信息论中的两个编码定理： 信源编码的理论基础是信息论中的两个编码定理 ： 无失真信源编码定理和限失真信源编码定理， 无失真信源编码定理和限失真信源编码定理 ， 无失真信源编码 是可逆编码的基础。 可逆是指当信源符号转换成代码后， 是可逆编码的基础 。 可逆是指当信源符号转换成代码后 ， 可以 从代码无失真的恢复出原信源符号。 从代码无失真的恢复出原信源符号 。
0 0 0
。
1
1
。 。
1
。 。 。 。
0 0 1 0
1
。
1
。 。 。
。
。 。
0
1
。
二进制码树
用树的概念可导出， 唯一可译码存在 的充分和必要条件是： 存在的充分和必要条件是 用树的概念可导出 ， 唯一可译码 存在 的充分和必要条件是 ： 应符合克劳夫特（ 各码字的长度 K i 应符合克劳夫特 （ Kraft’s inequality） 不等式 ， 即 ） 不等式，
唯一可译码中， 又可以分为即时码 非即时码。 即时码和 唯一可译码中 ， 又可以分为 即时码 和 非即时码 。 如果接收端 收到一个完整的码字后， 不能立即译码， 收到一个完整的码字后 ， 不能立即译码 ， 还许等下一个码字开始 接收后才能判断是否可以译码， 这样的码叫做非即时码。 接收后才能判断是否可以译码 ， 这样的码叫做非即时码 。 即时码又称为非延长码 ， 即时码又称为 非延长码， 任意一个码字都不是其他码字的前缀 非延长码 部分， 有时叫做异前缀码、 异字头码、 逗点码。 部分 ， 有时叫做异前缀码 、 异字头码 、 逗点码 。
都对应一个码字。 xi ， i = 1, 2,L , n ， 都对应一个码字 。
X ， 如果符号集 A = {x1 , x2 ,L , xn } ， 信源
x1 x2 L xn X = p( X ) p ( x1 ) p( x2 ) L p ( x2 )
将这样的信源符号进行传输， 常用的一种信道就是二元信道， 将这样的信源符号进行传输 ， 常用的一种信道就是二元信道 ， 它的信道基本符号集为 {0 , 1} ， 为了将信源 X 在这样的二元信道 中传输， 中传输 ， 就必须把信源符号序列变换成有 0， 1 符号组成的码符号 ， 序列（ 码字） 这个过程就是信源编码 ，这个过程就是 信源编码。 序列 （ 即 码字 ） 这个过程就是 信源编码 。 ，
码的不同属性 信源符号 xi
x1 x2 x3 x4
符号出现概率 p ( xi ) 1/2 1/4 1/8 1/8
码1 0 11 00 11
码2 0 10 00 01
码3 1 10 100 1000
码4 1 01 001 0001
码 1 是奇异码 ， 码 2 是非奇异码 ， 码 3 是非即时码 ， 码 4 是即时码 。 是奇异码， 是非奇异码， 是非即时码， 是即时码。 一般码的分类如下： 一般码的分类如下 ：
X = ( X 1 , X 2 ,L , X l ,L , X L ) ， X l ∈ {x1 , x2 ,L , xi ,L , xn }
经信源编码变换成由 K L 个符号组成的码序列
有时也叫码字 ： 码字） Y （ 有时也叫码字）
Y = (Y1 , Y2 ,L , Yk ,L , YK L ) ， Yk ∈ { y1 , y2 ,L , y j ,L , ym }
变长码和定长码
信源符号出现的 信源符号 xi 概率 p ( xi )
p ( x1 ) p( x2 ) p( x3 ) p( x4 )
码 码 00 01 10 11 1
表 码 0 01 001 111 2
x1 x2 x3 x4
采用分组编码方法， 需要分组码具有某些属性， 采用分组编码方法 ， 需要分组码具有某些属性 ， 以便保证在 接收端能够迅速准确地将码译出。 下面讨论分组码地一些属性。 接收端能够迅速准确地将码译出 。 下面讨论分组码地一些属性 。
进制的码树。 r 进制的码树。
码树的终端节点安排码字， 这样的码字叫树码 树码。 码树的终端节点安排码字 ， 这样的码字叫 树码 。
级节点表示码字， 如果用一个 n 级节点表示码字 ， 则码字长度为 n ， 相应的码字为 从树根到此端点的分枝标号序列。 这样构造的码满足即时码的条件。 从树根到此端点的分枝标号序列 。 这样构造的码满足即时码的条件 。 级码树， 如果每一分支都延伸到了最后一级端点， 一个 n 级码树 ， 如果每一分支都延伸到了最后一级端点 ， 这样的码树叫 满树。 否则就是非满树， 非满树码就不是定长码了。 满树 。 否则就是非满树 ， 非满树码就不是定长码了 。
一般称无失真信源编码定理为第一极限定理 ； 一般称无失真信源编码定理为 第一极限定理； 信道编码定理 第一极限定理 包括离散和连续信道） 第二极限定理； （ 包括离散和连续信道 ） 为 第二极限定理 ； 限失真信源编码定理 第三极限定理。 完善这些定理是香农信息论的主要内容。 为 第三极限定理 。 完善这些定理是香农信息论的主要内容 。
（ 1） 奇异码和非起奇异码 ） 若信源符号和码字是一一对应的，则该码为非奇异码； 若信源符号和码字是一一对应的，则该码为非奇异码；反之为奇异码。 非奇异码
（ 2） 唯一可译码 ） 任意有限长的码元序列， 只能被唯一地分割成一个个地码字， 任意有限长的码元序列 ， 只能被唯一地分割成一个个地码字 ， 便称为唯一可译码。 是一种唯一可译码。 便称为唯一可译码 。 例如 {0, 1 0, 11} 是一种唯一可译码 。 任意 一串有限长马序列， 一串有限长马序列 ， 例如 1 0 0 111 0 0 0 ， 只能被分割成 10， 0， 11， ， ， ， 10， 0， 0， 其他分割方法会产生非定义的码字 。 ， ， ， 其他分割方法会产生非定义的码字。
编码分为信源编码 和 信道编码， 编码分为 信源编码和 信道编码 ， 其中信源编码有可以分为 信源编码 信源的无失真编码和 限失真编码。 信源的无失真编码 和 限失真编码 。
由于这些定理都要求符号数很大， 以便其值接近所规定的值， 由于这些定理都要求符号数很大 ， 以便其值接近所规定的值 ， 因而这些定理被称为极限定理。 因而这些定理被称为极限定理 。
信息论基础 第十三讲
编码定义和编码定理
由信源熵和信息率失真函数的概念知道， 由信源熵和信息率失真函数的概念知道 ， 传送信源信息 只需要具有信源极限熵或信息率失真函数大小的信息率。 只需要具有信源极限熵或信息率失真函数大小的信息率 。 但 是在实际通信系统中， 用来传送信源的信息率远大于这些， 是在实际通信系统中 ， 用来传送信源的信息率远大于这些 ， 能否达到或接近信源熵或信息率失真函数这样的最小信息率 呢 ？ 这就是编码定理需要解决的问题之一 。 这就是编码定理需要解决的问题之一。