信息论课件

信息理论基础
④.
l log r log q
存在唯一可译码(无失真)；
⑤. 能否考虑信源熵不同，实现 l log r H ( S )
信息理论基础
第五章
无失真信源编码
二﹑定长信源编码定理
1. 引理：设离散无记忆信源为
s2 sq s1 S P p( s ) p( s ) p ( s ) 2 q 1 q 其信源熵为H(S)，H ( S ) p( si ) log p( si )
信息理论基础
第五章
无失真信源编码
3. 定长编码条件的含义
log q 定长唯一可译码存在的条件 l log r 即 l log r log q
①. l 是信源定长编码后每个信源符号需要的码元个数 ②. logq是具有q个符号的所有离散信源一个符号平均 具有的最大信息量；
③. logr是一个码元符号平均所能携带的最大信息量， l logr是l个码元符号平均所能携带的最大信息量；
信源符号集 S
X
S ( s1 , s2 ,
, sq )
编码器
Y
代码组C
C (W1 , W2 , , Wq )
X ( x1 , x22,,..., , xr q) 1 x
码符号集 X
信息理论基础
第五章
无失真信源编码
1. 编码器构成： 输入： 信源符号集 S=(s1,s2, …sq)，由q个符号组成 码符号集 X=(x1,x2…xr)，由r个符号组成 输出： 代码组C=(w1, w2,…wq)，由q个码字组成 其中，wi ( xi1 xi2 ...xil ) 称为码字，li称为码字长度
信息理论基础
第五章
(3) 即时码：
无失真信源编码
• 即时码存在充要条件： 唯一可译码成为即时码的充要条件是其中任意 一个码字不是其他码字的前缀。
非分组码 码 分组码 奇异码 非奇异码 非唯一可译码 唯一可译码 非即时码 即时码
信息理论基础
第五章
无失真信源编码
§5.3 定长码 一﹑唯一可译定长码 1. 简单信源S 信源S存在唯一可译定长码的条件为：
信息理论基础
第五章
无失真信源编码
二、克拉夫特不等式和麦克米伦不等式
设信源符号集为S = (s1, s2, …, sq,)，码符号集
为X = (x1, x2, …, xr)，对信源进行编码，代码组
为C = (w1, w2, …,wq)，相应码长分别 l1, l2,…, lq，
即时码存在（唯一可译码存在）的充要条件为：
信息理论基础
第五章
无失真信源编码
2. 性质： (1) 奇异性： • 非奇异码：若分组码中所有码字都不相同。 • 奇异码： 若分组码中有相同的码字。 * 非奇异分组码是正确译码的必要条件。 (2) 唯一可译性： • 唯一可译码：如果一个分组码对于任意有限的整数 N，其N次扩展码均为非奇异码。 * 唯一可译码是正确译码的充要条件。 * “唯一”不是指只有一组，而是指能正确译码。
信息理论基础
第五章
无失真信源编码
4. 码奇异性： • 非奇异码：代码组C中所有码字都不相同。 • 奇异码： 代码组C中有相同的码字。
信息理论基础
第五章
无失真信源编码
§5.2 分组码 1. 定义： 信源符号集S中的每一个符号si都映射成一个固 定的码字wi，这种码称为分组码 2. 性质： — 奇异性 — 唯一可译性 — 即时码
R H (S )
H (S ) H (S )
0
信息理论基础
第五章
无失真信源编码
(3) 最佳编码效率： 对于给定的 > 0，最佳编码效率为 H (S ) 0 H (S )
当要求译码错误概率 p 时，N应满足
N DI ( si )
2
lim p 0 即有 N
信息理论基础
第五章
无失真信源编码
2. 定理：（定长信源编码逆定理） 对信源熵H(S)为的离散无记忆信源S的N次扩展信 源进行定长编码，码符号集X中有r个码符号，若码 长选取为L，对于>0 满足
L H ( s) 2 N log r
则当N足够大时，译码错误概率趋于1。
(1)非奇异码
(2)任意有限次扩展码是非奇异码 4. 若想即时译码，变长码必须即时码。
信息理论基础
第五章
一、信源编码方法：
无失真信源编码
1. 匹配编码：概率大的信源符号，代码长度短；
反之，概率小的信源符号，代码长度长。
2. 变换编码：从一种空间变换成另一种空间，然后 进行编码。
3. 识别编码：对有标准形状的文字、符号和数据 进行编码。 ＊在这里仅介绍匹配编码方法。
lim p 1 即有 N
信息理论基础
第五章
无失真信源编码
3. 信源编码效率 (1) 编码速率：对于定长编码，编码速率定义为
L log r R N
释：①、R是原始信源一个符号对应的码元所能携带的 最大信息量； ②、当R > H(S)时，可以实现无失真传输 。 (2) 编码效率：
H (S ) R
S1由所有这样的A构成。
②. Sn(n>1)的构造：将S0和Sn-1进行比较 若 W S0 ,U Sn1 ，且 W UA ，则A放入Sn中， 若 W ' Sn1,U ' S0 ，且 W ' U ' A' ，则A’放入Sn中， Sn由所有这样的A和A’构成。
信息理论基础
第五章
bbcde
信息理论基础
第五章
1. 码平均长度
无失真信源编码
四、变长信源编码定理
s1 离散无记忆信源为 S P p( s1 ) 编码后的码字为 w1, w2 ,, wq s2 p( s2 ) sq p( sq )
码字长度分别为
l1 , l 2 ,, l q
p(si ) p(wi )
⑤. 仅对典型序列进行编码，需要 L log r log M
M取上限有 L logr log2N[ H ( S ) ] N[H (S ) ]
⑥. 集合 G 中 j没有编码，译码将出错，当 N 2 i 时，译码错误概率，即集合 G 发生的概率小于。
无失真信源编码
2. 定理：码集合S0是唯一可译码的充要条件是S1,S2,… 中没有一个含有S0的元素。
例如： S0={a,c,abb,bad,deb,bbcde}是否唯一可译码
S0 a c abb S1 bb S2 cde S3 de S4 b S5 ad bcde S6 d S7 eb S8
Φ
bad deb
i 1
信源S的N次扩展信源SN为
N S
1 P p( ) 1
2
p( 2 )
p( q N )
N
q
信息理论基础
第五章
无失真信源编码
用码符号集X=(x1,x2, …xr)对SN进行长度为L的等 长编码，则对于>0，>0，只要满足
当足够大时，必可使译码错误小于。
扩展信源SN有qN个符号
③. 将SN分成两个互逆集合
I ( j ) I ( j ) G j : H ( S ) 和G j : H (S ) N N ④. 集合 G中 j称为典型序列，共有M个 M 2 N [ H ( S ) ]
R log r 最大值能达到吗?如何达到 ?香农第一定理
信息理论基础
第五章
2. 紧致码
无失真信源编码
定义：对于某一个信源和某一码符号集，若有一个 唯一可译码，其平均码长度 L 小于所有其它唯一可 译码的平均码长度，则称该码为紧致码（也称最佳 码）。
释：
• 无失真信源编码核心问题是寻找紧致码；
• 紧致码是平均码长最短的唯一可译码，但紧致码不 一定只有一个。
D[ I ( s )]
信息理论基础
第五章
无失真信源编码
2. 定理：（定长信源编码定理） 对信源熵为H(S) 的离散无记忆信源S的N次扩展信 源进行定长编码，其中码符号集X中有r个码符号， 若码长选取为L，对于 > 0 只要满足
L H (S ) N log r
则当N足够大时，可实现译码错误概率任意小的等 长编码，近似无失真编码。
N N
将η代入得，
2 N 2 H ( S ) (1 )2
D I (si )
限制应用
信息理论基础
第五章
§5.4 变长码
无失真信源编码
引入
1. 变长码无需扩展次数N很大就能实现高效率的无失 真信源编码； 2. 变长码必须是唯一可译码，才能实现无失真编码； 3. 变长码是唯一可译码的充要条件：
信息理论基础
第五章
无失真信源编码
主要内容 §5.1 编码器 §5.2 分组码 §5.3 定长码 §5.4 变长码 §5.5 变长编码方法 — 香农(Shannon)编码 — 霍夫曼(Huffman)编码 — 费诺(Fano)编码
信息理论基础
第五章
无失真信源编码
§5.1 编码器 • 无失真信源编码 将信源产生的全部信息无损地送给信宿，这种 信源编码称无失真信源编码。 • 数学模型 ：
信息理论基础
第五章
(3) 即时码：
无失真信源编码
• 定义：无需考虑后续的码符号，即可以从码符号序 列中译出码字，这样的唯一可译码为即时码。 例如：C={1,10,100,1000}是唯一可译码，但非即时码
C={1,01,001,0001}是唯一可译码，也是即时码
• 码前缀：