信息论与编码基础-香浓三大定理

bit/code
信息论与编码基础
1、信源编码器
d、指标
3) 编码效率
实际编码的信息传输率 η = 最大编码的信息传输率
= H(S) LN log r N
香农三大定理 简介
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)
=
s1
3
4
s2
1
4
H(S) = H(3/4,1/4) = 0.811(bit/sign)
二进代码
10
1110
000
香农三大定理 简介
单词间隔 ——————
000000
{A,B,…,Z}
信源编码器I
二进符号
信源编码器II
码符号集{点/划/字母间隔/单词间隔}
码符号集{0，1}
信息论与编码基础
1、信源编码器 b、举例
3）中文电报信源编码器
“中”
“0022”
香农三大定理 简介
“01101 01101 11001 11001”
信息论与编码基础
1、信源编码器
c、分类
香农三大定理 简介
等长码 中文电报
有失真编码 I(S;C) < H(S)
变长码 莫尔斯电码 无失真编码 I(S;C) = H(S)
惟一可译码
若某一种码的任意一串有限长的符号序列只能
非惟一可译码 被惟一地译成所对应的信源符号。
信息论与编码基础
香农三大定理 简介
6 b = {0012424251243666750136666}
7
7
信息论与编码基础
一、香农第一定理
香农三大定理 简介
二、香农第二定理 有效性 可靠性 矛X盾
三、香农第三定理
信息论与编码基础
香农三大定理 简介
1、错误概率
p = 0.01
误码率
a1=0 p(a1) = ω
1-p p
b1=0
误字率
H (S) + 1 > LN ≥ H (S) log r N N log r
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
且当 N
→
∞
时有：lim N →∞
LN N
=
H(S) log r
=
H
r
(
S
)
表述二：若R′>H(S)，就存在惟一可译变长编码；若R′<H(S)， 惟一可译变长编码不存在，不能实现无失真编码。其中 R'= LN log r
N=2 L2 = 1.688 (code/2-sign)
R2
=
H (S ) L2 / 2
=
0.961
(bit/code)
η2
=
L2
H (S ) / 2 ⋅ log 2
=
0.961
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)
=
s1
3
4
s2
1
4
随着N的增加，平均码长减小，有效性逐步提高；
信息论与编码基础
一、香农第一定理
香农三大定理 简介
二、香农第二定理
三、香农第三定理
信息论与编码基础
一、香农第一定理 二、香农第二定理 三、香农第三定理
香农三大定理 简介
信息论与编码基础
1、信源编码器 a、模型
香农三大定理 简介
S : s ∈{a1,..., aq} 编码器
C : c ∈{W1,...,Wq} 码字
当N趋H(于S) 无= H穷(3时/4,，1/4平) =均0.8码11长(bi可t/s以ign无) 限制地减小吗？
N=3
R3
=
H (S) L3 / 3
=
0.985
(bit/code)
N=4 R4 = 0.991(bit/code)
η3
=
L3
H (S) / 3⋅ log
2
=
0.985
η4 = 0.991
Wi = {xi1 , xi2 ..., xili }
码长
X : x ∈{x1,..., xr} 码符号
单符号信源无失真编码器
信息论与编码基础
1、信源编码器 a、模型
香农三大定理 简介
S N = (S1,..., SN )
Si ∈{a1,..., aq} i = 1, 2,..., N
编码器
Wi = {xi1 , xi2 ..., xili } i = 1, 2,..., qN
1、信源编码器
d、指标
1) 平均码长
q
∑ L = P(si )li
i =1
∑ LN
=
qN
r P(si
)λi
i =1
code/sign code/N-sign
信息论与编码基础
1、信源编码器
d、指标
2) 编码后的信息传输率
R = H(S) / L
香农三大定理 简介
bit/code
RN
=
H (S ) LN / N
3）香农第一定理仅是一个存在性定理，没有给出更有效的信源 编码的实现方法。
信息论与编码基础
香农三大定理 简介
总结：
信源编码器模型
性能指标 平均码长、信息传输率、编码效率
香农第一定理（无失真信源编码定理）
0
Y源自文库 1
2
0
1
Yt+1
2
3
3
4
4
5 a(t)={1010010110000011001110151}
N=1 L1 = 1 (code/sign)
R1
=
H (S ) L1
=
0.811
(bit/code)
η1
=
H (S ) L1 ⋅ log 2
=
0.811
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)
=
s1
3
4
s2
1
4
H(S) = H(3/4,1/4) = 0.811(bit/sign) {0,10,110,111}
N
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
说明：
1）通过对扩展信源进行可变长编码，可以使平均码长无限趋近 于极限熵值，但这是以编码复杂性为代价的。
2）无失真信源编码的实质：对离散信源进行适当的变换，使变换 后新的符号序列信源尽可能为等概率分布，从而使新信源的每个码 符号平均所含的信息量达到最大。
错误概率与那些因素相关？
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
定理4.1 设S N = {α1,α2 ,...,αqN }为q元离散无记忆信源S的N次扩展 信源，若对 S N进行编码，码符号集{x1, x2 ,..., xr} = X ，则总可以找 到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均 编码长度满足：
X : x ∈{x1,..., xr}
N次扩展信源无失真编码器
信息论与编码基础
1、信源编码器 b、举例
1）ASCII信源编码器
香农三大定理 简介
{英文字母/符号/命令}
二进代码
ASCII编码器
码符号集{0，1}
信息论与编码基础
1、信源编码器
b符、b号、举举例例点 划
字母间隔
2电）2平）摩摩尔+尔斯—斯信电源+ 码+编+ 码— 器 — — —