香农三大定理

s1

3
4
s2
1

4
H(S) = H(3/4,1/4) = 0.811(bit/sign) {0,10,110,111}
N=2 L2 1.688 (code/2-sign)
R2

H (S) L2 / 2

0.961
(bit/code)
2

L2
H (S ) / 2 log 2
N=3
R3

H (S ) L3 / 3

0.985
(bit/code)
N=4 R4 0.991(bit/code)
3

L3
H (S ) / 3 log
2

0.985
4 0.991
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
定理4.1 设S N {1,2,...,qN }为q元离散无记忆信源S的N次扩展
Wi {xi1 , xi2 ..., xili }
码长
X : x {x1,..., xr} 码符号
单符号信源无失真编码器
信息论与编码基础
1、信源编码器 a、模型
香农三大定理 简介
S N (S1,..., SN )
Si {a1,..., aq} i 1, 2,..., N
编码器
Wi {xi1 , xi2 ..., xili } i 1, 2,..., qN
bit/code
信息论与编码基础
1、信源编码器
d、指标
3) 编码效率
实际编码的信息传输率
最大编码的信息传输率
H(S) LN log r N
香农三大定理 简介Байду номын сангаас
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)

s1

3
4
s2
1

且当 N
时有：lim N
LN N

H(S) log r H r (S )
表述二：若R>H(S)，就存在惟一可译变长编码；若R<H(S)， 惟一可译变长编码不存在，不能实现无失真编码。其中 R' LN log r
N
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
X : x {x1,..., xr}
N次扩展信源无失真编码器
信息论与编码基础
1、信源编码器 b、举例
1）ASCII信源编码器
香农三大定理 简介
{英文字母/符号/命令}
二进代码
ASCII编码器
码符号集{0，1}
信息论与编码基础
1、信源编码器
b符、b号、举举例例点 划
字母间隔
2电）2平）摩摩尔+尔斯—斯信电源+ +码编+ —码器 — — —
7
7
信息论与编码基础
一、香农第一定理
香农三大定理 简介
二、香农第二定理 有效性 可靠性 矛X盾
三、香农第三定理
信息论与编码基础
香农三大定理 简介
1、错误概率
p = 0.01
误码率
a1=0 p(a1) = ω
1-p p
b1=0
误字率
错误概率与那些因素相关？
a2=1 p(a2) = 1-ω
p
b2=1
信息论与编码基础
香农三大定理 简介
1、失真度与信息率失真函数
b、失真测度
1）单符号失真测度 d (u, v) 设u U,v V
定义失真矩阵 d (u1, v1) ... d (u1, vs ) d d (u2, v1) ... d (u2, vs ) . ... . d (ur , v1) ... d (ur , vs ) d (ui , v j ) 0
信息论与编码基础
1、信源编码器
c、分类
香农三大定理 简介
等长码 中文电报
有失真编码 I(S;C) < H(S)
变长码 莫尔斯电码 无失真编码 I(S;C) = H(S)
惟一可译码
若某一种码的任意一串有限长的符号序列只能
非惟一可译码 被惟一地译成所对应的信源符号。
信息论与编码基础
1、信源编码器
d、指标
说明：
1）通过对扩展信源进行可变长编码，可以使平均码长无限趋近 于极限熵值，但这是以编码复杂性为代价的。
2）无失真信源编码的实质：对离散信源进行适当的变换，使变换 后新的符号序列信源尽可能为等概率分布，从而使新信源的每个码 符号平均所含的信息量达到最大。
3）香农第一定理仅是一个存在性定理，没有给出更有效的信源 编码的实现方法。
1-p
PE = P(a1)P(b2|a1)+P(a2)P(b1|a2) = ωp + (1-ω)p = 0.01
信息论与编码基础
香农三大定理 简介
2、常用判决准则
a、MAP准则（Maximum a Posteriori）
对于所有的 C
P(C* | R) P(C | R)
C C*
P(C*)P(R | C*) P(C)P(R | C)
香农三大定理 简介
不大于一定编码速率的条件下，使平均失真限 制到最小；
在平均失真不大于某个值的条件下，使编码 速率限制到最小
信息率失真理论
信息论与编码基础
香农三大定理 简介
1、失真度与信息率失真函数
a、系统模型
U
V
信源
信源编码器 无噪信道 信源编码器
信宿
试验信道
U符号集A {u1,..., ur} V符号集B {v1,..., vs}
信息论与编码基础
香农三大定理 简介
总结：
信源编码器模型
性能指标 平均码长、信息传输率、编码效率
香农第一定理（无失真信源编码定理）
0
0
Yt 1
1
Yt+1
2
2
3
3
4
4
5 a(t)={1010010110000011001110151}
6 b = {0012424251243666750136666}

0.961
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)

s1

3
4
s2
1

4
随着N的增加，平均码长减小，有效性逐步提高；
当N趋H(于S)无= H穷(3时/4,，1/4平) =均0.码811长(b可it/s以ign无) 限制地减小吗？
信源，若对 S N进行编码，码符号集{x1, x2,..., xr} X ，则总可以找 到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均 编码长度满足：
H (S) 1 LN H (S) log r N N log r
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理）
香农三大定理 简介
1) 平均码长
q
L P(si )li
i 1
LN

qN
r P(si
)i
i1
code/sign code/N-sign
信息论与编码基础
1、信源编码器
d、指标
2) 编码后的信息传输率
R H(S) / L
香农三大定理 简介
bit/code
RN

H (S ) LN / N
概率任意小。
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 说明：
1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点，
为信A道W编G码N理论和技术的研究指明了方向。 1)Tu证rb明o基码本：条1/2件码：率1，）B随PS机K编，码65536随机交织，
2、定18理次仅迭指代出，编码Pe的=1存0在-5,性2E），b/N未码0给长=出→0.编7∞d码B的具体方法。 2)非规则LDPC码：3N）=最10大7, 似1/2然码译率码，
3序、列定P无e理=限指1长0出-5是,：E可Rb靠/<NC传0是=输可0的靠.0必0传4要输5条d的B件必。要条件，但并未指出编码
4、香农进一步证明：R=C时，任意小的差错概率也是可以达 到的。
信息论与编码基础
一、香农第一定理 二、香农第二定理 三、香农第三定理
香农三大定理 简介
信息论与编码基础
香农三大定理 简介
1、失真度与信息率失真函数
b、失真测度
2)序列失真测度
设序列 (x1,..., xN ), xi U , ( y1,..., yN ), y j V 定义序列失真测度为
dN (x, y)
1 N
N
d (xi , yi )
i 1
信息论与编码基础
香农三大定理 简介
00000 01101
10110 10011 00111 10100
11011 11001 01010 11001
10111 11010
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理）
定理4.2 设某离散无记忆信道有r个输入符号，s个输出符号
信道容量为C。只要码长n足够长，总可以在输入的 r n个符号集中
找到M个码字（代表M个等可能的消息，且 M 2n(C ) , 为任
意小的正数）组成一个码，并存在相应的译码规则，使信道
输出的错误概率任意小。
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理）
表述二：
若在信息传输率R不大于信道容量C（即R≤C），则 存在一种编码，当码长n足够大时，它可以使信道输 出端的错误概率任意小，而信息传输率无限接近C； 如果R>C，则不可能找到一种编码，使输出端错误
信息论与编码基础
香农三大定理 简介
1、失真度与信息率失真函数
b、失真测度
如果规定
d
(ui
,
v
j
)

0, ui 1, ui

vj vj
，那么失真矩阵为
0 1 ... 1 d 1 0 ... 1
. . . . 1 1 ... 0
N=3时，失真度如图
U
V
信息论与编码基础
00000 01101 10111 11010
信道
00000 00010 01000 10001
01101 01111 00101 11100
10111 10101 11111 00110
11010 11000 10010 01011
香农三大定理 简介
00001 00100 10000 00011
01100 01001 11101 01110
4
H(S) = H(3/4,1/4) = 0.811(bit/sign)
N=1 L1 1 (code/sign)
R1

H (S) L1

0.811
(bit/code)
1

H (S ) L1 log 2

0.811
信息论与编码基础
香农三大定理 简介
例：二元DMS进行无失真编码
S P( s)
信息论与编码基础
香农三大定理 简介
例1 重复编码 (n,1)
PE p3 C31 pp2 3104 p 0.01
R = logM/n bit/code
n=5 PE ≈10-5 n=7 PE ≈4×10-7
R = logM/5 R = logM/7
n=9 PE ≈10-8
R = logM/9
可靠性增强
矛盾
有效性减小
信息论与编码基础
香农三大定理 简介
例2 （5，2）线性码
i (ai1 , ai2 , ai3 , ai4 , ai5 )
ai3 ai1 ai2 ai4 ai1 ai5 ai1 ai2
PE = 7.8*10-4 ， R = 0.4
信息论与编码基础
例2 （5，2）线性码
信息论与编码基础
一、香农第一定理 二、香农第二定理
三、香农第三定理
香农三大定理 简介
信息论与编码基础
一、香农第一定理 二、香农第二定理 三、香农第三定理
香农三大定理 简介
信息论与编码基础
1、信源编码器 a、模型
香农三大定理 简介
S : s {a1,..., aq} 编码器
C : c {W1,...,Wq} 码字
信息论与编码基础
香农三大定理 简介
例1 重复编码 (n,1)
1 000 2 111
BSC的三次 扩展信道
000 1 001 2 010 3 011 4 100 5 101 6 110 7 111 8
PE p3 C31 pp2 3104 p 0.01
二进代码
10
1110
000
香农三大定理 简介
单词间隔 ——————
000000
{A,B,…,Z}
信源编码器I
二进符号
信源编码器II
码符号集{点/划/字母间隔/单词间隔}
码符号集{0，1}
信息论与编码基础
1、信源编码器 b、举例
3）中文电报信源编码器
“中”
“0022”
香农三大定理 简介
“01101 01101 11001 11001”

P(R)
P(R)
信息论与编码基础
香农三大定理 简介
2、常用判决准则
a、MAP准则（Maximum a Posteriori）
P(R | C*) P(C) P(R | C) P(C*)
似然比
b、ML准则（Maximum Likelihood）
若输入符号等概时 P(C) 1 r
P(R | C*) P(R | C)