香农定理深度详解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
码符号集{0，1}
信息论与编码基础
1、信源编码器 、 符号 点 划 b、举例 b、举例
二进代码 字母间隔 ——— 000
香农三大定理 简介
单词间隔 —————— 000000
2 2）摩尔斯信源编码器
10 1110
+— +++ 电平 2）摩尔斯电码—
{A,B,…,Z}
二进符号
信源编码器I 信源编码器
香农三大定理 简介
H(S) = H(3/4,1/4) = 0.811(bit/sign)
N=1
L1 = 1 (code/sign) H (S ) R1 = = 0.811 (bit/code) L1 H (S ) η1 = = 0.811 L1 ⋅ log 2
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
P(C * | R) ≥ P(C ′ | R)
P(C * ) P( R | C * ) P(C ′) P( R | C ′) ≥ P( R) P( R)
C′ ≠ C *
信息论与编码基础
2、常用判决准则 、
香农三大定理 简介
a、MAP准则（Maximum a Posteriori）
P( R | C * ) P(C ′) Λ= ≥ P( R | C ′) P(C * )
1、信源编码器 、
d、指标
3) 编码效率
实际编码的信息传输率 η= 最大编码的信息传输率
香农三大定理 简介
H (S ) = LN log r N
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
s1 S P( s) = 3 4 s2 1 4
LN log r N
信息论与编码基础
说明： 说明：
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
1）通过对扩展信源进行可变长编码，可以使平均码长无限趋近 通过对扩展信源进行可变长编码， 于极限熵值，但这是以编码复杂性为代价的。 于极限熵值，但这是以编码复杂性为代价的。 2）无失真信源编码的实质：对离散信源进行适当的变换，使变换 无失真信源编码的实质：对离散信源进行适当的变换， 后新的符号序列信源尽可能为等概率分布， 后新的符号序列信源尽可能为等概率分布，从而使新信源的每个码 符号平均所含的信息量达到最大。 符号平均所含的信息量达到最大。 3）香农第一定理仅是一个存在性定理，没有给出更有效的信源 香农第一定理仅是一个存在性定理， 编码的实现方法。 编码的实现方法。
似然比
b、ML准则（Maximum Likelihood）
若输入符号等概时 P (C ) =
1 r P( R | C * ) ≥ P( R | C ′)
信息论与编码基础
例1 重复编码 (n,1)
α1 = 000
香农三大定理 简介
α 2 = 111
BSC的三次 BSC的三次 扩展信道
000 = β1 001 = β 2 010 = β3 011 = β 4 100 = β5 101 = β 6 110 = β 7 111 = β8
信息Baidu Nhomakorabea与编码基础
一、香农第一定理
香农三大定理 简介
二、香农第二定理
三、香农第三定理
信息论与编码基础
一、香农第一定理 二、香农第二定理 三、香农第三定理
香农三大定理 简介
信息论与编码基础
1、信源编码器 、 a、模型
S : s ∈ {a1 ,..., aq }
香农三大定理 简介
编码器
C : c ∈ {W1 ,...,Wq }
香农三大定理 简介
I(S;C) < H(S) I(S;C) = H(S)
若某一种码的任意一串有限长的符号序列只能 被惟一地译成所对应的信源符号。 非惟一可译码 被惟一地译成所对应的信源符号。
非惟一可译码
信息论与编码基础
1、信源编码器 、
d、指标
1) 平均码长
香农三大定理 简介
L = ∑ P( si )li
s1 S P( s) = 3 4 s2 1 4
香农三大定理 简介
H(S) = H(3/4,1/4) = 0.811(bit/sign)
{0,10,110,111}
N=2 L2 = 1.688 (code/2-sign) H (S ) R2 = = 0.961 (bit/code) L2 / 2 H (S ) η2 = = 0.961 L2 / 2 ⋅ log 2
PE = 7.8*10-4 ， R = 0.4
信息论与编码基础
例2 （5，2）线性码
00000 00010 01000 10001 01101 01111 00101 11100 10111 10101 11111 00110 11010 11000 10010 01011
香农三大定理 简介
00001 00100 10000 00011 01100 01001 11101 01110 10110 10011 00111 10100 11011 11001 01010 11001
Si ∈ {a1 ,..., aq } i = 1, 2,..., N
X : x ∈ {x1 ,..., xr } i = 1, 2,..., q N
N次扩展信源无失真编码器
信息论与编码基础
1、信源编码器 、 b、举例
1）ASCII信源编码器
香农三大定理 简介
{英文字母/符号/命令}
二进代码
ASCII编码器 编码器
n ( C −ε ) , ε 为任 找到M个码字（代表M个等可能的消息，且 M ≤ 2
n
意小的正数）组成一个码，并存在相应的译码规则，使信道 输出的错误概率任意小。
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ） 表述二：
若在信息传输率R不大于信道容量C（即R≤C），则 存在一种编码，当码长n足够大时，它可以使信道输 出端的错误概率任意小，而信息传输率无限接近C； 如果R>C，则不可能找到一种编码，使输出端错误 概率任意小。
Yt+1
b = {001242425124366675013666}
7
6
信息论与编码基础
一、香农第一定理 二、香农第二定理
香农三大定理 简介
有效性 可靠性 矛盾 X
三、香农第三定理
信息论与编码基础
1、错误概率 、
误码率 误字率
a1=0 p(a1) = ω
香农三大定理 简介
p = 0.01 1-p p
序列无限长是可靠传输的必要条件。 序列无限长是可靠传输的必要条件。 4、香农进一步证明：R=C时，任意小的差错概率也是可以达 、香农进一步证明： 时 到的。 到的。 1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点， 定理纠正了人们传统固有的可靠性和有效性矛盾的观点， AWGN 为信道编码理论和技术的研究指明了方向。 为信道编码理论和技术的研究指明了方向。
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
香农三大定理 简介
s1 s2 S = 3 1 P( s) 4 4 随着N的增加 平均码长减小，有效性逐步提高； 的增加， 随着 的增加，平均码长减小，有效性逐步提高； H(S) = H(3/4,1/4) 趋于无穷时， = 0.811(bit/sign) 当N趋于无穷时，平均码长可以无限制地减小吗？ 趋于无穷时 平均码长可以无限制地减小吗？ N=3 N=4 H (S ) R3 = = 0.985 (bit/code) R4 = 0.991 (bit/code) L3 / 3 H (S ) η3 = = 0.985 η4 = 0.991 L3 / 3 ⋅ log 2
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
设 S N = {α1 , α 2 ,..., α q N } 定理4.1 定理 为q元离散无记忆信源S的N次扩展 信源，若对 S N 进行编码，码符号集{x1 , x2 ,..., xr } = X ，则总可以找 到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均 编码长度满足：
PE ≈10-5 PE ≈4×10-7 × PE ≈10-8
R = logM/5 R = logM/7 R = logM/9
矛盾
有效性减小
信息论与编码基础
例2 （5，2）线性码
香农三大定理 简介
α i = (ai , ai , ai , ai , ai )
1 2 3 4 5
ai3 = ai1 ⊕ ai2 ai4 = ai1 ai5 = ai1 ⊕ ai2
−4
PE = p + C pp = 3 × 10 < p = 0.01
3 1 3 2
信息论与编码基础
例1 重复编码 (n,1)
3 1 3 2 −4
香农三大定理 简介
PE = p + C pp ≈ 3 × 10 < p = 0.01
R = logM/n bit/code
n=5 n=7 n=9
可靠性增强
Wi = {xi1 , xi2 ..., xili }
码字 码长
X : x ∈ {x1 ,..., xr }
码符号
单符号信源无失真编码器
信息论与编码基础
1、信源编码器 、 a、模型
S N = ( S1 ,..., S N )
香农三大定理 简介
Wi = {xi1 , xi2 ..., xili }
编码器
H ( S ) 1 LN H ( S ) + > ≥ log r N N log r
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
LN H ( S ) 且当 N → ∞ 时有： = H r (S) lim =
N →∞
N
log r
表述二：若R′>H(S)，就存在惟一可译变长编码；若R′<H(S)， 表述二 惟一可译变长编码不存在，不能实现无失真编码。其中 R' =
b1=0
错误概率与那些因素相关？ 错误概率与那些因素相关？
a2=1 p(a2) = 1-ω
p
b2=1
1-p
PE = P(a1)P(b2|a1)+P(a2)P(b1|a2) = ωp + (1-ω)p = 0.01
信息论与编码基础
2、常用判决准则 、
香农三大定理 简介
a、MAP准则（Maximum a Posteriori） 对于所有的 C ′
i =1
q
code/sign
r LN = ∑ P( si )λi
i =1
qN
code/N-sign
信息论与编码基础
1、信源编码器 、
d、指标
2) 编码后的信息传输率
香农三大定理 简介
R = H (S ) / L
bit/code bit/code
H (S ) RN = LN / N
信息论与编码基础
信息论与编码基础
总结： 总结：
信源编码器模型
香农三大定理 简介
性能指标 平均码长、信息传输率、 平均码长、信息传输率、编码效率 香农第一定理（无失真信源编码定理） 香农第一定理（无失真信源编码定理）
0
0 1 2 3 4 5 a(t)={101001011000001100111011}
Yt
1 2 3 4 5 6 7
码符号集{点/划/字母间隔/单词间隔}
信源编码器II 信源编码器
码符号集{0，1}
信息论与编码基础
1、信源编码器 、 b、举例
3 3）中文电报信源编码器 “中”
“0022”
香农三大定理 简介
“01101 01101 11001 11001”
信息论与编码基础
1、信源编码器 、
c、分类
等长码 中文电报 变长码 莫尔斯电码 惟一可译码 有失真编码 无失真编码
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ） 说明： 说明：
1)Turbo码：1/2码率，BPSK，65536随机交织， 码 码率， 随机交织， 码率 ， 随机交织 证明基本条件： ） 证明基本条件：1）随机编码 2、定理仅指出编码的存在性，未给出编码的具体方法。 定理仅指出编码的存在性）码长→∞ E，未给出编码的具体方法。 18次迭代，Pe=10-5, 2）码长→ 次迭代， 次迭代 b/N0 = 0.7dB 2)非规则 非规则LDPC码：3）最大似然译码 = 码率， 非规则 码 N） 107, 1/2码率， 码率 3、定理指出：R<C是可靠传输的必要条件，但并未指出编码 是可靠传输的必要条件， 、定理指出： Pe=10-5, Eb/N0是可靠传输的必要条件 = 0.0045dB
00000
01101
00000 01101 10111 11010
信道
10111 11010
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ）
定理4.2 设某离散无记忆信道有r个输入符号，s个输出符号 定理 信道容量为C。只要码长n足够长，总可以在输入的 r 个符号集中
信息论与编码基础
1、信源编码器 、 符号 点 划 b、举例 b、举例
二进代码 字母间隔 ——— 000
香农三大定理 简介
单词间隔 —————— 000000
2 2）摩尔斯信源编码器
10 1110
+— +++ 电平 2）摩尔斯电码—
{A,B,…,Z}
二进符号
信源编码器I 信源编码器
香农三大定理 简介
H(S) = H(3/4,1/4) = 0.811(bit/sign)
N=1
L1 = 1 (code/sign) H (S ) R1 = = 0.811 (bit/code) L1 H (S ) η1 = = 0.811 L1 ⋅ log 2
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
P(C * | R) ≥ P(C ′ | R)
P(C * ) P( R | C * ) P(C ′) P( R | C ′) ≥ P( R) P( R)
C′ ≠ C *
信息论与编码基础
2、常用判决准则 、
香农三大定理 简介
a、MAP准则（Maximum a Posteriori）
P( R | C * ) P(C ′) Λ= ≥ P( R | C ′) P(C * )
1、信源编码器 、
d、指标
3) 编码效率
实际编码的信息传输率 η= 最大编码的信息传输率
香农三大定理 简介
H (S ) = LN log r N
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
s1 S P( s) = 3 4 s2 1 4
LN log r N
信息论与编码基础
说明： 说明：
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
1）通过对扩展信源进行可变长编码，可以使平均码长无限趋近 通过对扩展信源进行可变长编码， 于极限熵值，但这是以编码复杂性为代价的。 于极限熵值，但这是以编码复杂性为代价的。 2）无失真信源编码的实质：对离散信源进行适当的变换，使变换 无失真信源编码的实质：对离散信源进行适当的变换， 后新的符号序列信源尽可能为等概率分布， 后新的符号序列信源尽可能为等概率分布，从而使新信源的每个码 符号平均所含的信息量达到最大。 符号平均所含的信息量达到最大。 3）香农第一定理仅是一个存在性定理，没有给出更有效的信源 香农第一定理仅是一个存在性定理， 编码的实现方法。 编码的实现方法。
似然比
b、ML准则（Maximum Likelihood）
若输入符号等概时 P (C ) =
1 r P( R | C * ) ≥ P( R | C ′)
信息论与编码基础
例1 重复编码 (n,1)
α1 = 000
香农三大定理 简介
α 2 = 111
BSC的三次 BSC的三次 扩展信道
000 = β1 001 = β 2 010 = β3 011 = β 4 100 = β5 101 = β 6 110 = β 7 111 = β8
信息Baidu Nhomakorabea与编码基础
一、香农第一定理
香农三大定理 简介
二、香农第二定理
三、香农第三定理
信息论与编码基础
一、香农第一定理 二、香农第二定理 三、香农第三定理
香农三大定理 简介
信息论与编码基础
1、信源编码器 、 a、模型
S : s ∈ {a1 ,..., aq }
香农三大定理 简介
编码器
C : c ∈ {W1 ,...,Wq }
香农三大定理 简介
I(S;C) < H(S) I(S;C) = H(S)
若某一种码的任意一串有限长的符号序列只能 被惟一地译成所对应的信源符号。 非惟一可译码 被惟一地译成所对应的信源符号。
非惟一可译码
信息论与编码基础
1、信源编码器 、
d、指标
1) 平均码长
香农三大定理 简介
L = ∑ P( si )li
s1 S P( s) = 3 4 s2 1 4
香农三大定理 简介
H(S) = H(3/4,1/4) = 0.811(bit/sign)
{0,10,110,111}
N=2 L2 = 1.688 (code/2-sign) H (S ) R2 = = 0.961 (bit/code) L2 / 2 H (S ) η2 = = 0.961 L2 / 2 ⋅ log 2
PE = 7.8*10-4 ， R = 0.4
信息论与编码基础
例2 （5，2）线性码
00000 00010 01000 10001 01101 01111 00101 11100 10111 10101 11111 00110 11010 11000 10010 01011
香农三大定理 简介
00001 00100 10000 00011 01100 01001 11101 01110 10110 10011 00111 10100 11011 11001 01010 11001
Si ∈ {a1 ,..., aq } i = 1, 2,..., N
X : x ∈ {x1 ,..., xr } i = 1, 2,..., q N
N次扩展信源无失真编码器
信息论与编码基础
1、信源编码器 、 b、举例
1）ASCII信源编码器
香农三大定理 简介
{英文字母/符号/命令}
二进代码
ASCII编码器 编码器
n ( C −ε ) , ε 为任 找到M个码字（代表M个等可能的消息，且 M ≤ 2
n
意小的正数）组成一个码，并存在相应的译码规则，使信道 输出的错误概率任意小。
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ） 表述二：
若在信息传输率R不大于信道容量C（即R≤C），则 存在一种编码，当码长n足够大时，它可以使信道输 出端的错误概率任意小，而信息传输率无限接近C； 如果R>C，则不可能找到一种编码，使输出端错误 概率任意小。
Yt+1
b = {001242425124366675013666}
7
6
信息论与编码基础
一、香农第一定理 二、香农第二定理
香农三大定理 简介
有效性 可靠性 矛盾 X
三、香农第三定理
信息论与编码基础
1、错误概率 、
误码率 误字率
a1=0 p(a1) = ω
香农三大定理 简介
p = 0.01 1-p p
序列无限长是可靠传输的必要条件。 序列无限长是可靠传输的必要条件。 4、香农进一步证明：R=C时，任意小的差错概率也是可以达 、香农进一步证明： 时 到的。 到的。 1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点， 定理纠正了人们传统固有的可靠性和有效性矛盾的观点， AWGN 为信道编码理论和技术的研究指明了方向。 为信道编码理论和技术的研究指明了方向。
信息论与编码基础
例：二元DMS进行无失真编码 二元 进行无失真编码
香农三大定理 简介
s1 s2 S = 3 1 P( s) 4 4 随着N的增加 平均码长减小，有效性逐步提高； 的增加， 随着 的增加，平均码长减小，有效性逐步提高； H(S) = H(3/4,1/4) 趋于无穷时， = 0.811(bit/sign) 当N趋于无穷时，平均码长可以无限制地减小吗？ 趋于无穷时 平均码长可以无限制地减小吗？ N=3 N=4 H (S ) R3 = = 0.985 (bit/code) R4 = 0.991 (bit/code) L3 / 3 H (S ) η3 = = 0.985 η4 = 0.991 L3 / 3 ⋅ log 2
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
设 S N = {α1 , α 2 ,..., α q N } 定理4.1 定理 为q元离散无记忆信源S的N次扩展 信源，若对 S N 进行编码，码符号集{x1 , x2 ,..., xr } = X ，则总可以找 到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均 编码长度满足：
PE ≈10-5 PE ≈4×10-7 × PE ≈10-8
R = logM/5 R = logM/7 R = logM/9
矛盾
有效性减小
信息论与编码基础
例2 （5，2）线性码
香农三大定理 简介
α i = (ai , ai , ai , ai , ai )
1 2 3 4 5
ai3 = ai1 ⊕ ai2 ai4 = ai1 ai5 = ai1 ⊕ ai2
−4
PE = p + C pp = 3 × 10 < p = 0.01
3 1 3 2
信息论与编码基础
例1 重复编码 (n,1)
3 1 3 2 −4
香农三大定理 简介
PE = p + C pp ≈ 3 × 10 < p = 0.01
R = logM/n bit/code
n=5 n=7 n=9
可靠性增强
Wi = {xi1 , xi2 ..., xili }
码字 码长
X : x ∈ {x1 ,..., xr }
码符号
单符号信源无失真编码器
信息论与编码基础
1、信源编码器 、 a、模型
S N = ( S1 ,..., S N )
香农三大定理 简介
Wi = {xi1 , xi2 ..., xili }
编码器
H ( S ) 1 LN H ( S ) + > ≥ log r N N log r
信息论与编码基础
香农三大定理 简介
2、香农第一定理（可变长无失真信源编码定理） 、香农第一定理（ ）
LN H ( S ) 且当 N → ∞ 时有： = H r (S) lim =
N →∞
N
log r
表述二：若R′>H(S)，就存在惟一可译变长编码；若R′<H(S)， 表述二 惟一可译变长编码不存在，不能实现无失真编码。其中 R' =
b1=0
错误概率与那些因素相关？ 错误概率与那些因素相关？
a2=1 p(a2) = 1-ω
p
b2=1
1-p
PE = P(a1)P(b2|a1)+P(a2)P(b1|a2) = ωp + (1-ω)p = 0.01
信息论与编码基础
2、常用判决准则 、
香农三大定理 简介
a、MAP准则（Maximum a Posteriori） 对于所有的 C ′
i =1
q
code/sign
r LN = ∑ P( si )λi
i =1
qN
code/N-sign
信息论与编码基础
1、信源编码器 、
d、指标
2) 编码后的信息传输率
香农三大定理 简介
R = H (S ) / L
bit/code bit/code
H (S ) RN = LN / N
信息论与编码基础
信息论与编码基础
总结： 总结：
信源编码器模型
香农三大定理 简介
性能指标 平均码长、信息传输率、 平均码长、信息传输率、编码效率 香农第一定理（无失真信源编码定理） 香农第一定理（无失真信源编码定理）
0
0 1 2 3 4 5 a(t)={101001011000001100111011}
Yt
1 2 3 4 5 6 7
码符号集{点/划/字母间隔/单词间隔}
信源编码器II 信源编码器
码符号集{0，1}
信息论与编码基础
1、信源编码器 、 b、举例
3 3）中文电报信源编码器 “中”
“0022”
香农三大定理 简介
“01101 01101 11001 11001”
信息论与编码基础
1、信源编码器 、
c、分类
等长码 中文电报 变长码 莫尔斯电码 惟一可译码 有失真编码 无失真编码
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ） 说明： 说明：
1)Turbo码：1/2码率，BPSK，65536随机交织， 码 码率， 随机交织， 码率 ， 随机交织 证明基本条件： ） 证明基本条件：1）随机编码 2、定理仅指出编码的存在性，未给出编码的具体方法。 定理仅指出编码的存在性）码长→∞ E，未给出编码的具体方法。 18次迭代，Pe=10-5, 2）码长→ 次迭代， 次迭代 b/N0 = 0.7dB 2)非规则 非规则LDPC码：3）最大似然译码 = 码率， 非规则 码 N） 107, 1/2码率， 码率 3、定理指出：R<C是可靠传输的必要条件，但并未指出编码 是可靠传输的必要条件， 、定理指出： Pe=10-5, Eb/N0是可靠传输的必要条件 = 0.0045dB
00000
01101
00000 01101 10111 11010
信道
10111 11010
信息论与编码基础
香农三大定理 简介
3、香农第二定理（有噪信道编码定理） 、香农第二定理（ ）
定理4.2 设某离散无记忆信道有r个输入符号，s个输出符号 定理 信道容量为C。只要码长n足够长，总可以在输入的 r 个符号集中