信息论-第五章PPT课件
信息论基础与应用-李梅-第五章 无失真信源编码解析
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
5--第5章信息论课件共47页PPT资料
信 源 编
码字：码符号序列Y=(Y1Y2…Yk…Yki)称为码字。
码长/码字长度： ki称为码字长度或简称码长。
码
编码就是从信源符号到码符号的一种映射。若
要实现无失真编码，这种映射必须是一一对应的，
可逆的。
2020/1/4
14
信息论与 编码
编码的定义
西北大学信息学院
一些码的定义
二元码：码符号集为X={0,1}，所得码字都是一些二元序
西北大学信息学院
第5章
信源编码
2020/1/4
信息论与编码
1
信息论与
编码 CONTENT
西北大学信息学院
第
TEXT
TEXT
五
章
信 源
5.1
5.2
编 编码概念 等长码与
码
等长信源
编码定理
TEXT
TEXT
5.3 变长码
5.4 变长信源 编码定理
2020/1/4
2
信息论与 编码
第 五 章 信 源 编 码
但不能低于符号熵;
第 五
达到这目标的途径就是使概率与码长匹配。
章 统计匹配编码：
信 根据信源的不同概率分布而选用与之匹配的编码,以
源 编
达到在系统中传信速率最小。
码
2020/1/4
12
信息论与
编码 无失真信源编码器
信源
码字
第 五
S:{s1, s2,…, sq}
章
信源编码器
C:{w1, w2,…, wq}
2020/1/4
5
信息论与 编码
(2) 信源编码的概念
西北大学信息学院
第 信源编码定义：指定能够满足信道特性/适合于信道传
信息论与编码第五章部分PPT课件
符号概率
pi
0.100(1/2)
符号累积概率
Pr
0.000(0)
b 0.010(1/4) 0.100(1/2)
c 0.001(1/8) 0.110(3/4)
d 0.001(1/8) 0.111(7/8)
译码
C(abda)=0.010111<0.1[0,0.1] 第一个符号为a 放大至[0,1](×pa-1)：
可以纠正一位错码 dmin=3
可以纠正一位错码
可纠正一位错码同时 检出二位错码dmin=4
定理（1）能检出e个错码的条件是d0>=e+1;
（2）能纠正t个错码的条件是t=INT[(dmin-1)/2];
（3）能纠正t个错码，同时检出e个错码的条件是d0>=e+t+1。
刚才的发言，如 有不当之处请多指
正。谢谢大家！
2021/3/9
28
信源消息
符号ai
a1 a2 a3 a4 a5 a6 a7
符号概
率(ai)
0.20 0.19 0.18 0.17 0.15 0.10 0.01
累加概 -log p(ai)
率Pi
0 0.2 0.39 0.57 0.74 0.89 0.99
2.32 2.39 2.47 2.56 2.74 3.32 6.64
C ( ) 0, A( ) 1
C ( Sr
A
(
Sr
) )
C (S A(S
) )
pi
A(S
) Pr
L log 1 A(S )
C() 0, A() 1
C(Sr) A(Sr)
C(S) A(S)pi
A(S)Pr
信息论第五讲优秀课件
07.10.2020
2
I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)
H ( Z ) H ( Z /Y ) E lo p ( 1 z ) g E lo p ( z 1 /g y ) E lo p ( p z ( / z ) g y )
I(X ;Z ) I(X ,Y ;Z ) E lo p ( p z (g z /) x ) E lo p (z p g / (z x ) ,y ) Elogpp(z(z//x,xy))
x y z p(x,y,z)lopg p (z(z//x,xy ))
lo xg y z p(x,y,z)pp (z(z//x,xy ))
这是山农信息理论对通信系统模型的一个基本假设。
U
信源
X
编码器
Y
信道
译码器 V
07.10.2020
10
U
X
Y
V
信源
编码器
信道
译码器
这是山农信息理论对通信系统模型的一个基本假设。 根据数据处理定理可以得到：
I(X;V)I(X;Y) I(U;V)I(U;Y) I(U;V)I(X;V)
I(U;V)I(X;Y)
2) 解决的方法是假设其为离散平稳随机序列信源，
极限熵存在，但求解困难；
3) 进一步假设其为m阶Markov信源，其信源熵用极
限熵H m+1近似； 4) 再进一步假设为一阶Markov信源，用其极限熵
H1+1(X2/X1) 来近似； 5) 最简化的信源是离散无记忆信源，
1) 其熵为H(x)=H1 (X); 6) 最后可以假定为等概的离散无记忆信源，
X(X1,X2,...X.n.). V(V1,V2,...V.k.).
《信息论与编码》第5章哈夫曼编码
什么是哈夫曼编码方法
1952年由美国计算机科学家戴维· 哈夫曼先生提出 是一种数据压缩技术 该方法依据字符出现的概率进行编码 ，其基本思想为： 出现概率高的字符使用较短的编码 出现概率低的则使用较长的编码 使编码之后的码字的平均长度最短
哈夫曼编码方法
哈夫曼编码方法包含两个过程
哈夫曼编码方法包含两个过程
编码过程和译码过程
编码过程 译码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼译码 HuffmanDecod（HT，CC，W，&OC）
输入的是哈夫曼树HT、代码报文CC和字符频度表W 输出的是原码报文OC
OC
输出OC 到哈夫曼译码系统之外 返回开头
字母a的编码为110 字母n的编码为111
1
4 n
因此，在电文中出现频率 高的字母的编码相对短， 而出现频率低的字母的编 码相对长
111 字符编码表HC=((d,0),(i,10),(a,110),(n,111))
哈夫曼编码过程演示
编码 A1 A2 A3 0.23 0.21 0.18
1
0 1 0 1 0.10 0
编码过程和译码过程
编码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼编码 HuffmanCoding（HT，&HC）
输入是哈夫曼树HT 输出是字符编码表HC
第五章信源编码——信息论与编码
04:48
5
5.1 编码器及相关概念
为了分析方便和突出问题的重点，当研究信源 编码时，我们把信道编码和译码看成是信道的 一部分，从而突出信源编码。同样，在研究信 道编码时，可以将信源编码和译码看成是信源 和信宿的一部分，从而突出信道编码。
由码符号 xi 组成的输出序列 Wi 称为码字.
其长度 li称为码字长度或码长，全体码字 Wi 的 集合C称为码或码书 .
编码器将信源符号集中的信源符号 s（i 或长为N 的信源符号序列 i）变成由码符号组成的长为 的与信源符号一一对应的输出序列。即 :
si (i 1, 2, , q) Wi (i 1, 2, , q) ( xi1, xi2, , xili ), xij X
p(ai ) }
其中，
LN
p(i )li
为N次扩展信源的平均码长，
i 1
li 为信源符号扩展序列i 的码长.
LN N
为对扩展信源进行编码后，每个信源符号
编码所需的等效的平均码长。
04:48
33
要做到无失真的信源编码，平均每个信源符号 所需最少的r元码元数为信源的熵 Hr (S)。 即 它是无失真信源压缩的极限值。
04:48
3
信源编码的基本途径有两个:
一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码.
二是使编码后各个符号出现的概率尽可能相等， 即均匀化分布----方法主要是统计编码.
04:48
4
信源编码常分为无失真信源编码和限失真信源 编码，前者主要用于文字、数据信源的压缩， 后者主要用于图像、语音信源的压缩。
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
编码后信源的信息传输率 令： R ' l log r
N
l log r H ( S ) N
(编码后，平均每个信源 符号承载的信息量)
R' H ( S )
可见，只有编码后信息传输率 R' H ( S ) ，才能实现无失真编码。
编码效率
H (S ) H (S ) ' l R log r N
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
5、码的N次扩展
信息论与编码 第5章(1)
信源编码
2015-1-13 1
数字通信系统的一般模型
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
2 2015-1-13
信息通过信道传输到信宿的过程即为通信。要做到 既不失真又快速地通信，需要解决两个问题： 在不失真或允许一定失真条件下，如何提高信息 传输速度----这是本章要讨论的信源编码问题.
17 2015-1-13
编码的定义
(2)唯一可译码 非即时码： 如果接收端收到一个完整的码字后不能立即译码,还 需等下一个码字开始接收后才能判断是否可以译码 即时码（非延长码，异前缀码）： 在译码时无需参考后续的码符号就能立即作出判断, 译成对应的信源符号。 任意一个码字都不是其它码字的前缀部分 在延长码中,有的码是唯一可译的,取决于码的总体结 构,如码3, “1,10,100,1000”.
减少冗余，提高编码效率。具体的说，就是针对信源输 出符号序列的统计特性，寻找一定的把信源输出符号序 列变换为最短码字序列的方法。 符号变换：使信源输出符号与信道的输入符号相匹配。
信源编码的基本途径有两个:
一是编码后使序列中的各个符号之间尽可能地互相独立， 即解除相关性----方法包括预测编码和变换编码. 二是使编码后各个符号出现的概率尽可能相等，即均匀 化分布----方法主要是统计编码.
首先观察是否是非奇异码。若是奇异码，肯定不是唯一可 译码 其次，计算是否满足Kraft不等式。若不满足一定不是唯 一可译码； 然后将码画成一棵树图，观察是否满足异前缀码的树图的 构造，若满足则是唯一可译码。 缺点：若是前缀码时，则无法判断是否是唯一可译码。
信息论与编码 第五章
i
i
i
1
2
3
N
1 N 1 ( b1 a 1 )( b 2 a 2 ) ( b N a N ) ( bi a i ) i 1 p(x ) 0
x ( bi a i )
i 1 N
N
x ( bi a i )
i 1
满足以上条件的多维连续信源称为在N维 区域体积中的均匀分布的 N维连续信源 下面计算N维均匀分布连续信源的相对熵 这里对于多维连续信源，其相对熵为：
2 1 2 2
令
h( X 1) h( X )
1 2 1 2
ln 2 e ln 2 e
2 1
2
2 2
他们分别为高斯随机变量各自的相对熵。上式中的 第三项是一个与相关系数有关的量。显然， 可见，对于二维高斯信源而言：
ln 1
2
0
h ( X ) h ( X 1 X 2 ) [ h ( X 1 ) h ( X 2 )]
f (x) 1 2 1 2
d
f ( ) e
j ( x )
d
可改写为
f (x)
{
f ( ) e
j
d }e
j x
d
现令
F ( )
1
f ( )e
j
d
则有
f (x) 2
F ( )e
j x
d
上式所示的F-反变换公式，由频谱函数 F ( )求 得其时间函数 f (t )。 F-变换和反变换是限时、限频 函数的抽样定理的主要数学工具。
信息论基础详细ppt课件
1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。
信息论与编码第五章
ai 101111
j 111100
D( i , j ) 3
再定义，由0，1构成的二进制码C中，任意两个码字的汉明
距离的最小值称为该码C的最小距离，即：
Dmin min{ D(ci , c j )}
ci c j
ci , c j c
c(A) {000,111}
c(B) :{000,011,101,110} c(C) :{000,001,100,010}
左： H ( pE )
pE
log(r
1)
pE
log
1 pE
(1
1 pE ) log 1 pE
pE
log(r 1)
pE
log
r 1 (1 pE
1 pE ) log 1 pE
s r
r 1 s
1
p(aibj ) log
j1 i*
pE
j 1
i *
p(ai
bi
)
log
1
pE
右： H(x |
§5.1 译码规则和平均错误概率
信源符号编码后经信道传输到达信道的输出端并不表 示通信过程的终结，还要经过一个译码过程，或称判决过 程，才能到达消息的终端（信宿），因此，采用什么样的 译码规则，对通信系统的可靠性影响很大。
0 p 1/ 3
0
p
2/3
1
1
p
p(a 0 | b 0) p(a 1| b 1) p 1 3
s j 1
r i*
p(aibj
)
log
r 1 pE
s j 1
i*
p(ai
bi
)
log
1
1 pE
s j 1
信息论讲义-第五章(13讲)
信息理论基础第13讲北京航空航天大学201教研室陈杰21.编码器—信源符号集S =(s 1,s 2, …s q )—码符号集X =(x 1,x 2…x r )—代码组(Source Code ) C =(W 1, W 2,…W q )—码字(Codeword ) W i =(x l1,x l2,…x li )2. 分组码—奇异性(Non-singular )—唯一可译性(Uniquely decodable )—即时码(Instantaneous )All codesNon-singular codesUniquely decodable codesInstantaneous codesFigure 5.1. Classes of codes343. 定长编码3.1 唯一可译定长码编码速率编码效率log log L ql N r=≥log 1log q r +>log log L r R qN=≥()()log H S H S R qη=≤例:英文字符数q =27,且log 2q=4.754 bit 信源熵H (S )=4.03 bit ,取编码速率R=log 2q 则编码效率η=85%53. 定长编码3.2 定长码编码定理(1)正定理：(2)逆定理：log ()L rR H S Nε=≥+2[()]i E D I s p N ε≤log ()2L rR H S Nε=≤−12N E p ε−≥−0E p →1E p →63. 定长编码3.2 定长码编码定理根据正定理，令p E <δlog ()L rR H S Nε=≥+2[()]i E D I s p N δε≤<2[()]i D I s N εδ≥()H S Rη=()()H s H s ε≤+[]222()()(1)i D I s N H S ηηδ≥⋅−1()H s ηεη−=75.4 变长码•引入1. 变长码无需很长的码长就能实现高效率的无失真信源编码2.变长码必须是唯一可译码，才能实现无失真编码3.变长码是唯一可译码的充要条件：(1)非奇异码(2)任意有限次扩展码是非奇异码4. 变长码必须即时码85.4.1码的分类和主要编码方法信源编码方法：⑴匹配编码：概率大的信源符号，代码长度短；反之，代码长度长⑵变换编码：从一种空间变换成另一种空间，然后进行编码⑶识别编码：对有标准形状的文字、符号和数据进行编码9定理：设信源符号集为S=(s 1,s 2, …，s q,)，码符号集为X=(x 1,x 2, …x r )，对信源进行编码，代码组C=(W 1,W 2, …W q )，相应码长分别l 1,l 2,…l q ，即时码存在（唯一可译码存在）的充要条件为：11≤∑=−qi l ir10释：(1)克拉夫特(Kraft)不等式为即时码存在充要条件(2)麦克米伦(McMilan )不等式为唯一可译码存在充要条件(3)该定理不能作为判别一种码是否为即时码（唯一可译码）的判据(4)当码字长度和码符号满足该不等式时，必可构造出即时码（唯一可译码）115.4.3 唯一可译码判别准则•唯一可译码：如果一个分组码对于任意有限的整数N ，其N 次扩展码均为非奇异码，则为唯一可译码•唯一可译码的充要条件：（见书上128页）121.码平均长度离散无记忆信源为编码后的码子码字的长度因为是唯一可译码，s i 和W i 一一对应则码字平均长度为[]1212()()()q q s s s S P p s p s p s ⎡⎤=⎢⎥⎣⎦""12,,,qW W W "ql l l ,,,21"()()i i p s p W =11()()q qi i i ii i L p W l p s l ====∑∑13释：(1)是每个信源符号编码需要的平均码符号个数；(2) 编码后，每个信源符号s i 平均用个码符号来表示，平均每个码符号携带的信息量是信道的信息传输率(3) 若传输一个码符号需要t 秒，则每秒传输率为故L L L s H X H R )()(==Ls H R t R t )(1==bit/码符号bit/秒L R t 信息传输率高2.紧致码定义：对于某一个信源和某一码符号集，若有一L个唯一可译码，其平均码长度小于所有其它唯一可译码的平均码长度，则称该码为紧致码（也称最佳码）•释：无失真信源编码核心问题是寻找紧致码14153.定理：（平均码长下界）设离散无记忆信源的信源熵为H (S )，用码符号集进行编码，则存在一种编码方式构成唯一可译码，平均码长满足[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""},,,{21q x x x X "=L rS H L r S H log )(1log )(+<≤16释：(1) 的极限值为，即下界；小于下界，则唯一可译码不存在(2) 当选择时，才能达到下界(3) 紧致码平均码长不一定达到下界(4) 达到下界的唯一可译码是紧致码(5) 紧致码最短码长L ()log H S r Llog ()log i i p s l r=−rS H L log )(=174 变长无失真信源编码定理（香农第一定理）定理：设离散无记忆信源其信源熵为H (S )，它的N 次扩展信源为[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""1212()()()N N qN q S P p p p αααααα⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦""18扩展信源熵为H (S N )，码符号集X =(x 1,x 2, …x r )，用X 对S N 编码，则总可以找到一种编码方法，构成唯一可译码，使信源S 中的每个信源符号所需要的码字平均长度满足或rS H N L N r S H N log )(1log )(≥>+)(1)(S H NL N S H r N r ≥>+19当时，则其中，是扩展信源中每个信源符号对应的平均码长式中，是对应的码字长度∞→N )(lim S H N L r N N =∞→rS H N L N N log )(lim =∞→N L i α1()Nq N i ii L p αλ==∑i λi α20释：对于平稳遍历的离散有记忆信源（如马尔可夫信源），有其中，为有记忆信源的极限熵N L N L 原始信源平均码长N次扩展信源编码后每原始信源符号的平均码长≥rH N L N N log lim ∞∞→=∞H5.4.4变长信源编码定理5.编码速率、编码效率、剩余度(1) 编码速率：变长编码的编码速率为 LN R= log r N (2) 编码效率：编码效率定义为H ( S ) NH r ( S ) NH ( S ) = = η= R LN LN log r(3) 剩余度：定长码的剩余度为NH r ( S ) γ = 1 −η = 1 − LN21例题 例5.2 设离散无记忆信源Ss2 ⎤ ⎡S ⎤ ⎡ s1 ⎢ P( S ) ⎥ = ⎢0.75 0.25⎥ ⎣ ⎦ ⎣ ⎦ 对信源S及其扩展信源进行二元变长编码， 求当信源扩展次数N＝2,3,4时的平均码长和 编码效率。
信息论第5讲——平均互信息的凸性(含习题)分析
即对任意 β R ，恒有 f (β) f (α) 0 。
由于f是凸∩函数，所以
f ()＋(1－ ) f ()≤f [ ＋(1－ )]
即
f ()－f ()≤{f [ ＋(1－ )]－f ()}/
0＜ ＜1 0＜＜1
f ( ) f (1,2, ,K ) f ( (1 ) ) f ( )
K
K
K
k ak (1 ) k 1
k 1
k 1
k 1
因此是概率矢量，仍属于R，所以R是凸的。
凸函数定义
定义在凸集R上的一个实函数f，若它对所有
α,β∈R和0≤≤1满足 f()+(1－ ) f (β)≤f ( ＋(1－ )β)
就称函数f为R上的凸∩函数。 若式中不等号的方向相反，就称f为凸∪函数。
p (1 )q C,
则称为C为凸集合。 显然，n维欧氏空间为一凸集合。
概率矢量构成集合为凸集
定义 若一个K维矢量 =(1, 2, …, K)的所有分量 为非负的，且和为1，即就称为概率矢量。
引理 概率矢量全体所构成的区域R是凸的。
证：若,β∈R，对0≤≤1构造矢量=＋(1-)β k ak (1 )k 0 k 1, 2,K
l 1
可用归纳法进行证明。对两点分布，根据凸函数的定义有
f (α1 (1 )α2) f (α1) (1) f (α2) 假设当分布点个数为n时不等式成立，考察分布点个数为
n+1时的情况。
对
n1
pi 0, pi 1 ，令
n
pi
则有
i 1
i 1
p1 f (α1) pn f (αn ) pn1 f (αn1)
信息论第五讲
（3）性质 • 条件熵H(XN|X1X2…XN-1)随着N的增加而递减 证明： H(XN|X1X2…XN-1)≤H(XN|X2…XN-1)（条件熵小于等于无条件熵） = H(XN-1|X1X2…XN-2)（序列的平稳性）
• 若N一定，则平均符号熵大于等于条件熵 HN(X)≥H(XN|X1X2…XN-1) 证明： NHN(X)=H(X1X2…XN) =H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1) . = H(XN)+H(XN|XN-1)+…+H(XN|X1X2…XN-1) （序列平稳性） ≥NH(XN|X1X2…XN-1) （条件熵小于等于无条件熵） 所以 HN(X)≥H(XN|X1X2…XN-1) • 平均符号熵也随N的增加而递减 证明： NHN(X)= H(X1X2…XN)= H(XN|X1X2…XN-1)+ H(X1X2…XN-1) = H(XN|X1X2…XN-1)+(N-1) HN-1(X)≤HN(X)+ (N-1) HN-1(X) 所以HN(X)≤HN-1(X)， 即序列的统计约束关系增加时，由于符号间的相关性，平均每 个符号所携带的信息量减少。
X x1 x1 , x1 x2 ,, x1 xn ;; xn x1 , xn x2 ,, xn xn
ai xi1 xi2
i1 , i2 1,2,, n
a2 ai an2 X a1 p ( a ) p ( a ) p ( a ) p ( a ) 2 i n2 P ( X ) 1
i1 1 i2 1
3
3
1 0.870(比特 / 符号) p( xi2 / xi1 )
H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（以后将称d为Hamming距离）
2020/6/1
.
11
§5.1 离散信道编码问题
将(U1U2…UN)输入信道； 信道的输出为(Y1Y2…YN)； 再根据(Y1Y2…YN)的值猜测出输入信道的值(U1’U2’…UN’)，
并根据变换式
(U1’U2’…UN’)=C(X1’X2’…XL’) 将(U1’U2’…UN’)反变换为(X1’X2’…XL’)。 如果(X1’X2’…XL’)=(X1X2…XL)，则正确接收。
2020/6/1
.
6
§5.1 离散信道编码问题
（1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN) 的事件共有DL个，占N维向量值的份额为 DL/DN=1/DN-L。因此当信道传输错误时，有可能使 输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说， 信道传输错误有可能被检测到。
{0, 1, …, D-1}。
将此随机变量序列切割成L维随机向量准备输入 信道：
(X1X2…XL), (XL+1XL+2…X2L), …。
2020/6/1
.
4
§5.1 离散信道编码问题
如果直接将(X1X2…XL)输入信道，信道的输出 为(X1’X2’…XL’)，则
①当信道传输错误时无法检测到（即接收方无 法确知是否正确接收）。
第五章：信道编码定理
§5.1 离散信道编码问题 §5.2~3 离散信道编码定理
2020/6/1
.
1
§5.1 离散信道编码问题
最简单的检错和纠错
单个的字无法检错：扪→？
词汇能够检错：我扪的→我扪的
词汇能够纠错：我扪的→我们的，我等的，我辈的， 我班的，…
原因分析：“扪→？”可以有几万个答案，但“我扪 的→？”的答案却很少。
.
12
§5.1 离散信道编码问题
最大似然概率准则
当pN(y|u(0))u跑m 遍a所x有 pN 码 (y字 |u)时， 将输出 y译值 为码 u(0)。 字
(看成转移概率矩阵中的第y列向量中的最大分量)
2020/6/1
.
13
最小距离准则（最小错误准则）
y与u的Hamming距离定义为(y1y2…yN)与 (u1u2…uN)对应位置值不相同的位数，记为 d(y, u)。
（6）称R=L/N为编码速率，也称为信息率。（似乎与 信源编码相互倒置？）
（7）注解：“(X1X2…XL)不进行编码”实际上也是一 种编码，称为恒等编码。 此时N=L，事件 x=(x1x2…xL)的码字就是x自身。
2020/6/1
.
9
§5.1 离散信道编码问题
关于译码准则
译码准则就是猜测规则。当信道的输出值为y时，将其译为哪 个码字u最合理？ 最大后验概率准则
结论：课文以及词汇的概率分布的稀疏性可以用来检 错和纠错。
2020/6/1
.
2
§5.1 离散信道编码问题
设信道是一个D元字母输入/ D元字母输出的DMC信道，字母表 为{0, 1, …, D-1}。其信道转移概率矩阵为D×D矩阵如下。
1
p
p
p D 1 1 p
D 1
p D 1
p D 1
p
D
ห้องสมุดไป่ตู้
记w(y)=P((Y1Y2…YN)=y)。我们知道
w(y) q(u) pN (y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN (y | u) w( y)
q(u) pN (y | u) ；
q(c) pN (y | c)
c跑遍所有的码字
（贝叶斯公式）
2020/6/1
（2）如果精心地设计变换C(X1X2…XL)=(U1U2…UN) 和猜测规则(Y1Y2…YN)→(U1’U2’…UN’)，则正确接 收的概率远远大于(1-p)L。
2020/6/1
.
7
§5.1 离散信道编码问题
（3）变换
(X1X2…XL)→(U1U2…UN)=C(X1X2…XL) 称为信道编码，又称为(N, L)码。一个事件的变换值
当d(y,u(0)) min d(y,u)时， u跑遍所有码字
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2020/6/1
.
10
§5.1 离散信道编码问题
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
p
1
D 1
1
p
这是一个对称信道。信道传输错误的概率定义为
P(输出不等于k|输入为k)= p，k∈{0, 1, …, D-1}。此处p<(1-p)。
2020/6/1
.
3
§5.1 离散信道编码问题
设信源消息序列经过D元信源编码（等长编码或 不等长编码）后变成了如下的随机变量序列
…X-2X-1X0X1X2…， 其中每个随机变量Xl的事件全体都是D元字母表
②正确接收的概率为 P((X1’X2’…XL’)=(X1X2…XL)) =P(X1’=X1)P(X2’=X2)…P(XL’=XL)=(1-p)L。
2020/6/1
.
5
§5.1 离散信道编码问题
将(X1X2…XL)进行变换： C(X1X2…XL)=(U1U2…UN)，
其中 (U1U2…UN)为N维随机向量，N≥L，且变换是单射（即 (X1X2…XL)的不同事件映射到(U1U2…UN)的不同事件）。
称为该事件的码字。L称为信息长，N称为码长。
（4）过程
(Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’) 称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正
确译码（实际上就是正确接收）。
2020/6/1
.
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。