信息论与编码-第五章
信息论与编码第5章限失真信源编码
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭(1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑对习题的信源编二进制费诺码，计算编码效率.对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：x i p(x i)编码码字k i s61s50s41s30s21x10102 x21112 x300003 x410013 x500103 s11x6001104 x7101114x i p(x i)编码码字k i s31s20s11x1221 x20002 x31012 x42022 x50102 x61112x72122设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)x i p(x i)p a(x i)k i码字x1010x2210x33110x441110x5511110x66111110x771111110x871111111xi p(x i)编码码字k i x1001 x210102 x3101103x41011104 x510111105x6101111106x71011111107x8111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x1001 x2111x320202x41212x5202203x612213x72022204x8122214设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，序列数字二元码字10100001110010013101000013101100001411000000015110100000016111000000001711110000000080一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率.选择帧长N = 64(1) 对00000000000000000000000000000000000000遍L-D码；(2) 对000000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000000000000000000 0遍L-D码；(4) 对0遍L-D码；(5) 对上述结果进行讨论.。
信息论与编码第5章
信息论与编码第5章第五章信源编码（第⼗讲）（2课时）主要内容：（1）编码的定义（2）⽆失真信源编码重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。
2，5。
4，5。
6；说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。
另外，注意，解题⽅法。
多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。
⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。
将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。
为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。
⼆者是有⽭盾的。
然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。
这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。
§3.1 编码的定义编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。
图 3.1是⼀个信源编码器，它的输⼊是信源符号},,, {21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。
编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。
可见，编码就是从信源符号到码符号的⼀种映射。
信息论与编码习题与答案第五章
5-10 设有离散无记忆信源}03.0,07.0,10.0,18.0,25.0,37.0{)(=X P 。
（1）求该信源符号熵H(X)。
（2）用哈夫曼编码编成二元变长码，计算其编码效率。
（3）要求译码错误小于310-，采用定长二元码达到（2）中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源符号熵为symbolbit x p x p X H i ii /23.203.0log 03.007.0log 07.010.0log 10.018.0log 18.025.0log 25.037.0log 37.0)(log )()(222222=------=-=∑ （2）1x 3x 2x 6x 5x 4x 0.370.250.180.100.070.030111110.100.200.380.621.0000011110110001001符号概率编码该哈夫曼码的平均码长为符号码元/3.2403.0407.0310.0218.0225.0237.0)(=⨯+⨯+⨯+⨯+⨯+⨯==∑iii K x p K 编码效率为9696.03.223.2)(===KX H η (3)信源序列的自信息方差为2222)(792.0)]([)]()[log ()(bit X H x p x p X i ii =-=∑σ7.00696.90)()(==+=εεη得，由X H X H53222102.6110)7.00(92.70)(⨯=⨯=≥-δεσX L 由切比雪夫不等式可得所以，至少需要1.62×105个信源符号一起编码才能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0{)(=X P ，则求：（1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率。
（2）对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率。
《信息论与编码》第5章哈夫曼编码
什么是哈夫曼编码方法
1952年由美国计算机科学家戴维· 哈夫曼先生提出 是一种数据压缩技术 该方法依据字符出现的概率进行编码 ，其基本思想为： 出现概率高的字符使用较短的编码 出现概率低的则使用较长的编码 使编码之后的码字的平均长度最短
哈夫曼编码方法
哈夫曼编码方法包含两个过程
哈夫曼编码方法包含两个过程
编码过程和译码过程
编码过程 译码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼译码 HuffmanDecod（HT，CC，W，&OC）
输入的是哈夫曼树HT、代码报文CC和字符频度表W 输出的是原码报文OC
OC
输出OC 到哈夫曼译码系统之外 返回开头
字母a的编码为110 字母n的编码为111
1
4 n
因此，在电文中出现频率 高的字母的编码相对短， 而出现频率低的字母的编 码相对长
111 字符编码表HC=((d,0),(i,10),(a,110),(n,111))
哈夫曼编码过程演示
编码 A1 A2 A3 0.23 0.21 0.18
1
0 1 0 1 0.10 0
编码过程和译码过程
编码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼编码 HuffmanCoding（HT，&HC）
输入是哈夫曼树HT 输出是字符编码表HC
(信息论)第5章无失真信源编码
定长编码定理
定长信源编码定理讨论了编码的有关参数对译 码差错的限制关系
sq p s q
定理 5.3.1 设离散无记忆信源
S s1 P p s 1 p s 2 s2
的熵为H S ，其 N 次扩展信源为
S N 1 p 1 P
2 q p 2 p q
N N
现在用码符号集 X x1 , x2 ,, xr 对N次扩展信源 S N 进行长度为 l 的定长编码，对于 0, 0 ，只要满足
l H S N log r
则当 N 足够大时，译码错误概率为任意小，几乎可以实 现无失真编码。 反之，若满足
l H S 2 N log r
则不可能实现无失真编码。而当N足够大时，译码错误概 14 率近似等于1。
以上的定理5.3.1 和定理5.3.2实际上说明的是一个 问题，虽然该定理是在平稳无记忆离散信源的条件下 证明的，但它也同样适合于平稳有记忆信源，只要要 2 求有记忆信源的极限熵 H S 和极限方差 存在 即可。对于平稳有记忆信源，式(5.6)和式(5.7 ) 中 H S 应该为极限熵 H S 。
变长码(可变长度码)
2
奇异码：若码中所有码字都不相同，则称此码为非
奇异码。反之，称为奇异码。
同价码：每个码符号所占的传输时间都相同的码。定
长码中每个码字的传输时间相同。而变长码中的每个码 字的传输时间不一定相等。
表 5.1
信源符号si
信源符号出现概率 si p
信息论与编码第五章课后习题答案
第五章课后习题【5.1】某信源按43)0(=P ，41)1(=P 的概率产生统计独立的二元序列。
（1）试求0N ，使当0N N >时有01.005.0)()(≤≥−S H N I P i α 式中，)(S H 是信源的熵。
（2）试求当0N N =时典型序列集N G ε中含有的信源序列个数。
解：（1）该信源的信源熵为811.0)(log )()(=−=∑i i s p s p S H 比特/符号自信息的方差为4715.0811.04log 4134log 43)()]([)]([22222=−+=−=S H s I E s I D i i 根据等长码编码定理，我们知道δεα−≤≥−1)()(S H N I P i 根据给定条件可知，05.0=ε，99.0=δ。
而[]2)(εδN s I D i =因此[]5.19099.0*05.04715.0)(220==≥δεi s I D N 取1910=N 。
（2）ε典型序列中信源序列个数取值范围为：])([])([22)1(εεεδ+−<<−S H N N S H N G代入上述数值得451.164351.1452201.0<<×N G ε【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F 。
表5.2消息 )(i a P A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a1/1610101111111111011011111011（1） 求这些码中哪些是惟一可译码； （2） 求哪些码是非延长码（即时码）； （3） 求对所有惟一可译码求出其平均码长L 。
信息论与编码-曹雪虹-第五章-课后习题答案
信息论与编码-曹雪虹-第五章-课后习题答案第五章(2) 哪些码是⾮延长码？(3) 对所有唯⼀可译码求出其平均码长和编译效率。
解：⾸先，根据克劳夫特不等式，找出⾮唯⼀可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------?<+++++=<<++?=+?>+?<5C ∴不是唯⼀可译码，⽽4C ：⼜根据码树构造码字的⽅法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码(1) 因为A,B,C,D四个字母,每个字母⽤两个码,每个码为0.5ms, 所以每个字母⽤10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-541811613216411281128H(U)=1 2Log2() 14Log4() +18Log8() +116Log16 ()+132Log32 ()Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使⽤3个⼆进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）⾹农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）⾹农编码：平均码长：编码效率为（3）平均码长为：编码效率：4平均码长为：编码效率：5.16 已知⼆元信源{0，1}，其p0=1/4,p1=3/4,试⽤式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =??=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111⼜P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010平均码长L 为 0.875。
第五章信源编码——信息论与编码
04:48
5
5.1 编码器及相关概念
为了分析方便和突出问题的重点，当研究信源 编码时，我们把信道编码和译码看成是信道的 一部分，从而突出信源编码。同样，在研究信 道编码时，可以将信源编码和译码看成是信源 和信宿的一部分，从而突出信道编码。
由码符号 xi 组成的输出序列 Wi 称为码字.
其长度 li称为码字长度或码长，全体码字 Wi 的 集合C称为码或码书 .
编码器将信源符号集中的信源符号 s（i 或长为N 的信源符号序列 i）变成由码符号组成的长为 的与信源符号一一对应的输出序列。即 :
si (i 1, 2, , q) Wi (i 1, 2, , q) ( xi1, xi2, , xili ), xij X
p(ai ) }
其中，
LN
p(i )li
为N次扩展信源的平均码长，
i 1
li 为信源符号扩展序列i 的码长.
LN N
为对扩展信源进行编码后，每个信源符号
编码所需的等效的平均码长。
04:48
33
要做到无失真的信源编码，平均每个信源符号 所需最少的r元码元数为信源的熵 Hr (S)。 即 它是无失真信源压缩的极限值。
04:48
3
信源编码的基本途径有两个:
一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码.
二是使编码后各个符号出现的概率尽可能相等， 即均匀化分布----方法主要是统计编码.
04:48
4
信源编码常分为无失真信源编码和限失真信源 编码，前者主要用于文字、数据信源的压缩， 后者主要用于图像、语音信源的压缩。
信息论与编码 第五章
i
i
i
1
2
3
N
1 N 1 ( b1 a 1 )( b 2 a 2 ) ( b N a N ) ( bi a i ) i 1 p(x ) 0
x ( bi a i )
i 1 N
N
x ( bi a i )
i 1
满足以上条件的多维连续信源称为在N维 区域体积中的均匀分布的 N维连续信源 下面计算N维均匀分布连续信源的相对熵 这里对于多维连续信源，其相对熵为：
2 1 2 2
令
h( X 1) h( X )
1 2 1 2
ln 2 e ln 2 e
2 1
2
2 2
他们分别为高斯随机变量各自的相对熵。上式中的 第三项是一个与相关系数有关的量。显然， 可见，对于二维高斯信源而言：
ln 1
2
0
h ( X ) h ( X 1 X 2 ) [ h ( X 1 ) h ( X 2 )]
f (x) 1 2 1 2
d
f ( ) e
j ( x )
d
可改写为
f (x)
{
f ( ) e
j
d }e
j x
d
现令
F ( )
1
f ( )e
j
d
则有
f (x) 2
F ( )e
j x
d
上式所示的F-反变换公式，由频谱函数 F ( )求 得其时间函数 f (t )。 F-变换和反变换是限时、限频 函数的抽样定理的主要数学工具。
信息论与编码理论基础(第五章)
2012-5-10
8
(N, L)分组码的纠错译码 分组码的纠错译码 分组码的
译码器根据收到的N 长码段y=(Y1Y2…YN)和编码规则，对发送 的M=2L个可能的信息段｛xm=(X1X2…XL)｝中的哪一个作出判 纠错译码。 决，这样的一个通信过程y→xm’=(X1’X2’…XL’)称为纠错译码 纠错译码 译码是编码的反变换，也是一种映射，若与码段y=(Y1Y2…YN) 对应的信息段是xm，经过通信过程判为xm’，则： 若xm’=xm，则正确译码; 若xm’≠xm，发生译码错误。 译码错误概率（误组率）： 译码错误概率（误组率）： Pe = Pr {m ' ≠ m} 接收y的译码错误概率： 接收 的译码错误概率： Pe ( y ) = Pr {m ' ≠ m | y} 的译码错误概率
规则
2012-5-10 4
一般来说，引入监督码元越多，码的检错、纠 错能力越强，但信道的传输效率下降也越多。 人们研究的目标是寻找一种编码方法使所加的 监督码元最少，而检错、纠错能力又高且又便 于实现。
信息码元k 监督码元r 纠正发 现
规则
2012-5-10 5
通信过程
{Xm} 信源 信道编码 器 纠错编码器 调制器 {Um} 信道 {Ym} 信道译码 器 纠错译码器 解调器 {Xm‘} 信宿
对特定的接收序列y， 对特定的接收序列 ， 等 Ω( y ) = Q (m ) P ( y | 选择 使得 转移成 xm ) 使得m’转移成 选择m‘使得 m =1 y的概率不小于其它任 的概率不小于其它任 Q (m ') P ( y | xm ' ) ≥ Q (m ) P ( y | xm ) ∀m '的概率 意消息转移为y的概率 意消息转移为 ≠ m
信息论与编码第五章
ai 101111
j 111100
D( i , j ) 3
再定义，由0，1构成的二进制码C中，任意两个码字的汉明
距离的最小值称为该码C的最小距离，即：
Dmin min{ D(ci , c j )}
ci c j
ci , c j c
c(A) {000,111}
c(B) :{000,011,101,110} c(C) :{000,001,100,010}
左： H ( pE )
pE
log(r
1)
pE
log
1 pE
(1
1 pE ) log 1 pE
pE
log(r 1)
pE
log
r 1 (1 pE
1 pE ) log 1 pE
s r
r 1 s
1
p(aibj ) log
j1 i*
pE
j 1
i *
p(ai
bi
)
log
1
pE
右： H(x |
§5.1 译码规则和平均错误概率
信源符号编码后经信道传输到达信道的输出端并不表 示通信过程的终结，还要经过一个译码过程，或称判决过 程，才能到达消息的终端（信宿），因此，采用什么样的 译码规则，对通信系统的可靠性影响很大。
0 p 1/ 3
0
p
2/3
1
1
p
p(a 0 | b 0) p(a 1| b 1) p 1 3
s j 1
r i*
p(aibj
)
log
r 1 pE
s j 1
i*
p(ai
bi
)
log
1
1 pE
s j 1
信息论与编码第五章
相当于ℓ1次扩展
⑶ 游程序列的熵与原二元序列的熵的关系
❖ “0”游程序列的熵与“1”游程长度的熵之和除以它 们的平均游程长度之和，即为对应原二元序列的熵
H(X)
H(X
)
H[L(0)] H[L(1)] l0 l1
H ( p0 )
H ( p1)
❖ 游程变换后符号熵没有变。因为游程变换是一一对
应的可逆变换，所以变换后熵值不变。
第一次 第一次 第一次 第一次 分组 分组 分组 分组
0
0
0
1
1
0
0
1
1
0
1
1
码字
00 010 011 10 110 1110 1111
码长
2 3 3 2 3 4 4
§5.2 费 诺 编 码
平均码长
7
K p(is)ki 2.74 码元符号/ 信源符号 i1
信源熵
7
H(S) p(is)logpi)(s 2.61 bit信/ 源符号 i1
直至无穷。
⒉ 编码方法：
❖ 首先求出“0”游程长度和“1”游程长度的概率分布，即以 游程长度为元素，构造一个新的信源；
❖ 对新的信源（游程序列）进行哈夫曼编码
§5.4 游 程 编 码
⒊ 小结：
❖ 游程变换减弱了原序列符号间的相关性。 ❖ 游程变换将二元序列变换成了多元序列；这样就适合于
用其他方法，如哈夫曼编码，进一步压缩信源，提高通 信效率。 ❖ 由其方案可知游程变换后编码并不适合于多进制序列。
S1
0.20 ＋ 0.000 2.32
3
S2
0.19 ＋ 0.200 2.40
3
S3
0.18 0.390 2.47
信息论与编码(傅祖云 讲义)第五章
平均错误率为：
PE''' 1 * P(b / a) (0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5 3 Y , X a
第二节 错误概率与编码方法
一般信道传输时都会产生错误，而选择译码准则并不会 消除错误，那么如何减少错误概率呢？下边讨论通过编码 方法来降低错误概率。 例：对于如下二元对称信道
第二节 错误概率与编码方法 我们再讨论一个例子，取M＝4，n＝5，这4个码字按 2 如下规则选取：R
5
设输入序列为:
ai (ai1 ai 2
ai3
ai 4
ai5 )
满足方程： ai 3 ai1 ai 2
ai 4 ai1 a a a i1 i2 i5
若译码采取最大似然准则：
P(b j / a* ) P(a* ) P(b j ) P(b j / ai ) P(ai ) P(b j )
第一节 错误概率与译码规则 即： P(bj / a* )P(a* ) P(bj / ai )P(ai ) 当信源等概分布时，上式为：
P(bj / a* ) P(bj / ai )
和B： (b ) a F 1 1
F (b2 ) a3 F (b3 ) a2
译码规则的选择应该有一个依据，一个自然的依据就 是使平均错误概率最小 有了译码规则以后，收到 bj 的情况下，译码的条件正 确概率为： P( F (b ) / b ) P(a / b )
j j i j
第一节 错误概率与译码规则 而错误译码的概率为收到 bj 后，推测发出除了 ai 之 外其它符号的概率：
第一节 错误概率与译码规则
为了减少错误，提高通信的可靠性，就必到什么程 度。 前边已经讨论过，错误概率与信道的统计特性有关， 但并不是唯一相关的因素，译码方法的选择也会影响错误 率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中间节点，中间节点不安排码字，而只在终端节点安排码字.
信息论与编码-信源编码
4. 非奇异码： 若一组码中所有码字都不相同，则称为非奇异码。 5. 奇异码： 若一组码中有相同的码字，则称为奇异码。 6. 唯一可译码： 若码的任意一串有限长的码符号序列只能唯一地被
译成所对应的信源符号序列，则此码称为唯一 可译码，否则就称为非唯一可译码。
信息论与编码-信源编码
信息论与编码-信源编码
• 通信的实质是信息的传输。而高速度、高质量 地传送信息是信息传输的基本问题。
• 将信源信息通过信道传送给信宿，怎样才能做 到尽可能不失真而又快速呢？这就需要解决两 个问题：
• 第一，在不失真或允许一定失真的条件下，如 何用尽可能少的符号来传送信源信息；
• 第二，在信道受干扰的情况下，如何增加信号 的抗干扰能力，同时又使得信息传输率最大。 为了解决这两个问题，就要引入信源编码和信 道编码。
信息论与编码-信源编码
• 上表中码3是非即时码，而码4是即时码。 • 码4中只要收到符号1就表示该码字已完整，
可以立即译码。 • 即时码又称为非延长码，任意一个码字都不
是其他码字的前缀部分，有时叫做异前缀码。 • 在延长码中，有的码是唯一可译的，主要取
决于码的总体结构，如表中码3的延长码就 是唯一可译的。
信息论与编码-信源编码
• 编码分为信源编码和信道编码， • 信源编码又分为无失真和限失真。 • 由于这些定理都要求符号数很大才能使它的值
接近所规定的值，因而这些定理被称为极限定 理。 • 无失真信源编码定理为第一极限定理； • 信道编码定理（包括离散和连续信道）称为第 二极限定理； • 限失真信编码定理称为第三极限定理。
信息论与编码-信源编码
编码的定义 • 编码实质上是对信 讨论无失真信源编码，可以不考虑干扰问题，所
以它的数学描述比较简单。
5.1 编码的定义
信源
编码器
信道
码表 图5-1 信源编码器示意图
5.1 编码的定义
将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xilA={a1，a2，…，ai，…，an}
对应的，并且是可逆的。 • 码字长度有无限长（卷积码）、定长和变长
（分组码）。 • 码元符号通常使用二进制来表示
信息论与编码-信源编码
信源符号取值
a1 a2 a3 a4
变长码与定长码
概率
码1
码表 码2
p(a1)
00
0
p(a2)
01
01
p(a3)
10
001
p(a4)
11
111
信息论与编码-信源编码
信源符号
a1 a2 a3 a4
码的不同属性
信源符号概率
码1
码2
1/2
0
0
1/4
11
10
1/8
00
00
1/8
11
01
码3
1 10 100 1000
码4
1 01 001 0001
信息论与编码-信源编码
码符号的分类： 下图是一个码分类图
非分组码 码分组码非奇奇异异码码唯非一唯可一译可码译码即非时即码时（码非延长码）
信息论与编码-信源编码
7. 非即时码和即时码： • 如果接收端收到一个完整的码字后，不能立即
译码，还要等下一个码字开始接收后才能判断 是否可以译码，这样的码叫做非即时码 • 如果收到一个完整的码字以后，就可以立即译 码，则叫做即时码。即时码要求任何一个码字 都不是其他码字的前缀部分，也叫做异前缀码
每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiLi)， yilB={b1，b2，…，bi，…，bm}
这样的码称为分组码，有时也叫块码。只有分组码才有对 应的码表，而非分组码中则不存在码表。
信息论与编码-信源编码
• 输出的码符号序列称为码字，长度 Li 称为码
字长度或简称码长。 • 编码就是从信源符号到码符号的一种映射。 • 若要实现无失真编码，则这种映射必须是一一
信息论与编码-信源编码
码树：
• 即时码的一种简单构造方法是树图法。
A 01
• 对给定码字的全体集合
C {W1,W2 , ,Wq}
B
0 C
1
1
可以用码树来描述它。
01
0
1
• 所谓树，就是既有根、枝，又 D
有节点，如图所示。图中，最上端
1
001
A为根节点，A、B、 C、D、E皆
0001
E
为节点，E为终端节点。 A、B、C、D为
信息论与编码-信源编码
• 由于信源符号之间存在分布不均匀和相关性，使得 信源存在冗余度，信源编码的主要任务就是减少冗 余，提高编码效率。
• 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的 码字序列。
• 信源编码的基本途径有两个，一是使序列中的各个 符号尽可能地互相独立，即解除相关性；二是使编 码中各个符号出现的概率尽可能地相等，即概率均 匀化。
• 例如{0,10,11}是一种唯一可译码。因为任意一串有 限长码序列，如100111000，只能被分割成 10，0， 11，0，0。任何其他分割法都会产生一些非定义的 码字。
• 显然，奇异码不是唯一可译码，而非奇异码中有非 唯一可译码和唯一可译码。
• 上表中码3是唯一可译码，但码2不是唯一可译码。 例如10000100是由码2的（10，0，0，01，00）产 生的序列，译码时可有多种分法，如10，0，00， 10，0，此时产生歧义。
信息论与编码-信源编码
• 一般来说，提高抗干扰能力（降低失真或错误 概率）往往是以降低信息传输率为代价的；反 之，要提高信息传输率常常又会使抗干扰能力 减弱。二者是有矛盾的。
• 然而在信息论的编码定理中，已从理论上证明， 至少存在某种最佳的编码或信息处理方法，能 够解决上述矛盾，做到既可靠又有效地传输信 息。这些结论对各种通信系统的设计和估价具 有重大的理论指导意义。
信息论与编码-信源编码
下面，我们给出这些码的定义。 1. 二元码
若码符号集为 X {0,1} ，所有码字都是一些二元序列，
则称为二元码。二元码是数字通信和计算机系统中最 常用的一种码。 2. 等长码： 若一组码中所有码字的码长都相同，即 li l(i 1,2, , q) ，则称为等长码。 3. 变长码： 若一组码组中所有码字的码长各不相同，则称为变长码。