信息论 基础理论与应用第三版(傅祖芸) 第六章 讲义
合集下载
信息论第六章
信息论第六章第六章：线性分组码§6.1分组码的概念(与主教材标题不同)§6.2线性分组码§6.3线性分组码的校验矩阵(与主教材标题不同)§6.5译码方法和纠错能力(与主教材标题不同)§6.4、§6.6、§6.7、§6.8一些特殊的线性分组码§6.1分组码的概念设信道是一个D元字母输入/D元字母输出的DMC 信道，字母表为{0,1,…,D-1}。
其信道转移概率矩阵为D×D矩阵传输错误的概率为p。
信道容量为C=logD-H(p)-plog(D-1)。
§6.1分组码的概念对随机变量序列X1X2…进行的信道编码为(N,L)码：(X1X2…XL)→(U1U2…UN)=C(X1X2…XL)。
这个(N,L)码又称为(N,L)分组码。
已经有结论：当设备所确定的编码速率R速率(信息率L/N)任意接近R，译码错误的概率任意接近0。
问题是：怎样构造这样的分组码？这样的分组码的编码、译码计算量会不会太大？（这才是研究分组码的含义）§6.1分组码的概念预备知识1：有限域设D是一个素数。
于是字母表{0,1,…,D-1}中的所有字母关于(modD)加法、(modD)乘法构成了一个封闭的代数结构，称作有限域，又称作Galois域，记作GF(D)：GF(D)=({0,1,…,D-1},(modD)加法,(modD)乘法)。
即（1）({0,1,…,D-1},(modD)加法)构成交换群（Abel群）。
（2）({1,…,D-1},(modD)乘法)构成交换群（Abel群）。
（3）分配率成立：a(b+c)(modD)=ab+ac(modD)。
§6.1分组码的概念注1：如果D不是素数，({0,1,…,D-1},(modD)加法,(modD)乘法)不是有限域，只是有限环。
注2：有限域GF(D)上的线性代数完全类似于实数域上的线性代数，线性代数的所有内容都在“加法”和“乘法”基础上得到。
信息论+傅祖芸+答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
6 6 36 I = log 36 ≈ 2.85 比特 5
“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P = 1 × 1 × 2 = 1 ， 6 6 18
因此该事件的信息量为： I = log18 ≈ 4.17 比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
信息论课件第六章
根据这样一个信道矩阵，设计 一个译码规则A，即 F (b1 ) = a1 A : F (b2 ) = a2 F (b3 ) = a3
由于S个输出符号中的每一个都可以译成r个输入符号 r s 种译码规则可供选择。 中的任何一个，所以共有
译码规则的选择应该根据什么准则?一个很自然的 准则当然就是要使平均错误概率最小. 为了选择译码规则,首先必须计算平均错误概率. 在确定译码规则F(bj)=ai后,若信道输出端接收到的 符号为bj,则一定译成ai,如果发送端发送的就是ai,这 就为正确译码;如果发送的不是ai,就认为错误译码. 那么收到bj 条件下译码的条件正确译码概率为 P[F(bj)|bj]=P(ai|bj) 令P(e|bj)为条件错误译码概率,其中e表示除了F(bj)=ai 以外的所有输入符号的集合. 条件错误译码概率与条件正确译码概率之间有关系 (6.3) P(e|bj)=1-P(ai|bj)=1-P[F(bj)|bj]
一般P(b j ) ≠ 0, b j ∈ B, 这样，最大后验概率准则就可 表示为：选择译码函数 F (b j ) = a * a * ∈ A, b j ∈ B
使满足P(b j | a * ) P(a * ) ≥ P(b j | ai ) P(ai ) ai ∈ A, ai ≠ a * (6.7)
若输入符号的先验概率 P ( ai )均相等，则上式可以写 成 选择译码函数 F (b j ) = a * a * ∈ A, b j ∈ B ( 6 .8 a ) (6.8b) 并满足 P (b j | a * ) ≥ P (b j | ai ) ai ∈ A, ai ≠ a *
6.2 错误概率与编码方法
从(6.10)可知，消息通过有噪信道传输时会发生错 误，而错误概率与译码规则有关。 但一般当信道给定即信道矩阵给定，不论采用什 么译码规则，PE总不会等于或趋于0。 而要想进一步减少错误概率PE，必须优选信道编 码方法。
信息论讲义_第六讲
23
3.5.2 有限状态马尔可夫链
p00=p(Y2=0|Y1=0)=p(X=0)=p
p01=p(Y2=1|Y1=0)=p(X=1)=q
p10=p(Y2=0|Y1=1)=p(X=1)=q
p11=p(Y2=1|Y1=1)=p(X=0)=p
说明:
转移矩阵为
p q
q p
，它与r无关，因而是齐次的。
信息理论基础
（第六讲）
授课教师：于 泽 电子信息工程学院201教研室
第三章 离散信源
内容提要 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源
2
3.4 离散平稳信源（续）
④ N次扩展信源熵的性质
(1) 条件熵 H XN | X1X2L XN1随N的增加是非递增的
q
22
3.5.2 有限状态马尔可夫链
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是Yr， 显然有
Y1= X1，Y2＝X2Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
Yr确定后，Yr+1分布只与Yr有关，与Yr-1、Yr-2… 等无关，且知Yr序列的条件概率为
pikm p jkr
i, j S
kS
注意：P(n)是经过n步的转移矩阵。
25
3.5.2 有限状态马尔可夫链
3.初始分布
定义：设P(X0=Si)=pi , 且
pi 0
i
pi 1
则称它为马尔可夫链的初始分布
26
3.5.2 有限状态马尔可夫链
3.5.2 有限状态马尔可夫链
p00=p(Y2=0|Y1=0)=p(X=0)=p
p01=p(Y2=1|Y1=0)=p(X=1)=q
p10=p(Y2=0|Y1=1)=p(X=1)=q
p11=p(Y2=1|Y1=1)=p(X=0)=p
说明:
转移矩阵为
p q
q p
，它与r无关，因而是齐次的。
信息理论基础
（第六讲）
授课教师：于 泽 电子信息工程学院201教研室
第三章 离散信源
内容提要 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源
2
3.4 离散平稳信源（续）
④ N次扩展信源熵的性质
(1) 条件熵 H XN | X1X2L XN1随N的增加是非递增的
q
22
3.5.2 有限状态马尔可夫链
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是Yr， 显然有
Y1= X1，Y2＝X2Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
Yr确定后，Yr+1分布只与Yr有关，与Yr-1、Yr-2… 等无关，且知Yr序列的条件概率为
pikm p jkr
i, j S
kS
注意：P(n)是经过n步的转移矩阵。
25
3.5.2 有限状态马尔可夫链
3.初始分布
定义：设P(X0=Si)=pi , 且
pi 0
i
pi 1
则称它为马尔可夫链的初始分布
26
3.5.2 有限状态马尔可夫链
信息论基础理论与应用第三版傅祖芸绪论
认证性：接受者能正确判断所接收的消息的正确性， 验证消息的完整性，而不是伪造和窜改的。
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
编码后信源的信息传输率 令： R ' l log r
N
l log r H ( S ) N
(编码后，平均每个信源 符号承载的信息量)
R' H ( S )
可见，只有编码后信息传输率 R' H ( S ) ，才能实现无失真编码。
编码效率
H (S ) H (S ) ' l R log r N
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
5、码的N次扩展
《信息论》—基础理论与应用 傅祖芸 课后答案
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
L
m
∑ ∑ 【2.11】试证明：若 pi = 1， q j = pL ，则
i=1
j q1 , q2 ,K, qm )
=
H ( p1,
p2 ,K,
pL−1 ,
pL )
+
pL H (
q1 pL
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
一枚是假币，试问至少必须称多少次？
解：从信息论的角度看，
“12 枚硬币中，某一枚为假币”该事件发生的概率为 P = 1 ； 12
熵是增加的，并用熵的物理意义加以解释。
解：
设新的信源为 X ′ ，新信源的熵为：
∑ H ( X ′) = − pi log pi = −( p1 − ε ) log( p1 − ε ) − ( p2 + ε ) log( p2 + ε ) − L − pq log pq
原信源的熵
因此有，
∑ H ( X ) = − pi log pi = − p1 log p1 − p2 log p2 − L − pq log pq
p1
− 2
p2
，则
f ′(x) = log p2 + x ≤ 0 p1 − x
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
即函数 f (x) 为减函数，因此有 f (0) ≥ f (ε ) ，即
( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) ≤ p1 log p1 + p2 log p2 因此 H ( X ) ≤ H ( X ′) 成立。
信息论与编码傅祖云讲义
p( y 1 x 0) p( y 0 x 1) 0 是较合理旳。
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
信息论基础理论与应用第三版(傅祖芸)第六章讲义(课堂)-2023年学习资料
而错误译码的概率为收到b,后翻译为；，但发送端实际上-发送的却不是，则为错误译码，其条件错误概率为：-Pelb;=1 Pa;/b;-e表示：除了Fb,=a:以外的所有输入符号的集合。-则可得平均错误译码概率：-P。=EPe1b,】=∑ b,Pe/b,-它表示经过译码后平均每收到一个符号所产生错误的大小，-也称平均错误概率。-7
第6章有噪信道编码定理-6.1错误概率与译码规则-6.2错误概率与编码方法-6.4有噪信道编码定理-6.5联合信源信 编码定理
前面已经从理论上讨论了，对于无噪无损信道-只要对信源进行适当的编码，总能以信道容量无差-错的传递信息。但是一般信道总 存在噪声和干扰，-信息传输会造成损失。-那么在有噪信道中怎样能使消息传输发生的错误-最少？进行无错传输的可达的最大信 传输率是多-少呢？-这就是本章所要讨论的问题。本章的核心是香农-第二定理。-2
2采用最小错误概率译码准则，则联合矩阵为：-0.125-0.075-0.05-Pab;=Pa,Pb la;[Pab; -0.15-0.2-Fb=43-所得译码函数为：C:Fb,=4-Fb3=43-平均错误概率：-PE=∑PaPb,la -Y,X-a-=∑Pa,b-=0.125+0.05+0.075+0.075+0.05+0.125=0.5≤P-13
选讲当然，也可以对联合概率矩阵PaPbj/a中：-1先求每一行中除去Fb=a*所对应的Pab以外的元素之和；-2然后 对各行的和求和。-具体计算如下：-P=∑PaPb,Ia=∑∑Pa,Pb;la-Y.X-a-XY-a*对应的b;-即： B=∑P4∑{P6,1aF6,≠W}-=∑Pa,pa-某个输入符号ai传P-11
平均错误概率的计算-当译码规则确定后，可进一步计算平均错误概率：-P=2Pb,Pe/b,=21-PIFb,/b,1} b,-=1-2P[Fb,b,]=∑pab,-∑PFb,b,]-=∑pab,-∑Puib,]-,平均正确概率-=∑Pa b,=∑PaPb,1a-+信道传递概率-Y,X-a-上式中，平均错误概率计算是在联合概率矩阵PaPb川a]中：-1先 每一列除去Fb=a*所对应的Pa*b以外的元素之和；-2然后，对所有列求和。-10
《信息论》—基础理论与应用(傅祖芸)课后答案
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H ( X ) = − ∑ P( x) log P( x) = 1.91 比特/符号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一 格的概率空间为： a X 1 P = 1 48 平均自信息量为 H ( A) = log 48 = 5.58 比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。 A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为
= −(1 − ε )∑ Pi log(1 − ε ) − (1 − ε )∑ Pi log Pi − ε ∑ Pi log ε − ε ∑ Pi log Pi
′ = p1 − ε ， 【2.10】设有一概率空间，其概率分布为 { p1 , p 2 ,..., p q } ，并有 p1 > p 2 。若取 p1 ′ = p 2 + ε ，其中 0 < 2ε ≤ p1 − p 2 ，而其他概率值不变。试证明由此所得新的概率空间的 p2 熵是增加的，并用熵的物理意义加以解释。 解： 设新的信源为 X ′ ，新信源的熵为： H ( X ′) = −∑ pi log p i = −( p1 − ε ) log( p1 − ε ) − ( p 2 + ε ) log( p 2 + ε ) − L − p q log p q 原信源的熵 H ( X ) = − ∑ p i log pi = − p1 log p1 − p 2 log p 2 − L − p q log p q 因此有， H ( X ) − H ( X ′) = ( p1 − ε ) log( p1 − ε ) + ( p 2 + ε ) log( p 2 + ε ) − p1 log p1 − p 2 log p 2 p1 − p 2 令 f ( x ) = ( p1 − x) log( p1 − x ) + ( p 2 + x ) log( p 2 + x) ， x ∈ 0, 2 ，则 f ′( x) = log p2 + x ≤0 p1 − x
《信息论》—基础理论与应用(傅祖芸)课后答案精编版
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， 1 ； 12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P = ； 2 “12 枚硬币中，某一枚为假币”该事件发生的概率为 P = 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I = log 12 + log 2 = log 24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = 平每一次消除的不确定性为 I = log 3 比特 因此，必须称的次数为 I 1 log 24 = ≈ 2.9 次 I2 log 3 因此，至少需称 3 次。 【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 P = 1 1 1 × = ，该事件的信息量为： 6 6 36 1 ，因此天 3
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
P( A | B) =
P( AB) P( A) P( B | A) 0.25 × 0.75 = = = 0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为 I = log 1 ≈ 1.415 比特 0.375
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， 1 ； 12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P = ； 2 “12 枚硬币中，某一枚为假币”该事件发生的概率为 P = 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I = log 12 + log 2 = log 24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = 平每一次消除的不确定性为 I = log 3 比特 因此，必须称的次数为 I 1 log 24 = ≈ 2.9 次 I2 log 3 因此，至少需称 3 次。 【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 P = 1 1 1 × = ，该事件的信息量为： 6 6 36 1 ，因此天 3
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
P( A | B) =
P( AB) P( A) P( B | A) 0.25 × 0.75 = = = 0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为 I = log 1 ≈ 1.415 比特 0.375
信息论与编码(第三版) 第6章 信道编码理论
(2,1,2)卷积码编码器
定义6.3两个n重(x，y)之间对应码元取值不同的个数， 称为这两个重之间的汉明距离，记做d(x,y)
定义6.4 n重x非零码元的个数称为汉明重量，简称重 量,用w(x)表示
X:(10101) y:(00111)
w(x)=3 w(y)=3 d(x,y)=2
定义6.5 （n,k）分组码中，任意两个码字x、y之间的 汉明距离的最小值，称为该分组码的最小汉明距离， 简称为最小距离，用d0表示
6.3.1两种译码规则
最大概率译码(MAP) 错误译码的概率最小，也称最小错误概率译码
最大似然译码(MLD)
MAP的简化形式
单个符号传输情况(二元信道)
信道
输入X
0 1 pe
信道 输出Y
0
根据接收符号y来估计 发送符号x是0还是1
计算后验概率p(xi|y)
估值准则
x$ max P(xi | y)
结果是译码错误最 小，所以也称最小
d0
min {d(x,
x, y(n,k )
y)}
计算最小汉明距离方法1 将所有许用码字进行比较，记录每次比较的 汉明距离，最后取汉明距离的最小值即可
总的比较次数为 1 2 3 L 2k 1 (2k 1)2k
2
无论是否 线性分组
码
这种方法 都有效
特点：计算量很 大但是很简洁
❖ 例6.1 （3,2）码共有四个码字，分别为000，011，101， 110，显然d0 =2。 最小汉明距离d0是分组码的重要参数之一，表明 了该分组码抗干扰能力的大小，与码字的检错、 纠在错相能同力的有译关码，规则d0下越，大错，误码译的码抗的干概扰率能越力小越。强，
(4) 纠正t个随机错误, ρ个删除,则要求码的最小距离满足 d0 ≥ ρ +2t+1
信息论基础理论和应用第三版傅祖芸-讲义
001 010 011 100 101 110
用作消息旳码字（ 许用码字） 000 （表达0）
二元对称信 道旳三次扩
展信道
111 （表达1）
输出端 接受序列
000 001 010 011 100 101 110 111
则信道矩阵为：
根据最大似然译码准则，当p=0.01，可得译码函数为：
F(000)=000 F(100)=000
一般信道传播时都会产生错误，而选择译码准 则并不会消除错误，那么怎样降低错误概率呢？下边讨 论经过编码措施来降低错误概率。
例：对于如下二元对称信道
0
0.99
0
0.01
0.01
1
1
0.99
按照最大似然准则译码，
怎样提升信道传播旳正确率呢？可用反复消息旳措施，即尝试 扩展信道旳措施。
未用旳码字 （禁用码字）
第二种措施旳错误率为
比较可知，第一种措施好。仔细观察发觉： 在第一种措施中，假如 000 有一位犯错，就能够鉴定犯错 了； 而在第二种措施中，假如000中任何一位犯错，就变成了其 他旳正当旳码字，我们无法判断是否犯错。 再仔细观察，发觉第二种措施中，码字之间太相同。
码字距离： 长度为n旳两个码字相应位置上不同码元旳个数。一
详细计算如下：
即：
假如先验概率相等，则：
某个输入符号ai传播引起旳 错误概率
例：某信道
1）若根据最大似然准则选择译码函数为B： 若输入等概率，则平均错误概率为
若输入不等概分布 ，则错误概率为：
2）采用最小错误概率译码准则，则联合矩阵为：
所得译码函数为：C： 平均错误概率：
6.2 错误概率与编码措施
0
1/3
2/3
用作消息旳码字（ 许用码字） 000 （表达0）
二元对称信 道旳三次扩
展信道
111 （表达1）
输出端 接受序列
000 001 010 011 100 101 110 111
则信道矩阵为：
根据最大似然译码准则，当p=0.01，可得译码函数为：
F(000)=000 F(100)=000
一般信道传播时都会产生错误，而选择译码准 则并不会消除错误，那么怎样降低错误概率呢？下边讨 论经过编码措施来降低错误概率。
例：对于如下二元对称信道
0
0.99
0
0.01
0.01
1
1
0.99
按照最大似然准则译码，
怎样提升信道传播旳正确率呢？可用反复消息旳措施，即尝试 扩展信道旳措施。
未用旳码字 （禁用码字）
第二种措施旳错误率为
比较可知，第一种措施好。仔细观察发觉： 在第一种措施中，假如 000 有一位犯错，就能够鉴定犯错 了； 而在第二种措施中，假如000中任何一位犯错，就变成了其 他旳正当旳码字，我们无法判断是否犯错。 再仔细观察，发觉第二种措施中，码字之间太相同。
码字距离： 长度为n旳两个码字相应位置上不同码元旳个数。一
详细计算如下：
即：
假如先验概率相等，则：
某个输入符号ai传播引起旳 错误概率
例：某信道
1）若根据最大似然准则选择译码函数为B： 若输入等概率，则平均错误概率为
若输入不等概分布 ，则错误概率为：
2）采用最小错误概率译码准则，则联合矩阵为：
所得译码函数为：C： 平均错误概率：
6.2 错误概率与编码措施
0
1/3
2/3
信息论--傅祖芸课后题解答
i =1 6
= − [ 0 .2 lo g 2 0 .2 + 0 .1 9 lo g 2 0 .1 9 + 0 .1 8 lo g 2 0 .1 8 + 2 (0 .1 7 lo g 2 0 .1 7 ) + 0 .1 6 lo g 2 0 .1 6 = 2 .6 6 ( b it / sym b o l ) lo g 2 6 = 2 .5 8 ∴ ∑ p ( x i ) = 0 .2 + 0 .1 9 + 0 .1 8 + 0 .1 7 + 0 .1 6 + 0 .1 7 = 1 .0 7 > 1
解得：
P(0) = P(1) = P (2) = 1 3
第二章习题 2.22 (2)
H ∞ = H 2 = ∑ Q( Ei ) H ( X / Ei )
i =1 3
= P (0) H ( X / 0) + P (1) H ( X /1) + P (2) H ( X / 2) 1 p p p p = 3* H ( p, , ) = (− p log p − 2* log ) 3 2 2
H ( X 2 ) = 2 H ( X ) = 2 × 0.97 = 1.94
H ( X 3 / X 1 X 2 ) = H ( X 3 ) = H ( X ) = 0.97
N →∞
lim H N ( X ) = H ( X ) = 0.97
(3)
H ( X 2 ) = 2 H ( X ) = 4 × 0.97 = 3.88
信道2的信道容量大于信道1的信道容量
第三章 3.16
C = log 4 − H ( p ) = 2 − H ( p )
第四章 4.1 (1)
= − [ 0 .2 lo g 2 0 .2 + 0 .1 9 lo g 2 0 .1 9 + 0 .1 8 lo g 2 0 .1 8 + 2 (0 .1 7 lo g 2 0 .1 7 ) + 0 .1 6 lo g 2 0 .1 6 = 2 .6 6 ( b it / sym b o l ) lo g 2 6 = 2 .5 8 ∴ ∑ p ( x i ) = 0 .2 + 0 .1 9 + 0 .1 8 + 0 .1 7 + 0 .1 6 + 0 .1 7 = 1 .0 7 > 1
解得：
P(0) = P(1) = P (2) = 1 3
第二章习题 2.22 (2)
H ∞ = H 2 = ∑ Q( Ei ) H ( X / Ei )
i =1 3
= P (0) H ( X / 0) + P (1) H ( X /1) + P (2) H ( X / 2) 1 p p p p = 3* H ( p, , ) = (− p log p − 2* log ) 3 2 2
H ( X 2 ) = 2 H ( X ) = 2 × 0.97 = 1.94
H ( X 3 / X 1 X 2 ) = H ( X 3 ) = H ( X ) = 0.97
N →∞
lim H N ( X ) = H ( X ) = 0.97
(3)
H ( X 2 ) = 2 H ( X ) = 4 × 0.97 = 3.88
信道2的信道容量大于信道1的信道容量
第三章 3.16
C = log 4 − H ( p ) = 2 − H ( p )
第四章 4.1 (1)
《信息论》—基础理论与应用 傅祖芸 课后答案
（1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息
即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
I (a0
=
0)
=
log
8 3
= 1.415 比特
I (a1 = 1) = log 4 = 2 比特
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解：
i = q + 1, q + 2,...,2q
试写出信源 S ′ 的信息熵与信源 S 的信息熵的关系。
解：
H (S ′) = −∑ P(x) log P(x) ∑ ∑ = − (1 − ε )Pi log(1 − ε )Pi − εPi log εPi ∑ ∑ ∑ ∑ = −(1 − ε ) Pi log(1 − ε ) − (1 − ε ) Pi log Pi − ε Pi log ε − ε Pi log Pi
熵是增加的，并用熵的物理意义加以解释。
解：
设新的信源为 X ′ ，新信源的熵为：
∑ H ( X ′) = − pi log pi = −( p1 − ε ) log( p1 − ε ) − ( p2 + ε ) log( p2 + ε ) − L − pq log pq
信息论基础理论与应用第三版(傅祖芸)讲义(课堂PPT)
唯一可译码的条件
1）不同的信源符号变换成不同的码字(非奇异码)；
2）任意有限长的信源序列所对应的码元序列各不相同. 即: 码的任意有限长N次扩展码都是非奇异码。
Or: 码符号序列的反变换也唯一的（扩展码非奇异）
原因： 若要使某一码为惟一可译码，则对于任意有限长的码
符号序列，必须只能被惟一地分割成一个个的码字，才能 实现唯一的译码。
否则,就为非惟一可译码或非单义可译码。
例：对于二元码 C1 {1,01,00}，当任意给定一串码字 序列，例如 …10001101…
只可唯一地划分为1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C2 {0,10,01} ，当码字序列为
…01001… 可划分为0,10,01或01,0,01，所以是非惟一可译的。
编码的形式化描述： 从信源符号到码符号的一种映射
si(i1,2,..q)., W i (xi1xi2..xi.li), xik X,(k1,2, .li.).
或：
i(si1si2.s .iN .) W i(xi1xx2..xili.),
sik S,(k1 ,2,.N .).;xik X (k1 ,2,.li)..
例 设信源
4
S P(s)sP 1(s1)
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码
定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。
信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号
之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
3、非奇异码与奇异码 非奇异码: 一组码中所有码字都不相同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据贝叶斯定理，上式可写成
P(bj /a*)P(a*)P(bj /ai)P(ai)
P(bj)
P(bj)
P (b j/a * )P (a * ) P (b j/a i)P (a i)
即
P(a*bj)P(aibj)
最大似然译码准则
当信源等概分布时，则最小错误概率准则变为
P(bj /a*)P(bj /ai) 这称为最大似然译码准则，方法是收到一个 b j 后，在信道矩
0.3 0.3 0.4
F (b1) a1
1）若根据最大似然准则选择译码函数为B：
F
(b2 )
a3
若输入等概率，则平均错误概率为
F ( b 3 ) a 2
P E 1 3 Y ,X a * P ( b /a ) 1 3 [ ( 0 .2 0 .3 ) ( 0 .3 0 .3 ) ( 0 .2 0 .4 ) ] 0 .5 6 7
（选讲）当然，也可以对联合概率矩阵[P(ai)P(bj/ai)]中： 1）先求每一行中除去F(bj)=ai*所对应的P(aibj)以外的元素之和; 2）然后，对各行的和求和。
具体计算如下：
P E P ( a i) P ( b j|a i)
P ( a i) P ( b j|a i)
Y ,X a *
X Y ( a * 对 b j) 应的
即： P E P ( a i) P ( b j/a i) F ( b j) a
X
Y
P(ai)Pe(i) X
如果先验概率相等，则：PE
1 r
X
P(i) e
某个输入符号ai传输引起的 错误概率
例：某信道
0.5
P
0
.2
0.3 0.3
0.2
0
.5
j1
条件正确概率
s
s
P(bj)mi1n P ((ai/bj)) P(bj)1maP(xai/bj)
j1
j1
因此应选择译码规则 F(bj ) a* 满足关系：
i为待定
P (a * /b j) P (a i/b j)
a i a * a*,ai A,bj B
也即收到一个符号以后译成具有最大后验概率的那个输入符号。
若输入不等概分布 P(a1)1 4,P(a2)1 4,P(a3)1 2，则错误概率为：
P E '' P (a)P (b|a) Y,X a*
1/4 (0 .30 .2 ) 1/4 (0 .30 .3 ) 1/2 (0 .20 .5 )0 .6
2）采用最小错误概率译码准则，则联合矩阵为：
P E P (0 )P e (0 ) P ( 1 )P e (1 ) 3 2 (P (0 ) P ( 1 ) )2 /3
反之，若收到“0”译P E P ( 0 ) 1 P e ( 0 ) P ( 1 ) 1 P e ( 1 ) 1 3 ( P ( 0 ) P ( 1 ) ) 1 /3
j1
它表示经过译码后平均每收到一个符号所产生错误的大小， 也称平均错误概率。
最小错误概率准则（最大后验概率准则）
如何设计译码规则 F(bj ) ai ，使平均错误概率最小？
s
决定于译码规则
P EEP(e/bj) P(bj)P(e/bj)
j1
s
miPE n P(bj)miPn(e/bj) 条件错误概率
F(b1) a1 F(b2) a3 F(b3) a2
总的译码规则数目 r s
信道的s个输出符号的每一个译码输出有 r 种选择，因此，总的
r 译码规则总数为 s
译码规则的选择依据
一个自然的依据就是使平均错误概率最小。 为了选择译码规则，需要计算平均错误概率。
平均错误概率分析：
译码规则确定后，设信道输出端收到 b j 时一定译为 a i 。 如果发送端刚好发送的就是 a i ，则为正确译码，译码的条件正
可见错误概率与译码规则有关。
译码规则： 输入符号集 输出符号集 译码规则
A{ai}i,1,2,.r.. B{bj},j1,2,.s..
F(bj ) ai
例：某信道转移矩阵
0.5 0.3 0.2
P
0
.2
0.3
0.5
0.3 0.3 0.4
可以设计译码准则： A： 和
B：
F(b1) a1 F(b2) a2 F(b3) a3
确概率为：
P (F(bj)/bj)P (ai/bj)
而错误译码的概率为收到 b j 后翻译为 a i ，但发送端实际上
发送的却不是
a
，则为错误译码，其条件错误概率为：
i
P(e/bj)1P(ai/bj)
e表示：除了 F(bj ) ai 以外的所有输入符号的集合。
则可得平均错误译码概率：
s
P EEP(e/bj) P(bj)P(e/bj)
前面已经从理论上讨论了，对于无噪无损信道 只要对信源进行适当的编码，总能以信道容量无差 错的传递信息。但是一般信道总会存在噪声和干扰， 信息传输会造成损失。
那么在有噪信道中怎样能使消息传输发生的错误 最少？进行无错传输的可达的最大信息传输率是多 少呢？
这就是本章所要讨论的问题。本章的核心是香农 第二定理。
阵的第j列元素中选择最大的值所对应的输入符号作为译码输出。
平均错误概率的计算
当译码规则确定后，可进一步计算平均错误概率：
P E P ( b j) P ( e / b j) { 1 P [ F ( b j) / b j] } P ( b j)
Y
Y
1 P[F(bj)bj] p(aibj) P[F(bj)bj]
6.1 错误概率与译码规则
为了减少传输错误，提高通信的可靠性，就必须分 析错误概率与哪些因素有关，有没有办法控制？能控制 到什么程度？
一般地，错误概率与如下因素相关： ➢信道的统计特性 ➢译码规则
例：有一个BSC信道，如图所示
P(0)
信源
P(1)
0
1/3
2/3
2/3 1
1/3
0译码 0
1
1
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
Y
X,Y
Y
p(aibj) P[a*bj]
X,Y
Y
平均正确概率
P (a ib j) P (a i)P (b j|a i)
Y ,X a *
Y ,X a *
信道传递概率
上式中，平均错误概率计算是在联合概率矩阵[P(ai)P(bj|ai)]中： 1）先求每一列除去F(bj)=a*所对应的P(a*bj)以外的元素之和； 2）然后，对所有列求和。