信息论讲义-第六章

pE = E[ p(e | y j )] = ∑p( y j ) p(e | y j )
j =1 s
其中，条件错误概率 p(e | y j ) =1− p(xi | y j ) =1− p[F( y j ) | y j ]
5
6.1.2 译码规则 续) 译码规则(续
2、译码规则 、 使平均错误概率p 最小为选择译码规则的准则 使平均错误概率 E最小为选择译码规则的准则 选择译码规则的 (1) 最大后验概率译码规则理想观测者规则 最大后验概率译码规则 选择译码函数F(y ＝ 选择译码函数 j)＝x*，使之满足条件
接收端 接收序列
111
β1 = 000 β2 = 001 β3 = 010 β4 = 011 β5 =100 β6 =101 β7 =110 β8 =111
11
6.2.1 简单重复编码 续) 简单重复编码(续
p3 P= 3 p
p2 p p2 p pp2 pp2 pp2
p2 p pp2 p2 p
13
6.2.3 （5.2）线性码 续) ）线性码(续
14
6.2.4 汉明距离
1、定义6.2.1 汉明距离 、定义 为两个n长的二 设X＝(x1 , x2 …, xn)，Y＝(y1 , y2 …, yn)为两个 长的二 ＝ ， ＝ 为两个 元码字，则码字X和 之间的汉明距离定义为 元码字，则码字 和Y之间的汉明距离定义为
pE =
∑p(x, y) = ∑p( y | x) p(x)
Y , X −x* Y , X −x*
若输入为等概分布，则 若输入为等概分布，
1 pE = ∑ p( y | x) r Y, X −x*
7
6.1.2 译码规则 续) 译码规则(续
4、引理6.1.1 费诺不等式 、引理 错误概率p 与信道疑义度H(X|Y)之间的关系 错误概率 E与信道疑义度 之间的关系 H(X|Y)＜H(pE)十pElog(r—1) ＜ 十
最 译 规 佳 码 则 F( y1) = x1 A: F( y2 ) = x2
输 入分布 为等 概分 布条 件下 平 , 均错 误概 率 1 1 pE = ∑ p( y | x) = [0.01+ 0.01] =10−2 r Y , X −x* 2
10
6.2.1 简单重复编码 续) 简单重复编码(续
平均错误概率 1 pE = p(β j | αi ) = p3 + 3pp2 ≈ 3×10−4 ∑* M Y , X −x
12
6.2.3 （5.2）线性码 ）
取M＝4，n＝5，这时信息传输率 ＝ ， ＝ ，
log M log 4 2 R= = = n 5 5
1 0 ai = 1 1 1 0 0 0 0ai1 a 1 0 0 0 i2 1 0 0 0 ai3 0 0 0 0ai 4 1 0 0 0 a i5
D( X ,Y ) = ∑xk ⊕ yk
i=1
n
其中⊕表示模二和运算
2、物理含义：两个码字之间的汉明距离是它们在相同位上 、物理含义： 不同码符号的数目的总和。 不同码符号的数目的总和。 3、性质 、 汉明距离满足距离公理 (1)非负性 (2)对称性 (3)三角不等式 非负性 对称性 三角不等式
15
F( yj ) = x ,
*
D( x , y j ) = min{ D( x i , y j )}
* xi ∈ X
对于等概输入，当误码率较低时（小于1/2）， 对于等概输入，当误码率较低时（小于1/2）， 1/2 基于汉明距离的最小近邻译码规则等价于 基于汉明距离的最小近邻译码规则等价于 极大似然译码规则。 极大似然译码规则。
3
6.1.2 译码规则 续) 译码规则(续
可选择27种译码规则 可选择 种译码规则
设有一信道， 设有一信道，其信道矩阵为
4ቤተ መጻሕፍቲ ባይዱ
6.1.2 译码规则 续) 译码规则(续
1、错误概率 、 • 在确定译码规则 F(yj)＝xi， i=1,2 …,r , j=l,2,…,s 之后， 之后， ＝ 若信道输出端接收到的符号为yj，则一定译成xi。 • 如果发送端发送的就是xi，即为正确译码； • 反之 ， 若发送端发送的 k ， 且 k ≠ i， 即为 错误译码 。 反之， 若发送端发送的x 错误译码。 ， 即为错误译码 经过译码后的平均错误概率p 经过译码后的平均错误概率 E为
18
6.3 有噪信道编码定理 续) 有噪信道编码定理(续
• 定理 6.3.2 香农第二定理的逆定理
设有一离散无记忆平稳信道，其信道容量为 ， 设有一离散无记忆平稳信道，其信道容量为C， 对于任意＞ ，若选用码字总数M＝ 对于任意＞0，若选用码字总数 ＝2n(C+ε)，则无 取多大也找不到一种编码， 论n取多大也找不到一种编码，使译码错误概率 E 取多大也找不到一种编码 使译码错误概率p 任意小。 任意小。
H(S) log M n(C +ε ) log 2 = = = C +ε R= L n n
香农第二定理及其逆定理表明： 香农第二定理及其逆定理表明： 在任何信道中， 在任何信道中，信道容量是进行可靠传输的最大信息传 输率。 输率。
19
作 业 习题6 习题 1、2、7、10 、 、 、
20
2
6.1.2 译码规则 定义6.1.1 定义 设信道输入符号集为X=(xi，i=1,2 …,r)，输出 设信道输入符号集为 ， 符号集为Y=(yj，j=l,2,…,s)，若对每一个输出符号 符号集为 ， yj都有一个确定的函数 j)，使yj对应于唯一的一 都有一个确定的函数F(y ， 个输入符号x 则称这样的函数为译码规则， 个输入符号 i， 则称这样的函数为译码规则 ， 即 F(yj)=xi i=1,2 …,r和 j＝l,2,…,s 和 ＝ 显然，对于有r个输入、s个输出的信道而言，按 显然，对于有 个输入、 个输出的信道而言， 个输入 个输出的信道而言 上述定义得到的译码规则共有r 上述定义得到的译码规则共有 s 种。
物理意义： 物理意义： (1) 只要 ＜C，就可以在有噪信道中以任意小的错误概率 E＜ε)传 只要R＜ ，就可以在有噪信道中以任意小的错误概率(p 传 输信息 (2) 当输入序列长度 足够大时，可以以任意接近信道容量 的信息传输 当输入序列长度n足够大时 可以以任意接近信道容量C的信息传输 足够大时， 率传递信息。 率传递信息。
bit/ 码符号
对输入符号的4个码字采用以下编码方法 对输入符号的 个码字采用以下编码方法
i =1 2,3,4 , aik 是 i的 k个 量 k =1 2,3,4,5 a 第 分 ， ,
平均错误译码概率为
pE =1− p5 −5p4 p − 2 p3 p2 ≈ 8p3 p2 = 7.8×10−4 ( p = 0.01)
6.2.4 汉明距离 续) 汉明距离(续
4、定义6.2.2 最小距离 、定义 在二元码C中 在二元码 中，任意两个码宇的汉明距离的最 小值，称为码C的最小距离 的最小距离， 小值，称为码 的最小距离，即
Dmin = min {D(Ci , Cj ),
Ci ≠ Cj ,且Ci , Cj ∈C}
C2 000 0 01 010 10 0 Dmin =1
第六章 有噪信道编码 •熟练掌握 熟练掌握
错误概率 译码规则
•一般掌握 一般掌握
编码方法 有噪信道编码定理
1
6.1 有噪信道编码问题
• 信道的任务是以信号方式传输信息 • 信道的输入端和输出端连接着编码器和译码器， 信道的输入端和输出端连接着编码器和译码器， 形成了一个新的信道， 形成了一个新的信道，即编码信道 • 基本思想： 基本思想： 根据相关性来检测和纠正传输过程中产生 的差错
5、举例 、
设 n =3 两 码 有 的 组 C1 a1 a2 a3 a4 Dmin 000 011 101 110 Dmin = 2
16
6.2.4 汉明距离 续) 汉明距离(续 6、基于汉明距离的最小近邻译码规则 将与y 汉明距离最近的x 作为y 原码， 将与yj汉明距离最近的xi作为yj原码，即
8
6.2 错误概率与编码方法
• 选择最佳译码规则只能使错误概率pE有限地减小、 无法使pE任意地小 • 必须优选信道编码方法来进一步减小错误概率 • 编码方法介绍 简单重复编码 (5．2)线性码
9
6.2.1 简单重复编码
二 对 信 矩 元 称 道 阵 0.99 0.01 P= 0.01 0.99
p(x* | y j ) ≥ p(xi | y j ) 对 i ∀
(2) 最大似然译码规则 选择译码函数F(y ＝ ， 选择译码函数 j)＝x*，使之满足条件
p( yj | x*) p(x*) ≥ p( y j | xi ) p(xi )
对 i ∀
6
6.1.2 译码规则 续) 译码规则(续
3、平均错误概率 、
17
6.3 有噪信道编码定理
• 定理 定理6.3.1 香农第二定理
设有一离散无记忆平稳信道，其信道容量为 ， 设有一离散无记忆平稳信道，其信道容量为C，只要待 传送的信息传输率 R＜C，则存在一种编码，当输入序 ＜ ，则存在一种编码， 列长度n足够大时 足够大时， 列长度 足够大时，使译码错误概率任意小。
简单重复编码： 简单重复编码： 规定信源符号为“ 或 规定信源符号为“0’’(或“1”)时，则重复发送 时 三个“ 或 三个“0”(或“1”)，此时构成的新信道可以看 ， 成是二元对称信道的三次扩展信道
没 使 发送端用作 有 用 的 字 消息的码字 码 a1 = 000 a2 = 001 a3 = 010 a4 = 011 a5 =100 a6 =101 a7 =110 a8 =
pp2
p2 p pp2