信息论讲义-第六章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
H(S) log M n(C +ε ) log 2 = = = C +ε R= L n n
香农第二定理及其逆定理表明: 香农第二定理及其逆定理表明: 在任何信道中, 在任何信道中,信道容量是进行可靠传输的最大信息传 输率。 输率。
19
作 业 习题6 习题 1、2、7、10 、 、 、
20
D( X ,Y ) = ∑xk ⊕ yk
i=1
n
其中⊕表示模二和运算
2、物理含义:两个码字之间的汉明距离是它们在相同位上 、物理含义: 不同码符号的数目的总和。 不同码符号的数目的总和。 3、性质 、 汉明距离满足距离公理 (1)非负性 (2)对称性 (3)三角不等式 非负性 对称性 三角不等式
15
17
6.3 有噪信道编码定理
• 定理 定理6.3.1 香农第二定理
设有一离散无记忆平稳信道,其信道容量为 , 设有一离散无记忆平稳信道,其信道容量为C,只要待 传送的信息传输率 R<C,则存在一种编码,当输入序 < ,则存在一种编码, 列长度n足够大时 足够大时, 列长度 足够大时,使译码错误概率任意小。
6.2.4 汉明距离 续) 汉明距离(续
4、定义6.2.2 最小距离 、定义 在二元码C中 在二元码 中,任意两个码宇的汉明距离的最 小值,称为码C的最小距离 的最小距离, 小值,称为码 的最小距离,即
Dmin = min {D(Ci , Cj ),
Ci ≠ Cj ,且Ci , Cj ∈C}
C2 000 0 01 010 10 0 Dmin =1
13
6.2.3 (5.2)线性码 续) )线性码(续
14
6.2.4 汉明距离
1、定义6.2.1 汉明距离 、定义 为两个n长的二 设X=(x1 , x2 …, xn),Y=(y1 , y2 …, yn)为两个 长的二 = , = 为两个 元码字,则码字X和 之间的汉明距离定义为 元码字,则码字 和Y之间的汉明距离定义为
平均错误概率 1 pE = p(β j | αi ) = p3 + 3pp2 ≈ 3×10−4 ∑* M Y , X −x
12
6.2.3 (5.2)线性码 )
取M=4,n=5,这时信息传输率 = , = ,
log M log 4 2 R= = = n 5 5
1 0 ai = 1 1 1 0 0 0 0ai1 a 1 0 0 0 i2 1 0 0 0 ai3 0 0 0 0ai 4 1 0 0 0 a i5
pp2
p2 p pp2
p3 2 3 p p p
设输入符号为等概分布, 设输入符号为等概分布,采用极大似然译码规则 即大数逻辑译码) (即大数逻辑译码)
F(β1) = α1 F(β2 ) = α1 F(β3 ) = α1 F(β5 ) = α1 F(β4 ) = α8 F(β6 ) = α8 F(β7 ) = α8 F(β8 ) = α8
最 译 规 佳 码 则 F( y1) = x1 A: F( y2 ) = x2
输 入分布 为等 概分 布条 件下 平 , 均错 误概 率 1 1 pE = ∑ p( y | x) = [0.01+ 0.01] =10−2 r Y , X −x* 2
10
6.2.1 简单重复编码 续) 简单重复编码(续
第六章 有噪信道编码 •熟练掌握 熟练掌握
错误概率 译码规则
•一般掌握 一般掌握
编码方法 有噪信道编码定理
1
6.1 有噪信道编码问题
• 信道的任务是以信号方式传输信息 • 信道的输入端和输出端连接着编码器和译码器, 信道的输入端和输出端连接着编码器和译码器, 形成了一个新的信道, 形成了一个新的信道,即编码信道 • 基本思想: 基本思想: 根据相关性来检测和纠正传输过程中产生 的差错
bit/ 码符号
对输入符号的4个码字采用以下编码方法 对输入符号的 个码字采用以下编码方法
i =1 2,3,4 , aik 是 i的 k个 量 k =1 2,3,4,5 a 第 分 , ,
平均错误译码概率为
pE =1− p5 −5p4 p − 2 p3 p2 ≈ 8p3 p2 = 7.8×10−4 ( p = 0.01)
3
6.1ቤተ መጻሕፍቲ ባይዱ2 译码规则 续) 译码规则(续
可选择27种译码规则 可选择 种译码规则
设有一信道, 设有一信道,其信道矩阵为
4
6.1.2 译码规则 续) 译码规则(续
1、错误概率 、 • 在确定译码规则 F(yj)=xi, i=1,2 …,r , j=l,2,…,s 之后, 之后, = 若信道输出端接收到的符号为yj,则一定译成xi。 • 如果发送端发送的就是xi,即为正确译码; • 反之 , 若发送端发送的 k , 且 k ≠ i, 即为 错误译码 。 反之, 若发送端发送的x 错误译码。 , 即为错误译码 经过译码后的平均错误概率p 经过译码后的平均错误概率 E为
简单重复编码: 简单重复编码: 规定信源符号为“ 或 规定信源符号为“0’’(或“1”)时,则重复发送 时 三个“ 或 三个“0”(或“1”),此时构成的新信道可以看 , 成是二元对称信道的三次扩展信道
没 使 发送端用作 有 用 的 字 消息的码字 码 a1 = 000 a2 = 001 a3 = 010 a4 = 011 a5 =100 a6 =101 a7 =110 a8 =
18
6.3 有噪信道编码定理 续) 有噪信道编码定理(续
• 定理 6.3.2 香农第二定理的逆定理
设有一离散无记忆平稳信道,其信道容量为 , 设有一离散无记忆平稳信道,其信道容量为C, 对于任意> ,若选用码字总数M= 对于任意>0,若选用码字总数 =2n(C+ε),则无 取多大也找不到一种编码, 论n取多大也找不到一种编码,使译码错误概率 E 取多大也找不到一种编码 使译码错误概率p 任意小。 任意小。
2
6.1.2 译码规则 定义6.1.1 定义 设信道输入符号集为X=(xi,i=1,2 …,r),输出 设信道输入符号集为 , 符号集为Y=(yj,j=l,2,…,s),若对每一个输出符号 符号集为 , yj都有一个确定的函数 j),使yj对应于唯一的一 都有一个确定的函数F(y , 个输入符号x 则称这样的函数为译码规则, 个输入符号 i, 则称这样的函数为译码规则 , 即 F(yj)=xi i=1,2 …,r和 j=l,2,…,s 和 = 显然,对于有r个输入、s个输出的信道而言,按 显然,对于有 个输入、 个输出的信道而言, 个输入 个输出的信道而言 上述定义得到的译码规则共有r 上述定义得到的译码规则共有 s 种。
F( yj ) = x ,
*
D( x , y j ) = min{ D( x i , y j )}
* xi ∈ X
对于等概输入,当误码率较低时(小于1/2), 对于等概输入,当误码率较低时(小于1/2), 1/2 基于汉明距离的最小近邻译码规则等价于 基于汉明距离的最小近邻译码规则等价于 极大似然译码规则。 极大似然译码规则。
5、举例 、
设 n =3 两 码 有 的 组 C1 a1 a2 a3 a4 Dmin 000 011 101 110 Dmin = 2
16
6.2.4 汉明距离 续) 汉明距离(续 6、基于汉明距离的最小近邻译码规则 将与y 汉明距离最近的x 作为y 原码, 将与yj汉明距离最近的xi作为yj原码,即
pE =
∑p(x, y) = ∑p( y | x) p(x)
Y , X −x* Y , X −x*
若输入为等概分布,则 若输入为等概分布,
1 pE = ∑ p( y | x) r Y, X −x*
7
6.1.2 译码规则 续) 译码规则(续
4、引理6.1.1 费诺不等式 、引理 错误概率p 与信道疑义度H(X|Y)之间的关系 错误概率 E与信道疑义度 之间的关系 H(X|Y)<H(pE)十pElog(r—1) < 十
8
6.2 错误概率与编码方法
• 选择最佳译码规则只能使错误概率pE有限地减小、 无法使pE任意地小 • 必须优选信道编码方法来进一步减小错误概率 • 编码方法介绍 简单重复编码 (5.2)线性码
9
6.2.1 简单重复编码
二 对 信 矩 元 称 道 阵 0.99 0.01 P= 0.01 0.99
接收端 接收序列
111
β1 = 000 β2 = 001 β3 = 010 β4 = 011 β5 =100 β6 =101 β7 =110 β8 =111
11
6.2.1 简单重复编码 续) 简单重复编码(续
p3 P= 3 p
p2 p p2 p pp2 pp2 pp2
p2 p pp2 p2 p
物理意义: 物理意义: (1) 只要 <C,就可以在有噪信道中以任意小的错误概率 E<ε)传 只要R< ,就可以在有噪信道中以任意小的错误概率(p 传 输信息 (2) 当输入序列长度 足够大时,可以以任意接近信道容量 的信息传输 当输入序列长度n足够大时 可以以任意接近信道容量C的信息传输 足够大时, 率传递信息。 率传递信息。
p(x* | y j ) ≥ p(xi | y j ) 对 i ∀
(2) 最大似然译码规则 选择译码函数F(y = , 选择译码函数 j)=x*,使之满足条件
p( yj | x*) p(x*) ≥ p( y j | xi ) p(xi )
对 i ∀
6
6.1.2 译码规则 续) 译码规则(续
3、平均错误概率 、
pE = E[ p(e | y j )] = ∑p( y j ) p(e | y j )
j =1 s
其中,条件错误概率 p(e | y j ) =1− p(xi | y j ) =1− p[F( y j ) | y j ]
5
6.1.2 译码规则 续) 译码规则(续
2、译码规则 、 使平均错误概率p 最小为选择译码规则的准则 使平均错误概率 E最小为选择译码规则的准则 选择译码规则的 (1) 最大后验概率译码规则理想观测者规则 最大后验概率译码规则 选择译码函数F(y = 选择译码函数 j)=x*,使之满足条件