信息论-第五章PPT课件

道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2020/6/1
.
11
§5.1 离散信道编码问题
结论：课文以及词汇的概率分布的稀疏性可以用来检 错和纠错。
2020/6/1
.
2
§5.1 离散信道编码问题
设信道是一个D元字母输入/ D元字母输出的DMC信道，字母表 为{0, 1, …, D-1}。其信道转移概率矩阵为D×D矩阵如下。
1
p
p
p D 1 1 p
D 1
p D 1
p D 1
p
D
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2020/6/1
.
10
§5.1 离散信道编码问题
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
称为该事件的码字。L称为信息长，N称为码长。
（4）过程
(Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’) 称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正
确译码（实际上就是正确接收）。
2020/6/1
.
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
（6）称R=L/N为编码速率，也称为信息率。（似乎与 信源编码相互倒置？）
（7）注解：“(X1X2…XL)不进行编码”实际上也是一 种编码，称为恒等编码。 此时N=L，事件 x=(x1x2…xL)的码字就是x自身。
2020/6/1
.
9
§5.1 离散信道编码问题
关于译码准则
译码准则就是猜测规则。当信道的输出值为y时，将其译为哪 个码字u最合理？ 最大后验概率准则
2020/6/1
.
6
§5.1 离散信道编码问题
（1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN) 的事件共有DL个，占N维向量值的份额为 DL/DN=1/DN-L。因此当信道传输错误时，有可能使 输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说， 信道传输错误有可能被检测到。
当d(y,u(0)) min d(y,u)时， u跑遍所有码字
第五章：信道编码定理
§5.1 离散信道编码问题 §5.2~3 离散信道编码定理
2020/6/1
.
1
§5.1 离散信道编码问题
最简单的检错和纠错
单个的字无法检错：扪→？
词汇能够检错：我扪的→我扪的
词汇能够纠错：我扪的→我们的，我等的，我辈的， 我班的，…
原因分析：“扪→？”可以有几万个答案，但“我扪 的→？”的答案却很少。
②正确接收的概率为 P((X1’X2’…XL’)=(X1X2…XL)) =P(X1’=X1)P(X2’=X2)…P(XL’=XL)=(1-p)L。
2020/6/1
.
5
§5.1 离散信道编码问题
将(X1X2…XL)进行变换： C(X1X2…XL)=(U1U2…UN)，
其中 (U1U2…UN)为N维随机向量，N≥L，且变换是单射（即 (X1X2…XL)的不同事件映射到(U1U2…UN)的不同事件）。
{0, 1, …, D-1}。
将此随机变量序列切割成L维随机向量准备输入 信道：
(X1X2…XL), (XL+1XL+2…X2L), …。
2020/6/1
.
4
§5.1 离散信道编码问题
如果直接将(X1X2…XL)输入信道，信道的输出 为(X1’X2’…XL’)，则
①当信道传输错误时无法检测到（即接收方无 法确知是否正确接收）。
将(U1U2…UN)输入信道； 信道的输出为(Y1Y2…YN)； 再根据(Y1Y2…YN)的值猜测出输入信道的值(U1’U2’…UN’)，
并根据变Βιβλιοθήκη Baidu式
(U1’U2’…UN’)=C(X1’X2’…XL’) 将(U1’U2’…UN’)反变换为(X1’X2’…XL’)。 如果(X1’X2’…XL’)=(X1X2…XL)，则正确接收。
.
12
§5.1 离散信道编码问题
最大似然概率准则
当pN(y|u(0))u跑m 遍a所x有 pN 码 (y字 |u)时， 将输出 y译值 为码 u(0)。 字
(看成转移概率矩阵中的第y列向量中的最大分量)
2020/6/1
.
13
最小距离准则（最小错误准则）
y与u的Hamming距离定义为(y1y2…yN)与 (u1u2…uN)对应位置值不相同的位数，记为 d(y, u)。
p
1
D 1
1
p
这是一个对称信道。信道传输错误的概率定义为
P(输出不等于k|输入为k)= p，k∈{0, 1, …, D-1}。此处p<(1-p)。
2020/6/1
.
3
§5.1 离散信道编码问题
设信源消息序列经过D元信源编码（等长编码或 不等长编码）后变成了如下的随机变量序列
…X-2X-1X0X1X2…， 其中每个随机变量Xl的事件全体都是D元字母表
（2）如果精心地设计变换C(X1X2…XL)=(U1U2…UN) 和猜测规则(Y1Y2…YN)→(U1’U2’…UN’)，则正确接 收的概率远远大于(1-p)L。
2020/6/1
.
7
§5.1 离散信道编码问题
（3）变换
(X1X2…XL)→(U1U2…UN)=C(X1X2…XL) 称为信道编码，又称为(N, L)码。一个事件的变换值
记w(y)=P((Y1Y2…YN)=y)。我们知道
w(y) q(u) pN (y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN (y | u) w( y)
q(u) pN (y | u) ；
q(c) pN (y | c)
c跑遍所有的码字
（贝叶斯公式）
2020/6/1