5章+有噪信道编码定理

例：信道矩阵如下，试确定译码规则： b1 b2 b3 ⎡ 0 .5 0 .3 0 .2 ⎤ a1 ⎥ [P Y |X ]= ⎢ 0 .2 0 .3 0 .5 ⎢ ⎥ a2 ⎢ ⎣ 0 .3 0 .3 0 .4 ⎥ ⎦ a3 按转移概率最大原则确定极大似然译码规则如下：
⎧ F (b1 ) = a1 ⎪ F : ⎨ F (b2 ) = a1 (or a2 , a3 ) ⎪ F (b ) = a 3 2 ⎩
10
2.1 错误概率与译码规则
对于同一个信道可制定出多种译码规则。
a1(0)
0.8 0.2 0.1 0.9
b1(0)
a2(1)
b2(1)
⎧ F1 (0) = 0 F1 ⎨ ⎩ F1 (1) = 0 ⎧ F3 (0) = 0 F3 ⎨ ⎩ F3 (1) = 1
⎧ F2 (0) = 1 F2 ⎨ ⎩ F2 (1) = 1 ⎧ F4 (0) = 1 F4 ⎨ ⎩ F4 (1) = 0
它对于每一个输出符号均译成具有最大后验概率的那个 输入符号，所以又称最大后验概率译码规则。
20
2.2 最佳译码规则
思考：是否可以等价成最大联合概率条件？
P(a * j | b j ) ≥ P(ai | b j ) P(b j ) P(a * j | b j ) ≥ P(b j ) P(ai | b j ) P(a * j , b j ) ≥ P (ai , b j )
4
第5章 有噪信道编码
第1节 引言 第2节 错误概率与译码规则 第3节 错误概率与编码方法 第4节 有噪信道编码定理 第5节 联合信源信道编码
5
2.1 错误概率与译码规则
信源
消息
编码器
信号
信道
信号+干扰
译码器
消息
信宿
干扰
噪声源 信源编码 信道编码 信道译码 信源译码
加密编码
解密译码
6
2.1 错误概率与译码规则
第5章 有噪信道编码
信息论
哈尔滨工业大学（威海） 计算机科学与技术学院
刘杨 llyy.2000@
1
第5章 有噪信道编码
第1节 引言 第2节 错误概率与译码规则 第3节 错误概率与编码方法 第4节 有噪信道编码定理 第5节 联合信源信道编码
2
第1节 引言
• 无失真变长信源编码定理(香农第一定理)：
由于已知条件中只给出了转移概率，因此无法求出极大似 然译码规则对应的差错率。
29
2.3 极大似然译码规则
本例中，没有告知输入概率，只能采用极大似然译码规则， 而且还不知道差错率是多少，使用该规则是否可靠？ 这种担心是多余的。因为，在实际系统中，信源发出的序列 在送到信道之前都经过信源编码，经过有效信源编码，输出 码元的概率分布会均匀化，所以信道的输入分布近似为等概 率分布。 当信道输入概率等概率时，极大似然译码规则也是最佳的。 怎么证明？
8
译码规则对错误概率的影响： 例：设有一个二元对称信道，其输入符号等概率分布 0.2 0 0 0.8 1 0.8 0.2 1
当信道输出端接收到符号0时，译码器若把它译成0，则译对的可 能性只有0.2，译错的可能性是0.8，此时，译码错误概率为0.8。 反之，若译码器根据这个特殊信道制定出一种译码规则，把输出端 的0译成1，把1译成0，则译错的可能性就减少了，为0.2；译对的可 能性增大了，为0.8。此时，译码错误概率为0.2。 可见，错误概率既与信道的统计特性有关，又与译码规则有关。
因此，最佳译码规则又可表示为
⎧ ⎪ F (b j ) = a * j ∈ A, b j ∈ B F :⎨ ⎪ ⎩ P (a * j , b j ) ≥ P (ai , b j ), ai ∈ A
所以又称最大联合概率译码规则。
21
2.2 最佳译码规则
结论： 最佳译码规则 ⇔ 最大后验概率译码规则 (在后验概率矩阵中的每一列寻找最大的那个) ⇔ 最大联合概率译码规则 (在联合概率矩阵中的每一列寻找最大的那个)
⎧ F2 (0) = 1 F2 ⎨ ⎩ F2 (1) = 1 ⎧ F4 (0) = 1 F4 ⎨ ⎩ F4 (1) = 0
14
2.1 错误概率与译码规则
例：参见前图，假设P(0)=0.4，分别求出4种译码规则所 对应的平均差错率。 解：信道输入矩阵和转移矩阵分别为： [PX]=[0.4 0.6]
⎡ 0 .8 [P Y |X ]= ⎢ ⎣ 0 .1 ⎣ 0 .0 6 0 .2 ⎤ 0 .9 ⎥ ⎦
为了提高传输的可靠性，可在信道的前端和后端分别加入 信道编码器和信道译码器，从而组成一个新的信息传输通 道——编码信道：
U
信道编码器f
X
信道 N 编码信道
Y
信道译码器F
Û
7
2.1 错误概率与译码规则
• 信道编码是一个变换或函数，称为编码函数，记 为f； • 信道译码也是一个函数，记为F。与信源编码一 样，信道编码也是一一对应变换。 • 信息到达信道输出端后，要经过译码过程才到达 信宿。译码过程和译码规则对系统的错误概率影 响很大。
b1
0 .1 2 9 0 ⎤ a1 0 .8 7 1 0 ⎥ ⎦a
2
b2
F (b1 ) = a1 得到同样的译码规则： F : ⎧ ⎨
⎩ F (b2 ) = a2
25
第11课
26
2.3 极大似然译码规则
最佳译码规则所对应的平均差错率最小，从这个意义上讲， 是最好的译码规则。但实际应用中，经常只知道信道的统计 特性，就是只知道转移概率，而不知道信源的统计特性，这 时，求不出联合概率和后验概率，因此，无法确定最佳译码 规则。那怎么办？ 那只能按照转移概率的某种约束条件制定译码规则。 按最大转移概率条件来确定的译码规则，称为极大似然译码 规则.
b2
a1 a2
故由最大联合概率译码规则有：
⎧ F (b1 ) = a1 F :⎨ ⎩ F (b2 ) = a2
24
2.2 最佳译码规则
若按后验概率算:
P(ai | b j ) = P(ai , b j ) P(b j ) = P(ai , b j )
∑ P(a , b )
i =1 i j
r
⎡ 0 .8 4 2 1 [P X Y ]= ⎢ ⎣ 0 .1 5 7 9
9
2.1 错误概率与译码规则
X
A={a1,a2,…,ar}
信道 N
Y
信道译码器F
Û
A={a1,a2,…,ar}
B={b1,b2,…,bs}
定义5.1 信道译码函数F是从输出符号集B到输入符号集A 的映射
F(b j )=a j * ∈ A, j = 1, 2,L , s
其含义是：将接收到的符号 b j ∈ B 译为某个输入符号 a j * ∈ A 译码函数又称译码规则。
27
2.3 极大似然译码规则
⎧ ⎪ F (b j ) = a * j ∈ A, b j ∈ B F :⎨ ⎪ ⎩ P(b j | a * j ) ≥ P(b j | ai ), ai ∈ A
极大似然译码规则的平均差错率不是最小，因此不是 最佳的，但容易找出，只需已知信道的特性即可。
28
2.3 极大似然译码规则
11
2.1 错误概率与译码规则
同一个信道可供选择的译码规则有多种，我们必须从中 找出一个“好”的译码规则，“好”的标准是什么？ 平均差错率最小。 在信道输出端接收到符号bj时，按译码规则F(bj)= a j * ∈ A 将bj译为 a j *，若此时信道输入刚好是 a j * ，则称为译码 正确，否则称为译码错误。 bj的译码正确概率是后验概 率： P( X = a j * Y = b j ) = P[ F (b j ) b j ] 对bj译码，要么译码正确，要么译码错误，因此bj的译码 错误概率为：
P(e b j ) = P[ X ≠ F (b j ) Y = b j ] = 1 − P[ F (b j ) b j ]
12
2.1 错误概率与译码规则
译码错误概率的统计平均值称为平均译码错误或平均差错 率，记为 Pe
Pe = ∑ P(b j )P(e b j ) = ∑ P(b j ){1 − P[ F (b j ) b j ]}
由平均差错率的表达式可以看出，要减小Pe，必须增大 各个符号的译码正确概率 P[ F (b j ) b j ] 。译码正确概率
P[ F (b j ) b j ] 与译码规则密切相关，如果所有的 P[ F (b j ) b j ]
(j=1,2,…,s)都是最大的，那么Pe最小。
19
2.2 最佳译码规则
H ( S ) 1 LN H ( S ) + > ≥ log r N N log r
• 无噪信道编码定理：若信道的信息传输率R不大 于信道容量C，总能对信源的输出进行适当的编 码，使得在无噪无损信道上能无差错的以最大信 息传输率C传输信息；若R大于C，则无差错传输 是不可能的。
3
第1节 引言
• 本章的核心问题(有噪信道编码)： 在有噪信道中怎样使消息通过传输后发生的错误 最少？ • 理论基础： 香农在1948年发表的论文《通信的数学理论》中 提出并证明了的信道编码定理(香农第二定理)。
17
2.1 错误概率与译码规则
• 两种典型的译码规则：
– 最佳译码规则 – 极大似然译码规则
18
2.2 最佳译码规则
最佳译码规则：使Pe达到最小的译码规则。
Pe = ∑ P(b j )P(e b j ) = ∑ P(b j ){1 − P[ F (b j ) b j ]}
j =1 j =1 s s
j =1 j =1 s s
显然，Pe 与译码规则F有关。使 Pe 小的译码规则才是 好的译码规则。为方便计算，可将 Pe 的计算式化为： s