第6章 有噪信道编码.ppt
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图6.1 等效通信系统模型
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
有噪信道编码定理由香农在1948年给出，但没有进行严格的 数学证明。在1955-1965包括香农本人在内，多人给出多种 不同的数学证明。 1、编码信道模型 1）信源编码
6.1 信道编码的相关概念
例题：设有一信道，信道矩阵
0.5 0.3 0.2 P 0.2 0.3 0.5
0.3 0.3 0.4
译码函数为F，可设计为：
A：F(y1)=x1,F(y2)=x2,F(y3)=x3
B: F(y1)=x1,F(y2)=x3,F(y3)=x2
C：F(y1)=x1,F(y2)=x2,F(y3)=x1
6.1 信道编码的相关概念
2)译码规则：设信道输入符号集X={x1,x2,….,xr}，输出符号集 Y={y1，y2，…，ys}。若对每一个输出符号yj都有一个确定的函 数F（yj），使yj对应于唯一的一个输入符号xi，则称这样的函 数为译码规则。记为：
F（yj）=xi（i=1，2，…，r；j=1，2，….，s）
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
举例：信源
X
P
x1 1
2
x2 1
4
x3 ，信道矩阵
1
1 4
Βιβλιοθήκη Baidu
PY|X 1
0 0
0
0
Y1
X1
Y2
X2
.
F
.
.
.
.
.
.
.
Ys
Xr
(多对一) √
Y1
Y2
.
F
.
.
.
Ys
X1 显然，总的译码规则共 X2 有rs种，并不是每一种 . 译码规则都是合理的。
.
.
.
Xr
(一对多) ´
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
4）最佳译码规则 （1）总体原则：使平均错误概率Pe最小。 （2）最大后验概率准则： 选择译码函数F（yj）=x*，使之满足
条件P(x*|yj)>=p(xi|yj)，对任意i 含义：它是选择这样一种译码函数，对于每一个输出符号yj 均译成具有最大后验概率的那个符号x*，此时具有Pe最小值
信息论基础
尹洪胜 主讲
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT,
第六章 有噪信道编码
6.1 信道编码的相关概念 6.2 有噪信道编码定理 6.3 纠错编码（自学） *6.4 几种重要的纠错码（自学）
0 0.5 0.5
求最大后验概率准则下的译码方案。
解：利用贝叶斯公式：
1 收到y1:
P(x1|y1)=2/3, P(x2|y1)=1/3, P(x3|y1)=0 所以F(y1)=x1
…………………………
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
3）错误概率 ：在确定译码规则F（yj）=xi*下，信道输出端接收 到
yj ，则一定译成xi*。此时如果发送端发送的就是xi*，表明译码 正确；否则就是译码错误。那么：
1）错误概率PE和信道统计特性、译码过程、译码规则有关。
例 二元对称信道
1-p=0.1
0
0
译码 规则：
0 0 1 1 PE 0.9 0 1 1 0 PE 1 0.9 0.1
P=0.9
1
1
1-p=0.1
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
正确译码概率：p（F(yj)|yj)=p(xi*|yj) 错误译码概率： p（e|yj)=1-p(xi*|yj)
平均错误概率：Pe=E[p（e|yj)]=∑p(yj) p（e|yj)
经过译码后，平均接受到一个符号所产生错误的大小。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
Mˆ
（1）信道特征：P（Y|X）描述 （2）编码对象：数字序列M，又称信息序列
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
（3）编码器：按一定的规则给数字序列M增加一些多余 的码元，使不具有规律性的信息序列M变换为具有某种 规律性的数字序列C，又称为码序列。信息序列M与多 余码元之间具有相关性。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
信道编码又称为数据传输码或差错控制码，虽然和信源编码一样 都是一种编码，但信源编码的作用是压缩冗余度以得到信息的有 效表示，提高传输时的信息传输率。而信道编码的作用是提高信 息传输时的抗干扰能力以增加信息传输的可靠性。在研究信道编 码时，信源编码器和信源译码器分别归于信源和信宿。等效通信 系统模型如图6.1所示。下面研究编码信道中的信道编码和译码。
（4）译码器：利用预知的编码规则译码，能够检验接受 的数字序列Ĉ中是否有错 ，或者纠正其中的差错，将 附加多余码元去掉，输出给信源译码器。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
2、错误概率和译码规则
新信源M：0011……101……
信源
编码器
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
2）编码信道模型
新的信道：编码信道
信源编码器输出M： 0011……101……
C 编码器
X
Y
信道
Cˆ
译码器
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
有噪信道编码定理由香农在1948年给出，但没有进行严格的 数学证明。在1955-1965包括香农本人在内，多人给出多种 不同的数学证明。 1、编码信道模型 1）信源编码
6.1 信道编码的相关概念
例题：设有一信道，信道矩阵
0.5 0.3 0.2 P 0.2 0.3 0.5
0.3 0.3 0.4
译码函数为F，可设计为：
A：F(y1)=x1,F(y2)=x2,F(y3)=x3
B: F(y1)=x1,F(y2)=x3,F(y3)=x2
C：F(y1)=x1,F(y2)=x2,F(y3)=x1
6.1 信道编码的相关概念
2)译码规则：设信道输入符号集X={x1,x2,….,xr}，输出符号集 Y={y1，y2，…，ys}。若对每一个输出符号yj都有一个确定的函 数F（yj），使yj对应于唯一的一个输入符号xi，则称这样的函 数为译码规则。记为：
F（yj）=xi（i=1，2，…，r；j=1，2，….，s）
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
举例：信源
X
P
x1 1
2
x2 1
4
x3 ，信道矩阵
1
1 4
Βιβλιοθήκη Baidu
PY|X 1
0 0
0
0
Y1
X1
Y2
X2
.
F
.
.
.
.
.
.
.
Ys
Xr
(多对一) √
Y1
Y2
.
F
.
.
.
Ys
X1 显然，总的译码规则共 X2 有rs种，并不是每一种 . 译码规则都是合理的。
.
.
.
Xr
(一对多) ´
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
4）最佳译码规则 （1）总体原则：使平均错误概率Pe最小。 （2）最大后验概率准则： 选择译码函数F（yj）=x*，使之满足
条件P(x*|yj)>=p(xi|yj)，对任意i 含义：它是选择这样一种译码函数，对于每一个输出符号yj 均译成具有最大后验概率的那个符号x*，此时具有Pe最小值
信息论基础
尹洪胜 主讲
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT,
第六章 有噪信道编码
6.1 信道编码的相关概念 6.2 有噪信道编码定理 6.3 纠错编码（自学） *6.4 几种重要的纠错码（自学）
0 0.5 0.5
求最大后验概率准则下的译码方案。
解：利用贝叶斯公式：
1 收到y1:
P(x1|y1)=2/3, P(x2|y1)=1/3, P(x3|y1)=0 所以F(y1)=x1
…………………………
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
3）错误概率 ：在确定译码规则F（yj）=xi*下，信道输出端接收 到
yj ，则一定译成xi*。此时如果发送端发送的就是xi*，表明译码 正确；否则就是译码错误。那么：
1）错误概率PE和信道统计特性、译码过程、译码规则有关。
例 二元对称信道
1-p=0.1
0
0
译码 规则：
0 0 1 1 PE 0.9 0 1 1 0 PE 1 0.9 0.1
P=0.9
1
1
1-p=0.1
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
正确译码概率：p（F(yj)|yj)=p(xi*|yj) 错误译码概率： p（e|yj)=1-p(xi*|yj)
平均错误概率：Pe=E[p（e|yj)]=∑p(yj) p（e|yj)
经过译码后，平均接受到一个符号所产生错误的大小。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
Mˆ
（1）信道特征：P（Y|X）描述 （2）编码对象：数字序列M，又称信息序列
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
（3）编码器：按一定的规则给数字序列M增加一些多余 的码元，使不具有规律性的信息序列M变换为具有某种 规律性的数字序列C，又称为码序列。信息序列M与多 余码元之间具有相关性。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
信道编码又称为数据传输码或差错控制码，虽然和信源编码一样 都是一种编码，但信源编码的作用是压缩冗余度以得到信息的有 效表示，提高传输时的信息传输率。而信道编码的作用是提高信 息传输时的抗干扰能力以增加信息传输的可靠性。在研究信道编 码时，信源编码器和信源译码器分别归于信源和信宿。等效通信 系统模型如图6.1所示。下面研究编码信道中的信道编码和译码。
（4）译码器：利用预知的编码规则译码，能够检验接受 的数字序列Ĉ中是否有错 ，或者纠正其中的差错，将 附加多余码元去掉，输出给信源译码器。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
2、错误概率和译码规则
新信源M：0011……101……
信源
编码器
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
6.1 信道编码的相关概念
2）编码信道模型
新的信道：编码信道
信源编码器输出M： 0011……101……
C 编码器
X
Y
信道
Cˆ
译码器