编码理论

信道，是由它的输入信号、输出信号和它 们的转移概率特性所表征的信息通道。 假定，信道输入和信道输出分别为U和V， U u1 , u 2 , u3 ,u m V v1 , v2 , v3 ,vm 即：
其信道的输入输出转移特性为：
pv1 u1 pv 2 u1 pv n u1 pv u pv u pv u 2 2 n 2 pV U 1 2 p v u p v u p v u 2 m n m 1 m
1.2.2 信道编码
信道，是指有明确信号输入和信号输出的信息通 道。
这个通道可以是空间，如通信系统把信号从一个地点传 送到另一个地点； 这个通道可以是时间，如存储系统把 信号从某个时间开始存储到下一个时间； 这个通道可以 是过程，如处理系统把信号从一个接口演变到另一个接口。 无论是哪一种通道，有输入到输出的转移过程，这个转 移过程反映了该通道的特征。 最基本、最简单的转移过程，就是什么都不改变，仅仅 把输入原封不变的搬到输出。实际上，任何信道，在我们 研究的尺度空间，都很难做到输出与输入完全一样、原封 不变，输入经过信道之后总有不同和差异。
j
:S : A
编码
解码
信源编（解）码过程
如果信源是由离散信源符号构成的，信源编码就 是针对每个离散信源符号进行处理，寻找出相应合理 码长的码字，从而构成平均码长最短的编码。这是各 种信源编码的基础。
如果信源符号出现概率是不一致的，相应编码码 字的码长也就不一致，很难实现平均码长尽量短的编 码。 如果信源不是离散信号而是连续信号，那首先把 连续信号处理成离散信号，再对离散信号进行编码， 实现连续信源编码。
j 1
信源编码是希望构造平均码长最短的编码
信源编码（定义）：
把原信源信号变换成为新的数字序列、 使序列所含码字的平均码长最短又不损失原信 息的过程。
信源：S
编码：A
编码：A: { y, l }, y=( y1, y2, …. yN ), l=( l1,
l2, …. lN ),
S : A:
x1 x2 xM p p p M 1 2 y1 y2 y N N 1 2 xi y j pi
编码信号，是经过编码处理传递信息的信号。 通信传递的信息需要编码、保存信息需要编码、 加工处理信息需要编码、应用信息更需要编码。 不同的应用需要不同的信号格式，包含不同的 信息，就需要采用不同的编码，以满足它的应 用要求。 总之，社会发展需要信息，人类生活需要信息， 设备运转需要信息，……。提供信息的信号、 反映信息的信号、处理信息的信号、利用信息 的信号，都需要编码。
端到端的通信系统模型
信源 信源编码 信道编码 调制 噪声 干扰
同步
收信者 信源译码 信道译码
信道
解调 调制和检测理论
信息和编码理论
从图中可知，数字通信的主要技术问题包括：信源编译码、 信道编译码、数字调制解调、基带传输、信道与噪声、接 收时必须要解决的同步问题、为了使通信过程保密，要进 行保密编译码的处理等。
（最常见和典型的是：差错信道，编码有纠错能力） 编码处理(编码变换) : U=f (A)
ˆ g V 解码处理 (解码变换) : A
信道编码的目标：根据信道特征，把信号变换成数 字序列、在给定差错率要求情况下能尽量最大传 送（或保存、加工、使用）信息。 ----- 数据可靠传输的编码 在给定信息传送速率下，能使平均误码率最小的 编码（解码）过程。
携带信息的原始信号，往往都不是最简信号，而是包
含有相当的冗余（多余量）。 信源： S: { x, p(x) }
x=( x1, x2, …. xM ), p(x) = ( p(x1), p(x2), …. p(xM ) )
信源模型，是把信源符号作为概率变量表述它所构 成的信源的数学模型。假定S代表信源，x1 , x2 ,, x M 表示信源符号，其出现概率为 px1 , px2 , pxM ， 则信源模型为： x2 xM x1 S : px1 px2 pxM 信源符号的出现概率通常简写为 pxi pi， i 1,2, M 满足：
编码处理的结果被称为编码，表示为 A
编码是从S到A的运算，若运算函数记为f(.)，那编码的函 数表示为
A f S
解码过程是从A到S的运算，若运算函数记为g(.)，解码 函数就表示为 Sg A

解码是编码处理的逆过程，有
g f
1
这样，从编码到解码，能完全恢复原携带有信息的信 源，有 1
pi 0
M i
p
i 1
1
对信源进行编码，就是把信源信号变换成数字序列，假定数 y1 , y2 , y3 ,, y N ，各码字的 字序列A由N个码字构成,分别为： 码长分别是 1 , 2 , 3 ,, N，则数字序列A可表示为：
y1 , y 2 , y3 ,, y N A: 1 , 2 , 3 , , N
00 00 01 11 10 0.80 0.10 0 0.10 01 0.15 0.80 0.05 0 11 0 0.10 0.80 0.10 10 0.05 0 0.15 0.80
这就说明，通信信道准确传送到访信息的概率为80%， 差错概率为20%。但不同差错的概率各不相同，有的高， 有的低。
信道编码，根据信道转移特性和应用质量要求 （如传输要求），把原信号构建成合理匹配信道 特性满足质量要求的新信号。
编码理论的内容
编码理论的内容包括三个方面
以保证数字信息传输和处理的可靠性为目的的差
错控制编码（error-control coding），又称为信 道编码（channel coding）； 以提高数字信息传输、存储处理的有效性为宗旨 的信源编码（Source coding）； 以增加数字信息传输、存储的安全性为目标的数 据加密编码（data encryption）；
pV U 反映信道的输入输出转移特性，被称为信道转
则信道模型定义为： 信道 W : U , pV U , V

移函数，又称为信道转移概率矩阵。
pv j u i 是信道输入 u i 给定条件下输出
pv j u i 0
v j 的概率，有
此式说明，任何输入输出之间的转移概率最小为0，如 果 p v j u i 0 ，则 u i 和 v j 之间没有任何关联。
编码理论 --Coding Theory
周武旸 中国科学技术大学 2007-11-9
基本内容
第一章
绪论 第二章 信源编码 第三章 线性分组码 第四章 循环码 第五章 BCH码 第六章卷积编码 第七章 网格编码调制 第八章 保密通信
教材
《信息论、编码与密码学》
Rajjan Bose著 武传坤译
pv
n j 1
j
ui 1
此式说明，在给定输入 u i 的情况下，总会在信道输出 中出现相关信号，在各输出信号中的出现概率之和为1。
例1.2：仍以远方朋友的来访为例。考虑朋友通知到访 时间，按上午，下午，晚上，凌晨4个时段来通知，被编码成“00” 表示上午，“01”表示下午，“11”表示晚上，“10”表示凌晨。在 通信传送到接收方的过程（信道）中，有可能出错，把通知上午到 访（输入）搞成为下午或晚上（输出）。假定，这个传送信道的转 移概率矩阵为：
如果A是信源S的编码，则从S到A的信源编码过程可 表示为：
y1 y 2 y N x1 x2 x M S : A: p1 p2 p M 1 2 N
其中，信源符号与码字对应，符号出现概率与码长对应。
码字的平均码长大小成为衡量信源编码优劣的主要参数， N 平均码长定义为： L p j j
在《通信的数学原理》中，他提出了受干扰信道编 码定理，该定理的主要内容为： 每个受干扰的信道具有确定的信道容量C。例如，当 信道中存在高斯白噪声时，在信道带宽W、单位频 带信号功率S、单位频带噪声功率N下，信道容量可 表示为 S
C W log 2 (1 ) N bps
对于任何小于信道容量C的信息传输速率，存在一个 码长为n，码率为R的分组码，若用最大似然译码， 则其译码错误概率为
1.1.2 编码和解码
编码
对带有信息的原信号加以处理，构成利于传 输（保存、加工、使用）的新信号的过程。
原信号 (携带有信息) (处理) 新信号
(保留有携带信息)
编码的逆过程是解码。解码是为从编码出的 新信号中解出原信号并获取所携带信息而不可 少的。编码是一个处理过程，解码也是一个处 理过程。
携带有信息的原信号被称为信源，表示为 S
差错控制编码技术类别繁多，应用面广，在上 述三类编码中占有较大的比重，因此，通常使 用的编码这一术语，常常是指差错控制编码和 译码。
差错控制编码技术是适应数字通信抗 噪声干扰的需要而诞生和发展起来的， 它是于 1948 年、著名的信息论创始人 C. E. Shannon（香农）在贝尔系统技 术 杂 志 发 表 的 “ A Mathematical Theory of Communication”一文，开 创了一门新兴学科和理论：信息论和 编码理论。
无线信道
比有线信道要恶劣的多！
反射 折射 散射
由于多径使得信号消弱
快衰落和慢衰落
第一来自百度文库 绪论
1.1 编码与编码理论 1.2 编码分类和相关基础 1.3 编码系统模型 1.4 编码理论的发展
1.1 编码与编码理论
1.1.1 信息与编码
通信最基本、最重要的功能就是传递信息、 获取信息、处理信息和利用信息。 古代的结绳记事，长城上的峰火台硝烟，墙 壁上的点划刻蚀，……，都是为传递和保存信息 的典型手段，是一种最简单、最经典的编码。 有线和无线通信产生以后，真正的编码技术 随之产生，以不同点、划、间断的组合代表不同 文字和数字的莫尔斯码、中文电报码等，开始了 编码的真正研究和应用。 现在，几乎所有信息应用领域都需要编码， 各种编码都在被积极研究。
编码目标
尽量好的效果 尽量短的序列 尽量少的差错 尽量容易实现
1.2 编码分类和相关基础
1.2.1 信源编码 信源是携带信息的原始信号，如彼此的通话、相互的交 流、书面的文章、统计的数据图表等。为了让对方、 让读者、让接收方能理解清楚和准确把握，这些信号 往往会从不同角度、不同方面表达和叙述要传递的信 息，有时还不得不重复、甚至多次重复和强调。因此，
S' g A g f S f
f S S
S’为解码的输出。
1.1.3 编码理论
编码理论 对原信号进行处理，构造成利于高 可靠、高效率地传输信息（保存信息、加工 信息、利用信息）的数字信号序列、并能方 便恢复或解出原信号信息的理论及应用体系。
例1.1：以远方朋友的来访为例。如果对方要通知你哪天 到访，可以采用5位的二进制码，有32个码字，正好与一 个月的30天（或31天）对应。 00001为1号，00010为2号，00011为3号，……，11111为 31号。 传送“00101”码字，就知道到访日期是5号。 这种编码32种事件状态对应长5位的32个码字，数据量最 少，满足高效率传输信息的要求。
Pe Ae
nEb ( R )
对于码率为R，约束长度为nc的卷积码，则有
Pe Be
nc Ec ( R )
式中A、B为常数，Eb(R) 和Ec(R) 称为误差指 数。 Shannon定理告诉我们，只要传输速率不超 过信道容量C，总可以用差错控制编码方法， 使信道输出的错误减至任意小。但是，该定理 并没有告诉人们如何去进行满足要求的编码。
g ( ) ˆ A A U V