编码理论简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 香农第三定理：在信息传输率R>R(D) 时，只 要有足够的码长，则必然存在一种编码方法， 使译码平均失真可以任意接近允许失真D。 • 其中R(D)是率失真函数，也就是最佳编码率
现代信源编码方法的研究
• • • • • 寻找现有压缩编码的快速算法 寻找新颖高效的现代压缩方法，比如： 分形编码、小波编码 神经网络编码，DPCM编码 模型编码（Model Based Coding）
限失真信源编码的研究
• 通过引入失真，对连续信源进行编码 • 限失真信源编码实际上就是最佳量化问题，它的研 究比信道编码和无失真信源编码落后约10年左右 • 1948年香农在其论文中体现了率失真函数的思想 • 1959年香农提出率失真函数，限失真信源编码定理 • 1971年伯格尔《信息率失真理论》 • 限失真信源编码就是在保证平均失真小于允许失真D 的条件下，如何实现最佳编码率R(D)
无失真ห้องสมุดไป่ตู้源编码定理
• 香农第一定理：必然存在一种编码方法，使码 的平均长度可任意接近但不能低于信息熵
克拉夫特(Kraft)不等式
ni r 1 i 1 q
• 其中r是码元个数，q是码的个数，ni是码长 • 码元个数的负码长幂之和不超过1
未知概率特性的无失真信源编码
• 这时对信源进行的编码称为通用编码 • 20世纪70年代末，以色列学者兰佩尔(A. Lempel)和 奇费(J.Ziv)提出一种语法解析码，习惯上简称LZ码 • 1977年他们首先提出这种方法，并于1978年作了改 进，分别称为LZ77和LZ78算法 • 1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一 种实用的算法，后定名为LZW算法。 • 1990年，贝尔（T.C.Bell）做了一系列变化和改进， 现在LZ码被广泛应用于文本数据压缩
什么是信道编码
• 信道编码的主要目标是研究如何提高信息传 送的可靠性，它通过对信源编码进行适当的 变换和处理使其具有自动检错和纠错功能 • 信道中的干扰使通信质量下降，也就是使信 息传送不可靠。对于模拟信号，表现在收到 的信号的信扰比下降；对于数字信号，表现 在误码率增大 • 信道编码需要适当增加冗余信息
香农信道编码定理
• 香农第二定理： 对于一个给定的离散无记忆信 道，如果信道容量为C，只要信息传输率R<C， 则一定存在一种编码方法，使译码错误率PE随 着码长n的增加，按指数下降到任意小
已知概率特性的无失真信源编码
• 1948年，无失真信源编码定理，香农编码 • 1952年，费诺(Fano)码，霍夫曼码(Huffman) • 1956年，麦克米伦(McMillan)证明了惟一可译 码的克拉夫特(Kraft)不等式 • 1968年，埃利斯(Elias)，香农-费诺码 • 1976年，里斯桑内(Rissanen)，算术编码 • 1982年，里斯桑内和兰登（Langdon），算术 编码系统化，省去乘法
编码理论的基本问题
• • • • 如何提高一般通信系统的有效性和可靠性 如何提高加密通信系统的安全性 编码问题可以分为三类： 信源编码、信道编码、密码编码
一般通信系统模型
• 通信系统：电报、电话、电视、广播、遥测、遥 控、雷达和导航等 • 通信系统都可以看作信息传输系统：
信号 信源 编码器 信号+干扰 信道 干扰 信 源 编 码 信 道 编 码 噪声源 信 道 译 码 信 源 译 码 译码器 信宿
什么是密码编码
• 密码编码是通信系统中的另一类编码问题， 它的目的是通过加密或隐藏防止非授权用户 对重要或机密信息的窃取、伪造和篡改，以 保证通信的安全性、真实性和完整性 • 发送端的明文信息经过编码后成为密文，当 授权者收到后，可用已有的密钥正确地译成 明文； • 对于非授权者，因没有密钥而无法取得该信 息，从而保证通信的安全性
编码理论的发展历史
• 信源编码的发展历史 • 信道编码的发展历史 • 密码编码的发展历史
信源编码的发展历史
• 无失真信源编码的研究 • 限失真信源编码的研究 • 现代信源编码方法的研究
无失真信源编码的研究
• 无失真信源编码适用于离散信源或数字信号， 如文本数据 • 无失真信源编码不适用于连续信源或模拟信号， 如语音图像等信号的数字处理 • 在概率特性已知条件下的无失真信源编码 • 在概率特性未知条件下的无失真信源编码
率失真函数R(D)简介
• 平均互信息量I(U;V)是信源分布P(U)={p(ui)}和信道矩 阵P(V|U)={p(vj|ui)}的函数，即：
I (U ;V ) f ( p(U ), p(V | U )) p(ui ) p(v j / ui ) log
i 1 j 1 r s
p(v j / ui )
加密通信系统模型
信 源 信 源 编 码 加 密 编 码
信 道 编 码
信 道
信 道 译 码
加 密 译 码
信 源 译 码
信 宿
噪 声 源
什么是信源编码
• 信源编码的主要目标是提高通信系统的有效性，它通 过对信源输出的消息进行适当的变换和处理，以达到 提高传输效率的目的 • 经典信源编码方法主要依据信源本身的固有统计特性 • 现代编码压缩技术则注重对人类感知特性的利用，使 得编码效率得以极大提高 • 信源编码要求尽量去掉冗余信息
k j
p(u ) p(v
k 1
r
/ uk )
• 设D为允许失真度，对给定信源分布P(U) ，如果把信 道矩阵P(V|U)限定在允许失真信道集合BD内选取，那 么 I(U;V)所能逼近的最小值就是率失真函数:
R( D) min {I (U ;V )}
P (V |U )BD
限失真信源编码定理
信道编码的发展历史
• • • • 信道编码理论的研究 信道容量分析的研究 信道编码方法的研究 网络信息理论的研究
信道编码理论的研究
• 1948年，香农信道编码定理 • 1952年费诺(R.M.Fano)证明费诺不等式和香农 信道编码逆定理 • 1957年沃尔夫维兹证明信道编码强逆定理 • 1961年费诺描述分组码中码率、码长和错误率 的关系，并证明了香农信道编码定理的充要性 • 1965年格拉格尔(R.G.Gallager)发展并简洁地 证明了费诺的结论
现代信源编码方法的研究
• • • • • 寻找现有压缩编码的快速算法 寻找新颖高效的现代压缩方法，比如： 分形编码、小波编码 神经网络编码，DPCM编码 模型编码（Model Based Coding）
限失真信源编码的研究
• 通过引入失真，对连续信源进行编码 • 限失真信源编码实际上就是最佳量化问题，它的研 究比信道编码和无失真信源编码落后约10年左右 • 1948年香农在其论文中体现了率失真函数的思想 • 1959年香农提出率失真函数，限失真信源编码定理 • 1971年伯格尔《信息率失真理论》 • 限失真信源编码就是在保证平均失真小于允许失真D 的条件下，如何实现最佳编码率R(D)
无失真ห้องสมุดไป่ตู้源编码定理
• 香农第一定理：必然存在一种编码方法，使码 的平均长度可任意接近但不能低于信息熵
克拉夫特(Kraft)不等式
ni r 1 i 1 q
• 其中r是码元个数，q是码的个数，ni是码长 • 码元个数的负码长幂之和不超过1
未知概率特性的无失真信源编码
• 这时对信源进行的编码称为通用编码 • 20世纪70年代末，以色列学者兰佩尔(A. Lempel)和 奇费(J.Ziv)提出一种语法解析码，习惯上简称LZ码 • 1977年他们首先提出这种方法，并于1978年作了改 进，分别称为LZ77和LZ78算法 • 1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一 种实用的算法，后定名为LZW算法。 • 1990年，贝尔（T.C.Bell）做了一系列变化和改进， 现在LZ码被广泛应用于文本数据压缩
什么是信道编码
• 信道编码的主要目标是研究如何提高信息传 送的可靠性，它通过对信源编码进行适当的 变换和处理使其具有自动检错和纠错功能 • 信道中的干扰使通信质量下降，也就是使信 息传送不可靠。对于模拟信号，表现在收到 的信号的信扰比下降；对于数字信号，表现 在误码率增大 • 信道编码需要适当增加冗余信息
香农信道编码定理
• 香农第二定理： 对于一个给定的离散无记忆信 道，如果信道容量为C，只要信息传输率R<C， 则一定存在一种编码方法，使译码错误率PE随 着码长n的增加，按指数下降到任意小
已知概率特性的无失真信源编码
• 1948年，无失真信源编码定理，香农编码 • 1952年，费诺(Fano)码，霍夫曼码(Huffman) • 1956年，麦克米伦(McMillan)证明了惟一可译 码的克拉夫特(Kraft)不等式 • 1968年，埃利斯(Elias)，香农-费诺码 • 1976年，里斯桑内(Rissanen)，算术编码 • 1982年，里斯桑内和兰登（Langdon），算术 编码系统化，省去乘法
编码理论的基本问题
• • • • 如何提高一般通信系统的有效性和可靠性 如何提高加密通信系统的安全性 编码问题可以分为三类： 信源编码、信道编码、密码编码
一般通信系统模型
• 通信系统：电报、电话、电视、广播、遥测、遥 控、雷达和导航等 • 通信系统都可以看作信息传输系统：
信号 信源 编码器 信号+干扰 信道 干扰 信 源 编 码 信 道 编 码 噪声源 信 道 译 码 信 源 译 码 译码器 信宿
什么是密码编码
• 密码编码是通信系统中的另一类编码问题， 它的目的是通过加密或隐藏防止非授权用户 对重要或机密信息的窃取、伪造和篡改，以 保证通信的安全性、真实性和完整性 • 发送端的明文信息经过编码后成为密文，当 授权者收到后，可用已有的密钥正确地译成 明文； • 对于非授权者，因没有密钥而无法取得该信 息，从而保证通信的安全性
编码理论的发展历史
• 信源编码的发展历史 • 信道编码的发展历史 • 密码编码的发展历史
信源编码的发展历史
• 无失真信源编码的研究 • 限失真信源编码的研究 • 现代信源编码方法的研究
无失真信源编码的研究
• 无失真信源编码适用于离散信源或数字信号， 如文本数据 • 无失真信源编码不适用于连续信源或模拟信号， 如语音图像等信号的数字处理 • 在概率特性已知条件下的无失真信源编码 • 在概率特性未知条件下的无失真信源编码
率失真函数R(D)简介
• 平均互信息量I(U;V)是信源分布P(U)={p(ui)}和信道矩 阵P(V|U)={p(vj|ui)}的函数，即：
I (U ;V ) f ( p(U ), p(V | U )) p(ui ) p(v j / ui ) log
i 1 j 1 r s
p(v j / ui )
加密通信系统模型
信 源 信 源 编 码 加 密 编 码
信 道 编 码
信 道
信 道 译 码
加 密 译 码
信 源 译 码
信 宿
噪 声 源
什么是信源编码
• 信源编码的主要目标是提高通信系统的有效性，它通 过对信源输出的消息进行适当的变换和处理，以达到 提高传输效率的目的 • 经典信源编码方法主要依据信源本身的固有统计特性 • 现代编码压缩技术则注重对人类感知特性的利用，使 得编码效率得以极大提高 • 信源编码要求尽量去掉冗余信息
k j
p(u ) p(v
k 1
r
/ uk )
• 设D为允许失真度，对给定信源分布P(U) ，如果把信 道矩阵P(V|U)限定在允许失真信道集合BD内选取，那 么 I(U;V)所能逼近的最小值就是率失真函数:
R( D) min {I (U ;V )}
P (V |U )BD
限失真信源编码定理
信道编码的发展历史
• • • • 信道编码理论的研究 信道容量分析的研究 信道编码方法的研究 网络信息理论的研究
信道编码理论的研究
• 1948年，香农信道编码定理 • 1952年费诺(R.M.Fano)证明费诺不等式和香农 信道编码逆定理 • 1957年沃尔夫维兹证明信道编码强逆定理 • 1961年费诺描述分组码中码率、码长和错误率 的关系，并证明了香农信道编码定理的充要性 • 1965年格拉格尔(R.G.Gallager)发展并简洁地 证明了费诺的结论