信息论与编码理论讲义第一章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
精品
信息论与编码理论第一章
第一章 引论
第一章 引论
1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性
1.1 通信系统模型
通信系统模型
信源
编码器
信道
译码器
信宿
干扰源
通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、 不失真或限定失真地再现在接收端
消息
是信息的载体，相对具体的概念，如语言，文字，数 字，图像
信号
表示消息的物理量，电信号的幅度，频率，相位等等
1.2 信息论研究的中心问题和发 展
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论” 奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
信息论的研究内容Βιβλιοθήκη Baidu
有效: 用尽可能短的时间和尽可能少的设备来传输 最大的消息
通信系统模型进一步细分
信源 等效离散
信源
信宿 等效信宿
信源 编码器
信道 编码器
信道编码 器
调制器
信 道
干扰源
信源 译码器
信道 译码器
信道译码 器
解调器
等效离散信道
信息、消息和信号
信息
一个抽象的概念，可以定量的描述。信息、物质和能 量是构成一切系统的三大要素
I信源编码与数据压缩-关键理论进展 的十个里程碑[Kieffer 1993]
1. 无扰信源编码的诞生(1948, C. E. Shannon)。 2. Huffman算法的发现(1952, D. A. Huffman)。 3. 建立Shannon-McMillan定理(1953, B. McMillan)。 4. 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 5. 率失真理论系统化(1959, C. E. Shannon,)。 6. Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 7. 通用信源编码理论系统化(1973, L. D. Davission)。 8. 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 9. 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco
Shannon理论
Shannon定理的证明是非构造性的，而且也不够严格，但 他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了 各种具体可构造的有效编码理论和方法，可以实现 Shannon指出的极限。
几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括噪 声理论，信号滤波和预测，统计检测和估值理论，调 制理论，信息处理理论和保密理论
广义信息论
除上述内容外，还包括自然和社会领域有关信息的内 容，如模式识别，计算机翻译，心理学，遗传学，神 经生理学
⒂ 发现 Goppa 码和代数几何码，1970, V. C. Goppa。1982, M. A. Tsfasman, S. G. Vladut, and Th. Zink ⒃ 发现欧氏几何码，TCM, 1976, G. Ungerboeck；BCM, 1977, H. Imai and S. Hirakawa。 ⒄ 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受 限高斯信道容量。Loeligerz 在 1992 年已证明，这是 Zp 上 的欧氏空间群码。
传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好
码。 问题：Shannon的证明是非构造性，如何构造好码实现定
理目标? 实现ML译码的复杂性随N呈指数增长。
2．关键理论进展：
⑴ 信道编码定理，1948，C. E. Shannon。 ⑵ 发现 Hamming 码，1950，H. W. Hamming。 ⑶ 发现 Golay 码，1954，M. J. E. Golay。 ⑷ 发现 Reed-Muller 码，1954，I. S. Reed and D. E. Muller。 ⑸ 发现卷积码，1955, P. Elias。 ⑹ 线性码、群码的系统描述，1956，D. Slepian。 ⑺ 发现循环码，1957, E. Prange。 ⑻ 卷积码的序列译码算法，1957, J. M. Wozencraft; 1964, R. M. Fano。 ⑼ 发现 BCH 码，1960, R. C. Bose and D. K. Ray-Chaudhuri, 1959, A. Hocquenghem。
以及信息存储编码调制技术
信息论几个方面的主要进展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年
⑽ 发现 Reed-Solomon 码，1960, I. S. Reed and G. Solomon。 ⑾ 纠错码作为信息论的分支出现，第一本书 Error-Correcting Codes, W. W. Peterson, MIT Press, 1961。 ⑿Berlekamp- Massey 译码算法──分组码实用代数译码算 法，1966, E. R. Berlecamp, 1969, J. L. Massey。 ⒀ 发现级连码，1966, G. D. Forney。 ⒁ 卷积码的 Viterbi 译码算法，1967, A. J. Viterbi。
1976 博士论文)。
10.发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。
信道编码与差错控制技术
1．Shannon信道编码定理和Shannon极限。 Shannon编码信道定理: R<C，存在编码方法可任意小的错误率传递速率为R的信
息，码长N要足够大。 R>C 不存在有编码方法实现满足误码率要求的速率为R的
信息论与编码理论第一章
第一章 引论
第一章 引论
1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性
1.1 通信系统模型
通信系统模型
信源
编码器
信道
译码器
信宿
干扰源
通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、 不失真或限定失真地再现在接收端
消息
是信息的载体，相对具体的概念，如语言，文字，数 字，图像
信号
表示消息的物理量，电信号的幅度，频率，相位等等
1.2 信息论研究的中心问题和发 展
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论” 奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
信息论的研究内容Βιβλιοθήκη Baidu
有效: 用尽可能短的时间和尽可能少的设备来传输 最大的消息
通信系统模型进一步细分
信源 等效离散
信源
信宿 等效信宿
信源 编码器
信道 编码器
信道编码 器
调制器
信 道
干扰源
信源 译码器
信道 译码器
信道译码 器
解调器
等效离散信道
信息、消息和信号
信息
一个抽象的概念，可以定量的描述。信息、物质和能 量是构成一切系统的三大要素
I信源编码与数据压缩-关键理论进展 的十个里程碑[Kieffer 1993]
1. 无扰信源编码的诞生(1948, C. E. Shannon)。 2. Huffman算法的发现(1952, D. A. Huffman)。 3. 建立Shannon-McMillan定理(1953, B. McMillan)。 4. 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 5. 率失真理论系统化(1959, C. E. Shannon,)。 6. Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 7. 通用信源编码理论系统化(1973, L. D. Davission)。 8. 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 9. 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco
Shannon理论
Shannon定理的证明是非构造性的，而且也不够严格，但 他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了 各种具体可构造的有效编码理论和方法，可以实现 Shannon指出的极限。
几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括噪 声理论，信号滤波和预测，统计检测和估值理论，调 制理论，信息处理理论和保密理论
广义信息论
除上述内容外，还包括自然和社会领域有关信息的内 容，如模式识别，计算机翻译，心理学，遗传学，神 经生理学
⒂ 发现 Goppa 码和代数几何码，1970, V. C. Goppa。1982, M. A. Tsfasman, S. G. Vladut, and Th. Zink ⒃ 发现欧氏几何码，TCM, 1976, G. Ungerboeck；BCM, 1977, H. Imai and S. Hirakawa。 ⒄ 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受 限高斯信道容量。Loeligerz 在 1992 年已证明，这是 Zp 上 的欧氏空间群码。
传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好
码。 问题：Shannon的证明是非构造性，如何构造好码实现定
理目标? 实现ML译码的复杂性随N呈指数增长。
2．关键理论进展：
⑴ 信道编码定理，1948，C. E. Shannon。 ⑵ 发现 Hamming 码，1950，H. W. Hamming。 ⑶ 发现 Golay 码，1954，M. J. E. Golay。 ⑷ 发现 Reed-Muller 码，1954，I. S. Reed and D. E. Muller。 ⑸ 发现卷积码，1955, P. Elias。 ⑹ 线性码、群码的系统描述，1956，D. Slepian。 ⑺ 发现循环码，1957, E. Prange。 ⑻ 卷积码的序列译码算法，1957, J. M. Wozencraft; 1964, R. M. Fano。 ⑼ 发现 BCH 码，1960, R. C. Bose and D. K. Ray-Chaudhuri, 1959, A. Hocquenghem。
以及信息存储编码调制技术
信息论几个方面的主要进展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年
⑽ 发现 Reed-Solomon 码，1960, I. S. Reed and G. Solomon。 ⑾ 纠错码作为信息论的分支出现，第一本书 Error-Correcting Codes, W. W. Peterson, MIT Press, 1961。 ⑿Berlekamp- Massey 译码算法──分组码实用代数译码算 法，1966, E. R. Berlecamp, 1969, J. L. Massey。 ⒀ 发现级连码，1966, G. D. Forney。 ⒁ 卷积码的 Viterbi 译码算法，1967, A. J. Viterbi。
1976 博士论文)。
10.发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。
信道编码与差错控制技术
1．Shannon信道编码定理和Shannon极限。 Shannon编码信道定理: R<C，存在编码方法可任意小的错误率传递速率为R的信
息，码长N要足够大。 R>C 不存在有编码方法实现满足误码率要求的速率为R的