信息论与编码-第一课

信息论与编码-绪论
Shannon受着前辈的工作的启示，其中最具 代表性的是《贝尔系统技术杂志》上所披露 的奈奎斯特的《影响电报速率的一些因素》 和哈特莱的《信息的传输》。正是他们最早 研究了通信系统的信息传输能力，第一次提 出了信息量的概念，并试图用教学公式予以 描述。而香农则创造性地继承了他们的事业， 在信息论的领域中钻研了8年之久，终于创 建了信息论。
Elwood Shannon，1916年4月30日—2001年2月26日）美 国数学家 ➢ 于1916年4月30日出生于美国密歇根州的Petoskey ➢ 1936年毕业于密歇根大学并获得数学和电子工程学士学 位 ➢ 1940年获得麻省理工学院（MIT）数学博士学位和电子工 程硕士学位 ➢ 1941年他加入贝尔实验室数学部，工作到1972年 ➢ 1956年他成为麻省理工学院（MIT）客座教授，并于1958 年成为终生教授，1978年成为名誉教授 ➢ 香农博士于2001年2月26日去世，享年84岁
种“内容”。或者说是接受方在接受到一个 符号或一个序列后，所获得的“内容”。
信息论与编码-绪论
信息论的研究范畴
信息论与编码-绪论
信息论的研究范畴 ➢ 信息论是在信息可以度量的基础上，对如何
有效、可靠地传递信息进行研究的科学。
信息论与编码-绪论
信息论的研究范畴 ➢ 信息论是在信息可以度量的基础上，对如何
信息论与编码-绪论
➢ 1948年在《贝尔系统技术杂志》上发表了244页 的长篇论著，《通信的数学理论》。
➢ 1949年，他又在同一杂志上发表了另一篇名著 《噪声下的通信》。
➢ 在这两篇文章中，他解决了过去许多悬而未决的问 题：经典地阐明了通信的基本问题，提出了通信系 统的模型，给出了信息量的数学表达式，解决了信 道容量、信源统计特性、信源编码、信道编码等有 关精确地传送通信符号的基本技术问题。
信息的一般含义 ➢ 信息至今无确切定义，但是它是一种人人皆
知的抽象概念，是一种不言自明的概念。 ➢ 信息在不同的领域内有不同的定义。
信息论与编码-绪论
信息的一般含义 ➢ 信息至今无确切定义，但是它是一种人人皆
知的抽象概念，是一种不言自明的概念。 ➢ 信息在不同的领域内有不同的定义。 ➢ 在通信领域内是指通信时所要告诉对方的某
信息论与编码-绪论
1.1信息论的基本概念 ➢ 信息
如何定义信息、如何度量信息、如何计算 信息 ➢ 信息论
如何处理信息、如何传递信息、如何提取 信息
信息论与编码-绪论
信息的一般含义
信息论与编码-绪论
信息的一般含பைடு நூலகம் ➢ 信息至今无确切定义，但是它是一种人人皆
知的抽象概念，是一种不言自明的概念。
信息论与编码-绪论
信息论与编码
授课老师：魏平俊 联系电话： Email:
信息论与编码
教学内容 ➢ 香农信息论的基本概念、基本理论
信息、熵、信道容量、编码定理（无失真信源编码、有 噪信道编码，限失真信源编码等，信道编码理论） ➢ 信道编码 基本原理、常用码编译原理和方法 ➢ 信源编码 ➢ 密码学简介
信息论与编码
➢ 教学重点： 信息度量、信道容量、无失真信源编码、限失 真信源编码、信道编码的基本理论及实现原理。
• 纠错码-原理与方法，王新梅 • 信道编码，刘玉君
信息论与编码-绪论
第一章 绪论 ➢ 1.1信息论的基本概念 ➢ 1.2信息论发展简史 ➢ 1.3信道编码发展简史 ➢ 1.4通信系统的基本模型
信息论与编码-绪论
1.1信息论的基本概念
信息论与编码-绪论
1.1信息论的基本概念 ➢ 信息
如何定义信息、如何度量信息、如何计算 信息
信息论与编码-绪论
本书所要解决的问题 ➢ 什么是信息、如何度量信息？ ➢ 在信息传输中，基本的极限条件是什么？ ➢ 对于信息的压缩和恢复的极限条件是什么？ ➢ 从环境中抽取信息极限的条件是什么？ ➢ 设计什么样的设备才能达到这些极限？ ➢ 这些设备是否存在？
信息论与编码-绪论
1.2 信息论发展简史和现状 ➢ 信息论的奠基人—克劳德·艾尔伍德·香农（Claude
信息论与编码-绪论
➢ “通信的基本问题就是在一点重新准确地或近似地 再现另一点所选择的消息”。——《通信的数学理 论》中的一句铭言。正是沿着这一思路他应用数理 统计的方法来研究通信系统，从而创立了影响深远 的信息论。
➢ 两篇文章成了现在信息论的奠基著作
信息论与编码-绪论
信息论与编码-绪论
➢ 1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理 论是有启发的。
➢ 1885年凯尔文(L. Kelvin)曾经研究过一条电缆的极限传信率问 题。
➢ 1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研 究，并建立了信号频谱概念。
➢ 1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来 传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来 了。
➢ 1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提 出把消息考虑为代码或单语的序列。
➢ 1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中 增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提 出了宽偏移的频率调制方法，该方法是有划时代意义的。
信息论与编码
➢ 参考书：
• 信息论与编码，曹雪虹 张宗橙编，清华大学出版社， 2004
• 信息论—基础理论与应用， 傅祖芸编著，电子工业出版 社，2001
• 信息理论基础，周炯槃
• 信息与编码理论，王育民、梁传甲，西北电讯工程学院 出版社
• The theory of information and coding, R.J. McEliece
有效、可靠地传递信息进行研究的科学 ➢ 狭义信息论：信息度量、信息特征、信息传
输速率、信道容量、干扰对信息传输的影响 等。
信息论与编码-绪论
信息论的研究范畴 ➢ 信息论是在信息可以度量的基础上，对如何
有效、可靠地传递信息进行研究的科学。 ➢ 狭义信息论：信息度量、信息特征、信息传
输速率、信道容量、干扰对信息传输的影响 等 ➢ 广义信息论：还包括信号设计、噪声理论、 信号的检测与估值等。