11级-信息论基础 第1&第二章

一般信息论创始人： 一般信息论创始人：香农和维纳
香农的贡献更大
版权所有©赵蓉
信息论基础的研究的基本问题：
1）信源和信宿
信源： 研究信息测度，含有多少信息量。
无记忆信源（符号间统计独立） 离 散 信 源 信源 有记忆信源（符号间相互依赖） 连续信源
信宿：从接收到的符号中能提取多少信息量。
研究信息测度、信道容量、信源和信道编码理论和信息率失真函数。
一般信息论（ 一般信息论（工程信息论） 工程信息论）
研究信息传输和处理问题，除香农信息论外还包括噪声理论，信号滤波 和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论。
广义信息论
是一门综合的新兴学科，至今尚没有严格的定义。概括地说：凡 是能用广义通信系统模型描述的过程和系统，都能用信息基本理论来 研究。 不仅包括一般信息论所研究的内容，还包括医学、生物学、遗传学 等有关信息的问题。
版权所有©赵蓉
信息论的发展
1952年Fano证明了Fano不等式， 不等式，给出shannon信道编码逆定理的证 明 1957年Wolfowitz，1961年 Fano，1968年 Gallager给出信道编码定 理的简介证明并描述了码率， 理的简介证明并描述了码率，码长和错误概率的关系 1956年，McMillan证明了Kraft不等式 Fano码，Huffman码, Rissanen算术编码， 算术编码，汉明码， 汉明码， 卷积码的概率 译码， 译码，Viterbi译码 …… 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究， 开拓了网络信息论的研究，目 前是非常活跃的研究领域。 前是非常活跃的研究领域。
版权所有©赵蓉
Shannon的贡献： 的贡献：
1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“保密通信的信息理论”，首先用信息论的观 点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信 息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论 （网络信息论）的研究；
版权所有©赵蓉
伟大的科学家——香农 (C.E. Shannon)
1916年4 30日出生于美国密歇根州的 1916 4月30 30 Petoskey,并且是爱迪生的远亲戚。 Petoskey 1936年毕业于密歇根大学并获得数学和电子 1936 工程学士学位。 1940 年获得麻省理工学院（ （MIT） MIT）数学博士 学位和电子工程硕士学位。 1941年到1972 1972年在贝尔实验室数学部工作； 1941 1972 1956年时他成为麻省理工学院客座教授； 1956 1958年成为终生教授。 1958 2001年2 24日逝世。 2001 2月24 24
版权所有©赵蓉
一般信息论（ 一般信息论（工程信息论） 工程信息论）简介
研究内容： 研究内容：信息传输和处理问题。 理论构成： 理论构成：香农信息论
噪声理论 信号滤波和预测 统计检测和估值理论 调制理论 信息处理理论 保密理论
区别： 区别 ：
香农研究的是从信源到信宿的全过程，收发两端联合优化问题。 维纳研究的重点是接收端，如何在接收端把消息从干扰中提取出来。
香农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信 系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之 甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程， 不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的 信息就越多；
信息:抽象的，非物理性的。 消息：具体的，非物理性的。（不是信息本身） 信号：具体的，物理性的。（可在信道和自然界中传输）
版权所有©赵蓉
信息论研究的基本内容（ 信息论研究的基本内容（有3种解释） 种解释）
信息论基础（ 信息论基础（ Shannon信息论 Shannon信息论 狭义信息论） 狭义信息论）
2）信道
核心问题： 信道容量是多少？（即最多能传输多少信息）
无噪无损 无噪有损 有噪无损 有噪有损
关心内容： ？ 关心内容： 信源经这些信道传输后获得多少信息量？ 信源经这些信道传输后获得多少信息量 版权所有©赵蓉
信息论基础的研究的基本问题：
3）编（译）码理论 信源编码： 信源编码： 香农第一定理。
信息
信息论
随机理论
研究 方法
研究 目标
提高通信系 统的有效性 和可靠性
版权所有©赵蓉
研究对象： 研究对象：信息
“信息”是信息论中最基本、最重要的概念。 信息的概念十分广泛。截止到1977年，有文章可查的，有出 处的关于信息的定义就有100多种。
信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是通信传输的内容； 信息就是数据； 信息是物质和能量在时间和空间分布的不均匀性； …… …… 数学家认为：信息是使概率分布发生改变的东西； 哲学家认为：信息是物质成分的意识成分按完全特殊的方式融合 起来的产物；
版权所有©赵蓉
香农和维纳关于“信息”的定义
1948年，美国科学家维纳（N.Wiener）在《控制论》一书中 关于“信息”的定义：
信息就是信息。 ，不是物质，也不是能量。 信息就是信息。
1948年，C.E.Shannon 在“通信的数学理论”一文中指出： 一文中指出：
“信息”就是消除不定性的东西。 就是消除不定性的东西。
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
二、研究内容 主要研究信息传输、 主要研究信息传输、处理的一般规律。 处理的一般规律。 目的： 目的：建立统一的理论来评价各种通信系统。 建立统一的理论来评价各种通信系统。
信息传输过程 信息传输过程： 传输过程： 信息→ 信息→消息→ 消息→信号
不讨论通信系统的具体构成，只从理论上研究信息在 整个通信系统的传输过程。
教学安排
共32学时 32学时（ 学时（2学分） 学分） 考核方式： 考核方式：出勤 作业 期末考核
版权所有©赵蓉
教材
版权所有©赵蓉
主要参考书
《信息论-基础理论与应用》傅祖芸,电子工业出版社,2008 《信息论基础及应用》曲炜 等,清华大学出版社,2005 《信息理论基础》周荫清，北航出版社 2006 《信息论与编码》陈运等,电子工业出版社,2002 《工程信息论》田宝玉，北邮出版社，2004 《信息论基础教程》李亦农等，北邮出版社 2005 《Applied Coding and Information Theory for Engineers》 Richard B.Wells, Prentice-Hall,Inc.1999.
版权所有©赵蓉
与其他学科的联系
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质(参考)
版权所有©赵蓉
信息的性质（参考）
存在的普遍性： 存在的普遍性： 有序性： 有序性：信息可以用来消除系统的不确定性， 信息可以用来消除系统的不确定性，增加系统的有序性。 增加系统的有序性。 相对性： 相对性：同一个事物， 同一个事物，不同的观察者获得的信息量可能不同。 不同的观察者获得的信息量可能不同。 可度量性： 可度量性：可以定量描述， 可以定量描述，通常用信息量表示。 通常用信息量表示。 可扩充性： 可扩充性： 可存储、 可存储、传输与携带性： 传输与携带性： 可压缩性： 可压缩性： 可替代性： 可替代性： 可扩散性： 可扩散性： 可共享性： 可共享性： 时效性： 时效性：信息是有“寿命”的。
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
信息论的发展
1885年凯尔文研究了一条电缆的极限传信速率。 1885 1924年奈奎斯特在研究影响电报传递速度的因素时, 证明了信号传输 1924 速率和带宽成正比。 1928年哈特莱开始用概率的观点来分析信息传输问题，提出信息量定 1928 义为可能消息量的对数。 1940维纳将随机过程和数理统计引入通信与控制系统，并且为信息论 1940 的进一步发展和拓展作了大量工作。 1948年 1948 Shannon 发表《 A Mathematical Theory of Communication》为 创立信息论作出了决定性的贡献; 经典信息论奠基。
版权所有©赵蓉
《信息论基础》的基本内容
1. 绪论 2. 信源和信源熵 3. 信道和信道容量 4. 信源编码 5. 信道编码 6. 信息率失真函数
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
1.1 信息的一般概念
信息论基础是信息科学的一部分，信息科学是以信息为研究对象 的科学。 研究 对象 研究 内容 信源 信道 编码
版权所有©赵蓉
通信理论教研室 518
信息论基础
吉林大学通信工程学院
通信工程系 赵蓉
信息论的重要性
信息论是信息科学和技术的基本理论,信息科 学大厦的地基; 没有信息论的基础，从事通信与信息领域的 研究和创新是不可能的事情; 信息论是高层次信息技术人才必不可少的基 础知识。
版权所有©赵蓉
课程定位
通信工程专业的学科基础课程 通信工程专业的学科基础课程 限选课 通信与电子信息类专业的标志性课程
理论 等 长 码 方法在数字通信原理中解决 编码方法 理论 变长码 霍夫曼编码 方 法 费 诺 编 码
ቤተ መጻሕፍቲ ባይዱ
信道编码： ： 可靠性编码， 可靠性编码，进行差错控制。 进行差错控制。 重点： ： 香农第二定理。 香农第二定理。
具体编码方法：奇偶校验码 汉明码 循环码 卷积码……