信息论与编码-第一章

信息论与编码-绪论
信息的定义 Shannon:随机不定性程度的减少 局限性:没有包含信息的内容和价值，只考虑了随机型的不定性， 没有从根本上回答“信息是什么”的问题。 1948年维纳（N. Wiener）:信息是人们在适应外部世界，并且 这种适应反作用于外部世界的过程中，同外部世界进行互相交换 的内容的名称。维纳关于信息的定义包含了信息的内容与价值， 从动态的角度揭示了信息的功能与范围，但也有局限性。由于人 们在与外部世界的相互作用过程中，同时也存在着物质与能量的 交换，维纳关于信息的定义没有将信息与物质、能量区别开来。 1975年，意大利学者朗高（G. Longo）在《信息论：新的趋势 与未决问题》一书的序言中认为"信息是反映事物的形式、关系和 差别的东西，它包含在事物的差异之中，而不在事物本身"。当然， "有差异就是信息"的观点是正确的，但是反过来说"没有差异就没 有信息"就不够确切。所以，"信息就是差异"的定义也有其局限性。
信息论与编码-绪论
广义信息论 信息论的诞生，激起了人们对信息论的巨大热情， 它向各门学科冲击，研究规模像滚雪球一样越来越 大。不仅在电子学的其他领域，如计算机、自动控 制等方面大显身手，而且遍及物理学、化学、生物 学、心理学、医学、经济学、人类学、语音学、统 计学、管理学……等学科。它已远远地突破了香农 本人所研究和意料的范畴，即从香农的所谓“狭义 信息论”发展到了“广义信息论”
• • • • • •
ຫໍສະໝຸດ Baidu
信息论与编码-绪论
广义信息论： 核心问题是拓广，有三重含义： 首先是在信息含义的拓广，以语言信息为例：
仙农信息
语法信息
语义信息
语用信息
信息论与编码-绪论
其次是在描述方法上的拓广： 从定量到定性； 从客观到主观； 从概率到模糊； 从统计到单个实发。
信息论与编码-绪论
最后是用途上的拓广： 从通信领域拓广至相邻自然科学领域； 从自然科学领域拓广至社会科学领域。
信息论与编码-绪论
1948年在《贝尔系统技术杂志》上发表了244页 的长篇论著，《通信的数学理论》。 1949年，他又在同一杂志上发表了另一篇名著 《噪声下的通信》。 在这两篇文章中，他解决了过去许多悬而未决的问 题：经典地阐明了通信的基本问题，提出了通信系 统的模型，给出了信息量的数学表达式，解决了信 道容量、信源统计特性、信源编码、信道编码等有 关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作
信息论与编码
信息论与编码
The Theory of Information & Coding
信息论与编码
教学内容 教学计划 课程安排 先期课程 参考书
信息论与编码
教学内容 信息论 基本概念、基本理论，包括： 信息、熵、信道容量、编码定理（无失真信源编码、有 噪信道编码，限失真信源编码等，信道编码理论） 信道编码 基本原理、常用码编译原理和方法 信源编码
信息论与编码-绪论
据不完全统计，有关信息的定义有100多种，它们都从不同的 侧面、不同的层次揭示了信息的特征与性质，但同时也都有这 样或那样的局限性。 1988年，我国信息论专家钟义信教授在《信息科学原理》一书 中把信息定义为：信息是事物的运动状态和状态变化的方式。 并通过引入约束条件推导了信息的概念体系，对信息进行了完 整和准确的描述。 信息的这个定义具有最大的普遍性，不仅涵盖所有其他的信息 定义，而且通过引入约束条件还能转化为所有其他的信息定义。 也有人对此提出异议，如鲁晨光（《广义信息论》作者）。
信息论与编码-绪论
进入20世纪80年代以来，当人们在议论未来的时候， 人们的注意力又异口同声地集中到信息领域。按照 国际一种流行的说法，未来将是一个高度信息化的 社会。信息工业将发展成头号工业，社会上大多数 的人将是在从事信息的生产、加工和流通。这时， 人们才能更正确地估价香农工作的全部含义。信息 论这个曾经只在专家们中间流传的学说，将来到更 广大的人群之中。香农这个名字也飞出了专家的书 斋和实验室，为更多的人所熟悉和了解
信息论与编码-绪论
信道编码发展简史
纠错码的主要发展过程大致分以下几个阶段 50年代至60年代初，主要研究各种有效的编、译码方法，奠 定了线性分组码的理论基础；提出了BCH码编、译码方法以 及卷积码的序列译码；给出了纠错码的基本码限； • 第一个分组码是1950年发现的能纠正单个错误的Hamming码； • 1954年Golay发现的Golay码以及Reed和Muller发现的RM码 • Prange 在1957年发现的循环码等。 • 最有意义的是Bose和Ray-Chaudhuri在1960年，Hocquenghem 在1959年发现的能纠多个错误的BCH码，以及Reed和 Solomon在1960年发现的非二进制RS码，并认识到BCH码可 以看成某个RS码的子域子码，RS码又可以看作是BCH码的 特例
信息论与编码-绪论
Shannon受着前辈的工作的启示，其中最具 代表性的是《贝尔系统技术杂志》上所披露 的奈奎斯特的《影响电报速率的一些因素》 和哈特莱的《信息的传输》。正是他们最早 研究了通信系统的信息传输能力，第一次提 出了信息量的概念，并试图用教学公式予以 描述。而香农则创造性地继承了他们的事业， 在信息论的领域中钻研了8年之久，终于创 建了信息论。
信息论与编码-绪论
信息论与编码-绪论
1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理 论是有启发的。 1885年凯尔文(L. Kelvin)曾经研究过一条电缆的极限传信率问 题。 1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研 究，并建立了信号频谱概念。 1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来 传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来 了。 1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提 出把消息考虑为代码或单语的序列。 1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中 增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提 出了宽偏移的频率调制方法，该方法是有划时代意义的。
信息论与编码-绪论
信息论的研究范畴
基础 信息论
工 程 信 息 论
广义 信息 论
信息论与编码-绪论
基础信息论 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与 优化理论，即研究通信系统理论上的潜在能力与数学上的极限情 况。它是以存在性研究为主体，又称它为数学信息论。 工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最 佳设计原则，它以构造性为主体，以工程上技术问题为主。主要 包括： 信源编、译码理论及其设计构造方法； 信道编、译码理论及其设计构造方法； 最佳调制与解调理论与实现； 最佳检测、估值与最佳接收理论与实现； 最佳信息处理理论、方法与算法； …
信息论与编码
教学计划： 教学计划： 总学时48~51，其中教学45，习题课4，辅 导2 信息论：约20学时 信道编码：约25学时 两次习题课，对应于两大内容
信息论与编码
课程安排 每周的星期五（3，4节）和双周的星期三 （7，8节） 最终成绩 期末考试成绩 约占70% 期中考试成绩 约占20% 平时作业成绩 约占10%
信息论与编码-绪论
第一章 绪论 1.1信息论的基本概念 1.2信息论发展简史 1.3信道编码发展简史 1.4通信系统的基本模型
信息论与编码-绪论
1.1信息论的基本概念 信息论的基本概念 信息 如何定义信息、如何度量信息、如何计算 信息 信息论 如何处理信息、如何传递信息、如何提取 信息
信息论与编码-绪论
信息论与编码-绪论
“通信的基本问题就是在一点重新准确地或近似地 再现另一点所选择的消息”。——《通信的数学理 论》中的一句铭言。正是沿着这一思路他应用数理 统计的方法来研究通信系统，从而创立了影响深远 的信息论。 不确定性 接收者收到某一消息后所获得的信息，可以用接收 者在通信前后“不确定性”的消除量来度量。简而 言之，接收者所得到的信息量，在数量上等于通信 前后“不确定性”的消除量(或减少量)。--这就是 信息理论中度量信息的基本观点。
信息论与编码
先期课程 本课程所需的先验知识：概率，数理统计， 随机过程，数字通信 先期课程：概率论，数理统计，通信原理 有的地方还会用到有限域、随机过程方面的 知识
信息论与编码
参考书： 参考书：
信息论与编码，曹雪虹 张宗橙编，清华大学出版社， 2004 • 信息论—基础理论与应用， 傅祖芸编著，电子工业出版 社，2001 • 信息理论基础，周炯槃 • 信息与编码理论，王育民、梁传甲，西北电讯工程学院 出版社 • The theory of information and coding, R.J. McEliece • 纠错码-原理与方法，王新梅 • 信道编码，刘玉君 •
信息的一般含义 信息至今无确切的统一定义，但是它是一种 人人皆知的抽象概念，是一种不言自明的概 念。 信息在不同的领域内有不同的定义。 在通信领域内是指通信时所要告诉对方的某 种“内容”。或者说是接受方在接受到一个 符号或一个序列后，所获得的“内容”。
信息论与编码-绪论
信息论的研究范畴 信息论是在信息可以度量的基础上，对如何 有效、可靠地传递信息进行研究的科学 狭义信息论：信息度量、信息特征、信息传 输速率、信道容量、干扰对信息传输的影响 等 广义信息论：还包括信号设计、噪声理论、 信号的监测与估值等
信息论与编码-绪论
香农信息理论具有崭新的风貌，是通信 科学发展史上的一个转折点，它使通信问题 的研究从经验转变为科学。因此，它一出现 就在科学界引起了巨大的轰动，许多不同领 域的科学工作者对它怀有浓厚的兴趣，并试 图争相应用这一理论来解决各自领域的问 题．从此，信息问题的研究，进入了一个新 的纪元。
信息论与编码-绪论
为什么Shannon信息论在解决通信系统的问题方 面非常有效，但是在涉及人工智能理论研究的问题 是就无能为力？ 信息论只关注信号（信息的载体）的波形，不关心 它的内容和价值。通信系统的设计可以只关心信号 的波形。 人工智能却必须“理解信息的内容和价值”。 为此，经过长期的研究，提出和建立了“全信息理 论”--能够统一考虑信息的形式因素（称为语法信 息）、内容因素（称为语义信息）和价值因素（称 为语用信息）的全新的信息理论。
信息论与编码-绪论
本书所要解决的问题 什么是信息、如何度量信息？ 在信息传输中，基本的极限条件是什么？ 对于信息的压缩和恢复的极限条件是什么？ 从环境中抽取信息极限的条件是什么？ 设计什么样的设备才能达到这些极限？ 这些设备是否存在？
信息论与编码-绪论
1.2 信息论发展简史和现状 信息论的奠基人—克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日—2001年2月26日）美 国数学家 于1916年4月30日出生于美国密歇根州的Petoskey 1936年毕业于密歇根大学并获得数学和电子工程学士学 位 1940年获得麻省理工学院（MIT）数学博士学位和电子工 程硕士学位 1941年他加入贝尔实验室数学部，工作到1972年 1956年他成为麻省理工学院（MIT）客座教授，并于1958 年成为终生教授，1978年成为名誉教授 香农博士于2001年2月26日去世，享年84岁
信息论与编码-绪论
信息、消息、 信息、消息、信号 消息是信息的载体，信息是由消息表达出来 的 信号是消息的物理体现，或者说是消息的载 体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的
信号最具体，它是一物理量，可测量、可显 示、可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文 字、符号、数据、图片，能够被感觉到，同 时它也是信息的载荷体。是信息论中主要描 述形式 信息的数学层表达 信息是抽象的、非物理的，是哲学层表达。
信息论与编码-绪论
钟义信
1940年2月出生, 汉族， 北京邮电大学教授、 博士生导师、副校长、校学术委员会主席。 长期从事通信理论、信息理论、信息科学、人工智能、 神经网络、决策学、信息经济学领域的研究和教学工作，在上述 领域先后出版学术著作16 部，在国内外学术刊物和学术会议上发 表学术论文380多篇。 代表性学术论著包括《信息科学原理》（1988年）、《信息技术 通论》（1994）、《智能理论与技术—人工智能与神经网络》 （1992）、《伪随机编码通信：原理与应用》（1978）等。 具有重要创新意义的学术贡献主要包括 “知识论”、“全信息理 论”、“意识机模型”、“信息科学原理与信息科学方法论”、 “信息基础结构理论模型”等。