信息论与编码知识梳理及课后答案分解

信息科学是以信息为基本研究对象，以信息 的运动规律和应用方法为主要研究内容，这 是信息科学有别于一切传统科学最基本的特 征。信息科学主要包括信息论和计算科学两 部分，二者奠定了整个信息科技大厦的基石。 信息论源于统计理论和电信技术的发展，主 要研究信息属性、信息度量、信息表示和信 息传输。
20世纪40年代，香农（C.E.Shannon）提出了信 息的统计定义，于1948年发表了信息论的奠基性 论文《通信的数学理论》。由于香农对信息论的 发展作出了巨大贡献，被认为是信息论的创始人。
……
1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上
发表了一篇题为《信息传输》的论文。
他认为“信息是选择的自由度”。把
信息理解为选择通信符号的方式.
事隔20年，另一位美国数学家香
农 (C. E. Shannon) 在《贝尔系
统电话杂志》发表了题为《通信的
数学理论》的长篇论文。他创立了
可以说我们生活在信息的海洋之中，没有信息就没有世 界，当然也就没有我们人类社会。人类利用信息利用信息 的历史非常悠久，而且随着人类社会的发展而发展。到了 现代，信息的利用已经非常重要，以至于我们当今生活的 社会被称作信息社会。可见信息的重要。
花朵开放时的色彩是一种信息，它可以引来昆虫为其
授粉；
成熟的水果会产生香味，诱来动物，动物食后为其 传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息……。

计算科学是对描述和变换信息的算法过程， 包括其理论、分析、设计、效率分析、实现 和应用的系统的研究，是整个计算机技术、 工程与应用的理论基础。从计算机角度讲， 计算科学的本质就是数据变换。 计算科学与数学的关系很密切，数学是计 算科学的主要基础，数学与电子科学构成 了我们今天计算机系统的基础，也构成了 计算科学的基础。但是，与数学相比，电 子技术基础地位的重要性不及数学。
色彩
视觉
果香
苦药 知识 冷热
嗅觉
味觉 听觉 触觉
总之，信息处处存在，人的眼、耳、 鼻、舌、身都能感知信息。
那么信息究竟是什么呢？
1 2 3 4
信息是事物之间的差异
信息是物质和能量在时间和空间中 分布的不均匀性” 信息是负熵 信息是作用于人类感觉器官的东 西
5
6 7 8
信息就是情报 信息就是知识。 数学家认为“信息是使概率 分布发生改变的东西” 哲学家认为“信息是物质成 分的意识成分按完全特殊的 方式融合起来的产物”

本课程将介绍信息科学的基础理论和基本方 法，课程将基于一个通信系统的抽象数学模 型进行展开，课程的数学基础为概率论。整 个课程可分为基础理论和编码理论两部分组 成
信息
来自百度文库
信源
编码
信号
信道
信号
解码
信息
信宿
干扰
信道：在物理线路上划分 的逻辑通道。
学习注意事项：
本课程以概率论为基础，数学推导较多，学习时 主要把注意力集中到概念的理解上，不过分追求数 学细节的推导。 学习时一定要从始至终注意基本概念的理解，不 断加深概念的把握。学习时注意理解各个概念的 “用处”，结合其他课程理解它的意义，而不要把 它完全当作数学课来学习，提倡独立思考，注重思 考在学习中的重要性。
信息论，但是却没有给出信息的确
切定义他认为“信息就是一种消
息”。
美国数学家、控制论的 主要奠基人维纳 (Wiener）在1950年出 版的《控制论与社会》 一书中写到：“信息既不是物质又不是 能量，信息就是信息”。这句话起初受 到批评和嘲笑。揭示了信息的特质：即 信息是独立于物质和能量之外存在于客 观世界的第三要素。
可扩充性 :可不断扩充 可存储、传输与携带性:通过 载体实现
可压缩性:精炼 、归纳 可替代性 ：代替实物、产生效用
可扩散性 ：通过载体实现传播，如媒体 可共享性 ：与实物不同，可共享 时效性 ：有“寿命” 信息在信息化程度越来越高的社会 中将起到越来越重要的作用，是比物质 和能量更为宝贵的资源，全面掌握信息 的概念，正确、及时、有效地利用信息， 能够为人类创造更多的财富。
信息存在于自然界，也存在于人 类社会，其本质是运动和变化。可以说 哪里有事物的运动和变化，哪里就会产 生信息。 信息必须依附于一定的物质形式存 在，这种运载信息的物质，称为信息载
体。
人类交换信息的形式丰富多彩，使 用的信息载体非常广泛。概括起来， 有语言、文字和电磁波。
信息至今无确切定义，但信息有以下 主要特征： 1 信息来源于物质，又不是物质本 身；它从物质的运动中产生出来，又可 以脱离源物质而相对独立地存在。 2 信息来源于精神世界，但又不局 限于精神领域。
3 信息与能量息息相关，但又与 能量有本质的区别。
4 信息具有知识的本性，但又比 知识的内涵更广泛。
5 用。 信息可以被认识主体获取和利
根据上述特征和信息的基本定义， 可以导出信息的一些重要性质：
存在的普遍性:信息普遍存在
有序性:消除不确定性,增加有序性
相对性:不同观察者所得信息量不同 可度量性:可测量
信息论与编码
贵州大学 彭长根
有关说明:
1、计划学时54，全部为讲课学时，适当组织讨论形式。 2、总成绩由两部分组成，平时成绩占30％，考试成绩 占70％，由作业和考勤组成。
课程概述



当今的时代是一个信息的时代，信息处理技术的不 断进步极大的影响了我们的生活，使我们的生活质 量得到很大提高。 现代“信息”的概念，已经与半导体技术、微电子 技术、计算机技术、通讯技术、网络技术、多媒体 技术、信息服务业、信息产业、信息经济、信息化 社会、信息管理等含义紧密地联系在一起。 信息技术(Information Technology，简称IT)是包 括信息的采集、传递、处理、再生和使用等功能的 技术。包括：信息获取技术、信息处理技术、信息 传输技术、信息控制技术和信息应用技术。
第１章 绪论
§1.1 信息的一般概念
§1.1 信息的一般概念
组成客观世界的三大基本要素： 物质 能量 信息
三要素中物质是基础，是实体。能量是物质运动的形式， E=mc2，物质可转换成能量，而能量又是改造客观世界的主 要动力。

一位美国科学家说过：“没有物质的世界是虚无 的世界；没有能源的世界是死寂的世界；没有信息 的世界是混乱的世界。”