电子信息工程系-信息论与编码(第二版)全套课件

概论
信息的一般概念
信息的分类 信息论的起源、发展及研究内容
概论
信息论创始人：
C.E.Shannon(香农) 美国科学家
信息的存在
信息科学和材料、能源科学一起被称为
当代文明的“三大支柱”。 一位美国科学家说过：“没有物质的世
界是虚无的世界；没有能源的世界是死寂的 世界；没有信息的世界是混乱的世界。”
的概率信息，本书也以概率信息为主要研
究对象。
信息论的起源、发展及研究内容
在人类历史的长河中，信息传输和传播手段经历了五次
重大变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5
计算机技术与通信技术相结 合，促进了网络通信的发展。
起源
1948 年 以 “ 通 信 的 数 学 理 论 ” （ A mathematical theory of communication）为 题公开发表，标志着信息论的正式诞生。
包括文本、数据、语言、图形和图像等。是具体的。
信号是消息的物理体现，为了在信道上传输消息，就
必须把消息加载到具有某种物理特征的信号上去。是物 理的。
信息是消息中的未知成分（不确定性），或者说是消
息中的有用成分。是抽象的。
通信系统传输的是信号，信号是消息的载体，
消息中的未知成分是信息。
信息的直观认识1
发展
50 年代，信息论在学术界引起了巨大反响。
60 年代，信道编码技术有了较大发展，使它成为信息
论的又一重要分支。
70年代以后，多用户信息论成为中心研究课题之一。
后来，人们逐渐意识到信息安全是通信系统正常运行 的必要条件。于是，把密码学也归类为信息论的分支。信 息论不仅在通信、广播、电视、雷达、导航、计算机、自
但是却没有给出信息的确切定义,他认为“信
息就是一种消息”。
美国数学家、控制论的主要奠基 人维纳(Wiener）在1950年出版的 《控制论与社会》
中写到：“信息既不是物质又不是能量，信息就是 信息”。这句话起初受到批评和嘲笑。它揭示了信
息的特质：即信息是独立于物质和能量之外存在于
客观世界的第三要素。
例事件“中国足球队5：0力克韩国足球队”
此事件含有的信息量大。（小概率事件发生了，事件
信息量大）
例事件“中国足球队0：1负于韩国足球队”
此事件有的信息量小。（大概率事件发生了，事件信
息量小）
信息的直观认识3
消息随机变量的随机性越大，此消息随机变 量含有的信息量就越大。
例消息随机变量X=“中国足球队与巴西足球队比赛的结 果”
全信息
全信息
同时考虑事物运动状态及其变化
方式的外在形式、内在含义和效用价值的认识
论层次信息。语法信息
语义信息 语用信息
信息的重要性质：
存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性
可压缩性 可替代性 可扩散性 可共享性 时效性
信息·消息·信号区别与联系：
消息是指担负着传送信息任务的单个符号或符号序列。
“本体论”定义
最普遍的层次，也是无约束条件的层次，定义
事物的“信息是该事物运动的状态和状态改变的方 式”。我们把它叫做“本体论”层次。最广义的信
息，使用范围也最广。
“认识论”定义
引入一个最有实际意义的约束条件：认识主体。 信息定义就转化为“认识论”层次的信息定义。
即：信息是认识主体（生物或机器）所感知的或 所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
信息的存在
花朵开放时的色彩是一种信息，它可以引来昆虫为
其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其
传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息
……。
信息的存在
色彩
视觉
果香
ห้องสมุดไป่ตู้
嗅觉
苦药
味觉
知识
听觉
冷热
触觉
总之，信息处处存在，人的眼、耳、鼻、
信息的分类
1 按照信息的性质
语法
语义
2 按照信息的地位
语用
客观
主观
信息的分类
3 按照信息的作用
有用
无用
干扰
4 按照信息的应用部门
工农军政科文经市管 业 业 事治 技化 济场 理
信息的分类
5 按照信息的来源
语图文数计 声象字据算
6 按照携带信息的信号的性质
连续
半连续
离散
香农信息论主要讨论的是语法信息中
舌、身都能感知信息。
？信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信
息传输》的论文。他认为“信息是选择的自由 度”。
事隔20年，
另一位美国数学家
香农
(C. E. Shannon)
在《贝尔系统电话杂志》发表了题为《通信
的数学理论》的长篇论文。他创立了信息论，
信道上传送的是随机变量的值。 这就是说，我们在收到消息之前，并不知道消息
的内容。否则消息是没有必要发送的。 消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为一个事件。
信息的直观认识2
事件发生的概率越小，此事件含有的信息量就越 大。（不太可能发生的事件竟然发生了，令人震 惊）
则消息随机变量X含有的信息量小。
例消息随机变量Y=“意大利足球队与德国足球队比赛的 结果”
则消息随机变量Y含有的信息量大。
信息的直观认识4
两个消息随机变量的相互依赖性越大，它们的 互信息量就越大。
例X=呼和浩特明日平均气温, Y=包头明日平均气 温，Z=北京明日平均气温，W=纽约明日平均气温。 则X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0 。
信息论与编码
Information Theory and coding
电子信息工程系
课程简介
课程类型：技术基础课 学 时：48学时（1－12周） 考 核：平时成绩20％（作业、考勤、测验）
期末考试80％（闭卷） 几点要求：上课尽量不要迟到
课堂上请将手机静音 电子版作业提交到网络教学平台
学习目的及意义
最简单的通信系统
信
信
信
源
道
宿
信源包含多少信息？ 信源熵
信道中传输的是什么形式？ 编码 信道能传送多少信息？ 信道容量 信宿接收到的信息是否正确？ 检纠错
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不 过分追求数学细节的推导。
建议： 上课时紧跟老师思路积极思考，提高听课效率 记住概念，知道物理含义及其关系 预习和复习 自己独立完成作业