信息论与编码(第二版)陈运主编课件(全套)

？信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信 息传输》的论文。他认为“信息是选择的自由
度”。
事隔20年， 香农
另一位美国数学家 (C. E. Shannon)
在《贝尔系统电话杂志》发表了题为《通信
的数学理论》的长篇论文。他创立了信息论，
信源
连 续 信 源
多符号
随机矢量
随机过程
单符号离散信源
信源发出的消息是离散的，有限的或可数的， 且一个符号代表一条完整的消息。 例如： 投骰子每次只能是{1，2，…6}中的某 一个。 其中的数叫做事件/元素，以一定的概率出现；

信源可看作是具有一定概率分布的某些符号的 集合。
单符号离散信源的数学模型
所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
全信息 全信息
同时考虑事物运动状态及其变化 方式的外在形式、内在含义和效用价值的认识
语法信息 论层次信息。
语义信息
语用信息
信息的重要性质：
存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性 可压缩性 可替代性
地渗透到诸如医学、生物学、心理学、神经生理学等自然 科学的各个方面，甚至渗透到语言学、美学等领域。
通信系统模型
信源 信源编码 加密 信道编码 调制器
噪声源
信 道
信宿
信源译码
解密
信道译码
解调器
信息论研究对象
1
一般信息论
信号滤波 预测理论
调制 理论
香农 信息论
噪声 理论
统计检测 估计理论
2 香农信息论

例事件“中国足球队5：0力克韩国足球队” 此事件含有的信息量大。（小概率事件发生了，事件 信息量大）
例事件“中国足球队0：1负于韩国足球队” 此事件有的信息量小。（大概率事件发生了，事件信 息量小）

信息的直观认识3
消息随机变量的随机性越大，此消息随机变 量含有的信息量就越大。

例消息随机变量X=“中国足球队与巴西足球队比赛的结 果”
信息的存在
花朵开放时的色彩是一种信息，它可以引来昆虫为 其授粉；
成熟的水果会产生香味，诱来动物，动物食后为其 传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息；
听老师讲课可以得到许多知识，知识也是信息
……。
信息的存在
色彩 果香 视觉 嗅觉
苦药
知识 冷热
味觉
听觉 触觉
总之，信息处处存在，人的眼、耳、鼻、 舌、身都能感知信息。
可扩散性
可共享性 时效性
信息〃消息〃信号区别与联系：

包括文本、数据、语言、图形和图像等。是具体的。 信号是消息的物理体现，为了在信道上传输消息，就 必须把消息加载到具有某种物理特征的信号上去。是物 理的。 信息是消息中的未知成分（不确定性），或者说是消 息中的有用成分。是抽象的。
消息是指担负着传送信息任务的单个符号或符号序列。
则消息随机变量X含有的信息量小。

例消息随机变量Y=“意大利足球队与德国足球队比赛的 结果” 则消息随机变量Y含有的信息量大。
信息的直观认识4
两个消息随机变量的相互依赖性越大，它们的 互信息量就越大。

例X=呼和浩特明日平均气温, Y=包头明日平均气 温，Z=北京明日平均气温，W=纽约明日平均气温。 则X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0 。
信息论的起源、发展及研究内容
在人类历史的长河中，信息传输和传播手段经历了五次 重大变革：
ห้องสมุดไป่ตู้
1 2 3
语言的产生。 文字的产生。 印刷术的发明。
4
5
电报、电话的发明。 计算机技术与通信技术相结 合，促进了网络通信的发展。
起源
1948 年 以 “ 通 信 的 数 学 理 论 ” （ A mathematical theory of communication）为 题公开发表，标志着信息论的正式诞生。
什么是信息？信号，消息，信息的区别？
通信系统模型 Shannon信息论重点研究内容？
通信系统模型
信源 消息 编码器 信道 信号 干扰 译码器 消息 信宿
信号＋干扰
噪声源

对信息论的学习从信源开始 由于信源发送什么消息预先是不可知的，只能 用概率空间来描述信源。
概率论知识复习
随机变量X、Y分别取值于集合
m
j
ai ) 1,
b j ) 1, p(ai b j ) 1
m j i j i
3
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j 1
n
4
p(aib j ) p(b j ) p(ai b j ) p(ai ) p(b j ai )
其中p(ai )满足 0 p(ai ) 1, p(ai ) 1
i 1 n
(2.1.2)
单符号离散信源的数学模型
需要注意 的是：大写字母X 代表随机变
量，指的是信源整体。带下标的小写字母:
ai
代表随机事件的某一结果或信源的某个元素。
两者不可混淆。
一、信息量
信息量
自信息量
联合 自信息量

通信系统传输的是信号，信号是消息的载体， 消息中的未知成分是信息。
信息的直观认识1
信道上传送的是随机变量的值。 这就是说，我们在收到消息之前，并不知道消息 的内容。否则消息是没有必要发送的。 消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为一个事件。
信息的直观认识2
事件发生的概率越小，此事件含有的信息量就越 大。（不太可能发生的事件竟然发生了，令人震 惊）
条件 自信息量
1 自信息量
定义：
I (ai ) log p(ai )
1nat log 2 e 1.433bit
（ 2.1.3 ）
单位：比特(2为底)、奈特、笛特（哈特） 三个信息单位之间的转换关系如下：
1Hart log 2 10 3.322bit
1bit 0.693nat 1bit 0.301Hart

学习目的及意义

最简单的通信系统
信 源
信源包含多少信息？
信 道
信 宿
信源熵
编码 检纠错 信道容量
信道中传输的是什么形式？ 信道能传送多少信息？ 信宿接收到的信息是否正确？
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不 过分追求数学细节的推导。 建议： 上课时紧跟老师思路积极思考，提高听课效率 记住概念，知道物理含义及其关系 预习和复习 自己独立完成作业
“本体论”定义
最普遍的层次，也是无约束条件的层次，定义 事物的“信息是该事物运动的状态和状态改变的方
式”。我们把它叫做“本体论”层次。最广义的信
息，使用范围也最广。
“认识论”定义
引入一个最有实际意义的约束条件：认识主体。 信息定义就转化为“认识论”层次的信息定义。 即：信息是认识主体（生物或机器）所感知的或

概 论

信息的一般概念
信息的分类 信息论的起源、发展及研究内容


概 论
信息论创始人：
C.E.Shannon(香农) 美国科学家
信息的存在
信息科学和材料、能源科学一起被称为
当代文明的“三大支柱”。 一位美国科学家说过：“没有物质的世 界是虚无的世界；没有能源的世界是死寂的
世界；没有信息的世界是混乱的世界。”
但是却没有给出信息的确切定义,他认为“信
息就是一种消息”。
美国数学家、控制论的主要奠基 人维纳(Wiener）在1950年出版的 《控制论与社会》 中写到：“信息既不是物质又不是能量，信息就是 信息”。这句话起初受到批评和嘲笑。它揭示了信 息的特质：即信息是独立于物质和能量之外存在于 客观世界的第三要素。
信息论与编码
Information Theory and coding
电子信息工程系
宋丽丽
Email: songlili@
课程简介
课程类型：技术基础课 学 时：48学时（1－12周） 考 核：平时成绩20％（作业、考勤、测验） 期末考试80％（闭卷） 几点要求：上课尽量不要迟到 课堂上请将手机静音 电子版作业提交到网络教学平台
信息的分类
1
按照信息的性质
语法
语义
语用
2
按照信息的地位
客观
主观
信息的分类
3
按照信息的作用
有用 无用 干扰
4
工 业
按照信息的应用部门
农 业
军 事
政 治
科 技
文 化
经 济
市 场
管 理
信息的分类
5
按照信息的来源 语 声 图 象 文 字 数 据 计 算
6
按照携带信息的信号的性质
连续
半连续
离散
香农信息论主要讨论的是语法信息中 的概率信息，本书也以概率信息为主要研 究对象。
5 当X 与Y 相互独立时 p(ai b j ) p(ai ) p(b j )
p(b j ai )＝p(b j )，p(ai b j )＝p(ai )
6
p(ai b j )＝
p(aib j )
p(a b )
i 1 i j
n
，p(b j ai )
p(aib j )
p(a b )
j 1 i j
{a1 , a2 ,, ai ,, an }、 1 , b2 ,, b j ,, bm }。 {b
联合随机变量 XY 取值于集合
{ai b j | i 1,2,, n, j 1,2,, m}，
记
p(ai b j ) P( X ai , Y b j )
无条件概率、条件概率、联合概率
信 源 熵
香农信息论
信 道 编 码 信 源 编 码
密 码
3
广义信息论
所有研究信息的识别、控制、提取、变换、传 输、处理、存贮、显示、价值、作用、安全以及信 息量的大小的一般规律以及实现这些原理的技术手 段的工程学科，信息论的完备和延伸，都属于广义 信息论的范畴。
总之，人们研究信息论的目的是为了 高效、可靠、安全并且随心所欲地交换和 利用各种各样的信息。
对于离散随机变量，取值于集合
对任一
X 记 p(ai ) P( X ai )
a1
, a2 , , ai , , an
单符号离散信源的数学模型为
X a1 , a2 , , ai ,, an P( X ) p(a ), p(a ), , p(a ), , p(a )(2.1.1) 1 2 i n
这四种气候的自信息量分别为 :
I (a1 ) 1 bit，I (a2 ) 2bit，
I (a3 ) 3bit， (a4 ) 3bit。 I
小结

信息的理解，信息、信号、消息的联系，信
息的性质；


信息论的研究内容及意义，通信系统模型；
预习第2章中2.1.1,2.1.2
信息论与编码
Information Theory and coding
电子信息工程系
宋丽丽
Email: songlili@
上次课的回顾


满足下面一些性质和关系：
1 0 p(ai )、p(b j )、p(b j ai )、p(ai b j )、p(aib j ) 1 2
p(a ) 1， p(b ) 1, p(b p(a
i 1 i 1 n i j 1 j m n j 1 i j 1 i 1
n
m
例题
由式(2.1.3)可知，一个以等概率出现的二进 制码元(0,1)所包含的自信息量为1bit。
1 当p(0) p(1) 时， 2
1 有 : I (0) I (1) log 2 log 2 2 1bit 2
例[2.1.1] 某地二月份天气的概率分布统计如下：
a1 (晴), a2 (阴), a3 (雨), a4 (雪) X 1 1 1 P( X ) 1 , , , 4 8 8 2
m
问题的引出

信息论的发展是以信息可以度量为基础的，度量
信息的量称为信息量。

对于随机出现的事件，它的出现会给人们带来多 大的信息量？
举例： 甲告诉乙“你考上研究生”，那么乙是否得到信息？ 丙再次告诉乙同样的话，那么乙是否得到信息？

第2章：信源和信源熵
§2.1 单符号离散信源
信源分类
单符号 离 散 信 源 随机变量
发展
50 年代，信息论在学术界引起了巨大反响。 60 年代，信道编码技术有了较大发展，使它成为信息 论的又一重要分支。 70年代以后，多用户信息论成为中心研究课题之一。 后来，人们逐渐意识到信息安全是通信系统正常运行 的必要条件。于是，把密码学也归类为信息论的分支。信 息论不仅在通信、广播、电视、雷达、导航、计算机、自 动控制、电子对抗等电子学领域得到了直接应用，还广泛