1.1 通信系统的基本模型

(信源)
(信道)
(信宿)
信道
信宿
9
§1.1 通信系统的基本模型 第 一、基本流程 一 章 比如 古代烽火台 —— 最早的信息通信系统 引 论
◈ 边防士兵点燃烽火，
传递出某种消息或者信息(如报警等)；
◈ 人们看到烽火，
获得某种消息或者信息。
10
§1.1 通信系统的基本模型 第 一、基本流程 一 章 引 论
§1.1 通信系统的基本模型 第 二、基本概念 一 章 4. 编码与译码 引 论 加密编码 加密编码是将明文码变换为密文码， 以提高传输 和处理过程中的安全保密性。 加密编码一般由密钥控制，不同的密钥产生不同 的加密编码。 密文经信道编码后通过信道传到接收端， 密钥通过安全信道传到接收端。
21
§1.1 通信系统的基本模型 第 二、基本概念 一 章 5. 调制与解调
(香农)
7
§1.1 通信系统的基本模型 第 一 章 引 论
§1.1 通信系统的基本模型
一、基本流程 二、基本概念 三、基本要求 四、信源与信道分类
8
§1.1 通信系统的基本模型 第 一、基本流程 一 章 一般而言， 引 首先信息被产生， 论 然后通过某种方式传递， 最后收到信息或者获得信息。 最基本的通信系统模型 信源
例如 在中文消息中的前后文字之间是相互依赖的。
27
§1.1 通信系统的基本模型 第 四、信源与信道分类 一 章 1. 信源分类 引 马尔可夫信源 当前所发出的符号只与前面的 m 个符号有关， 论 而与更前面的符号无关， 称这种有记忆的信源 为 m 阶马尔可夫信源。 最简单的马尔可夫信源是一阶马尔可夫信源。
Hale Waihona Puke Baidu
频谱 F ( )
F ( )


f ( t ) e j t d t
23
§1.1 通信系统的基本模型 第 二、基本概念 一 章 5. 调制与解调 引 频谱搬移 频谱搬移技术又称为载波技术。 论 j t g( t ) e 0 f ( t ) 调制信号
对应频谱 G( ) F ( 0 )
25
§1.1 通信系统的基本模型 第 三、基本要求 P4 一 章 可靠性 尽可能准确地、不失真或限失真地传输消息。 引 有效性 用尽可能短的时间和尽可能少的设备传输消息。 论 换句话说，在一定的条件下，以任意小的差错(可靠性) 实现最大的传输效率(有效性)。 可靠性与有效性也称为通信系统的主要性能指标。 此外，安全性也是通信系统的一个非常重要的性能指标。
比如 电平： , 0 , ; 图像：像素点，256级灰度。
(图像举例)
16
§1.1 通信系统的基本模型 第 二、基本概念 一 章 4. 编码与译码
P3
引 编码 将信源产生的消息或者信源码变换为一个数字序列。 论 通常为二进制数字序列。
提高有效性(信源编码)； 编码的目的主要有 增加可靠性(信道编码)； 加强保密性(加密编码)。
P3
引 调制 将基带信号通过频谱搬移技术调制到高频信号。 论 便于传输信号(快速传输)； 调制的主要目的 利于区分信号(不同波段)。 解调 将信道传过来的高频已调信号转成基带信号；
22
§1.1 通信系统的基本模型 第 二、基本概念 一 章 5. 调制与解调 引 频谱搬移 频谱搬移技术又称为载波技术。 论 1 f (t ) F ( ) e j t d 信号 f (t ) 2
1938年 在麻省理工学院(MIT)获得电气工程硕士学位。
硕士论文《继电器与开关电路的符号分析》采用 布尔代数分析并优化开关电路，奠定了数字电路 的理论基础。 哈佛大学的 Howard Gardner 教授说： “ 这可能 是本世纪最重要、最著名的一篇硕士论文。” 32
§1.1 通信系统的基本模型 第 附：人物介绍 —— 香农 一 生平 章 二、 1940年 在 MIT 获得数学博士学位。 引 论 博士论文《理论遗传学的代数学》。 1941年 以数学研究员的身份进入新泽西州的贝尔电话公司, 并在贝尔实验室工作到 1972 年，整整 31 年。 1956年 到 MIT 做访问教授，1958 年成为正式教授。 1978年 退休。 2001.2.24 在马萨诸塞州的 Medford 辞世，享年 85 岁。 33
信息。
现代通信系统传递消息或者信息的手段已不断改进， 整个系统已经相当发达和完善。
12
§1.1 通信系统的基本模型 第 一、基本流程(现代通信系统) 一 章 信源 引 论
产生消息(携带信息)
P4 图1.2
信宿 换能器
换能器 模拟信号 模/数转换 变 数字信号 换 编码 加强有效性和可靠性 调制
调制信号 对应频谱
~ g ( t ) cos ( 0 t ) f ( t ) 1 (e j 0 t e j 0 t ) f ( t ) 2 1 G ( ) [ F ( 0 ) F ( 0 )] 2
24
§1.1 通信系统的基本模型 第 二、基本概念 一 章 6. 信道与噪声 引 信道 用来传递消息、信号及信息，沟通信源与信宿。 论 噪声 包含外部噪声干扰及内部噪声干扰。 噪声及干扰可发生于信道中， 也可发生于变换与反变换中。 在信息论的模型里，为了研究方便， 一般将噪声和干扰都归入信道中考虑。
信 息 论 基 础
信息论基础
1
信 息 论 基 础
信息论基础
Fundamentals of Information Theory
谢松法
xiesongfa@126.com 华中科技大学数学系
2
信 一、教学及考核方式 息 论 课堂教学： 40 学时 基 础 上机实验： 12 学时 作业： 考试方式： 闭卷 考试成绩： 实验成绩占 20%，考试成绩占80%
烽火不一定总是报警，它也报平安。
当年安史之乱，安禄山从范阳起兵，仅用23天便
逼近洛阳、潼关一带。 高仙芝、封常清固守潼关，遭 诬陷抵抗不力被杀；接着哥舒翰坚守潼关，从而出现 相持局面。这一段时间每天都点平安火。后来哥舒翰
被迫出战，在灵宝大败，人们看不到平安火。几天之
后，皇帝逃往四川。
11
§1.1 通信系统的基本模型 第 一、基本流程 一 章 同样是报平安(消息)，但平时与战时报平安所传递的 引 信息不可同日而语。 论 可见，消息
译码 将数字序列还原成消息或者信源码。
17
§1.1 通信系统的基本模型 第 二、基本概念 一 章 4. 编码与译码 引 论 信源编码 通过消除冗余、控制码长等手段对信源进行编码，
以提高传输效率。信源编码又称为有效性编码。
消除冗余 消除或者减少消息中符号之间关联性。 比如 拍发电报、发送短信、BBS、聊天室等: (FT，BT，PS，BTW，……)
(3) 根据信道的传输特性： 恒参信道；变参信道。 (4) 根据信道是否存在干扰：无扰信道；有扰信道。
29
§1.1 通信系统的基本模型 第 一 章 引 论
轻松一下吧 ……
30
§1.1 通信系统的基本模型 第 附：人物介绍 —— 香农 一 简介 章 一、 引 论
克劳德 . 香农
Claude Elwood Shannon
3
信 二、教材与参考书 息 论 贾世楼，《信息论理论基础》， 基 础 哈尔滨工业大学出版社。 傅祖芸，《信息论 — 基础理论与应用》，
电子工业出版社。
4
信 三、教学内容 息 论 本课程主要讲解香农信息论的基本概念、基本理论和 基 基本方法， 以及编码的理论和实现原理。 础 第一、二、四、六章： (1) 介绍信息的统计度量(熵)，信道的熵速率和信道容量； (2) 介绍无失真信源编码及常用的信源编码方法； (3) 介绍信道编码理论及常用的信道编码方法； (4) 简单介绍限失真信源编码的一些知识。
离散信号 即离散(时间)信号。
t
模拟信号
x(n )


取值任意，时间离散(一维)； 取值任意，空间离散(二维)。
t
采样信号
15
§1.1 通信系统的基本模型 第 二、基本概念 一 章 3. 模/数转换与数/模转换 引 论 数字信号
取值离散，时间离散(一维)； 取值离散，空间离散(二维)。
(1916～2001)
美国数学家、信息通信学家
信息科学及数字通信时代的奠基人。 他是使我们的世界能够进行即时通信的少数科学家和
思想家之一。
31
§1.1 通信系统的基本模型 第 附：人物介绍 —— 香农 一 生平 章 二、 1916.4.30 生于美国密西根州的 Petoskey。 引 论 1936年 在密西根大学获得数学与电气工程学士学位。
18
§1.1 通信系统的基本模型 第 二、基本概念 一 章 4. 编码与译码 引 论 信源编码 通过消除冗余、控制码长等手段对信源进行编码，
以提高传输效率。信源编码又称为有效性编码。
控制码长 晴
阴
雨
x1 x2 x3 x4
0 1 2 3
00 01 10 11
0 1 10 11
雪
◈ 经常发生的消息用短码。 ◈ 如果受到干扰，发出“0”，收到“1”，怎么办？
28
§1.1 通信系统的基本模型 第 四、信源与信道分类 一 章 2. 信道分类 P3 (1) 根据信道的传输形式： 引 论 离散信道(又称为数字信道)；
连续信道(又称为模拟信道)。 有线信道(光纤、同轴电缆、双绞线等)； 无线信道(微波、红外等)。
(2) 根据信道的传输媒质：
26
§1.1 通信系统的基本模型 第 四、信源与信道分类 一 章 1. 信源分类 引 连续信源 所发出的消息在时间上或幅度上是连续分布的。 论 离散信源 所发出的消息在时间上和幅度上是离散分布的； 此时的消息常常表现为离散的符号形式。 离散无记忆信源 所发出的各个符号之间是相互独立的。
离散有记忆信源 所发出的各个符号之间是相互依赖的。
19
§1.1 通信系统的基本模型 第 二、基本概念 一 章 4. 编码与译码 引 论 信道编码 通过增加冗余等手段对信源码进行编码，使消息 在传递的过程中具有一定的抗干扰能力，以提高 信息传送的可靠性。信道编码又称为可靠性编码 或者纠错编码。 增加冗余 增加消息中符号或者信源码之间关联性。 比如 身份证号码中的校验码， 计算机中的奇偶校验码， 条型码，……… 20
信宿 信宿是收信者，收到消息，获得信息。 2. 换能器
P2
换能器进行能量变换，如声电变换、光电变换等等， 得到电信号。 14
§1.1 通信系统的基本模型 第 二、基本概念 一 章 3. 模/数转换与数/模转换 引 论
P2
模拟信号 即连续(时间)信号。
x(t )


取值任意，时间连续(一维)； 取值任意，空间连续(二维)。
可以传输的信号
噪声 信道
数/模转换 反 变 换 译码 解调
13
§1.1 通信系统的基本模型 第 二、基本概念 一 章 1. 信源与信宿 P1 信源 信源是产生消息(或消息序列)的源(人或者机器)； 引 消息可以是语言、文字、图象、符号、函数等等。 论
信源是发信者，输出消息，携带信息。
§1.1 通信系统的基本模型 第 附：人物介绍 —— 香农 一 荣誉 章 三、 美国科学院院士、美国工程院院士。 引 美国哲学学会会员、英国皇家学会会员。 论
1949年 Morris 奖。
1955年 Ballantine奖。 1962年 Kelly奖。 1966年 国家科学奖章、IEEE的荣誉奖章。 1978年 Jaquard奖。 1983年 Fritz奖。 1985年 基础科学京都奖。 34
§1.1 通信系统的基本模型 第 附：人物介绍 —— 香农 一 贡献 章 四、 引 论 1949年 在 贝尔系统技术杂志 》 上发表 “噪声下的通信”。 《 这两篇文章成了现在信息论的奠基著作， 而刚刚三十出头的香农成了这门新兴学科的奠基人。
5
第 一 章 引 论
第一章 引论
§1.1 通信系统的基本模型 §1.2 信息论的研究范畴
6
第 一 章 引 论
第一章 引论
信息论是在长期的通信实践活动中，由通信技术与
概率论、随机过程、数理统计等学科相结合发展起来的
一门新兴交叉学科。 美国数学家香农于 1948 年发表的论文“通信的数学 理论”奠定了信息论的基础。