通信系统模型

？ 中，信号最具体，信息最抽象。它们三者之间的
关系是哲学上的内涵与外延的关系。
2019年5月8日
感谢你的观看
16
1.2 信息论研究的中心问 题和发展
2019年5月8日
感谢你的观看
17
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论”奠 定了信息论理论基础
基本任务是设计有效而可靠的通信系统
2019年5月8日
感谢你的观看
24
信息论发展简史
Claude. E. Shannon的两篇论文– Shannon 信 息论
1948年----信息时代的里程碑!
“A Mathematical Theory in Communication” –Shannon第一、二定理 1959年“Coding theorems for a discrete
22
信息论发展简史
电磁理论和电子学理论对通信理论技术发展起 重要的促进作用
1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发
明电话
1864麦克斯韦预言电磁波存在，1888年赫兹验证 该理论
1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统
信道 译码器
解调器
信道译码器
感谢你的观看
等效离散信道 8
各部件功能
信源
产生消息的源，消息可以是文字，语言，图像。可 以离散，可以连续。随机发生。
研究的主要问题是消息的统计特性和产生信息的速 率
编码器
信源编码器：对信源输出进行变换，求得有效性 信道编码器：对信源编码输出变换，提高抗干扰性 调制器：将信道编码输出变成适合信道传输的方式
1956McMillan证明了Kraft不等式。1952年Fano码， Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法
2019年5月8日
感谢你的观看
26
信息论发展简史
1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技术， 1993年Turbo编译码技术
激光技术使通信进入光通信时代
2019年5月8日
感谢你的观看
23
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统
是否学过信息论、信源编码或信道编码，程度 如何？
希望重点讲什么？ 希望哪些可以简略？ 希望增加哪些内容？ 对授课方式有什么意见和建议？
2019年5月8日
感谢你的观看
32
2019年5月8日
感谢你的观看
33
1959年，Shannon提出率失真函数和率失真信源编 码定理
1961年，Shannon的“双路通信信道”开拓了网络 信息论的研究，目前是非常活跃的研究领域。
2019年5月8日
感谢你的观看
27
信源编码
1948年以后，信源编码
Huffman, Fano Code (1950); 波形编码：PCM, DM, DPCM; 语音参量编码; 图象编码：DCT, 帧间预测插值, 运动补偿 数据压缩编码 语音编码标准 图象编码标准
理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它 为数学信息论。
研究内容：
1) 信源的描述，信息的定量度量、分析与计算。
2) 信道的描述，信道传输的定量度量、分析与计算。
3） 信源、信道与通信系统之间的统计匹配，以及通信系统 的优化。
——Shannon的三个编码定理。
信息论诞生五十年来，至今，仍然是指导通信技术发展的理
编码器的逆变换 中心问题是研究各种可实现的解调和译码方法
信宿
信息的接收者
2019年5月8日
感谢你的观看
11
信息、信息科学与信息论
Inform—information
什 么 “某人被通知或告知的内容、情报、消息”
－－牛津英文字典
是 广义的信息———信息的形式、内容－－最广泛意义 信
技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义
变长编码 定理
Shannon 1948
McMillan 1956
率失真理论 Shannon Gallager Berger
纠错码 编码调制理论
Huffman码(1952)、Fano码 算术码(1976,1982)
2019年5月L8日Z码(1977,1978)
压缩编码 JPEG MPEG
感谢你的观看
网络最佳码
感谢你的观看
3
其它有关事项
讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算。 微课：分组进行微课制作，上传至网络，评分
联系方式：
欢迎提出各种问题、意见和建议 2019年5月8日
感谢你的观看
4
第一章 引论
1.1 通信系统模型 1.2 信息论研究的中心问题及发展
C. E. Shannon
在我看来，两三百年之后，当人们回过头来看我们 这个时代的时候，他们可能不会记得谁曾是美国总统， 他们也不会记得谁曾是影星或摇滚歌星，但是仍然会
2019年知5月8日晓Shannon的名字，感学谢你的校观看里仍然会讲授信息论。 30
2019年5月8日
感谢你的观看
31
欢迎提出各种问题、意见和建议
广义信息论
除上述内容外，还包括自然和社会领域有关信息的 内容，如模式识别，计算机翻译，心理学，遗传学， 神经生理学
2019年5月8日
感谢你的观看
19
信息论的研究内容
统计信息论—Shannon信息论—本课程的主要内容
主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论， 即研究通信系统
感谢你的观看
13
信息、信息科学与信息论
什
么 出现于图书馆学－－研究图书文献的检索
是 信 计算机出现后－－新的含义
息 科

不同国家－－含义不尽相同
学 发展和长远的观点－－能与信息技术相对应的基 ？ 础科学
2019年5月8日
感谢你的观看
14
信息、信息科学与信息论
什 么 是 信 息 理 论 ？
感谢你的观看
2
参考书目
• Cover, Elements of Information Theory • McElice, The Theory of Information &Coding • Proakis, Digital Communication • 林舒，差错控制编码，第二版
2019年5月8日
2019年5月8日
感谢你的观看
5
1.1 通信系统模型
2019年5月8日
感谢你的观看
6
通信系统模型
信源
编码器
信道
译码器
干扰源
信宿
2019年5月8日
感谢你的观看
7
通信系统模型进一步细分
信源
等效离散信 源
信宿 等效信宿
2019年5月8日
信源 编码器
信道 编码器
信道编码器
调制器
信 道
干扰源
信源 译码器
可靠是要使信源发出的消息经过传输后，尽可能准 确地、不失真地再现在接收端
有效是用尽可能短的时间和尽可能少的设备来传输 一定量的消息
2019年5月8日
感谢你的观看
18
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括 噪声理论，信号滤波和预测，统计检测和估值理论， 调制理论，信息处理理论和保密理论
息 ？ 统计信息－－信息表达形式中统计方面的性质－－明确定义的科学名词
－－与内容无关、独立于形式
2019年5月8日
感谢你的观看
12
信息、信息科学与信息论
什
么 IT ---
是 信
计算机所涉及的各种各样的技术
息
－－优点：笼统、不明确
技
适应－种类繁多、不断发展
术
统一的、全面的、高层次的
？
2019年5月8日
2019年5月8日
信息论－统计信息理论
四十年代末期C.E.Shannon，以客观概率信 息为研究对象，从通信的信息传输问题中 总结和开拓出来的理论。
统计信息理论局限性－－不能解决一些问题
如：人工智能中启发式
搜索和学习
发展的观点－－信息科学所不可缺少的理论
基石
感谢你的观看
15
信息、信息科学与信息论
通
2019年5月8日
感谢你的观看
28
信息论发展简史与现状－－ 信息论方法的应用及其取得的成果
语音信号压缩： 64Kbps----100bps----(极限） 降低信息传输所需的功率
10-1
仅仅内内码（码2（，14，，71），码15） shanno限
10-2
误 码
10-3
率 pb
10-4
10-5
source with a fidelity cபைடு நூலகம்iterion”. – Shannon第三定理
2019年5月8日
感谢你的观看
25
信息论发展简史
1952年Fano证明了Fano不等式，给出了shannon 信道编码逆定理的证明
1957，Wolfowitz，1961 Fano，1968Gallager给 出信道编码定理的简介证明并描述了码率，码长和 错误概率的关系，1972年Arimoto和Blahut发明了 信道容量的迭代算法
2019年论5月8基日 础，是创新新通信体感制谢你的的观看源泉。
20
信息论的研究内容
工程信息论
以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳 设计原则，它以构造性为主体，以工程上技术问题为主。 研究内容主要包括： 信源编、译码理论及其设计构造方法； 信道编、译码理论及其设计构造方法； 最佳调制与解调理论与实现； 最佳检测、估值与最佳接收理论与实现；
检测、估值、滤波理论
最佳信息处理理论、方法与算法；
均衡、模式识别、人工智能、随机控制
……
2019年5月8日
感谢你的观看
21
狭义信息论体系结构
Shannon信息论
压缩理论
传输理论
无失真编码
有失真编码
信道编码定理
网络信息理论
等长编码 定理
Shannon 1948
McMillan 1953
信
在通信中对信息的表达分为三个层次：信号、消
息、信息。
中 信号：是信息的物理表达层，是三个层次中最具
的 体的层次。它是一个物理量，是一个载荷信息的
信
实体，可测量、可描述、可显示。 消息：是信息的载体，相对具体的概念，如语言，
息 文字，数字，图像
含 信息：它是更高层次哲学上的抽象，是信号与消
义
息的更高表达层次。可以定量的描述。信息、物 质和能量是构成一切系统的三大要素。三个层次
级连
级连
未编码
10-6-3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12
信噪比Eb/N0(dB)
2019年5月8日
感谢你的观看
29
Claude E. Shannon
著名信息论和编码学者 Dr. Richard Blahut 在 Shannon塑像的落成典 礼上这样评价Shannon：
第一章 引论
2019年5月8日
感谢你的观看
1
课程概况
目的：
了解学习信息论的作用、方法与意义，对信息论的 研究方法和成果有广泛的基本认识，学会应用，为 进一步研究打下基础
特点：
以信息理论为中心，区别与“信源编码”、“信道 编码”
以概念和物理意义为主 结合通信系统实际应用
2019年5月8日
2019年5月8日
感谢你的观看
9
各部件功能
信道
信号从发端传到接收端的介质
干扰源
系统各部分引入的干扰，包括衰落，多径，码间干 扰，非线性失真，加性噪声，主要是统计特性
信道的中心问题是研究信道的统计特性和传信能力， 即信道容量
2019年5月8日
感谢你的观看
10
各部件功能
译码器