信息论基础理论与应用第三版(傅祖芸) 第1章 绪论
合集下载
第一章 绪论
可见，消息中包含信息，是信息的载体。得到消息， 从而获得信息。 同一则消息可用不同的形式来载荷。如球赛进展情
况可用电视图像、广播语言、报纸文字等不同形式来
表示。而一则消息也可载荷不同的信息，它可能包含
非常丰富的信息，也可能只包含有很少的信息。
因此，信息与消息是既有区别又有联系的。
又有人说信息就是信号，是一切我们所感知的有意
2. 信息定义上的困惑 信息的各种定义： 信息是事物之间的差异； 信息是事物联系的普遍形式；
信息是物质和能量在时间和空间中分布的不均匀性；
信息是能够用来消除随机不确定性的的东西； ……
各种信息定义都从不同层次、不同侧面描述了信 息的某些特征，但至今尚无一种定义能够为社会各
界所一致接受。
3. 本体论与认识论层次的信息概念 对信息可以从本体论和认识论两个层次上去理解。 本体论层次上的信息概念是广义的概念，将任何 事物的运动状态及其变化方式都理解为信息。
由于认识主体具有感觉能力、理解能力和目的性，
能够感知事物状态及其变化方式的外在形式、内在
含义并能够判断其效用价值，因此在认识论层次研
究信息时，一般要同时考虑到形式、含义和效用三 个因素。
4 . 语法信息、语义信息和语用信息 在认识论层次研究信息时: 把只考虑到形式因素的部分称为语法信息； 把只考虑到含义因素的部分称为语义信息； 把只考虑到效用因素的部分称为语用信息。 显然，语义信息和语用信息涉及认识主体的主观因素。 目前，信息论中主要研究语法信息。
并传递纸，纸就是载体。 承载消息的载体称为信道，现代最便于传输的信
号是电信号和光信号，相应的信道如电缆、传输电
磁波的空间和光缆等。
从通信的实质意义来讲，如果信宿收到的消息是
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
第一章绪论
最普遍的层次，也是无约束条件的层次，定义 事物的“信息是该事物运动的状态和状态改变的 方式”. 我们把它叫做“本体论”层次. 最广义的 信息，使用范围也最广.
“认识论”定义
引入一个最有实际意义的约束条件：认识主体. 信息定义就转化为“认识论”层次的信息定义.
即：信息是认识主体（生物或机器）所感知的或 所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
信息的存在
信息科学和材料、能源科学一起被称为当 代文明的“三大支柱”。
一位美国科学家说过：“没有物质的世界 是虚无的世界；没有能源的世界是死寂的世 界；没有信息的世界是混乱的世界。”
Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense.
维纳(N. Wiener)：为信息论的进一步发展和拓展作 了大量工作；主要在通信的统计理论与滤波器理论方面.
香农信息论主要讨论的是语法信息中的概率信息， 本书也以概率信息为主要研究对象.
1. 信息论研究的基本问题
达到不失真信源压缩编码的极限（最低） 编码速率是多少？
极限速率 = 该信源的信息熵 爷病重，速归
信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信 息传输》的论文. 他认为“信息是选择的自由 度”.
事隔20年, 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了 题为《通信的数学理论》的长篇论文。他创 立了信息论，但是却没有给出信息的确切定
“信息”不同于情报
“认识论”定义
引入一个最有实际意义的约束条件：认识主体. 信息定义就转化为“认识论”层次的信息定义.
即：信息是认识主体（生物或机器）所感知的或 所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
信息的存在
信息科学和材料、能源科学一起被称为当 代文明的“三大支柱”。
一位美国科学家说过：“没有物质的世界 是虚无的世界；没有能源的世界是死寂的世 界；没有信息的世界是混乱的世界。”
Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense.
维纳(N. Wiener)：为信息论的进一步发展和拓展作 了大量工作；主要在通信的统计理论与滤波器理论方面.
香农信息论主要讨论的是语法信息中的概率信息， 本书也以概率信息为主要研究对象.
1. 信息论研究的基本问题
达到不失真信源压缩编码的极限（最低） 编码速率是多少？
极限速率 = 该信源的信息熵 爷病重，速归
信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信 息传输》的论文. 他认为“信息是选择的自由 度”.
事隔20年, 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了 题为《通信的数学理论》的长篇论文。他创 立了信息论，但是却没有给出信息的确切定
“信息”不同于情报
信息论1
维纳理论、检测和估计理论、信号设计和处理理论、
调制理论、随机噪声理论和密码学理论等。 –本课程讨论香农信息理论。
1.3 信息论发展简史与现状
信息论是在长期的通信工程实践和理论研究的
基础上发展起来的。 一、简史 •现代信息论实际上是从20世纪20年代奈奎斯 特和哈特莱的工作开始的。 •1924年奈奎斯特(H．Nyquist)的 “影响电报速 率因素的确定” 一文，
消息：用文字、符号、数据、语言、音符、图片等能够被人们感
觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达 出来。
知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础
，通过抽象思维，对客观事物规律性的概括。
知识信息只是人类社会中客观存在的部分信息。
情报：是人们对于某个特定对象所见、所闻、所理解而产生的知
理理论等。
–广义信息论：广义信息论不仅包括上述两方面的内容 ，而且包括所有与信息有关的领域，如模式识别、计算 机翻译、心理学、遗传学、语言学等等。
–信息论是一门应用概率论、随机过程、数理统计和 近代代数的方法，来研究广义的信息传输、提取和处 理系统中一般规律的学科。 –它的主要目的是提高信息系统的可靠性、有效性、 保密性和认证性，以便达到系统最优化； –它的主要内容(或分支)包括香农理论、编码理论、
–什么是信息
–关于信息的科学定义，到目前为止，国内外已有 不下百余种流行的说法，它们都是从不同的侧面 和不同的层次来揭示信息的本质的。
–1928年，哈特莱(R．V．L Hartley)
在《信息传输》一文中提出：发信者所发出的 信息，就是他在通信符号表中选择符号的具体方式 –局限性： 定义不涉及到信息的价值和具体内存，只考虑选
•三、 研究内容
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
第1章-引论
1. 现代信息技术的含义 从技术本质的意义上看，信息技术就是能够扩展
人的信息器官（感觉器官、传导神经网络、思维器 官、效应器官）功能的一类技术。
2. 信息技术的基本内容
近代信息技术的基本内容包括感测技术、通信技术、 智能技术及控制技术，即信息技术四基元。
感测技术 感测技术包括传感技术和测量技术，如遥感、遥测技术等。它
们是感觉器官功能的延长。 通信技术
通信技术的功能是传递信息，它是传导神经网络功能的延长。
智能技术 智能技术包括计算机硬件技术、软件技术、人工智能技
术和人工神经网络等。它们是思维器官功能的延长，能更 好地加工和再生信息。 控制技术
控制技术的功能是根据输入的指令信息（决策信息）对 外部事物的运动状态和方式实施干预，是效应器官功能的 扩展和延长。
➢ 信息本质上是指各个事物运动的状态及状态变化 的方式。 “信息是关于事物运动的状态和规律”。 或者说，是关于事物运动的“知识”。
➢ 信息从数量上等于通信前后“不确定性”的消除量 （减少量）。举例（课本P2）
➢ 信息作为一个严格的数学公示定义的科学名词首先 出现在统计学中。本课程研究的信息是一种统计意义 上的信息。
3.突破性进展：
1961年，香农发表的论文“双路通信信道”开拓了多用户理论的研究， 该理论随着卫星通信、计算机通信的迅速发展取得了许多突破性的进展。
3.巨大的进展：
随后50年，信息论在基本理论和实际应用方面都取得了巨大进展： 在香农理论基础上给出的最佳噪声通信系统模型，今年来正成为现实－伪
噪声编码通信系统。 近代信息论的两个重要分支：信号检测理论、编码理论。 简尼斯提出的最大熵原理和库尔拜克提出的最小鉴别信息原理，为功率谱
第1章-引论
教材及参考书
人的信息器官（感觉器官、传导神经网络、思维器 官、效应器官）功能的一类技术。
2. 信息技术的基本内容
近代信息技术的基本内容包括感测技术、通信技术、 智能技术及控制技术，即信息技术四基元。
感测技术 感测技术包括传感技术和测量技术，如遥感、遥测技术等。它
们是感觉器官功能的延长。 通信技术
通信技术的功能是传递信息，它是传导神经网络功能的延长。
智能技术 智能技术包括计算机硬件技术、软件技术、人工智能技
术和人工神经网络等。它们是思维器官功能的延长，能更 好地加工和再生信息。 控制技术
控制技术的功能是根据输入的指令信息（决策信息）对 外部事物的运动状态和方式实施干预，是效应器官功能的 扩展和延长。
➢ 信息本质上是指各个事物运动的状态及状态变化 的方式。 “信息是关于事物运动的状态和规律”。 或者说，是关于事物运动的“知识”。
➢ 信息从数量上等于通信前后“不确定性”的消除量 （减少量）。举例（课本P2）
➢ 信息作为一个严格的数学公示定义的科学名词首先 出现在统计学中。本课程研究的信息是一种统计意义 上的信息。
3.突破性进展：
1961年，香农发表的论文“双路通信信道”开拓了多用户理论的研究， 该理论随着卫星通信、计算机通信的迅速发展取得了许多突破性的进展。
3.巨大的进展：
随后50年，信息论在基本理论和实际应用方面都取得了巨大进展： 在香农理论基础上给出的最佳噪声通信系统模型，今年来正成为现实－伪
噪声编码通信系统。 近代信息论的两个重要分支：信号检测理论、编码理论。 简尼斯提出的最大熵原理和库尔拜克提出的最小鉴别信息原理，为功率谱
第1章-引论
教材及参考书
信息论第1章 25页
信宿所需要的消 息形式，它的作用相当于信源编码器的逆过程。
母病愈 ，勿念
26.11.2019
21
信道编码器与译码器
信道编码器的作用 母病▓ ，勿念
在信源编码器输出的代码组上有目的地增加一些监 督码元，使之具有检错或纠错的能力。
信道译码器的作用
Without energy, nothing happens. 没有能源的世界是死寂的世界
Without information, nothing makes sense. 没有信息的世界是混乱的世界
26.11.2019
8
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典：在观察研究过程中获得的数据情报、新闻和知识 日本广辞苑：信息是所观察事物的知识
定长编码 变长编码
定理
定理
有噪声 信道编码理论
网络信道
保密系统的 信息理论
网络信息理论
压缩编码
最优码构成 Huffman码
Fano码
码构成 纠错码
网络最佳码
保密码
26.11.2019
代数编码 卷积码
7
1.3 信息的基本概念
物质世界的三大支柱：物质、能量和信息
Without materials, there is nothing. 没有物质的世界是虚无的世界
信宿
干扰 噪声源
26.11.2019
18
数字通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
信
解密 密钥
道
信宿 信源解码
解密 信道解码
干扰源
26.11.2019
19
母病愈 ，勿念
26.11.2019
21
信道编码器与译码器
信道编码器的作用 母病▓ ，勿念
在信源编码器输出的代码组上有目的地增加一些监 督码元，使之具有检错或纠错的能力。
信道译码器的作用
Without energy, nothing happens. 没有能源的世界是死寂的世界
Without information, nothing makes sense. 没有信息的世界是混乱的世界
26.11.2019
8
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典：在观察研究过程中获得的数据情报、新闻和知识 日本广辞苑：信息是所观察事物的知识
定长编码 变长编码
定理
定理
有噪声 信道编码理论
网络信道
保密系统的 信息理论
网络信息理论
压缩编码
最优码构成 Huffman码
Fano码
码构成 纠错码
网络最佳码
保密码
26.11.2019
代数编码 卷积码
7
1.3 信息的基本概念
物质世界的三大支柱：物质、能量和信息
Without materials, there is nothing. 没有物质的世界是虚无的世界
信宿
干扰 噪声源
26.11.2019
18
数字通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
信
解密 密钥
道
信宿 信源解码
解密 信道解码
干扰源
26.11.2019
19
信息论与编码理论第一章
1.2 信息论研究的中心问题和发 展
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论” 奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括噪 声理论，信号滤波和预测，统计检测和估值理论，调 制理论，信息处理理论和保密理论
几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、
以及信息存储编码调制技术
信息论几个方面的主要进展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年
2．简化模型。理论的作用是浓缩知识之树， “简 单模型胜于繁琐的现象罗列”， “简单化才能显 现出事物的本质，它表现了人的洞察力”。 好的性能量度和复杂性的量度（信息量、熵、 信道容量、商品等），常会引导出优秀的理论结 果和令人满意的实际应用。
1.3 Shannon信息论的局限性
如果实际信源或信道符合所采用的概率模 型描述，这种方法是有效的，否则只能是 近似的，甚至根本无效。
信道 编码器
信道编码 器
调制器
信 道
干扰源
信源 译码器
信道 译码器
《信息论与编码基础》第1章 绪论
7
课程讨论主要内容
第3章 离散信道及其信道容量 信道的数学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配
8
课程讨论主要内容
第4章 波形信源及波形信道 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量
9
课程讨论主要内容
第5章 基本的信源和信道编码定理 无失真信源编码定理 编码器的概念 等长码 等长信源编码定理 变长码 变长信源编码定理（香农第一定理） 有噪信道编码定理 错误概率与编译码规则 有噪信道编码定理（香农第二定理） 联合信源信道编码定理
10
课程讨论主要内容
第6章 保真度准则下的信源编码 失真的测度 信息率失真函数及其性质 离散无记忆信源的信息率失真函数 保真度准则下的信源编码定理（香农第三定理） 联合有失真信源信道编码定理
1.1 信息的一般概念
19
在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描 述、可显示。 消息(或称为符号)：是信息的数学表达层，它虽不是一个 物理量，但是可以定量地加以描述，它是具体物理信号的 进一步数学抽象。 可将具体物理信号抽象为两大类型： 离散(数字)消息：由随机序列描述的一组未知量： X=(X1, …, Xi , …, Xn) 连续(模拟)消息：由随机过程描述的未知量：X( t, ω) 信息：是信号与消息的更抽象的表达层次。
1.1 信息的一般概念
17
信息论基础教学教案-信息论知识总结
送端发送 ai 的概率，称为后验概率。收信者获得的信息量定义为互信息， 即收信者在收到消息（符号）b j 后，已经消除的关于 ai 的不确定性。因此， 互信息就是先验的不确定性减去尚存在的不确定性，其定义为
I
(ai
;bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
3
《信息论基础》教案
本节小结
1. 消息和信息的概念以及信息、消息和信号之间的关系
2. 香农信息的含义和度量
自信息
I (ai
)
log
1 P(ai
)
log
P(ai
)
互信息
I
(ai
;
bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
教学方法 时 和手段 间
利用多媒 体演示， 分条目进 10 行总结
4
《信息论基础》教案
教学章节 教学目的
教学内容 教学重点 教学难点
教学方式
授课时间
第一章绪论 1. 理解信息论的研究对象、目的和内容 2. 了解信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 2. 信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 1. 信息论的研究对象、目的和内容 以多媒体电子教案为主讲解主要内容，以板书为辅将知识点和方法明确化； 采取结合例子 讲授、逐 步深入、分 析的方法 进行讲解， 并着重强 调各种概 念的物理意义。 1 学时
状态（是否正确和可靠），因此，消息是千变万化的、不规则的以及 学生，讲解
随机的。
信息和消息
2、信息
概念，以及
第一章 概述
任俊玲renjunling@基本情况课时：32学时考核：平时成绩：10%作业：30%=20%+10%考试：60%参考资料1、李梅、李亦农等，信息论基础教程（第2版），北京邮电大学出版社，2008.102、冯桂等，信息论与编码技术，清华大学出版社，2007.33、傅祖芸，信息论-基础理论与应用（第2版），电子工业出版社，2008.44、周荫清，信息理论基础，北京航空航天大学出版社，20025、（美）Thomas M.Cover著，阮吉寿、张华等译，信息论基础，机械工业出版社， 2008.1… … … …内容介绍第一部分绪论（第一章）第二部分信息测量问题信息的度量（第二章）信源及信源熵（第三章）信道及信道容量（第四章）第三部分编码问题（香农三定理）无失真信源编码（第五章）——香农第一定理有噪信道编码（第六章）——香农第二定理限失真信源编码（第七章）——香农第三定理保真度准则下的信源编码定理第一章绪论主要内容1.1信息的概念1.2 信息论研究的对象、目的和内容 1.3 信息论的发展过程1.4 信息论的研究现状关于信息论信息论是通信的数学基础，是随着通信技术的发展而形成和发展起来的一门横断学科。
通信：指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递。
1.1信息的概念信息是信息论中最基本、最重要的概念。
组成客观世界的三大基本要素：物质、能量和信息，材料科学、能源科学、和信息科学一起被称为当代文明的“三大支柱”。
Without materials , there is nothing.Without energy , nothing happens.Without information , nothing makes sense .没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。
香农信息定义1948年，香农在发表的论文《通信的数学理论》中，从研究通信系统传输的本质出发，对信息做了科学的定义，并进行了定性和定量的描述。
信息论 基础理论与应用第三版(傅祖芸) 第1章 绪论
信息是可以量度的，信息量有多少的差别。
15
•
•
•
1.2 信息论研究的 对象、目的和内容
16
研究对象：通信系统模型
信 源 信 宿
信源编码
信源解码 加密 密钥 信 道 解密 密钥
加密
信道编码
解密
信道解码
干 扰 源
17
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信 源的内部结构和机理，而关注信源的输出。重点 讨论其描述方法及性质。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信 号、消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
10
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。 （2）概率测度 对每一个可能选择的消息指定一个概率。 （3）概率空间
a2 an X a1 P( x) p ( a ) p ( a ) p ( a ) 1 2 n
样本空间 概率测度
卷积码
22
信息论研究的目的
找到信息传输过程中的共同规律，提高信息传输的 可靠性、有效性、保密性、认证性，使信息传输系统 达到最优化。 认证性：接受者能正确判断所接收的消息的正确 性，验证消息的完整性，而不是伪造和窜改的。
23
信息论研究的内容
15
•
•
•
1.2 信息论研究的 对象、目的和内容
16
研究对象：通信系统模型
信 源 信 宿
信源编码
信源解码 加密 密钥 信 道 解密 密钥
加密
信道编码
解密
信道解码
干 扰 源
17
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信 源的内部结构和机理，而关注信源的输出。重点 讨论其描述方法及性质。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信 号、消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
10
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。 （2）概率测度 对每一个可能选择的消息指定一个概率。 （3）概率空间
a2 an X a1 P( x) p ( a ) p ( a ) p ( a ) 1 2 n
样本空间 概率测度
卷积码
22
信息论研究的目的
找到信息传输过程中的共同规律，提高信息传输的 可靠性、有效性、保密性、认证性，使信息传输系统 达到最优化。 认证性：接受者能正确判断所接收的消息的正确 性，验证消息的完整性，而不是伪造和窜改的。
23
信息论研究的内容
信息论--信息理论与应用1 ppt课件
PPT课件
18
香农信息定义的缺陷
第一，作为Shannon信息概念的直接基础， 《通信的数学理论》一文曾经十分明确地指出： 通信的任务是在收端复制发端所发出的波形， 至于它的内容含义，因与通信工程无关，所以
可以舍去。可见，Shannon理论中的不定性纯 粹是波形形式上的不定性，与此相应的信息概 念也是纯粹的形式化的概念（称为语法信息）。 这样的信息概念排除了信息的含义因素，（即 语义信息）和价值因素（即语用信息），不考 虑收信者的主观特性。因此，它的适用范围受 到严重的限制。
消息和信息既有区别又有联系。
PPT课件
23
信息与信号的区分
信号：把消息变换成适合信道传输的物理量， 这种物理量称为信号（如电信号、光信号、声音
信号等）。
信号携带着消息，它是消息的运载工具。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示。 同一信号也可表示不同的信息。
信息论与编码
——信息论基础理论与应用
PPT课件
1
课程说明
本课程将介绍信息科学的基础理论和基本方法， 课程将基于一个通讯系统的抽象数学模型进行展 开，课程的数学基础为概率论。整个课程可分为 基础理论和编码理论两部分组成。
本课程以概率论为基础，数学推导较多，教学时 主要把注意力集中到概念的理解上，不过分追求 数学细节的推导。学习时一定要从始至终注意基 本概念的理解，不断加深概念的把握。学习时注 意理解各个概念的“用处”，结合其他课程理解 它的意义，而不要把它当作数学课来学习，提倡 独立思考，注重思考在学习中的重要性。
例如，假定符号表是26个英文字母及标点符号，那么用符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种 信息。
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
《信息论》—基础理论与应用(傅祖芸)课后答案
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H ( X ) = − ∑ P( x) log P( x) = 1.91 比特/符号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一 格的概率空间为： a X 1 P = 1 48 平均自信息量为 H ( A) = log 48 = 5.58 比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。 A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为
= −(1 − ε )∑ Pi log(1 − ε ) − (1 − ε )∑ Pi log Pi − ε ∑ Pi log ε − ε ∑ Pi log Pi
′ = p1 − ε ， 【2.10】设有一概率空间，其概率分布为 { p1 , p 2 ,..., p q } ，并有 p1 > p 2 。若取 p1 ′ = p 2 + ε ，其中 0 < 2ε ≤ p1 − p 2 ，而其他概率值不变。试证明由此所得新的概率空间的 p2 熵是增加的，并用熵的物理意义加以解释。 解： 设新的信源为 X ′ ，新信源的熵为： H ( X ′) = −∑ pi log p i = −( p1 − ε ) log( p1 − ε ) − ( p 2 + ε ) log( p 2 + ε ) − L − p q log p q 原信源的熵 H ( X ) = − ∑ p i log pi = − p1 log p1 − p 2 log p 2 − L − p q log p q 因此有， H ( X ) − H ( X ′) = ( p1 − ε ) log( p1 − ε ) + ( p 2 + ε ) log( p 2 + ε ) − p1 log p1 − p 2 log p 2 p1 − p 2 令 f ( x ) = ( p1 − x) log( p1 − x ) + ( p 2 + x ) log( p 2 + x) ， x ∈ 0, 2 ，则 f ′( x) = log p2 + x ≤0 p1 − x
信息论与编码第一章绪论
研究信息传输和处理问题，除经典信息论外 还包括噪声理论，信号滤波和预测，统计检 测和估值理论，调制理论，信息处理理论和 保密理论
➢ 广义信息论
除上述内容外，还包括自然和社会领域有关 信息的内容，如模式识别，计算机翻译，心 理学，遗传学，神经生理学
信息论发展简史
➢ 电磁理论和电子学理论对通信理论技术 发展起重要的促进作用
➢ 研究目的：提高信息系统的可靠性、有效性和安全性以
便达到系统最优化。
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又 复杂
信息在日常生活中被认为是“消息”、“知识”、“情报” 等➢“信息”不同于消息（在现代信息论形成之前，信息一直
被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质；
比
➢ 1928年Hartley提出信息量定义为可能消息量的 对数
➢ 1939年Dudley发明声码器 ➢ 1940维纳将随机过程和数理统计引入通信与控制
系统
信息论发展简史
1948年shannon信息论奠基
1952年Fano证明了Fano不等式，给出了 shannon信道编码逆定理的证明
1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证 明并描述了码率，码长和错误概率的关系， 1974年Bahl发明了分组码的迭代算法（ BCRJ）
➢ 重点讲授信息的概念，信息的度量和计算等 一些基本问题。还学习几种常用的信源编码方 法和纠错编码方法。
课程位置
基础课程
概率论 数理统计
后续课程：
通信原理 数字通信 数字图像处理
课程目标
➢ 掌握基本的信息论概念，而且要求能够和日常 生活和学习结合起来，做到活学活用。
➢ 广义信息论
除上述内容外，还包括自然和社会领域有关 信息的内容，如模式识别，计算机翻译，心 理学，遗传学，神经生理学
信息论发展简史
➢ 电磁理论和电子学理论对通信理论技术 发展起重要的促进作用
➢ 研究目的：提高信息系统的可靠性、有效性和安全性以
便达到系统最优化。
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又 复杂
信息在日常生活中被认为是“消息”、“知识”、“情报” 等➢“信息”不同于消息（在现代信息论形成之前，信息一直
被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质；
比
➢ 1928年Hartley提出信息量定义为可能消息量的 对数
➢ 1939年Dudley发明声码器 ➢ 1940维纳将随机过程和数理统计引入通信与控制
系统
信息论发展简史
1948年shannon信息论奠基
1952年Fano证明了Fano不等式，给出了 shannon信道编码逆定理的证明
1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证 明并描述了码率，码长和错误概率的关系， 1974年Bahl发明了分组码的迭代算法（ BCRJ）
➢ 重点讲授信息的概念，信息的度量和计算等 一些基本问题。还学习几种常用的信源编码方 法和纠错编码方法。
课程位置
基础课程
概率论 数理统计
后续课程：
通信原理 数字通信 数字图像处理
课程目标
➢ 掌握基本的信息论概念，而且要求能够和日常 生活和学习结合起来，做到活学活用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
国内外已有不下百余种流行的说法， 它们都是从不同的侧面和不同的层次来揭示信息的 本质的。
1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信
息，就是他在通信符号表中选择符号的具体方式， 主张用所选择的自由度来度量信息。 局限性： ➢ 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ➢ 没有考虑各种可能选择方法的统计特性。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
19
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 11
例：气象预报
甲 X 晴 阴 大雨 小雨
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信号、 消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
信息论与编码
主讲人：
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
2
简介
信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 信源编码、信道编码
14
信息的特征
• 信息是物质存在的普遍属性，信息和能量、物质规定了 事物的功能和性能；
• 接收者在收到信息之前，对它的内容是不知道的，所以， 信息是新知识、新内容；它使认识主体对某一事物的未 知性或不确定性减少的有用知识；
• 信息的存在具有普遍性、无限性、动态性、时效性和相 对独立性；
• 信息可以产生，也可以消失，同时信息可以被传递、转 换、扩散、复制、贮存、分割，具有可共享性；
9
1948年，维纳(N．Wiener)
控制论创始人维纳在《人有人的用处》一书中 提出：“信息是人们适应外部世界并且使这种适应 反作用于外部世界的过程中，同外部世界进行互相 交换的内容的名称。”
局限性：信息的定义是不确切的。
1948年，香农（C.E.Shannon）
发表了一篇著名的论文“通信的数学理论”。
12
的倒对数x的i的某不一确函定数性。可表示为先验概率p(xi) （4）自信息
（5）互信息
I (ai )
log
1 P(ai )
先验I (的ai不;b确j ) 定 l性og减P去(1a尚i ) 存lo的g不p确(a1i定bj性) 。
后送验端概发率的p(是aia|i的bj)概：率接。收端收到消息bj后而发
他从研究通信系统传输的实质出发，对信息作了科
学的定义，并进行了定性和定量的描述：
信息是事物运动状态或存在方式的不确定性的描
述。
10
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
X P(
x)
a1 p(a1
)
a2 p(a2)
13
香农定义的优缺点
在现有的各种理解中比较深刻，其优点： 它是一个科学的定义，有明确的数学模型和定量 计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意。
也有其局限性： 定义的出发点是假定事物状态可以用一个以经典 集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开 了信息的具体含意、具体用途、重要程度和引起 后果等因素。
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
信道：传输信息的物理媒介。
18
信源编码器与译码器
信源编码器
通过信源编码可以压缩信源的冗余度,以提高通信 系统传输消息的效率。
信源编码器分为两类
无失真信源编码：适用于离散信源或数字信号；
限失真信源编码：用于连续信源或模拟信号,如语 音、图像等信号的数字处理。
6
信息
信息论中最基本、最重要的概念，既抽象又复杂。
➢信息≠消息：消息是表现形式，信息是实质； ➢信息≠情报：情报一般只限于特殊领域，是一类特 殊的信息； ➢信息≠知识：知识是人们根据某种目的,从自然界 收集得来的数据中整理、概括、提取得到的有价值 的信息，是一种高层次的信息。 ➢信息≠信号：信号是承载消息的物理量。
3
第1章
绪论
1.1 信息的概念
5
几个常见概念
情报：是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息：用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。
• 信息是可以量度的，信息量有多少的差别。 15
1.2 信息论研究的对 象、目的和内容
16
研究对象：通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
解密 密钥
信道
信宿 信源解码
解密 信道解码
干扰源
17
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信源 的内部结构和机理，而关注信源的输出。重点讨 论其描述方法及性质。
1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信
息，就是他在通信符号表中选择符号的具体方式， 主张用所选择的自由度来度量信息。 局限性： ➢ 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ➢ 没有考虑各种可能选择方法的统计特性。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
19
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 11
例：气象预报
甲 X 晴 阴 大雨 小雨
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信号、 消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
信息论与编码
主讲人：
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
2
简介
信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 信源编码、信道编码
14
信息的特征
• 信息是物质存在的普遍属性，信息和能量、物质规定了 事物的功能和性能；
• 接收者在收到信息之前，对它的内容是不知道的，所以， 信息是新知识、新内容；它使认识主体对某一事物的未 知性或不确定性减少的有用知识；
• 信息的存在具有普遍性、无限性、动态性、时效性和相 对独立性；
• 信息可以产生，也可以消失，同时信息可以被传递、转 换、扩散、复制、贮存、分割，具有可共享性；
9
1948年，维纳(N．Wiener)
控制论创始人维纳在《人有人的用处》一书中 提出：“信息是人们适应外部世界并且使这种适应 反作用于外部世界的过程中，同外部世界进行互相 交换的内容的名称。”
局限性：信息的定义是不确切的。
1948年，香农（C.E.Shannon）
发表了一篇著名的论文“通信的数学理论”。
12
的倒对数x的i的某不一确函定数性。可表示为先验概率p(xi) （4）自信息
（5）互信息
I (ai )
log
1 P(ai )
先验I (的ai不;b确j ) 定 l性og减P去(1a尚i ) 存lo的g不p确(a1i定bj性) 。
后送验端概发率的p(是aia|i的bj)概：率接。收端收到消息bj后而发
他从研究通信系统传输的实质出发，对信息作了科
学的定义，并进行了定性和定量的描述：
信息是事物运动状态或存在方式的不确定性的描
述。
10
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
X P(
x)
a1 p(a1
)
a2 p(a2)
13
香农定义的优缺点
在现有的各种理解中比较深刻，其优点： 它是一个科学的定义，有明确的数学模型和定量 计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意。
也有其局限性： 定义的出发点是假定事物状态可以用一个以经典 集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开 了信息的具体含意、具体用途、重要程度和引起 后果等因素。
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
信道：传输信息的物理媒介。
18
信源编码器与译码器
信源编码器
通过信源编码可以压缩信源的冗余度,以提高通信 系统传输消息的效率。
信源编码器分为两类
无失真信源编码：适用于离散信源或数字信号；
限失真信源编码：用于连续信源或模拟信号,如语 音、图像等信号的数字处理。
6
信息
信息论中最基本、最重要的概念，既抽象又复杂。
➢信息≠消息：消息是表现形式，信息是实质； ➢信息≠情报：情报一般只限于特殊领域，是一类特 殊的信息； ➢信息≠知识：知识是人们根据某种目的,从自然界 收集得来的数据中整理、概括、提取得到的有价值 的信息，是一种高层次的信息。 ➢信息≠信号：信号是承载消息的物理量。
3
第1章
绪论
1.1 信息的概念
5
几个常见概念
情报：是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息：用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。
• 信息是可以量度的，信息量有多少的差别。 15
1.2 信息论研究的对 象、目的和内容
16
研究对象：通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
解密 密钥
信道
信宿 信源解码
解密 信道解码
干扰源
17
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信源 的内部结构和机理，而关注信源的输出。重点讨 论其描述方法及性质。