信息论速成1

例如：母亲邮寄的衣物——客体是衣物
男朋友送的巧克力——客体是巧克力
信息理论基础
第一章
总结：
绪论
①、信息不是物质，表征事物的状态和运动形式；
②、信息是物质和能量在空间和时间上分布的不均匀 程度——差异；
③、信息充满世界，信息无处不在，有物质的地方就 有信息； ④、信息是无形的，摸不着、看不见，必须依附于一 定的物质形式存在——客体。
第二章
二、条件互信息量
信息的统计度量
事件zk给定条件下，事件xi 和事件yj之间的互信息 量定义为条件互信息量
I ( xi ; y j | zk ) log
p ( xi | y j zk ) p ( xi | zk )
释：①、I(xi ; yj zk) = I(xi ; zk) + I(xi ; yj | zk)
I(xi | yj) = – log p(xi | yj)
释：①、I(xi)是事件xi本身所具有的不确定性；
②、I(xi | yj) 是事件yj 发生后， 事件xi 尚存在的不 确定性； ③、条件自信息量单位同自信息量。
信息理论基础
第二章
一、互信息量
信息的统计度量
§2.2 互信息量和条件互信息量
1、定义：事件xi 和事件yj之间的互信息量定义为
干扰种类：加性干扰、乘性干扰；
加性干扰：与信道输入统计无关 如内部噪声等； ＊输出信号是输入信号与加性干扰相加的结果。 乘性干扰：与信道输入信号大小或特性有关 如放大器放大倍数受温度影响； ＊输出信号是输入信号与乘性干扰相乘的结果。
信息理论基础
第一章
⑤、译码器：
绪论
定义：从信道输出的受到干扰的信号中最大限度提取 信源输出消息的信息； ＊如果没有干扰——信息无损失(如无失真信源编码) ＊如果存在干扰——信息有损失(如限失真信源编码、 有噪信道编码)
信息ห้องสมุดไป่ตู้论基础
第一章
③、信道：
绪论
定义：将信号从发端传到收端的媒质或通道；
信道种类：电话线、电缆、光纤、电波等。
信道的主要研究内容——第四章 ＊数学模型：简单、扩展、组合信道 ＊平均互信息 ＊级联信道的信息不可增加性 ＊信道容量
信息理论基础
第一章
④、干扰源：
绪论
定义：系统所有噪声和干扰等效成信道干扰；
1、概率论的核心概念是随机变量。
随机变量的精确描述是分布律和概率密度。
随机变量的粗略描述是数字特征(均值和方差)。 2、信息论的核心概念是信息。 信息的精确描述是信息量(自信息量、条件自信息 量和互信息量)。
信息的粗略描述是什么？——熵
信息理论基础
第二章
信息的统计度量
二、定义：在离散集X上，随机变量I(xi)的数学期望定 义为平均自信息量
第一章
绪论
④、同一消息包含不同的信息
例如同一消息，不同人获得的信息不同。
⑤、同一信息可用不同消息载荷
例如用电话、短信、邮件传递同一信息。 信号：①、信号是消息的载荷者； ②、信号是表示消息的物理量。 例如电信号幅度、频率和相位代表消息
信息理论基础
第一章
绪论
§1.3 通信系统数学模型 1、定义：信息的传输系统成为通信系统。 如电报系统、电话系统、图像系统、雷达系统。 2、通信系统数学模型： 较完整的模型
信息理论基础
第一章
美国人 阿拉伯人 中国人 植物人
绪论
信息和消息不一样，同一条消息可产生不同的效果：
911事件是消息
信息理论基础
第一章
2、广义的信息概念
绪论
①、信息表征客体变化、客体之间的差异和关系； 客观世界三大要素：物质、能量、信息 物质运动需要能量，运动产生差异，差异产生信息。 没有完全一样的客观物体： 例如：双胞胎兄弟难区分—母亲能区分，存在差异。 ②、信息表征客体的行为和能力，而不是客体本身。
信息理论基础
第一章
绪论
3、概率信息——定量描述 又称为香农信息、狭义信息，由香农提出来的， 从事件不确定性(随机性)和概率测度出发定义信息。
例如：
甲袋（100个球） 红(50)、白色(50) 随意取出一球为红色 | 不确定性小、概率大(1/2) | 当被告知取出球为红色 (不确定性没有了) | 消除的不确定性少 (获得信息少) 乙袋（100个球） 红(25)、白(25)、兰(25)、黑(25) 随意取出一球为红色 | 不确定性大、概率小(1/4) | 当被告知取出球为红色 (不确定性没有了) | 消除的不确定性多 (获得信息多)
I(xi ; yj) = log [p(xi | yj)/p(xi)]
释：①、I(xi ; yj) = [– log p(xi)] – [– logp(xi | yj)] = I(xi) – I(xi | yj) = 先验的不确定性 – 尚存在的不确定性 ②、表示事件xi 发生后传递给事件yj的信息量； 表示事件yj发生所能提供的关于事件xi的信息量。
②推广：
I ( x; yy1 y2 ... yn ) I ( x; y ) I ( x; y1 | y ) I ( x; y2 | yy1 ) ... I ( x; yn | yy1 y2 ... yn 1 )
信息理论基础
第二章
一、引入
信息的统计度量
§2.3 离散集的平均自信息量
信息理论基础
第一章
绪论
3、广义信息论（又称信息科学） 上世纪70年代后，VLSI、VHSI和计算机广泛使 用，信息存贮、处理能力不断提高，现代信息的研究 突破香农信息论的框框，建立了更一般性的广义信息 论，称为信息科学。 研究内容涉及： ①、经典信息论和工程信息论的内容； ②、模式识别； ③、计算机翻译； ④、神经网络； ⑤、心理学； ⑥、遗传学； ⑦、语言学； ⑧、语义学等。
组成部分：信源译码器——第五章 信道译码器——第六章
⑥、信宿：信息传送过程中的接收者，即接收信息的 人或物。
信息理论基础
信息理论课程讲授的核心内容：
香农三大定理
1、第一定理：信源编码定理（第五章） 解决信息传输的有效性——最有效的方法。
2、第二定理：有噪信道编码定理（第六章） 解决信息传输的可靠性——最可靠的方法。
信息理论基础
第一章
②、编码器：
绪论
定义：将信源发出消息变换成适于信道传送的设备； 组成部分：信源编码器、纠错编码器、调制器； 信源编码器：对信源输出的消息进行变换(信源压缩) 提高传输有效性——第五章、第七章
纠错编码器：对信源编码器输出的消息进行变换 提高传输可靠性——第六章、(第九章) ＊提高有效性和可靠性是通信系统的根本问题 调制器：将纠错编码器输出的消息变换成适于信道传 输的信号。
即事件yj的发生有助于肯定事件xi的发生。
若 p(xi | yj) < p(xi)，则I(xi ; yj) < 0
即事件yj的发生不利于肯定事件xi的发生。
④、I(xi ; yj) ≤ I(xi)
I(xi ; yj) ≤ I(yj)
即任何两事件的互信息量不能大于其中任一事件的自信息量。
信息理论基础
信息理论基础
第二章
信息的统计度量
2、互信息量的性质 ①、互异性：I(xi ; yj) = I(yj ; xi) ②、若事件xi ，yj统计独立，则I(xi ; yj) = 0 即表示事件yj发生不能提供关于事件xi的任何信息。 ③、互信息量可正可负 若 p(xi | yj) > p(xi)，则I(xi ; yj) > 0
H ( X ) E[ I ( xi )] E[ log p( xi )] p( xi ) log p( xi )
def
i 1 q
又称作集X的信息熵，简称熵（Entropy）。
释：①、信息熵和统计力学中热熵表达式形式上相同。 热熵描述一个系统在某时刻可能出现的有关状态 的不确定程度。 ②、信息熵单位与自信息量单位相同。
1948年，《A Mathematical Theory of Communication》
信息理论基础
第一章
绪论
经典信息论主要研究通信系统中的数学规律。 主要研究内容：
①、定量描述信源与信息量；
②、信道与信道容量；
③、信源与信道间的统计匹配；
④、信源与信道的编码定理。
信息理论基础
第一章
绪论
2、工程信息论（又称一般信息论） 主要研究通信系统及系统中设备的最佳工作规律 和最佳设计的一门科学。 研究内容涉及： ①、信源编码理论与方法； ②、信道编码理论与方法； ③、信号检测、估计理论与方法； ④、保密学； ⑤、通信网等。 ＊部件最优，放在一起，系统不一定最优。
信息理论基础
第一章
4、信息、消息和信号
绪论
信息：①、比较抽象的概念； ②、是通信系统中传送的对象； ③、包含在消息中。 消息：①、消息比较具体，但不是物理的；
②、消息有不同的形式，能被人的感觉感知；
例如：语言、文字、符号、数据、图片等
③、构成消息的条件：
＊能被通信双方理解 ＊可以传递
信息理论基础
信源 信源编码器 纠错编码器 调制器
信道
干扰源
信宿
信源译码器
纠错译码器
解调器
信息理论基础
第一章
简化模型
信源 消息
绪论
译码器
信宿 消息
编码器
信道 信号 信号 干扰 干扰源
①、信源： 定义：产生消息的源(消息序列)； 消息：消息是文字、语言、图像等； 消息可以是离散的，或连续的； 消息是随机的，用随机变量或随机过程表示； 信源研究的主要问题——第三章 消息的统计特性； 信源产生消息的速率。
I(xi, yj) = - log p(xi , yj)
释：①、(xi , yj)是积事件；
②、p(xi , yj)是积事件发生的联合概率；
③、单位同简单事件。 举例：投掷两颗色子，求一颗出现1另一颗出现6的自 信息量。
信息理论基础
第二章
二、条件自信息量
信息的统计度量
定义：事件xi 和事件yj给定下的条件概率p(xi | yj)，则 条件自信息量为
信息理论基础
第二章
信息的统计度量
③、单位：取决于对数以什么为底
＊比特(Bit)： I(xi) = - log2 p(xi) = - lb p(xi)
如：p(xi) = 0.5，则I(xi) = - lb 0.5 = 1 (Bit) ＊奈特(Nat)：I(xi) = - loge p(xi) = - ln p(xi) 1 (Nat) = log2e (Bits) = 1.443 (Bits) ＊哈特莱(Hat)：I(xi) = - log10 p(xi) = - lg p(xi)
§2.4 离散集的平均互信息量
信息理论基础
第二章
一、自信息量
1、简单事件
信息的统计度量
§2.1 自信息量和条件自信息量
定义：假设任意简单随机事件xi的发生概率为p(xi)， 则自信息量定义为
I(xi) = - log p(xi)
释：①、由于p(xi)≤1，取“-”号使得I(xi)≥0； ②、自信息量I(xi)的物理意义： 当事件xi发生前，表示该事件发生的不确定性； 当事件xi发生后，表示该事件所提供的信息量。
信息理论基础
第一章
§1.2 信息
1、通俗的信息概念
绪论
最普通的概念：信息是一种消息。
例如有人告诉你一条消息。(获得信息？获得多少？) ①、包含许多原来未知的新内容——信息量大 例如：信息论这门课期末不考试——信息量大 ②、包含许多原来知道的旧内容——信息量小 例如：信息论这门课期末考试——信息量小
3、第三定理：限失真信源编码定理（第七章） 解决信源的信息在失真准则下进行压缩的极限。 信息传输定理（信息处理定理）：
4、信息在传输、存贮和处理过程中的不可增加性 （第四章）
信息理论基础
第二章
内容提要
信息的统计度量
§2.1 自信息量和条件自信息量
§2.2 互信息量和条件互信息量
§2.3 离散集的平均自信息量
1 (Hat) = log210 (Bits) = 3.322 (Bits)
④、p(xi)小 → 不确定性大 → 信息量大 p(xi)大
→
不确定性小 → 信息量小
信息理论基础
第二章
2、联合事件
信息的统计度量
定义：假设二维联合集合XY上元素(xi , yj)发生概率为 p(xi , yj)，则其自信息量定义为
信息理论基础
信
息
论
考试方式：期末闭卷 授课教师：李 景 文 教材：信息理论基础
北京航空航天大学出版社
教材主编：周荫清
信息理论基础
第一章
主要内容 §1.1 信息论
绪论
§1.2 信息
§1.3 通信系统数学模型
信息理论基础
第一章
§1.1 信息论
绪论
信息论：应用数理统计的方法研究信息的传输、 存储和处理的一门学科。经典信息论、广义信息论、 信息科学。 1、经典信息论 又称为数学信息论、狭义信息论、近代信息论、 香农信息论。 创始人：美国工程师C.E.Shannon（香农）。