信息论相关PpT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p( Bi ) P ( A | Bi ) p( Bi ) P ( A | Bi ) p( Bi | A) = = P ( A) ∑ p( Bi ) p( A | Bi )
i =1
例1 某公司的系统产品中有一种设备是有三 个厂家提供的，比例为一厂的占30%，二 个厂家提供的，比例为一厂的占 ， 厂的占50%，三厂的占 厂的占 ，三厂的占20%，又知这三个 ， 厂生产这种设备的次品率分别为2%， ， 厂生产这种设备的次品率分别为 ，1%， 1%,求从这批进货中任取一件设备做检验的 求从这批进货中任取一件设备做检验的 次品的概率？ 次品的概率？
第2章
信息的度量
第2章 信息的度量 章
内容提要： 内容提要： 根据香农对于信息的定义， 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手， 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算， 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。 它们的性质和相互关系。
例 掷骰子 以下几种情况中,基本事件:骰子朝上面的点数, 1 以下几种情况中,基本事件:骰子朝上面的点数,求 样本空间的大小, 样本空间的大小,或样本点的数量 掷一个骰子 掷两个骰子 掷 n个骰子 个骰子 以上几种情况中,骰子朝上面的点数>5的概率 2 以上几种情况中,骰子朝上面的点数 的概率 掷 一个骰子 掷 两个骰子 掷 n 个骰子
a2 3/ 4
I (a1 ) = log4 = 2 bit 4 I (a2 ) = log = 0.415 bit 3
2.1.2联合自信息量与条件自信息量 联合自信息量与条件自信息量 1º 联合自信息量 若有两个消息x 同时出现， 定义 若有两个消息 i ， yj同时出现，用联 合概率p(x 表示， 合概率 i yj) 表示，联合自信息量为 I(xi yj) =－log p(xi yj) －
P( B) = ∑ P( Ai ) P( B | Ai )
i =1
3
= 0.30 × 0.02 + 0.50 × 0.01 + 0.20 × 0.01 = 0.013
是大学生， 例2：居住某地区的女孩中有 ：居住某地区的女孩中有25%是大学生， 是大学生 在女大学生中有75%是身高 是身高1.6m以上的， 以上的， 在女大学生中有 是身高 以上的 而且女孩中身高1.6m以上的占总数的一半。 以上的占总数的一半。 而且女孩中身高 以上的占总数的一半 假如我们得知“身高1.6m以上的某女孩是 假如我们得知“身高 以上的某女孩是 大学生”的消息，问该消息发生的概率？ 大学生”的消息，问该消息发生的概率？
设事件A为女孩是大学生，事件 为女孩身 设事件 为女孩是大学生，事件B为女孩身 为女孩是大学生 米以上。 高1.6米以上。 米以上 根据题意则知 P(A)=0.25,P(B)=0.5,P(B/A)=0.75 “身高 身高1.6m以上的某女孩是大学生”这消息 以上的某女孩是大学生” 身高 以上的某女孩是大学生 表明是在B事件发生的条件下，A事件发生。 表明是在 事件发生的条件下， 事件发生。 事件发生的条件下 事件发生 所以其概率为P(A/B). 所以其概率为 根据贝叶斯定律可得
A,B,C所提供的信息量分别为： 所提供的信息量分别为： 所提供的信息量分别为
I ( A ) = − log p ( A ) = 1.848 bit I ( C ) = − log p ( C ) = 1 bit
练习：
P25 2.1 2.6
课后习题
2.1 解：掷两个骰子，共有 种。记掷结果 掷两个骰子，共有36种 ），其中 为（x,y），其中 和y是2颗骰子分别掷出 ），其中x和 是 颗骰子分别掷出 的点数，则事件A对应于 种结果(1,3)， 对应于10种结果 的点数，则事件 对应于 种结果 ， (2,3),(4,3),(5,3),(6,3),(3,1),(3,2),(3,4),(3,5), (3,6)；事件 和C分别对应于 种结果和 分别对应于11种结果和 ；事件B和 分别对应于 种结果和18 种结果。因此他们的概率分别为： 种结果。因此他们的概率分别为： p(A)=10/36 p(B)=11/36 p(C)=18/36
2º 条件自信息量 在事件y 出现条件下， 定义 在事件 j 出现条件下，xi发生的条件 概率为p(x 概率为 i | yj), 的条件自信息量为： 则 xi的条件自信息量为： I(x i | yj)=－log p(xi | yj) － 注意 联合自信息量 I(xi yj) 条件自信息 量 I(x i | yj) 互信息量 I(xi ; yj)
直观地看，自信息量的定义应满足以下四点：
a. I(x)应该是 应该是q(x)的单调递减函数：概率小的事 的单调递减函数： 应该是 的单调递减函数 件一旦发生赋予的信息量大， 件一旦发生赋予的信息量大，概率大的事件如果 发生则赋予的信息量小； 发生则赋予的信息量小； b.信息量应具有可加性：对于两个独立事件， b.信息量应具有可加性：对于两个独立事件， 信息量应具有可加性 其信息量应等于各事件自信息量之和； 其信息量应等于各事件自信息量之和； c.当 ( ) 时 ( ) ： c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息； 得不到任何信息； d.当 ( ) 时 ( )→∞ )→∞： d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。 一旦发生，信息量将无穷大。
【特别提示】：从进货中任取一件做设备 特别提示】 检验为次品这一事件，是三家中的哪家呢？ 检验为次品这一事件，是三家中的哪家呢？ 这就存在着分割，可能是一厂、 这就存在着分割，可能是一厂、二厂或三 因此用全概率公式： 厂。因此用全概率公式： 解：Ai：该设备来自第 厂，B:检验出次 ：该设备来自第i厂 检验出次 品 所以： 所以：
个方格， 例4：设在一正方形棋盘上共有 个方格，如 ：设在一正方形棋盘上共有64个方格 果甲将一粒棋子随意的按下列方案放在棋盘中 的某方格且让乙猜测棋子所在位置。 的某方格且让乙猜测棋子所在位置。 （1） 将方格按顺序编号，令乙猜测棋子所在 ） 将方格按顺序编号， 的顺序号。问猜测的难易程度。 的顺序号。问猜测的难易程度。 （2）将方格按行和列编号，甲将棋子所在方 ）将方格按行和列编号， 格的行（或列）编号告诉乙之后， 格的行（或列）编号告诉乙之后，再令乙猜测 棋子所在列（或行）的位置。 棋子所在列（或行）的位置。问猜测的难易程 度。
自信息量I(xi)代表两种含义： 自信息量I(x
1.事件 发生以前， 1.事件xi发生以前，表示事件发生的先验不确 事件 定性的大小 2.当事件 i发生以后，表示事件xi所能提供的 2.当事件x 发生以后，表示事件 当事件 最大信息量（在无噪情况下） 最大信息量（在无噪情况下）
自信息量的单位与log函数所选用的对数底数有关， 如底数分别取 2、 e、 10， 则自信息量单位分别为：比特、奈特、哈特 三种信息量单位之间的换算： 三种信息量单位之间的换算： 1 det = log2 10 ≈ 3.322 bit 1 bit ≈ 0.6931 nat 1 bit ≈ 0.3010 det 1 nat = log2 e ≈ 1.4427 bit 在信息论中常用以2为底的对数 为了书写方便， 为底的对数， 在信息论中常用以 为底的对数，为了书写方便， 以后将log 书写为log，因其单位为比特bit， 以后将 2书写为 ， 因其单位为比特 ， 不会 产生混淆； 产生混淆； 注意有些文献将log 注意有些文献将 2书写为 lb
解：设棋子位置为xi, 设棋子位置为 p(xi )=1/64 i=1,2,…,64; 比特 （1） I(xi yj)= – logp(xi yj )= 6比特 ） （2） 设行号为xi，列号为yj，且已知列号，即： ） 设行号为 列号为 ，且已知列号， I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )] = -log[(1/64)/(1/8)]=3 比特 物理含义
p( A) = ∑ p( Bi ) p( A | Bi ) = ∑ p( ABi )
i i
4)Bayes公式: )Bayes公式: 公式 是一列互不相容的事件( 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， ） =Ω（样本空间） 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： i=1 则对任一事件A （
例3：设天气预报有两种消息，晴天和雨 设天气预报有两种消息， 出现的概率分别为1/4 3/4， 1/4和 天，出现的概率分别为1/4和3/4，我们分 来表示晴天， 来表示雨天， 别用 a1 来表示晴天，以 a2 来表示雨天， 则我们的信源模型如下： 则我们的信源模型如下：
X a1, p( x) = 1 / 4,
P( AB) P( B / A) P( A) p（A | B） = = P( B) P( B) 0.25 * 0.75 = = 0.375 0.5
2.1.1 自信息量 一个事件的自信息量就是对其不确定性的 度量. 度量 信息量直观的定义为： 信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减 少的量 将某事件发生所得到的信息量记为I(x)，I(x) 将某事件发生所得到的信息量记为 ， 应该是该事件发生的概率的函数， 应该是该事件发生的概率的函数，即 I(x)=f[q(x)]
必须掌握的概率论知识
1）条件概率
P ( AB ) p（A | B） = P( B) P ( AB ) p（B | A） = P ( A) 2）联合概率
p（AB） P ( B ) p( A | B ) = p（AB） P ( A) p( B | A) =
3)全概率： 全概率： 是一列互不相容的事件( 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， ） =Ω（样本空间） 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： i=1 则对任一事件A （
综合上述条件， 综合上述条件，将自信息量定义为: 定义2.1.1 随机事件的自信息量定义为该事件 定义 发生概率的对数的负值 设事件x的概率为 概率的对数的负值。 发生概率的对数的负值。设事件 的概率为 p(x)，则它的自信息量定义为： ，则它的自信息量定义为Biblioteka Baidu I(x)=-logp(x)=log(1/p(x))
本章学习内容
自信息量和互信息 平均自信息量（ 平均自信息量（熵） 平均互信息
本节学习内容
复习概率论常用知识 自信息量 联合自信息量 条件自信息量
概率论知识复习
基本事件：随机试验的每一个可能的结果（样本点） 基本事件：随机试验的每一个可能的结果（样本点）。 样本空间：基本事件的集合。 样本空间：基本事件的集合。 复杂事件：多个基本事件所组成的事件。 复杂事件：多个基本事件所组成的事件。 随机事件：无论基本事件还是复杂事件，它们在试验中发 随机事件：无论基本事件还是复杂事件， 生与否，都带有随机性。 生与否，都带有随机性。 事件域： 基本事件和复杂事件是样本空间的子集， 事件域： 基本事件和复杂事件是样本空间的子集，所有 子集的全体。 子集的全体。 概率空间： 样本空间、事件域（集合） 概率。 概率空间：三要素 — 样本空间、事件域（集合）、概率。 事件A的概率： 中样本点数与样本空间中样本点之比。 事件A的概率：A中样本点数与样本空间中样本点之比。 先验概率：根据以往的统计规律得到的。 先验概率：根据以往的统计规律得到的。
i =1
例1 某公司的系统产品中有一种设备是有三 个厂家提供的，比例为一厂的占30%，二 个厂家提供的，比例为一厂的占 ， 厂的占50%，三厂的占 厂的占 ，三厂的占20%，又知这三个 ， 厂生产这种设备的次品率分别为2%， ， 厂生产这种设备的次品率分别为 ，1%， 1%,求从这批进货中任取一件设备做检验的 求从这批进货中任取一件设备做检验的 次品的概率？ 次品的概率？
第2章
信息的度量
第2章 信息的度量 章
内容提要： 内容提要： 根据香农对于信息的定义， 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手， 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算， 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。 它们的性质和相互关系。
例 掷骰子 以下几种情况中,基本事件:骰子朝上面的点数, 1 以下几种情况中,基本事件:骰子朝上面的点数,求 样本空间的大小, 样本空间的大小,或样本点的数量 掷一个骰子 掷两个骰子 掷 n个骰子 个骰子 以上几种情况中,骰子朝上面的点数>5的概率 2 以上几种情况中,骰子朝上面的点数 的概率 掷 一个骰子 掷 两个骰子 掷 n 个骰子
a2 3/ 4
I (a1 ) = log4 = 2 bit 4 I (a2 ) = log = 0.415 bit 3
2.1.2联合自信息量与条件自信息量 联合自信息量与条件自信息量 1º 联合自信息量 若有两个消息x 同时出现， 定义 若有两个消息 i ， yj同时出现，用联 合概率p(x 表示， 合概率 i yj) 表示，联合自信息量为 I(xi yj) =－log p(xi yj) －
P( B) = ∑ P( Ai ) P( B | Ai )
i =1
3
= 0.30 × 0.02 + 0.50 × 0.01 + 0.20 × 0.01 = 0.013
是大学生， 例2：居住某地区的女孩中有 ：居住某地区的女孩中有25%是大学生， 是大学生 在女大学生中有75%是身高 是身高1.6m以上的， 以上的， 在女大学生中有 是身高 以上的 而且女孩中身高1.6m以上的占总数的一半。 以上的占总数的一半。 而且女孩中身高 以上的占总数的一半 假如我们得知“身高1.6m以上的某女孩是 假如我们得知“身高 以上的某女孩是 大学生”的消息，问该消息发生的概率？ 大学生”的消息，问该消息发生的概率？
设事件A为女孩是大学生，事件 为女孩身 设事件 为女孩是大学生，事件B为女孩身 为女孩是大学生 米以上。 高1.6米以上。 米以上 根据题意则知 P(A)=0.25,P(B)=0.5,P(B/A)=0.75 “身高 身高1.6m以上的某女孩是大学生”这消息 以上的某女孩是大学生” 身高 以上的某女孩是大学生 表明是在B事件发生的条件下，A事件发生。 表明是在 事件发生的条件下， 事件发生。 事件发生的条件下 事件发生 所以其概率为P(A/B). 所以其概率为 根据贝叶斯定律可得
A,B,C所提供的信息量分别为： 所提供的信息量分别为： 所提供的信息量分别为
I ( A ) = − log p ( A ) = 1.848 bit I ( C ) = − log p ( C ) = 1 bit
练习：
P25 2.1 2.6
课后习题
2.1 解：掷两个骰子，共有 种。记掷结果 掷两个骰子，共有36种 ），其中 为（x,y），其中 和y是2颗骰子分别掷出 ），其中x和 是 颗骰子分别掷出 的点数，则事件A对应于 种结果(1,3)， 对应于10种结果 的点数，则事件 对应于 种结果 ， (2,3),(4,3),(5,3),(6,3),(3,1),(3,2),(3,4),(3,5), (3,6)；事件 和C分别对应于 种结果和 分别对应于11种结果和 ；事件B和 分别对应于 种结果和18 种结果。因此他们的概率分别为： 种结果。因此他们的概率分别为： p(A)=10/36 p(B)=11/36 p(C)=18/36
2º 条件自信息量 在事件y 出现条件下， 定义 在事件 j 出现条件下，xi发生的条件 概率为p(x 概率为 i | yj), 的条件自信息量为： 则 xi的条件自信息量为： I(x i | yj)=－log p(xi | yj) － 注意 联合自信息量 I(xi yj) 条件自信息 量 I(x i | yj) 互信息量 I(xi ; yj)
直观地看，自信息量的定义应满足以下四点：
a. I(x)应该是 应该是q(x)的单调递减函数：概率小的事 的单调递减函数： 应该是 的单调递减函数 件一旦发生赋予的信息量大， 件一旦发生赋予的信息量大，概率大的事件如果 发生则赋予的信息量小； 发生则赋予的信息量小； b.信息量应具有可加性：对于两个独立事件， b.信息量应具有可加性：对于两个独立事件， 信息量应具有可加性 其信息量应等于各事件自信息量之和； 其信息量应等于各事件自信息量之和； c.当 ( ) 时 ( ) ： c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息； 得不到任何信息； d.当 ( ) 时 ( )→∞ )→∞： d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。 一旦发生，信息量将无穷大。
【特别提示】：从进货中任取一件做设备 特别提示】 检验为次品这一事件，是三家中的哪家呢？ 检验为次品这一事件，是三家中的哪家呢？ 这就存在着分割，可能是一厂、 这就存在着分割，可能是一厂、二厂或三 因此用全概率公式： 厂。因此用全概率公式： 解：Ai：该设备来自第 厂，B:检验出次 ：该设备来自第i厂 检验出次 品 所以： 所以：
个方格， 例4：设在一正方形棋盘上共有 个方格，如 ：设在一正方形棋盘上共有64个方格 果甲将一粒棋子随意的按下列方案放在棋盘中 的某方格且让乙猜测棋子所在位置。 的某方格且让乙猜测棋子所在位置。 （1） 将方格按顺序编号，令乙猜测棋子所在 ） 将方格按顺序编号， 的顺序号。问猜测的难易程度。 的顺序号。问猜测的难易程度。 （2）将方格按行和列编号，甲将棋子所在方 ）将方格按行和列编号， 格的行（或列）编号告诉乙之后， 格的行（或列）编号告诉乙之后，再令乙猜测 棋子所在列（或行）的位置。 棋子所在列（或行）的位置。问猜测的难易程 度。
自信息量I(xi)代表两种含义： 自信息量I(x
1.事件 发生以前， 1.事件xi发生以前，表示事件发生的先验不确 事件 定性的大小 2.当事件 i发生以后，表示事件xi所能提供的 2.当事件x 发生以后，表示事件 当事件 最大信息量（在无噪情况下） 最大信息量（在无噪情况下）
自信息量的单位与log函数所选用的对数底数有关， 如底数分别取 2、 e、 10， 则自信息量单位分别为：比特、奈特、哈特 三种信息量单位之间的换算： 三种信息量单位之间的换算： 1 det = log2 10 ≈ 3.322 bit 1 bit ≈ 0.6931 nat 1 bit ≈ 0.3010 det 1 nat = log2 e ≈ 1.4427 bit 在信息论中常用以2为底的对数 为了书写方便， 为底的对数， 在信息论中常用以 为底的对数，为了书写方便， 以后将log 书写为log，因其单位为比特bit， 以后将 2书写为 ， 因其单位为比特 ， 不会 产生混淆； 产生混淆； 注意有些文献将log 注意有些文献将 2书写为 lb
解：设棋子位置为xi, 设棋子位置为 p(xi )=1/64 i=1,2,…,64; 比特 （1） I(xi yj)= – logp(xi yj )= 6比特 ） （2） 设行号为xi，列号为yj，且已知列号，即： ） 设行号为 列号为 ，且已知列号， I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )] = -log[(1/64)/(1/8)]=3 比特 物理含义
p( A) = ∑ p( Bi ) p( A | Bi ) = ∑ p( ABi )
i i
4)Bayes公式: )Bayes公式: 公式 是一列互不相容的事件( 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， ） =Ω（样本空间） 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： i=1 则对任一事件A （
例3：设天气预报有两种消息，晴天和雨 设天气预报有两种消息， 出现的概率分别为1/4 3/4， 1/4和 天，出现的概率分别为1/4和3/4，我们分 来表示晴天， 来表示雨天， 别用 a1 来表示晴天，以 a2 来表示雨天， 则我们的信源模型如下： 则我们的信源模型如下：
X a1, p( x) = 1 / 4,
P( AB) P( B / A) P( A) p（A | B） = = P( B) P( B) 0.25 * 0.75 = = 0.375 0.5
2.1.1 自信息量 一个事件的自信息量就是对其不确定性的 度量. 度量 信息量直观的定义为： 信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减 少的量 将某事件发生所得到的信息量记为I(x)，I(x) 将某事件发生所得到的信息量记为 ， 应该是该事件发生的概率的函数， 应该是该事件发生的概率的函数，即 I(x)=f[q(x)]
必须掌握的概率论知识
1）条件概率
P ( AB ) p（A | B） = P( B) P ( AB ) p（B | A） = P ( A) 2）联合概率
p（AB） P ( B ) p( A | B ) = p（AB） P ( A) p( B | A) =
3)全概率： 全概率： 是一列互不相容的事件( 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， ） =Ω（样本空间） 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： i=1 则对任一事件A （
综合上述条件， 综合上述条件，将自信息量定义为: 定义2.1.1 随机事件的自信息量定义为该事件 定义 发生概率的对数的负值 设事件x的概率为 概率的对数的负值。 发生概率的对数的负值。设事件 的概率为 p(x)，则它的自信息量定义为： ，则它的自信息量定义为Biblioteka Baidu I(x)=-logp(x)=log(1/p(x))
本章学习内容
自信息量和互信息 平均自信息量（ 平均自信息量（熵） 平均互信息
本节学习内容
复习概率论常用知识 自信息量 联合自信息量 条件自信息量
概率论知识复习
基本事件：随机试验的每一个可能的结果（样本点） 基本事件：随机试验的每一个可能的结果（样本点）。 样本空间：基本事件的集合。 样本空间：基本事件的集合。 复杂事件：多个基本事件所组成的事件。 复杂事件：多个基本事件所组成的事件。 随机事件：无论基本事件还是复杂事件，它们在试验中发 随机事件：无论基本事件还是复杂事件， 生与否，都带有随机性。 生与否，都带有随机性。 事件域： 基本事件和复杂事件是样本空间的子集， 事件域： 基本事件和复杂事件是样本空间的子集，所有 子集的全体。 子集的全体。 概率空间： 样本空间、事件域（集合） 概率。 概率空间：三要素 — 样本空间、事件域（集合）、概率。 事件A的概率： 中样本点数与样本空间中样本点之比。 事件A的概率：A中样本点数与样本空间中样本点之比。 先验概率：根据以往的统计规律得到的。 先验概率：根据以往的统计规律得到的。