信息论第二章
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息的量度
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
关于互信息量的计算： 关于互信息量的计算： 见教科书P18例2.2.1 见教科书P18例 P18
3、信息的度量： 信息的度量： 如何对信息进行度量呢？下面先理解几个基本概念： 如何对信息进行度量呢？下面先理解几个基本概念： 样本空间： 1）样本空间： 在随机事件（ 或实验） 把某事物可能出现状态， 在随机事件 （ 或实验 ） 中 ， 把某事物可能出现状态 ， 即所 有可能选择的消息集合在一起，称为样本空间 样本空间。 有可能选择的消息集合在一起，称为样本空间。 每个可能选择的消息称作是该样本空间的元素。 每个可能选择的消息称作是该样本空间的元素。 概率测度： 2）概率测度： 就是对每一个可能选择的消息指定一个概率。 非负的， 就是对每一个可能选择的消息指定一个概率 。 （ 非负的 ， 且总和为1 且总和为1）。
互信息量的性质： 2、互信息量的性质： 1）互易性
I ( xi ; y j ) = I ( y j ; xi )
I (xi ; y j ) = log
I ( y j ; xi ) = log
p(xi | y j ) p(xi )
p( y j )
= log
p(xi | y j ) p( y j ) p(xi ) p( y j )
二、条件自信息量
由于信道中存在干扰， 由于信道中存在干扰，假设接收端收到的消息为 y j ， 相同，也可能不同， 它可能与 x i 相同，也可能不同，于是把 p (x / y ) 称为后验 概率。那么， 概率。那么，接收端收到 y j 后，发送端发送的消息是否 尚存在的不确定性应是后验概率的函数。 是 x i 尚存在的不确定性应是后验概率的函数。 若随机事件 x i 的后验概率是 p (x / y ) ，那么它的条件自信 息量定义为： 息量定义为：
I ( x i； y j ) = I ( x i )
若把上面的通信系统的信息流动方向反向， 若把上面的通信系统的信息流动方向反向，认为信道 那么， 的输入为 Y，而输出为 X。那么，X 中的消息 x i 和 Y 之间的互信息表示为： 中的消息 y j 之间的互信息表示为：
I ( y j ; xi ) = I ( y j ) − I ( y j | xi ) 1 1 = log − log p( y j ) p ( y j | xi ) p ( y j | xi ) = log p( y j )
一、自信息量
1、信息量与不确定性： 信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的描述。 信息是事物运动状态或存在方式的不确定性的描述 。 那么,根据香农信息的定义，信息该如何度量呢？ 那么,根据香农信息的定义，信息该如何度量呢？ 当人们收到一封E_Mail 或看了电视， E_Mail， 当人们收到一封E_Mail， 或看了电视 ， 到底得到多少 信息量呢？显然，信息量与不确定性消除的程度有关。 信息量呢？显然，信息量与不确定性消除的程度有关。消 除多少不确定性，就获得多少信息量。那么， 除多少不确定性，就获得多少信息量。那么，不确定性的 大小能度量吗？ 大小能度量吗？ 用数学的语言来讲，不确定性就是随机性， 用数学的语言来讲，不确定性就是随机性， 具有不确 定性的事件就是随机事件。因此， 定性的事件就是随机事件。因此，可以应用研究随机事件 概率论来度量不确定性的大小。 的数学工具 —— 概率论来度量不确定性的大小。简单地 说，不确定性的大小可以直观地看成是猜测某随机事件是 否发生的难易程度。 否发生的难易程度。
相互独立时， 为零。 2）当 x i 与 y j 相互独立时，互信息量 I (xi ; y j ) 为零。 互信息量可正可负。当后验概率大于先验概率时， 3）互信息量可正可负。当后验概率大于先验概率时，互信息 量为正值。当后验概率小于先验概率时，互信息量为负值。 量为正值。当后验概率小于先验概率时，互信息量为负值。 4）任何两个事件之间的互信息量不可能大于其中任一事件的 自信息量。（试证明） 。（试证明 自信息量。（试证明）
练习： 练习： 同时抛掷一对质地均匀的骰子， 同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率 均匀为1/6 1/6。 均匀为1/6。 试计算事件“两个1同时发生”后所提供的自信息量是多少。 试计算事件“两个1同时发生”后所提供的自信息量(A) = -logP(A) = 5.17比特
I ( x i ) = log 1 = − log p ( x i ) p ( xi )
其中： 代表某个消息（或符号） 其中： x i 代表某个消息（或符号） 由这个定义，可知注意到如下几点： 由这个定义，可知注意到如下几点： 信息量的多少和事件发生的概率有关， 1、信息量的多少和事件发生的概率有关，自信息量与概率 成反比关系； 成反比关系； 自信息量是非负的值。 2、自信息量是非负的值。 自信息量的单位与所用的对数底有关。 3、自信息量的单位与所用的对数底有关。 某事件出现的概率越小， 4、某事件出现的概率越小，它的出现所带来的信息量越 必然事件的出现不会带来任何信息。 大；必然事件的出现不会带来任何信息。
p( y j ) p( xi )
= log
p(xi y j ) p(xi ) p( y j )
= I ( xi ; y j )
p( y j | xi )
= log
p( y j | xi ) p( xi )
= log
p( xi y j ) p( xi ) p( y j )
由推导可见： 由推导可见： 从 x i 中可获取关于 y j 的信息量 I ( y j ; xi ) ，从 y j 中也 可获取关于 x i 的信息量 I ( xi ; y j ) ，二者相等。 二者相等。
2、不确定性的大小能够度量，信息也可以度量： 不确定性的大小能够度量，信息也可以度量： 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、 100个球 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、 白球各50 50个 乙袋内有红、 黄四种球， 25个 白球各 50 个 ， 乙袋内有红 、 白 、 蓝 、 黄四种球 ， 各 25 个 。 现随意从甲袋或乙袋中摸出一球，并猜测“ 现随意从甲袋或乙袋中摸出一球 ， 并猜测 “ 从甲袋中摸 出的是红球” 从乙袋中摸出的是红球” 出的是红球 ” 和 “ 从乙袋中摸出的是红球 ” 的不确定性 哪一个大？ 哪一个大？ 由此可见，某一事物状态的不确定性的大小， 由此可见，某一事物状态的不确定性的大小，与该事物 可能出现的不同状态数目以及各状态出现的概率大小有 既然不确定性的大小能够度量，可见， 关。既然不确定性的大小能够度量，可见，信息是可以 度量的。 度量的。
i j
i j
I ( xi | y j ) = log
1 p ( xi | y j )
随机事件的条件自信息量可以理解为： 随机事件的条件自信息量可以理解为： 在规定条件下唯一的确定某事件发生必须提供的信息量。 在规定条件下唯一的确定某事件发生必须提供的信息量。 它也是非负的。 它也是非负的。
三、互信息量
其中： 的概率，称为先验概率 先验概率。 其中： p (ai ) 就是消息 a i 的概率，称为先验概率。 随机变量： 4）随机变量： 可称为随机变量， X 可称为随机变量，就是从样本空间到实数区域的单值映 射。
4、自信息量的定义： 自信息量的定义： 任意随机事件的自信息量等于该事件发生概率的对数的负值。 任意随机事件的自信息量等于该事件发生概率的对数的负值 。 数学表达式为： 数学表达式为：
1、定义： 对于随机变量 X 和 Y ，X 中的消息 x i 和 Y 中 定义： 的消息 y j 之间的互信息表示为： 之间的互信息表示为： 1 I ( xi；y j ) = log 1 − log p( xi ) p( xi / y j ) 含义： 含义：当收信者在收到消息 y j 后，所获得的信息量大小等 于：自信息量减去条件自信息量 如果没有信道干扰， 以概率为1 如果没有信道干扰， 信道的统计特性将使 x i 以概率为1传 送到接收端。这时，收信者接到消息后， 送到接收端。这时，收信者接到消息后，尚存在的不确定性 log 0 不确定性全部消除。此时， 就等于零， 就等于零，即 p(xi / yj ) =1， p(x1/ y ) =，不确定性全部消除。此时， i j 互信息等于自信息， 互信息等于自信息，即
5、联合自信息量： 联合自信息量： 若某个随机事件 信源） 随机事件（ 若某个随机事件（信源）可发出两个消息 xi 和 y j ，则它 们的联合自信息量可定义为： 们的联合自信息量可定义为： 1 I ( xi y j ) = log p ( xi y j ) 其中： 其中： P xi y j 为同时出现 xi 和 y j 的联合概率 当两个消息独立时，则它们的联合自信息量就是各自的自信 当两个消息独立时，则它们的联合自信息量就是各自的自信 息量之和。 息量之和。
3）概率空间： 概率空间： 样本空间和它的概率测度统称为一个概率空间 概率空间， [X， 样本空间和它的概率测度统称为一个概率空间，用[X，P] 来表示。在离散情况下，概率空间表示为： 来表示。在离散情况下，概率空间表示为：
X a1 , p ( x) = p ( a 1 ), a2 , p ( a 2 ), L, L, p (a q ) aq
自信息量的三种单位：（P15） 自信息量的三种单位：（P15） ：（P15 比特（bit） 取对数的底为2 1）比特（bit） ：取对数的底为2，比特是信息论中最常用 的信息量单位。 的信息量单位。 奈特：对数的底为e 2）奈特：对数的底为e时 哈脱来: 对数的底为10 10时 3）哈脱来: 对数的底为10时 三个信息单位之间的转换关系： 三个信息单位之间的转换关系： 1 奈 特 = 1.433 比特 1 哈脱来 = 3.322 比特
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
关于互信息量的计算： 关于互信息量的计算： 见教科书P18例2.2.1 见教科书P18例 P18
3、信息的度量： 信息的度量： 如何对信息进行度量呢？下面先理解几个基本概念： 如何对信息进行度量呢？下面先理解几个基本概念： 样本空间： 1）样本空间： 在随机事件（ 或实验） 把某事物可能出现状态， 在随机事件 （ 或实验 ） 中 ， 把某事物可能出现状态 ， 即所 有可能选择的消息集合在一起，称为样本空间 样本空间。 有可能选择的消息集合在一起，称为样本空间。 每个可能选择的消息称作是该样本空间的元素。 每个可能选择的消息称作是该样本空间的元素。 概率测度： 2）概率测度： 就是对每一个可能选择的消息指定一个概率。 非负的， 就是对每一个可能选择的消息指定一个概率 。 （ 非负的 ， 且总和为1 且总和为1）。
互信息量的性质： 2、互信息量的性质： 1）互易性
I ( xi ; y j ) = I ( y j ; xi )
I (xi ; y j ) = log
I ( y j ; xi ) = log
p(xi | y j ) p(xi )
p( y j )
= log
p(xi | y j ) p( y j ) p(xi ) p( y j )
二、条件自信息量
由于信道中存在干扰， 由于信道中存在干扰，假设接收端收到的消息为 y j ， 相同，也可能不同， 它可能与 x i 相同，也可能不同，于是把 p (x / y ) 称为后验 概率。那么， 概率。那么，接收端收到 y j 后，发送端发送的消息是否 尚存在的不确定性应是后验概率的函数。 是 x i 尚存在的不确定性应是后验概率的函数。 若随机事件 x i 的后验概率是 p (x / y ) ，那么它的条件自信 息量定义为： 息量定义为：
I ( x i； y j ) = I ( x i )
若把上面的通信系统的信息流动方向反向， 若把上面的通信系统的信息流动方向反向，认为信道 那么， 的输入为 Y，而输出为 X。那么，X 中的消息 x i 和 Y 之间的互信息表示为： 中的消息 y j 之间的互信息表示为：
I ( y j ; xi ) = I ( y j ) − I ( y j | xi ) 1 1 = log − log p( y j ) p ( y j | xi ) p ( y j | xi ) = log p( y j )
一、自信息量
1、信息量与不确定性： 信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的描述。 信息是事物运动状态或存在方式的不确定性的描述 。 那么,根据香农信息的定义，信息该如何度量呢？ 那么,根据香农信息的定义，信息该如何度量呢？ 当人们收到一封E_Mail 或看了电视， E_Mail， 当人们收到一封E_Mail， 或看了电视 ， 到底得到多少 信息量呢？显然，信息量与不确定性消除的程度有关。 信息量呢？显然，信息量与不确定性消除的程度有关。消 除多少不确定性，就获得多少信息量。那么， 除多少不确定性，就获得多少信息量。那么，不确定性的 大小能度量吗？ 大小能度量吗？ 用数学的语言来讲，不确定性就是随机性， 用数学的语言来讲，不确定性就是随机性， 具有不确 定性的事件就是随机事件。因此， 定性的事件就是随机事件。因此，可以应用研究随机事件 概率论来度量不确定性的大小。 的数学工具 —— 概率论来度量不确定性的大小。简单地 说，不确定性的大小可以直观地看成是猜测某随机事件是 否发生的难易程度。 否发生的难易程度。
相互独立时， 为零。 2）当 x i 与 y j 相互独立时，互信息量 I (xi ; y j ) 为零。 互信息量可正可负。当后验概率大于先验概率时， 3）互信息量可正可负。当后验概率大于先验概率时，互信息 量为正值。当后验概率小于先验概率时，互信息量为负值。 量为正值。当后验概率小于先验概率时，互信息量为负值。 4）任何两个事件之间的互信息量不可能大于其中任一事件的 自信息量。（试证明） 。（试证明 自信息量。（试证明）
练习： 练习： 同时抛掷一对质地均匀的骰子， 同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率 均匀为1/6 1/6。 均匀为1/6。 试计算事件“两个1同时发生”后所提供的自信息量是多少。 试计算事件“两个1同时发生”后所提供的自信息量(A) = -logP(A) = 5.17比特
I ( x i ) = log 1 = − log p ( x i ) p ( xi )
其中： 代表某个消息（或符号） 其中： x i 代表某个消息（或符号） 由这个定义，可知注意到如下几点： 由这个定义，可知注意到如下几点： 信息量的多少和事件发生的概率有关， 1、信息量的多少和事件发生的概率有关，自信息量与概率 成反比关系； 成反比关系； 自信息量是非负的值。 2、自信息量是非负的值。 自信息量的单位与所用的对数底有关。 3、自信息量的单位与所用的对数底有关。 某事件出现的概率越小， 4、某事件出现的概率越小，它的出现所带来的信息量越 必然事件的出现不会带来任何信息。 大；必然事件的出现不会带来任何信息。
p( y j ) p( xi )
= log
p(xi y j ) p(xi ) p( y j )
= I ( xi ; y j )
p( y j | xi )
= log
p( y j | xi ) p( xi )
= log
p( xi y j ) p( xi ) p( y j )
由推导可见： 由推导可见： 从 x i 中可获取关于 y j 的信息量 I ( y j ; xi ) ，从 y j 中也 可获取关于 x i 的信息量 I ( xi ; y j ) ，二者相等。 二者相等。
2、不确定性的大小能够度量，信息也可以度量： 不确定性的大小能够度量，信息也可以度量： 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、 100个球 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、 白球各50 50个 乙袋内有红、 黄四种球， 25个 白球各 50 个 ， 乙袋内有红 、 白 、 蓝 、 黄四种球 ， 各 25 个 。 现随意从甲袋或乙袋中摸出一球，并猜测“ 现随意从甲袋或乙袋中摸出一球 ， 并猜测 “ 从甲袋中摸 出的是红球” 从乙袋中摸出的是红球” 出的是红球 ” 和 “ 从乙袋中摸出的是红球 ” 的不确定性 哪一个大？ 哪一个大？ 由此可见，某一事物状态的不确定性的大小， 由此可见，某一事物状态的不确定性的大小，与该事物 可能出现的不同状态数目以及各状态出现的概率大小有 既然不确定性的大小能够度量，可见， 关。既然不确定性的大小能够度量，可见，信息是可以 度量的。 度量的。
i j
i j
I ( xi | y j ) = log
1 p ( xi | y j )
随机事件的条件自信息量可以理解为： 随机事件的条件自信息量可以理解为： 在规定条件下唯一的确定某事件发生必须提供的信息量。 在规定条件下唯一的确定某事件发生必须提供的信息量。 它也是非负的。 它也是非负的。
三、互信息量
其中： 的概率，称为先验概率 先验概率。 其中： p (ai ) 就是消息 a i 的概率，称为先验概率。 随机变量： 4）随机变量： 可称为随机变量， X 可称为随机变量，就是从样本空间到实数区域的单值映 射。
4、自信息量的定义： 自信息量的定义： 任意随机事件的自信息量等于该事件发生概率的对数的负值。 任意随机事件的自信息量等于该事件发生概率的对数的负值 。 数学表达式为： 数学表达式为：
1、定义： 对于随机变量 X 和 Y ，X 中的消息 x i 和 Y 中 定义： 的消息 y j 之间的互信息表示为： 之间的互信息表示为： 1 I ( xi；y j ) = log 1 − log p( xi ) p( xi / y j ) 含义： 含义：当收信者在收到消息 y j 后，所获得的信息量大小等 于：自信息量减去条件自信息量 如果没有信道干扰， 以概率为1 如果没有信道干扰， 信道的统计特性将使 x i 以概率为1传 送到接收端。这时，收信者接到消息后， 送到接收端。这时，收信者接到消息后，尚存在的不确定性 log 0 不确定性全部消除。此时， 就等于零， 就等于零，即 p(xi / yj ) =1， p(x1/ y ) =，不确定性全部消除。此时， i j 互信息等于自信息， 互信息等于自信息，即
5、联合自信息量： 联合自信息量： 若某个随机事件 信源） 随机事件（ 若某个随机事件（信源）可发出两个消息 xi 和 y j ，则它 们的联合自信息量可定义为： 们的联合自信息量可定义为： 1 I ( xi y j ) = log p ( xi y j ) 其中： 其中： P xi y j 为同时出现 xi 和 y j 的联合概率 当两个消息独立时，则它们的联合自信息量就是各自的自信 当两个消息独立时，则它们的联合自信息量就是各自的自信 息量之和。 息量之和。
3）概率空间： 概率空间： 样本空间和它的概率测度统称为一个概率空间 概率空间， [X， 样本空间和它的概率测度统称为一个概率空间，用[X，P] 来表示。在离散情况下，概率空间表示为： 来表示。在离散情况下，概率空间表示为：
X a1 , p ( x) = p ( a 1 ), a2 , p ( a 2 ), L, L, p (a q ) aq
自信息量的三种单位：（P15） 自信息量的三种单位：（P15） ：（P15 比特（bit） 取对数的底为2 1）比特（bit） ：取对数的底为2，比特是信息论中最常用 的信息量单位。 的信息量单位。 奈特：对数的底为e 2）奈特：对数的底为e时 哈脱来: 对数的底为10 10时 3）哈脱来: 对数的底为10时 三个信息单位之间的转换关系： 三个信息单位之间的转换关系： 1 奈 特 = 1.433 比特 1 哈脱来 = 3.322 比特