信息论第二章 信息的度量 PPT课件
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
《信息论基础》课件
2
信息论与数学中的概率论、统计学、组合数学等 学科密切相关，这些学科为信息论提供了重要的 数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也 有密切的联系，这些学科为信息论提供了更深层 次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信 息论和网络信息论等领域，探 索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技 术的快速发展，信息论将在 数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全 、隐私保护等问题，为构建安 全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）： 一种能够纠正一位错误的线性 纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛 应用于数据存储和通信领域的 强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性 编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见 的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息的度量
信息的度量
How to measure Information?
信息论基础
本章内容
• 信息及其度量
• 平均信息量-熵
• 通过信道的平均信息量-互信息量 • 信息不增原理 • 各种信息量之间的关系 • 连续随机变量的信息度量
参考书：沈振元等，“通信系统原理”，第11章（PP412-437)
戴善荣, “信息论与编码基础”, 第2章
p ( xi , yj ) p ( xi / yj ) = p ( yj ) p ( xi , yj ) p ( yj / xi ) = p ( xi )
3 联合自信息量和条件自信息量 设输入和输出都可以用离散概率空间来表示：
X = {A， P}，其中A={ai}; Y = {B, Q}, 其中B={bj}
Y y1 , y 2 , , y j , P(Y ) = p( y ), p( y ), , p( y ), 2 j 1
这里p(yj)（j=1,2,3等）是集合Y中各个消息 y1，y2 ，y3 …出现的概率。
收信者获得的信息量
当信宿接到集合Y中的一个消息符号后，接收 者重新估计关于信源的各个消息 发生的概率 就变成条件概率，这种条件概率又称为后验概 率。 收信者收到一个消息后，所获得的信息量等 于收到消息前后不确定程度的减少量。
i n n 1 1 pi) ln 2 = 0, ( n = 1, pi = 1) i =1 i =1
n 1 1 p( 1) = ( i i =1 p n ln 2 i=1 n
1
i
故有H ( x ) H 0 0,即等概时有最大熵
例
一个二进制信元X，两个符号出现的概率分别为p和1-p,
How to measure Information?
信息论基础
本章内容
• 信息及其度量
• 平均信息量-熵
• 通过信道的平均信息量-互信息量 • 信息不增原理 • 各种信息量之间的关系 • 连续随机变量的信息度量
参考书：沈振元等，“通信系统原理”，第11章（PP412-437)
戴善荣, “信息论与编码基础”, 第2章
p ( xi , yj ) p ( xi / yj ) = p ( yj ) p ( xi , yj ) p ( yj / xi ) = p ( xi )
3 联合自信息量和条件自信息量 设输入和输出都可以用离散概率空间来表示：
X = {A， P}，其中A={ai}; Y = {B, Q}, 其中B={bj}
Y y1 , y 2 , , y j , P(Y ) = p( y ), p( y ), , p( y ), 2 j 1
这里p(yj)（j=1,2,3等）是集合Y中各个消息 y1，y2 ，y3 …出现的概率。
收信者获得的信息量
当信宿接到集合Y中的一个消息符号后，接收 者重新估计关于信源的各个消息 发生的概率 就变成条件概率，这种条件概率又称为后验概 率。 收信者收到一个消息后，所获得的信息量等 于收到消息前后不确定程度的减少量。
i n n 1 1 pi) ln 2 = 0, ( n = 1, pi = 1) i =1 i =1
n 1 1 p( 1) = ( i i =1 p n ln 2 i=1 n
1
i
故有H ( x ) H 0 0,即等概时有最大熵
例
一个二进制信元X，两个符号出现的概率分别为p和1-p,
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论——信息的度量
信息论——信息的度量信息的度量 信息具可度量性，其⼤⼩取决于信息所消除的不确定性 举例如下： 消息A：中国⼥⼦乒乓球队夺取亚运会冠军。
消息B：中国男⼦⾜球队夺取世界杯赛冠军。
从事件的描述上来看，其主题内容⼤致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不⾏的。
根据以往经验，我们可以认为事件A是⼀个⼤概率事件，所以事件A的不确定性⽐较⼩，故当事件A发⽣时，我们从这个消息中得到的信息（消除的不确定度）很⼩。
同理对事件B⽽⾔，由于是个极⼩概率事件，我们得到的信息很⼤。
由此我们可以推断：消息B的信息量⼤于消息A。
对于⼀个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。
对应于事件X的消息X所消除的不确定性为 I(p2)。
那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对⼀个事物的信息获取的越多，其不确定性就越⼩，当其不确定性变为0时，该事件就被确定下来了，我们对其⽆法再获取更多的信息量了。
直观定义： 收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差信息量的数学表⽰ 理论依据（信息量具有的性质）： 1.⾮负性对于⼀个事件⽽⾔，当事件被完全确定时，即我们⽆法获取更多信息时，其信息量为0，因此⽆法⽐0更⼩。
2.单调性是先验概率的单调递减函数，即某事件的发⽣概率越⼤，其信息量就越⼩。
3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。
4.两个独⽴事件的联合信息量应等于它们分别的信息量之和。
I(xi)具有两个含义： 1.事件发⽣前，表⽰该事件发⽣的不确定性。
2.事件发⽣后，表⽰该事件所提供的信息量。
术语解释 先验概率（prior probability）是指根据以往经验和分析得到的概率。
信息论第2章(信息量、熵及互信息量)PPT课件
假设一条电线上串联了8个灯泡x这8个灯泡损坏的可能性是等概率的假设有也只有一个灯泡损坏用万用表去测量获得足够的信息量才能获知和确定哪个灯泡x损坏
信息论基础
The Basis of Information Theory
主题No2：信息量、熵和互信息量
在上一次课中我们提到香农对信息定性的 定义——事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。
信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。
研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
I(X;Y)是一个用来衡量信道好坏的 非常好的工具。
计算条件熵的例子
例6 设一个二进制对称信道BSC：
其先验概率为p(0)=p(1)=1/2，试计算条 件熵. [解答]由已知条件得：
由条件熵的定义有：
结果表明，虽然每个字符的错误率只有 0.1，可导致整个信宿对信源的平均不确定 性达到了0.469，将近一半。可见通信系统 对信道的要求非常高。
信息论基础
The Basis of Information Theory
主题No2：信息量、熵和互信息量
在上一次课中我们提到香农对信息定性的 定义——事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。
信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。
研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
I(X;Y)是一个用来衡量信道好坏的 非常好的工具。
计算条件熵的例子
例6 设一个二进制对称信道BSC：
其先验概率为p(0)=p(1)=1/2，试计算条 件熵. [解答]由已知条件得：
由条件熵的定义有：
结果表明，虽然每个字符的错误率只有 0.1，可导致整个信宿对信源的平均不确定 性达到了0.469，将近一半。可见通信系统 对信道的要求非常高。
李梅 李亦农 《信息论基础教程》 课件教案 第二章 信息的度量
第二章：信息的度量
一、自信息和互信息 二、平均自信息 三、平均互信息
第二章：信息的度量
1. 自信息
一、自信息和互信息
二、平均自信息
2. 互信息
三、平均互信息
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量）
公理性条件： (1) 如果p(x1) < p(x2)，则I(x1) > I(x2)， I(xi )是 p(xi) 调递减函数； 的单
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续9）
互信息量的性质
1) 互信息的对称性 2) 互信息可为正值、负值，或为0 3) 任何两个事件之间的互信息不可能大于其中任一 事件的自信息
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续10）
解：
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续6）
p( x1 ) 1 1 n(n 1) 2 p( xn ) n 1 n(n 1) 2
1 I ( x1 ) log n(n 1) 2
1 I ( xn ) log (n 1) 2
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续11）
2) 互信息可正可负，可为零
当后验概率大于先验概率时，互信息为正。
说明事件yj的出现有助于消除事件xi的不确定度。
当后验概率小于先验概率时，互信息为负。
说明收信者未收到 yj 以前，对消息xi是否出现的猜测难度较 小，但接收到消息 yj 后对 xi 是否出现的猜测的难度增加了，也 就是收信者接收到消息 yj 后对 xi出现的不确定性反而增加，所 以获得的信息量为负值。
一、自信息和互信息 二、平均自信息 三、平均互信息
第二章：信息的度量
1. 自信息
一、自信息和互信息
二、平均自信息
2. 互信息
三、平均互信息
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量）
公理性条件： (1) 如果p(x1) < p(x2)，则I(x1) > I(x2)， I(xi )是 p(xi) 调递减函数； 的单
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续9）
互信息量的性质
1) 互信息的对称性 2) 互信息可为正值、负值，或为0 3) 任何两个事件之间的互信息不可能大于其中任一 事件的自信息
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续10）
解：
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
1. 自信息（量） （续6）
p( x1 ) 1 1 n(n 1) 2 p( xn ) n 1 n(n 1) 2
1 I ( x1 ) log n(n 1) 2
1 I ( xn ) log (n 1) 2
自信息和互信息 平均自信息 平均互信息
2. 互信息（量） （续11）
2) 互信息可正可负，可为零
当后验概率大于先验概率时，互信息为正。
说明事件yj的出现有助于消除事件xi的不确定度。
当后验概率小于先验概率时，互信息为负。
说明收信者未收到 yj 以前，对消息xi是否出现的猜测难度较 小，但接收到消息 yj 后对 xi 是否出现的猜测的难度增加了，也 就是收信者接收到消息 yj 后对 xi出现的不确定性反而增加，所 以获得的信息量为负值。
信息论基础详细ppt课件
1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。
第二章 信息的度量
有时随机变量X和Y之间有一定的关联关 系,一个随机变量发生某结果后,对另一个随 机变量发生的结果会产生影响,这时我们用 条件概率来描述两者之间的关系:如P(yk|xj) 表示X发生xj后,Y又发生yk的条件概率,而 P(yk)表示对xj一无所知时yk发生的概率。有 时相应地称P(yk)为yk的无条件概率。同理 有P(xj|yk)和P(xj)。
概率的基本性质:
(1)0 P ( x j ), P ( yk ), P ( yk | x j ), P ( x j | yk ), P ( x j yk ) 1 ( 2) P ( x j )
j 1 J J
P( y
k 1
K
k
)
P( x
j 1
J
j
| yk )
P( y
2.3.4 自信息量的性质和相互关系 上面介绍的三种自信息量:自信息量、联 合自信息量和条件自信息量在数学上看具有 一些共同的性质: (1)概率为0时,相应的自信息量无意义; (2)非负性。 三种自信息量之间的关系:
I ( xk y j ) log2 P( xk y j ) log2 P( xk ) P( y j | xk ) I ( xk ) I ( y j | xk ) log2 P( y j ) P( xk | y j ) I ( y j ) I ( xk | y j )
Shannon,Weaver 曾把信息理论划分为三个层次 :① 实用性层次(可用于各领域) ②实效性层次 ( 研究信息产生传输的实际效果与 效率问题)
③意义性层次(研究信息的意义和对信息的理解)
本课程只讨论客观信息的度量
在信息论中,常把基本消息称为符号,基本 消息集合就是符号集合或符号表,消息则是符 号串。对认识主体而言,信源在某一时刻输出 什么符号是随机的,可以用概率统计的方法加 以处理。信源在各个时刻的输出组成了一随 机变量输出序列: {Xtk;tk∈T} 式中T为时间参数集,Ex为Xtk的值域或取值空间。
信息论与编码第二版第2章ppt
则消息所含的信息量为 60×H(X)=114.3bit
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
(xi , y j ) 的自信息量的概率加权统计平均值，它表
示X和Y同时发生的不确定度。定义为
H XY pxi , yjI xi , yj ij pxi , yj log pxi yj ij
H
(V
|
u0
)
H
(1 4
,
3) 4
0.82bit
/
符号
（2）已知发出的符号，求收到符号后得到的信息量；
11
H (V | U ) p(ui , v j ) log p(v j | ui ) i0 j0
p(u0 , v0 ) p(v0 | u0 ) p(u0 ) 3 / 8 p(u0 , v1) 1/ 8 p(u1, v0 ) 1/ 4 p(u1, v1) 1/ 4
P(x 0, y 0) P( y 0 | x 0)P(x 0) 1/ 2 P(x 0, y ?) 1/ 6, P(x 0, y 1) 0 P(x 1, y 0) 0, P(x 1, y ?) 1/ 6 P(x 1, y 1) 1/ 6
H (Y | X ) p(xi , yi ) log p( yi | xi ) 0.88bit / 符号 ij
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
(xi , y j ) 的自信息量的概率加权统计平均值，它表
示X和Y同时发生的不确定度。定义为
H XY pxi , yjI xi , yj ij pxi , yj log pxi yj ij
H
(V
|
u0
)
H
(1 4
,
3) 4
0.82bit
/
符号
（2）已知发出的符号，求收到符号后得到的信息量；
11
H (V | U ) p(ui , v j ) log p(v j | ui ) i0 j0
p(u0 , v0 ) p(v0 | u0 ) p(u0 ) 3 / 8 p(u0 , v1) 1/ 8 p(u1, v0 ) 1/ 4 p(u1, v1) 1/ 4
P(x 0, y 0) P( y 0 | x 0)P(x 0) 1/ 2 P(x 0, y ?) 1/ 6, P(x 0, y 1) 0 P(x 1, y 0) 0, P(x 1, y ?) 1/ 6 P(x 1, y 1) 1/ 6
H (Y | X ) p(xi , yi ) log p( yi | xi ) 0.88bit / 符号 ij
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;
信息论基础课件chp2
观察者得知输入端发出xi前、后对输出端出现yj的不确
定度的差
观察者站在通信系统总体立场上
通信前：输入随机变量X和输出随机变量Y之间没有任何关 联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 I'(xiyj)lo2gp(xi)1p(yj)
通信后：输入随机变量X和输出随机变量Y之间由信道的统 计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度
（4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
根据上述条件可以从数学上证明这种函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概
率的对数的负值。设事件x i 的概率为 p ( xi )，则它的
自信息定义为
I(xi)deflogp(xi)logp(1xi)
当统计独立时,表明xi和yj之间不存在统计约束关系，从yj 得不到关于的xi任何信息,反之亦然。
I(xiyj)lo2g p(xi)1 p(yj)lo2g p(x1 iyj)0
互信息量可为正值或负值
当后验概率大于先验概率时，互信息量为正
当后验概率小于先验概率时，互信息量为负
当后验概率与先验概率相等时，互信息量为零。这就是 两个随机事件相互独立的情况。
解：(1) I(a)log20.0643.96bit I(c)log20.0225.51 bit
( 2 ) I ( a c ) l o g 2 0 . 0 6 4 0 . 0 2 2 3 . 9 6 5 . 5 1 9 . 4 7 b i t
( 3 )I( c |a ) lo g 2 0 .0 4 4 .6 4 b it
定度的差
观察者站在通信系统总体立场上
通信前：输入随机变量X和输出随机变量Y之间没有任何关 联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 I'(xiyj)lo2gp(xi)1p(yj)
通信后：输入随机变量X和输出随机变量Y之间由信道的统 计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度
（4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
根据上述条件可以从数学上证明这种函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概
率的对数的负值。设事件x i 的概率为 p ( xi )，则它的
自信息定义为
I(xi)deflogp(xi)logp(1xi)
当统计独立时,表明xi和yj之间不存在统计约束关系，从yj 得不到关于的xi任何信息,反之亦然。
I(xiyj)lo2g p(xi)1 p(yj)lo2g p(x1 iyj)0
互信息量可为正值或负值
当后验概率大于先验概率时，互信息量为正
当后验概率小于先验概率时，互信息量为负
当后验概率与先验概率相等时，互信息量为零。这就是 两个随机事件相互独立的情况。
解：(1) I(a)log20.0643.96bit I(c)log20.0225.51 bit
( 2 ) I ( a c ) l o g 2 0 . 0 6 4 0 . 0 2 2 3 . 9 6 5 . 5 1 9 . 4 7 b i t
( 3 )I( c |a ) lo g 2 0 .0 4 4 .6 4 b it
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
量，用I(xi ; yj )表示： 。
I ( xi ;
yj)
I(xi )
I ( xi
yj)
log (xi y j )
q(xi )
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事 件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率 记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
qiI(1xqi )(xi
知，在接收过程中，每收到一个数字，各消息的后验概率都相应地
发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，
计算信息量I(x4;100)。
表2-4为7个三位二进制数对应的各种概率。
信源消 息
码字
消息先验 概率
消息后验概率 收到1后 收到10后 收到100后
x0
000
1/16
0
0
0
x1
001
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足非负和单调 递减性 ，同时，它们也都是随机变量。
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I (aibj ) log p(aibj ) log p(ai )p(bj ai ) I (ai ) I (bj ai ) log p(bj )p(ai bj ) I (bj ) I (ai bj )
)
x1 1 3
x2 1
6
x3 1 2
计算出各事件的自信息量列表2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I (ai )是非负值。
图2.1 对数曲线
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai ) 4 I (ai )是p(ai ) 的单调递减函数。
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
2.联合自信息量
XY P( XY
)
a1b1, p(a1b1),
, ,
a1bm , p(a1bm
),
, ,
anb1, p(anb1),
0 )
1
i
1,2,
,I
p(xi y j ) 0
I
J
p(xi y j ) 1
i1 j1
相应的条件概率为
( xi y j )
p(
y
j
xi )
p( xi y j )
( y j )
p( xi y j )
q( xi )
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
自信息量的单位与log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
当p(0) p(1) 1 时，
2
有
:
I
(0)
I
(1)
log2
1 2
log
2
2
1bit
当p(0) p(1) p(2) p(3) 1 时，
log 2 3 log 4 5 log 1 log 2 1
12
23
45
(比特)
)
也可直接计算出：
I (x4 ;100)
log
p(x4 100) p(x4 )
log 1 12
1
(比特
2．2 离散集的平均自信息量
熵
信
源
条
熵
联
件
合
熵
熵
2．2 离散集的平均自信息量
1．平均自信息量(熵)
无记忆信源的平均自信息量定义为各消息自信息量的概
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
1.互信息量
信 源 符 号 X={x1，x2，…，xI} ， xi∈{a1,a2,…,ak} ，i = 1,..., I。
信 宿 方 接 收 到 符 号 Y = {y1，y2，…，yJ}，
（2-11）
3．互信息量的性质
（1）互易性 ————对称性
I(xi ;yj )= I(yj ; xi)
(2-12)
（2）可加性：
I(u1;u2u3 uN ) I(u1;u2) I(u1;u3 u2)
I(u1;ui u2 ui1)
I(u1;uN u2 uN1)
（3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互
【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？
用xi代表单元数，yj代表户号：
信息量 I(xi; yj zk ) 0
（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。
（5）两个事件的互信息量不大于单个事件的自信息量
，即有：
I
(
xi
;
y
j
)
I (xi I(yj
) )
（2-13）
【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其 对应编成7个三位二进制数000，001,…,110。各消息的先验概率已
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I
(xi
;
y
j
)
log
p(xi y j )
q(xi )( y j
)
I
(xi
)
I
(
y
j
)
I
(xi
y
j
)
(2-7)
I(xi ;
yj
)
log
p(y j xi ) (y j )
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
综合上述条件，将自信息量定义为:
I (x) log q(x) (2-1)
+ I (u1; ui︱u2 … u i-1)+ … + I (u1; uN︱u2 … uN -1)
（2-10）
2．条件互信息量
三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yj︱zk )定义为：
I(xi ; y j
zk ) log
p(xi y j zk ) p(xi zk )
(i 1,2, , n; j 1,2, , m)
将事件互信息量的概念推广至多维空间： 在三维X Y Z联合集中，有：
I(xi ; yj zk)= I(xi ; yj )+ I(xi; zk︱yj)
（2-9）
类似，在N维U1 U2 … UN联合空间,有： I (u1; u2u3 … uN ) = I (u1; u2 )+ I (u1; u3︱u2) + …
后验不定度
I (aibj )
log
1 p(aibj )
这样，通信后流经信道的信息量， 等于通信前后不定度的差
I(a i ; b j) I`(a ib j) - I(a ib j)
log 1 log 1
p(ai ) p(bj )
p(aibj )
log p(aibj ) p(ai ) p(bj )
将某事件发生所得到的信息量记为I(x)，I(x)应该是 该
事件发生的概率的函数，即 I(x)=f[q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
（1）甲找到乙这一事件是二维联合集X Y上的等概分
布
p( xi
y
j
)
1 60
，这一事件提供给甲的信息量为
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p( y j
xi
)
1 12
代入式自信息量的公式就有
I (aibj ) log p(ai ) log p(bj )
I (ai ) I (bj )
（2 - 4）
3.条件自信息量
I ( xi ;
yj)
I(xi )
I ( xi
yj)
log (xi y j )
q(xi )
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事 件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率 记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
qiI(1xqi )(xi
知，在接收过程中，每收到一个数字，各消息的后验概率都相应地
发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，
计算信息量I(x4;100)。
表2-4为7个三位二进制数对应的各种概率。
信源消 息
码字
消息先验 概率
消息后验概率 收到1后 收到10后 收到100后
x0
000
1/16
0
0
0
x1
001
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足非负和单调 递减性 ，同时，它们也都是随机变量。
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I (aibj ) log p(aibj ) log p(ai )p(bj ai ) I (ai ) I (bj ai ) log p(bj )p(ai bj ) I (bj ) I (ai bj )
)
x1 1 3
x2 1
6
x3 1 2
计算出各事件的自信息量列表2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I (ai )是非负值。
图2.1 对数曲线
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai ) 4 I (ai )是p(ai ) 的单调递减函数。
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
2.联合自信息量
XY P( XY
)
a1b1, p(a1b1),
, ,
a1bm , p(a1bm
),
, ,
anb1, p(anb1),
0 )
1
i
1,2,
,I
p(xi y j ) 0
I
J
p(xi y j ) 1
i1 j1
相应的条件概率为
( xi y j )
p(
y
j
xi )
p( xi y j )
( y j )
p( xi y j )
q( xi )
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
自信息量的单位与log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
当p(0) p(1) 1 时，
2
有
:
I
(0)
I
(1)
log2
1 2
log
2
2
1bit
当p(0) p(1) p(2) p(3) 1 时，
log 2 3 log 4 5 log 1 log 2 1
12
23
45
(比特)
)
也可直接计算出：
I (x4 ;100)
log
p(x4 100) p(x4 )
log 1 12
1
(比特
2．2 离散集的平均自信息量
熵
信
源
条
熵
联
件
合
熵
熵
2．2 离散集的平均自信息量
1．平均自信息量(熵)
无记忆信源的平均自信息量定义为各消息自信息量的概
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
1.互信息量
信 源 符 号 X={x1，x2，…，xI} ， xi∈{a1,a2,…,ak} ，i = 1,..., I。
信 宿 方 接 收 到 符 号 Y = {y1，y2，…，yJ}，
（2-11）
3．互信息量的性质
（1）互易性 ————对称性
I(xi ;yj )= I(yj ; xi)
(2-12)
（2）可加性：
I(u1;u2u3 uN ) I(u1;u2) I(u1;u3 u2)
I(u1;ui u2 ui1)
I(u1;uN u2 uN1)
（3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互
【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？
用xi代表单元数，yj代表户号：
信息量 I(xi; yj zk ) 0
（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。
（5）两个事件的互信息量不大于单个事件的自信息量
，即有：
I
(
xi
;
y
j
)
I (xi I(yj
) )
（2-13）
【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其 对应编成7个三位二进制数000，001,…,110。各消息的先验概率已
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I
(xi
;
y
j
)
log
p(xi y j )
q(xi )( y j
)
I
(xi
)
I
(
y
j
)
I
(xi
y
j
)
(2-7)
I(xi ;
yj
)
log
p(y j xi ) (y j )
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
综合上述条件，将自信息量定义为:
I (x) log q(x) (2-1)
+ I (u1; ui︱u2 … u i-1)+ … + I (u1; uN︱u2 … uN -1)
（2-10）
2．条件互信息量
三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yj︱zk )定义为：
I(xi ; y j
zk ) log
p(xi y j zk ) p(xi zk )
(i 1,2, , n; j 1,2, , m)
将事件互信息量的概念推广至多维空间： 在三维X Y Z联合集中，有：
I(xi ; yj zk)= I(xi ; yj )+ I(xi; zk︱yj)
（2-9）
类似，在N维U1 U2 … UN联合空间,有： I (u1; u2u3 … uN ) = I (u1; u2 )+ I (u1; u3︱u2) + …
后验不定度
I (aibj )
log
1 p(aibj )
这样，通信后流经信道的信息量， 等于通信前后不定度的差
I(a i ; b j) I`(a ib j) - I(a ib j)
log 1 log 1
p(ai ) p(bj )
p(aibj )
log p(aibj ) p(ai ) p(bj )
将某事件发生所得到的信息量记为I(x)，I(x)应该是 该
事件发生的概率的函数，即 I(x)=f[q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
（1）甲找到乙这一事件是二维联合集X Y上的等概分
布
p( xi
y
j
)
1 60
，这一事件提供给甲的信息量为
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p( y j
xi
)
1 12
代入式自信息量的公式就有
I (aibj ) log p(ai ) log p(bj )
I (ai ) I (bj )
（2 - 4）
3.条件自信息量