信息论第2章信息的度量
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论研究的主要内容
信息论研究的主要内容
信息论是一门研究信息传输、存储、处理等问题的学科，其主要内容包括以下几个方面：
1. 信息的度量和表示：信息的度量可以通过熵、互信息等指标来实现，而信息的表示则可以通过编码的方式来实现。
2. 信道编码和解码：信道编码和解码是信息传输的核心环节，其中编码方法包括香农编码、哈夫曼编码等，而解码方法则包括维特比算法、前向后向算法等。
3. 误差控制编码：误差控制编码是一种能够在数据传输过程中自动纠错的编码方式，其中最常用的是海明码、卷积码等。
4. 压缩编码：压缩编码是一种能够将数据在保持质量不变的情况下减少数据存储空间的编码方式，其中最常用的是无损压缩算法和有损压缩算法。
5. 信息论在通信系统中的应用：信息论在通信系统中的应用包括调制、多路复用、功率控制、网络协议等方面，它为通信系统的设计和性能优化提供了基础理论支持。
总之，信息论研究的主要内容涵盖了信息的度量、信道编码和解码、误差控制编码、压缩编码以及信息论在通信系统中的应用等方面，为信息传输和处理提供了基础理论支持。
- 1 -。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论与编码第二章信息的度量
14
2.1.1 自信息量
（1）直观定义自信息量为：
收到某消息获得的信息量 = 不确定性减少的量
= 收到此消息前关于某事件发生的不确定性 收到此消息后关于某事件发生的不确定性
15
2.1.1 自信息量
举例：一个布袋中装有对人手感觉完全 一样的球，但颜色和数量不同，问下面 三种情况下随意拿出一个球的不确定程 度的大小。
18
2.1.1 自信息量
应用概率空间的概念分析上例，设取红球的状 态为x1，白球为x2，黑球为x3，黄球为x4，则 概率空间为： x2 （1） X x1
P( x) 0.99 0.01
（ 2）
（ 3）
X x1 P( x) 0.5
一、自信息和互信息
二、平均自信息
2.1.2 互信息
三、平均互信息
2.1.1 自信息量
信源发出的消息常常是随机的，其状态存在某种 程度的不确定性，经过通信将信息传给了收信者， 收信者得到消息后，才消除了不确定性并获得了 信息。
获得信息量的多少与信源的不确定性
的消除有关。
不确定度——惊讶度——信息量
第二章：信息的度量
自信息和互信息 平均自信息 平均互信息
2.1.1 自信息（量） （续9）
例4：设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所 在位置。 （1） 将方格按顺序编号，令乙猜测棋子所在的顺序 号。问猜测的难易程度。
（2）将方格按行和列编号，甲将棋子所在方格的列编 号告诉乙之后，再令乙猜测棋子所在行的位置。问猜 测的难易程度。
自信息是事件发生前，事件发生的不确定性。
信息论与编码(曹雪虹第三版)第一、二章
根据传输介质的不同，信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等；无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下，信道能 够传输的最大信息量，通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下，香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同，信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组，然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ，适用于各种信道条件， 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中，然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值，然后对数字值进行编 码。这种方法会导致量化噪声，是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的，因 为自信息量总是非负的 。
当随机变量为确定值时 ，其信息熵为0。
对于独立随机变量，其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时，其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介，它提供了信号传输的通路，是通信系统中的重要组成 部分。
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论
【例1】计算只能输出“1”和“0”两个消息(状态)的 简单二元信源的熵。 解：假设p(1)=p, p(0)=1-p(0≤p≤1)
H ( x ) - p( xi ) log p( xi ) - p log p - (1- p) log(1- p)
i 1 N
(1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0
损失了 信息量 p( x2 | y1 ) 3/8 I ( x2 , y1 ) log = log = 0.415bit
p( x 2 | y2 ) 3/ 4 I ( x2 , y2 ) log = log =0.585bit p( x2 ) 1/ 2
2013-10-26 18
p1 p2 pN 1/ N
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 25
2.3 二元联合信源的共熵与条件熵
2013-10-26
26
2.3.1 二元联合信源的共熵
1.定义 二元联合信源的共熵是指二元联合信源(X,Y)输出 一个组合消息状态所发出的平均信息量，也称为 联合熵，记作H(x,y)。 2.表达式
2013-10-26 24
令： F
p1 F (1 log p2 ) 0 p2
(1 log p1 ) 0
F (1 log pN ) 0 pN
可得 代入到约束方程可得 因此
p1 p2 pN e 1
1 1 H ( x) k log (2.1) H ( x) log -log P log N (2.2) P P 对数可以取2、e、10为底，相应不确定程度的单位 分别为比特(bit)、奈特(nat) 、哈特莱(Hartley) 。
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
信息论——信息的度量
信息论——信息的度量信息的度量 信息具可度量性，其⼤⼩取决于信息所消除的不确定性 举例如下： 消息A：中国⼥⼦乒乓球队夺取亚运会冠军。
消息B：中国男⼦⾜球队夺取世界杯赛冠军。
从事件的描述上来看，其主题内容⼤致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不⾏的。
根据以往经验，我们可以认为事件A是⼀个⼤概率事件，所以事件A的不确定性⽐较⼩，故当事件A发⽣时，我们从这个消息中得到的信息（消除的不确定度）很⼩。
同理对事件B⽽⾔，由于是个极⼩概率事件，我们得到的信息很⼤。
由此我们可以推断：消息B的信息量⼤于消息A。
对于⼀个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。
对应于事件X的消息X所消除的不确定性为 I(p2)。
那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对⼀个事物的信息获取的越多，其不确定性就越⼩，当其不确定性变为0时，该事件就被确定下来了，我们对其⽆法再获取更多的信息量了。
直观定义： 收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差信息量的数学表⽰ 理论依据（信息量具有的性质）： 1.⾮负性对于⼀个事件⽽⾔，当事件被完全确定时，即我们⽆法获取更多信息时，其信息量为0，因此⽆法⽐0更⼩。
2.单调性是先验概率的单调递减函数，即某事件的发⽣概率越⼤，其信息量就越⼩。
3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。
4.两个独⽴事件的联合信息量应等于它们分别的信息量之和。
I(xi)具有两个含义： 1.事件发⽣前，表⽰该事件发⽣的不确定性。
2.事件发⽣后，表⽰该事件所提供的信息量。
术语解释 先验概率（prior probability）是指根据以往经验和分析得到的概率。
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
信息的统计度量
2.3.2熵函数旳数学特征
1、对称性: 熵函数对每个Pk 对称旳。该性质 阐明熵只与随机变量旳总体构造有关，与事件 集合旳总体统计特征有关；
2、非负性: H（P）=H(p1,p2,…,pq)>=0；
3、扩展性: 当某事件Ek旳概率Pk稍微变化时， H函数也只作连续旳不突变旳变化；
lim
0
H q1(
熵函数旳自变量是X,表达信源整体
信息熵旳单位与公式中旳对数取底有关。通信与信息 中最常用旳是以2为底，这时单位为比特（bit）；理 论推导中用以e为底较以便，这时单位为奈特 （Nat）；工程上用以10为底较以便，这时单位为笛 特（Det）。它们之间能够引用对数换底公式进行互 换。例如：
1 bit = 0.693 Nat = 0.301 Det
I ( xi / y j ) log p( xi / y j )
在特定条件下( 已定)随机事件发生所带来旳 信息量 条件自信息量满足非负和单调递减性。
例:甲在一种8*8旳 方格盘上随意放入 一种 棋子，在乙看来是不拟定旳。
(1)在乙看来，棋子落入某方格旳不拟 定性为多少？
（2）若甲告知乙棋子落入方格旳行号， 这时，在乙看来棋子落入某方格旳不 拟定性为多少？
j 1
(4)
p( xi y j ) p( xi ) p( y j / xi ) p( y j ) p( xi / y j )
(5) 当X与Y相互独立时, p( y j / xi ) p( y j ),
p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
熵旳计算
• 例：设某信源输出四个符号，其符号集合旳 概率分布为：
s1 S p1
信息论基础第2章
若
U
(t
,
)
a.e.
0，
a.e.
当t T /2时
U (t,) U (t,), 当 t T / 2时
这里，U (t, )为一周期性随机过程；
“a.e.”为almost everywhere, 几乎处处含义下相等（收敛）
2019/10/14
P.10
常用的展开式 (续）：
类似于周期性确知信号，在时域内可做下列付氏级数展开：当 t T / 2 时，
b
a R(t1t2 ) (t2 )dt2 (t1 )
下面简要介绍积分方程的概念，所谓积分方程，是指未知函数在积 分号内的方程式，我们这里讨论的是最常见的线性积分方程。即一 般积分方程可写为：
b
a(x)(x) f (x) a K (x, )( )d
2019/10/14
对消息序列信源有：
UL
pu
U u1U unL p(u1) p(unL )
2019/10/14
P.5
2）实际信源 （续）
例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
U3 p(u)
U
000,U p03 ,
2019/10/14
P.14
常用的展开式 (续）：
U
(t
,
)
a.e
ai ()i (t)
则
i 1
ቤተ መጻሕፍቲ ባይዱi
(
)
a.e
b
a U (t,)i (t)dt
信息量的度量如何计算公式
信息量的度量如何计算公式信息量的度量是指在一定的信息传输过程中，信息的多少和质量的度量。
在信息论中，我们通常使用熵来度量信息的多少，熵越大表示信息量越大。
下面我们将介绍信息量的度量以及相关的计算公式。
在信息论中，熵是度量信息量的一个重要概念。
熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。
通过计算熵，我们可以得到随机变量\(X\)的信息量。
在实际应用中，我们经常使用二进制编码来表示信息。
在这种情况下，我们可以使用香农编码来计算信息量。
香农编码是一种使用变长编码来表示信息的编码方式，通过根据信息的概率分布来确定每个信息的编码长度，从而实现信息的高效表示。
香农编码的计算公式为：\[L = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(L\)表示信息的平均编码长度。
通过计算香农编码，我们可以得到信息的平均编码长度，从而可以评估信息的压缩效果和传输效率。
除了熵和香农编码，我们还可以使用信息熵来度量信息的多少。
信息熵是一种用于度量信息量的概念，它是对信息量的期望值。
信息熵的计算公式为：\[H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)\]其中，\(H(X)\)表示随机变量\(X\)的信息熵，\(p(x_i)\)表示随机变量\(X\)取值为\(x_i\)的概率。
通过计算信息熵，我们可以得到随机变量\(X\)的平均信息量。
在实际应用中，我们可以使用信息熵来评估信息系统的复杂度和传输效率。
通过计算信息熵，我们可以得到系统中信息的平均复杂度，从而可以评估系统的性能和稳定性。
综上所述，信息量的度量是信息论中的重要概念，我们可以使用熵、香农编码和信息熵来度量信息的多少。
信息论与编码理论-第2章信息的度量-习题解答-20071017
1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息论度量方法
信息论度量方法
信息论中，信息的度量方法有多种，以下是几种主要的度量方式：
1. 信息量：信息量可以用比特（bit）来度量，比特是信息论中最基本的单位，表示二进制系统中的一个选择。
比特的数量表示传递或存储的信息量
的大小。
2. 信息熵：信息熵是信息理论中度量信息不确定性的概念。
熵的值越大，
表示信息的不确定性越高。
熵可以用来度量某个事件或数据集中的信息量。
3. 信噪比：信噪比是度量信号中有用信息与噪声比例的指标。
它可以用来
衡量信号中噪声对有用信息的影响程度。
4. 信息速率：信息速率是单位时间内传输或处理的信息量。
常用的单位是
比特每秒（bps）或字节每秒（Bps）。
5. 信息传输效率：信息传输效率是指在给定的带宽或资源条件下，能够传输的有效信息量。
它是通过传输速率和信道容量的比值来度量的。
以上信息仅供参考，如有需要，建议查阅相关书籍或咨询专业人士。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
信息论第二章信息的度量
I(xi;yj)I(xi)I(xi yj)
log
( xi y j q(xi )
)
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I(xi;yj)loq(p x g (ix ) iy (jy )j)I(xi)I(yj)I(xiyj) (2-7)
I(xi;yj)lopg (y(yjjx)i)I(yj)I(yj xi)(2-8)
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1 na lto2e g 1 .4b 3i3t
1 H a lo r2 1 tg 0 3 .3b 2i2 t
1 bi t0.69 n3 at
1bit0.30H 1art
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
I(a i)I(bj)
（ 2-4 ）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
两个信源
X 晴 阴 大雨 小雨
P(x) 1/2 1/ 4 1/ 8
1/
8
Y P( y)
晴 7 /8
小雨
1/
8
解：甲地天气预报构成的信源空间为:
X P(x)
晴 1/2
阴 1/ 4
大雨 1/ 8
小雨
1/
8
则其提供的平均信息量即信源的信息熵:
已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即
I[P( x1 )]
log 2
P
1 ( x1 )
3(bit)
一次测量后，剩4个灯泡，等概率损坏，P (x2)＝1/4
I[P(x2 )]
log 2
P
1 (x2 )
2(bit)
第一次测量获得的信息量 = I [P (x1)] - I [P (x2)]=1(bit)
的消息所提供的信息量应等于它们分别提供的信 息量之和。
可以证明，满足以上公理化条件的函数形式是对数 形式。
2.1.1 自信息
定义2.1 随机事件的自信息量定义为该事件发生概率的对数
的负值。设事件xi的概率为p(xi)，则它的自信息定义为
def
I (xi ) log
p(xi )
log
1 p(xi )
不同，可以是比特/符号、奈特/符号、哈特莱/符号或者 是r进制单位/符号。通常用比特/符号为单位。 一般情况下，信息熵并不等于收信者平均获得的信息量， 收信者不能全部消除信源的平均不确定性，获得的信息量将 小于信息熵。
熵的计算[例]： 有一布袋内放l00个球，其中80个球是红色的，20个球是白
色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：
互信息：一个事件所给出关于另一个事件的信息量，比 如今天下雨所给出关于明天下雨的信息量。
平均自信息（信息熵）：事件集（用随机变量表示）所 包含的平均信息量，它表示信源的平均不确定性。比如 抛掷一枚硬币的试验所包含的信息量。
平均互信息：一个事件集所给出关于另一个事件集的平 均信息量，比如今天的天气所给出关于明天的天气的信 息量。
结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。
2.2.2 熵函数的性质
信息熵H(X)是随机变量X的概率分布的函数，所以 又称为熵函数。如果把概率分布p(xi),i=1,2,…,q，记 为 p1,p2,…,pq ， 则 熵 函 数 又 可 以 写 成 概 率 矢 量 P=(p1,p2,…,pq)的函数的形式，记为H(P) 。
经过二次测量后，剩2个灯泡，等概率损坏，P (x3)＝1/2
I[P(x3)]
log 2
P
1 ( x3 )
1(bit)
第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit)
第三次测量获得的信息量 = I [P (x3)] =1(bit)
至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。
若取自然对数（对数以e为底），自信息量的单
位为奈特（nat，natural 特=1.443比特
unit）。
1奈特=log2e比
工程上用以10为底较方便。若以10为对数底，则 自信息量的单位为哈特莱（Hartley）。1哈特莱 =log210比特=3.322比特
制如单果位取以1rr进为制底单的位对=数lo(gr2>r比1)，特则I(xi)=-logrp(xi)进
2.2 平均自信息
2.2.1 平均自信息（信息熵）的概念
自信息量是信源发出某一具体消息所含有的信息量， 发出的消息不同,所含有的信息量也不同。因此自信 息量不能用来表征整个信源的不确定度。定义平均 自信息量来表征整个信源的不确定度。平均自信息 量又称为信息熵、信源熵，简称熵。
因为信源具有不确定性，所以我们把信源用随机变 量来表示，用随机变量的概率分布来描述信源的不 确定性。通常把一个随机变量的所有可能的取值和 这些取值对应的概率 [X,P(X)] 称为它的概率空间。
晴
1
阴 0
大雨 0
小雨
0
H (X ) 1 log1 0 log 0 0 log 0 0 log 0
lim log 0 H (X ) 0(bit / 符号) 0
极端情况2：各种天气等概率分布
X 晴 阴 大雨 小雨
4
H (X ) P(ai )logP(ai )
i 1
1 log 1 1 log 1 1 log 1 1 log 1 1.75（bit / 符号） 2 24 48 88 8
乙地天气预报的信源空间为:
Y 晴 小雨
P( y) 7 /8
1/
2.1.1 自信息
随函数机，事并件且的应自该信满息足量以I(下xi)公是理该化事条件件发：生概率p(xi)的
I大I((x，x1i))>事,是I(件x2p发)(x，生i)的概以严率后格越所递小包减，含函的事数自件。信发当息生p量的(x1越不)<大确p(。x定2)性时越，
时极，限情I(x况i) 下=0当。p(xi) =0时， I(xi) →∞ ；当p(xi) =1 另外，从直观概念上讲，由两个相对独立的不同
乙地极端情况:
极端情况1：晴天概率＝1
Y P( y)
晴
1
小雨
0
H (Y ) 1 log1 0 log 0 0(bit / 符号)
极端情况2：各种天气等概率分布
Y P( y)
晴 1/2
阴 1/2
H (Y ) log 1 1(bit / 符号) 2
2.2.1 平均自信息（信息熵）的概念
定义2.3 随机变量X的每一个可能取值的自信息I(xi)的统计平 均值定义为随机变量X的平均自信息量:
q
H ( X ) E I (xi ) p(xi ) log p(xi ) i 1
这里q为的所有X可能取值的个数。 熵的单位也是与所取的对数底有关，根据所取 a1 0.99
a2 0.01
YP(
y)
a1 0.5
a2 0.5
计算其熵，得：H(X)=0.08（ bit /符号）
H(Y)=1（bit / 符号）
H(Y)＞H(X)，因此信源Y比信源X的平均不确定性要大。
[例] 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占 1／8)、小雨(占1／8)。又设乙地的天气预报为：晴 (占7／8)， 小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若 甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。 另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求 这两极端情况所提供的平均信息量。又试求乙地出现这两极端 情况所提供的平均信息量。
P(x) 1/4 1/4 1/4
1/4
H (X ) 1 log 1 1 log 1 1 log 1 1 log 1 2(bit / 符号) 4 44 44 44 4
结论：等概率分布时信源的不确定性最大，所 以信息熵（平均信息量）最大。
连续性
lim H
0
( p1,
p2 ,
, pq1 ，pq ) H ( p1, p2,
, pq )
即信源概率空间中概率分量的微小波动，不会 引起熵的变化。
2.2.2 熵函数的性质
递增性
H ( p1, p2,
, pn1, q1, q2 ,
, qm ) H ( p1, p2,
第2章 信息的度量
重庆交通大学信息与工程学院 通信工程系 李益才
2012月
第2章 信息的度量
2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息
2.1 自信息和互信息
几个重要概念
自信息：一个事件（消息）本身所包含的信息量，它是 由事件的不确定性决定的。比如抛掷一枚硬币的结果是 正面这个消息所包含的信息量。
从图2.1种可以看到上述信 息量的定义正是满足上述 公理性条件的函数形式。 I(xi)代表两种含义：当事 件发生以前， 等于事件发
生的不确定性的大小；当 事件发生以后，表示事件 所含有或所能提供的信息 量。
图2.1 自信息量
2.1.1 自信息
自信息量的单位
常取对数的底为2，信息量的单位为比特（bit， b概in率ar等y 于un1i/t2）的。事当件具p(x有i)=11比/2特时的，自I(信xi)息=1量比。特，即
平均摸取一次所能获得的信息量为 ：
H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号）
熵的含义
熵是从整个集合的统计特性来考虑的，它从平均意义上来 表征信源的总体特征。
在信源输出后，信息熵H(X)表示每个消息提供的平均信 息量；
在信源输出前，信息熵H(X) 表示信源的平均不确定性； 信息熵H(X) 表征了变量X的随机性。 例如，有两信源X、Y，其概率空间分别为:
X P(
X
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特）
如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特）
q
H ( X ) pi log pi H ( p1, p2, , pq ) H (p) i 1