《信源和信息熵》PPT课件

注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
▪离散信源：信源输出是单一符号的消息，其符 号集
的。
的取值是有限的或可数
无记忆：不同的信源输出消息之间相互独立。
一维离散信源数学模型就是离散型的概率空间：
且满足：
▪连续信源：信源输出数据取值是连续的，但又是 随机
的，即可能出现的消息
数是不可数的无限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
下，它并不等于平均获得的信息量，获得的信息量 是两
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯
泡
自信息I是一个随机变量，不能作为信源总体的信息 量。
定义：自信息量的数学期望为信源的平均信息量， 即信
2.3 离散平稳信源的熵
离散平稳信源：各维联合概率分布均与时间起点 无关
称为离散平稳信源。
的完全平稳信源
一、联合事件的熵和互信息
设两个随机变量X1和X2，单个符号数学模型为：
联合事件的概率空间：
条件概率分布： 二个符号的数学模型： 联合熵：
联合熵（共熵）：是联合空间X1X2上的每个元素对 X1X2的自信息量的概率加权平均值。共熵表示信源
X的概率 密度函数
且满足：
随机矢量：信源输出的消息是按一定概率选取的 符号
述：
序列。用N维随机矢量X描
X＝（x1，x2， ‥‥xN）
其中：N维随机矢量X也称为随机序列（过 程）。
平稳随机序列：序列的统计性质与时间的推移无 关。
二、信源分类
（1）根据随机序列X中每个随机变量xi的取值不
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互
输 出长度为2的序列的平均不确定性，或所含的ຫໍສະໝຸດ Baidu息
量。 条件熵：联合空间X1X2上的条件自信息量的概率加
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝ ‥＝0 说明：从熵的不确定概念来说，确知信源的不确定 度应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性： H(p1,p2, ‥,pq) ≤－∑pilogqi，当qi＝1/q时，
的平均不确定性较小；而信源Y输出y1、y2的可 能性
均为0.5，则我们对Y输出哪一个消息的平均不确 定性
熵的物理含义：
信息熵H(x)是表示信源输出后，每个消息(或符号) 所提
供的平均信息量；信息熵H(x)是表示信源输出前， 信源
的平均不确定性；用信息熵H(x)来表征变量X的随 机
性。
注意：信息熵是信源的平均不确定的描述。一般情 况
的对数的负值表示自信息量。
▪设随机事件xi的出现概率为pi，则自信息 为：
I(xi)＝－logpi＝log(1/pi)
例：一个输出两种消息的离散无记忆信源，计算 消息x1、x2的自信息量，[其X 概, P]率空0x1.间99为0：x.201
解：I（x1)=-log0.99=0.014比特
I（x2)=-log0.01=6.644比特 自信息的两种含义：信源输出消息x1之前，自信 息I(x1)是关于x1发生地不确定性的度量；而在信 源输出消息x 后，自信息I(x )表示x 所含有的信
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
夫信
2.2 离散信源的信息熵
一、信息量和熵
信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0。 香农定义的自信息量I(x)：任意随机事件出现概率
第二章 信源和信息熵 ➢2.1 信源的数学模型及分类 ➢2.2 离散信源的信息熵 ➢2.3 离散平稳信源的熵 ➢2.4 连续信源的熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落 后，朝上一面的点数。每次试验结果必然是1点、 2点、3点、4点、5点、6点中的某一个面朝上。 每次试验只随机出现其中一种消息，不可能出现 这个集合以外的消息，考察此事件信源的数学模 型。 解：数学模型为： 且满足：
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
源的信息熵，数学表示为：
信息熵的单位取决于对数选取的底，r进制信息熵：
r进制信息熵与二进制信息熵的关系：
例如，有两个信源：
[
X
,
P]
x1 0.99
x2 0.01
[Y
,
P]
y1 0.5
y2
0.5
则：H（X）=0.08比特/符号
H（Y）=1比特/符号
显然，信源X输出消息x1的可能性是99%，所以对 X