第二章 信源和信息熵

自信息的两种含义：信源输出消息x1之前，自信息 I(x1)是关于x1发生地不确定性的度量；而在信源输出 消息x1后，自信息I(x1)表示x1所含有的信息量。
第二章 信源和信息熵
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的位） 的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前关 于某事件发生的不确定性－收到此消息后关于 某事件发生的不确定性
第二章 信源和信息熵
结论：当平稳信源的记忆长度为m，则离散平稳 信源的极限熵等于有限记忆长度m的条件熵：
第二章 信源和信息熵
三、信源信息冗余与熵的相对率
对于一般的离散信源都可以近似地用不同记忆长度 的马尔可夫信源来逼近。 一阶时（m＝1）：信息熵为H2＝H（X1/X2） 无记忆时（m＝0）：信息熵为H1＝H（X） 无记忆等概（q种取值）：H0＝logq 显然：logq＝H0≥H1≥H2≥‥≥Hm‥≥H∞，即：只要
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
第二章 信源和信息熵
2.3 离散平稳信源的熵
离散平稳信源：各维联合概率分布均与时间起点无关 的完全平稳信源称为离散平稳信源。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
▪设随机事件xi的出现概率为pi，则自信息为：
I(xi)＝－logpi＝log(1/pi)
例：一个输出两种消息的离散无记忆信源，计算消息
x1、x2的自信息量，其概率空间为：
[X , P] 解：I（x1)=-log0.99=0.014比特
x1 0.99
x2 0.01
I（x2)=-log0.01=6.644比特
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
数学模型是连值续。型的概率空间：
实数集（－∞，＋∞）
X的概率 密度函数
且满足：
第二章 信源和信息熵
随机矢量：信源输出的消息是按一定概率选取的符号 序列。用N维随机矢量X描述： X＝（x1，x2， ‥‥xN）
其中：N维随机矢量X也称为随机序列（过程）。 平稳随机序列：序列的统计性质与时间的推移无关。 二、信源分类 （1）根据随机序列X中每个随机变量xi的取值不同：
第二章 信源和信息熵
2.2 离散信源的信息熵
一、信息量和熵
信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0。 香农定义的自信息量I(x)：任意随机事件出现概率的对
数的负值表示自信息量。
第二章 信源和信息熵
第二章 信源和信息熵
• 连续信源的互信息也具有信息特征（非负性）： I（X；Y）=I（Y；X） ＝h（X）－h（X/Y） ＝h（Y）－h（Y/X） ＝h（X）＋h（Y）－h（XY） ≥0
因此：当X被测量得到Y时，两者可能都是连续变量， 互信息的概念仍然存在，且是有限值。若对Y进行处理，
成为Z，也会丢失信息，即： I（X；Z） ≤I（X；Y），其中 Z＝f（Y）
平均值：
联合熵、信息熵及条件熵的关系为：
＝H（X2）＋H（X1/X2）
第二章 信源和信息熵
根据熵的极值性可得：
表明某一变量的条件熵必小于或等于它的无条件熵。 还可得： 且X1、X2独立时，上式等号成立。 定义无条件熵和条件熵之差为互信息：
I(X1;X2)＝H(X1)－H(X1/X2) ≥0 ＝H(X1)＋H(X2)－H(X1X2)
解：数学模型为：
且满足：
第二章 信源和信息熵
▪离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
无记忆：不同的信源输出消息之间相互独立。 一维离散信源数学模型就是离散型的概率空间：
且满足：
第二章 信源和信息熵
▪连续信源：信源输出数据取值是连续的，但又是随机
的，即可能出现的消息数是不可数的无 限
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
第二章 信源和信息熵
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
有传送H∞的手段即可传送信源信息。
第二章 信源和信息熵
所以，非等概分布的信源所输出的符号中，每一 位信源符号所载荷的平均信息量并没有达到其应 具有的最大输出信息能力，这表明信源输出符号 中含有一定程度的不含有信息的多余部分。 信息冗余度（或称剩余度、多余度）可衡量信源 输出符号序列中不含有信息的多余部分的大小。 一个信源实际的信息熵与具有同样符号集的最大 熵的比值称为熵的相对率。
第二章 信源和信息熵
熵的相对率： H
H0
则信源的信息冗余度为： 1-
显然，信源符号间依赖关系强，相关距离长，则H∞较 小，冗余度就大；相关性弱则冗余度小；若信源符号相 互独立且等概，则输出的平均信息量达到最大值H0，信 源输出符号中部包含任何多余成分，冗余度为0
例：设英文信源输出符号为26个字母和空格，考察英文 信源输出地符号序列，计算其信息冗余度。
△=（b-a）/n，则X处于第i区间的概率Pi是： Pi=P{a+(i-1) △≤x≤a+i△}=p(xi) △，且∑Pi=1 此时离散熵：
H(Xn)=-∑PilogPi=- ∑ p(xi) △log p(xi) △
=- ∑ p(xi) △log p(xi) - ∑ p(xi) △log △ 当n→∞，△→0时， H(Xn)的极限值就是连续熵：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当qi＝1/q时，
可见：所有概率分布pi所构成的熵，以等概时为最大， 称为最大离散熵定理。
第二章 信源和信息熵
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确定性
量。
第二章 信源和信息熵
第二章 信源和信息熵
例：一个连续信源，输出概率密度服从均匀分布，若把 此信源的输出信号放大2倍，求放大前、后的信息熵并 比较。
注意：连续熵的相对性，说明信息不是与熵相等，如： Y=aX+b中，H(Y)可大于H(X)，但并不意味着经过放 大器可提高信息量。
第二章 信源和信息熵
二、二元联合信源的共熵
第二章 信源和信息熵
第二章 信源和信息熵
➢2.1 信源的数学模型及分类 ➢2.2 离散信源的信息熵 ➢2.3 离散平稳信源的熵 ➢2.4 连续信源的熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两
熵之差，并不是信息熵本身。
信息的剩余度可以表示信源可以压缩的程度，但
剩余度大的消息具有强的抗干扰能力。
第二章 信源和信息熵
2.4 连续信源的熵
一、连续信源熵的定义
所谓连续信源是指其输出量是连续的，在任何时 刻，在某个范围内可以取无穷多个数值。数学模 型：
如图为连续信源 概率密度分布示意图：
第二章 信源和信息熵
把取值区间[a,b]分割成n个小区间且等宽：
离散平稳信源：如语言文字、离散化平面图像 连续平稳信源：如语音信号、热噪声信号等
第二章 信源和信息熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
x2 0.01
则：H（X）=0.08比特/符号
[YLeabharlann ,P] y1 0.5
y2
0.5

H（Y）=1比特/符号
显然，信源X输出消息x1的可能性是99%，所以对X 的平均不确定性较小；而信源Y输出y1、y2的可能性 均为0.5，则我们对Y输出哪一个消息的平均不确定性
较大。
第二章 信源和信息熵
第二章 信源和信息熵