信源和信息熵

• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
离 散 平 稳 信 源 性 质（H1(X)<∞时）： • 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
I(xi)＝－logpi＝log(1/pi)
收到某消息获得的信息量＝收到此消息前关 于某事件发生的不确定性－收到此消息后关于 某事件发生的不确定性
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例2－1：设一条电线上串联8个灯泡，且损坏 的可能性为等概，若仅有一个坏灯泡，须获知 多少信息量才可确认？
2.2 离散信源的信息熵
一、信息量和熵
信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0。 香农定义的自信息量I(x)：任意随机事件出现概率的对
数的负值表示自信息量。
§设随机事件xi的出现概率为pi，则：
平均值：
联合熵、信息熵及条件熵的关系为：
＝H（X2）＋H（X1/X2）
根据熵的极值性可得：
表明某一变量的条件熵必小于或等于它的无条件熵。 还可得： 且X1、X2独立时，上式等号成立。 定义无条件熵和条件熵之差为互信息：
I(X1;X2)＝H(X1)－H(X1/X2) ≥0 ＝H(X1)＋H(X2)－H(X1X2)
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
且：I(X1;X2)＝I(X2;X1)
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源：信源输出数据取值是连续的，但又是随 机
的，即可能出现的消息数是不可数的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
且满足：
随机矢量：信源输出的消息是按一定概率选取的符号 序列。用N维随机矢量X描述： X＝（x1，x2， ‥‥xN）
其中：N维随机矢量X也称为随机序列（过程）。 平稳随机序列：序列的统计性质与时间的推移无关。 二、信源分类 （1）根据随机序列X中每个随机变量xi的取值不同：
离散平稳信源：如语言文字、离散化平面图像 连续平稳信源：如语音信号、热噪声信号等
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总体结 构有关，而不在于个别值的概率，甚至也不因随机变 量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的信 息，但在熵的计算中占的比重很小，这是熵的总体平 均性的一种体现。 4、确定性：
例2－1解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
自信息I是一个随机变量，不能作为信源总体的信息量。 定义：自信息量的数学期望为信源的平均信息量，即信 源的信息熵，数学表示为： 信息熵的单位取决于对数选取的底，r进制信息熵：
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
可见：所有概率分布pi所构成的熵，以等概时为最大， 称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确定性
量。
例2－2：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：源自文库函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
2.3 离散平稳信源的熵
离散平稳信源：各维联合概率分布均与时间起点无关 的完全平稳信源称为离散平稳信源。
一、两个符号的熵和互信息 设两个随机变量X1和X2，单个符号数学模型为：
联合概率空间：
条件概率空间： 二个符号的数学模型： 联合熵：
联合熵（共熵）：是联合空间X1X2上的每个元素对 X1X2的自信息量的概率加权平均值。共熵表示信源输 出长度为2的序列的平均不确定性，或所含的信息量。 条件熵：联合空间X1X2上的条件自信息量的概率加权