信源熵

I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量： 在给定 zk 的条件下，xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率，X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率：由于信道受到干扰， 信宿收到 y j 后不但未使 xi 的不确定度 减少，反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )
I ( y j ; xi )
18
互信息量的性质(续)
统计独立的变量之间的互信息量为 0 互信息量可为正值，也可为负值
I ( xi ; y j ) 0 后验概率 先验概率：信宿收到有用信息
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
I ( xi y j ) loቤተ መጻሕፍቲ ባይዱ p( xi y j )
X 与 Y 相互独立时： I ( xi y j ) log p( xi y j ) log p( xi ) p( y j )
log p( xi ) log p( y j ) I ( xi ) I ( y j )
第二章 信源熵
2.1 2.2 2.3 2.4 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
2.1 单符号离散信源
2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 单符号离散信源的数学模型 自信息和信源熵 信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
I ( x | y ) 0.152 bit I ( x | y ) 3.322 bit
“下雨”与“空中乌云密布”的互信息为： I ( x; y ) 3 0.152 2.848 bit “不下雨”与“空中乌云密布”的互信息为： I ( x; y ) 0.193 3.322 3.129 bit
11
条件自信息量
在消息 y j 已知的条件下，发生消息 xi 所能提供的信息量 I ( xi | y j ) log p( xi | y j ) I ( y j | xi ) log p( y j | xi )
I ( xi y j ) log p( xi y j ) log p( xi ) p( y j | xi ) I ( xi ) I ( y j | xi )
I ( y j ; xi ) I ( y j ) I ( y j | xi ) log p( y j ) log p( y j | xi )
log p( y j | x i ) p( y j )
后验概率 先验概率
14
互信息量(续)
在整个通信系统的立场上考查不确定度的变化
通信前，X 与 Y 之间没有任何关联关系，两者统计独立 先验概率 p( xi y j ) p( xi ) p( y j )
5
信息的直观认识(续)
信息的度量(信息量)和信源所发消息的不确定性的消 除的程度有关，消除了多少不确定性，信宿就获得了 多少信息量 不确定性就是随机性，可以用概率论和随机过程来测 度不确定性的大小；出现概率小的事件，其不确定性 大，反之，不确定性小 由此可知：概率小 信息量大，即信息量是概率的 单调递减函数 此外，信息量还应该具有可加性
I ( xi ) 是 p( xi ) 的单调递
1.0
0
0.2
0.4
0.6
0.8
减函数
例 从 3500 个常用汉字中随机挑选一个汉字，则该事件 的自信息为 I log(1 3500) 11.8 bit
一副 52 张的扑克牌，现已将其充分洗牌，试问： 任意特定排列这副牌所给出的信息是多少 随机抽出点数都不同的 13 张，可获得多少信息
n
xi p( x i )
i
xn p( x n )
7
其中：
0 p( xi ) 1
p( x ) 1
i 1
自信息量
如果信源发出消息 xi 的概率为 p( xi )，则它所能提供 的自信息量(简称自信息)为：
1 I ( xi ) log 2 log 2 p( xi ) p( x i )
4
信息的直观认识(续)
消息随机变化的随机性越大，其所含的信息量就越大 例 消息“中国男足与巴西男足的结果”含有的信 息量小(随机性小，可预见性大，因此该消息含有 的信息量小) 例 消息“巴西男足与德国男足比赛的结果”含有 的信息量大(随机性大，可预见性小，因此该消息 含有的信息量大) 两个消息的相互依赖性越大，它们相互间的信息量就 越大(这里指的是绝对值大) 例 W：武汉明日气温，H：黄石明日气温， B： 北京明日气温，N：纽约明日气温， W 与 H 相互间的信息量大，W 与 B 相互间的信 息量小，W 与 N 相互间的信息量几乎为 0
在“空中乌云密布”条件下“下雨”的自信息为：
I ( x | y ) log 0.9 0.152 bit
在“空中乌云密布”条件下“不下雨”的自信息为：
I ( x | y ) log 0.1 3.322 bit
16
I ( x ) 3 bit I ( x ) 0.193 bit
17
互信息量的性质
对称性
I ( xi ; y j ) log
log log
p( xi | y j ) p( xi )
p ( x i | y j ) p( y j ) p( x i ) p( y j ) p ( y j | x i ) p( x i ) p ( x i ) p( y j )
后验概率
在消息 xi 已知的条件下，发生消息 y j 所能提供的信息量
信道转移概率
自信息量、联合自信息及条件自信息的关系：
log p( y j ) p( xi | y j ) I ( y j ) I ( xi | y j )
12
互信息量
信源发出消息 xi，由于信道中噪声的干扰，信宿收到 的将是由于干扰作用引起的 xi 的某种变型消息 y j，从 y j 中 所获取的关于 xi 的信息就是信宿所获取的信息；这种信道 中流通的有用信息的大小，称为 y j 对 xi 的互信息量(简称 为互信息)
自信息 I ( xi ) 包含两方面的含义：
(1) 当信源 X 输出消息 xi 以前， 信宿对 xi 存在的不 确定性
(2) 当信源 X 输出消息 xi 以后，xi 提供给信宿的信 息量，即消除上述不确定性所需要的信息量
8
自信息量的单位
自信息的单位与所用对数的底有关 以 2 为底：单位为比特(bit)，工程上常用，为书 写简洁，常把底数 2 略去不写 以 e 为底：单位为奈特(nat) ，理论推导时常用 以10为底：单位为哈特(hat)或笛特(det) 为强调是信源所发出的每个符号的不确定性，有时也 将单位写成：bit/符号、nat /符号、det /符号 各单位之间的换算关系
10
联合自信息量
联合自信息是自信息的推广，它涉及两个随机事件， 其离散信源的数学模型为： XY xi y j P ( XY ) p( x y ) i 1,2, , n; j 1,2, , m i j 联合自信息量
消息 xi 和 y j 均发生时所能提供的信息量
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
I ( xi ) I ( xi | y j ) 信宿收到 y j 前对消息 xi 的先验不确定度 信宿收到 y j 后对消息 xi 的后验不确定度
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
6
单符号离散信源的数学模型
由于信宿在未收到信息以前，对信源发出什么样的 消息是不确定的，是随机的，所以可以用随机变量、随 机矢量或随机过程来描述信源输出的消息，或者说用一 个样本空间及其概率测度来描述信源 单符号离散信源的数学模型 可用一维随机变量 X 的概率空间来描述：
X x1 P ( X ) p( x ) 1 x2 p( x 2 )
“下雨”本来的不确定性很大(3 bit)，但是如果获悉 “空中乌云密布”后，不确定性减小(0.152 bit)，这是因 为“ 空 中乌 云 密布 ” 提供 了 关于 “ 下雨 ” 正的 信 息量 (2.848 bit) 相反，“不下雨”本来不确定性很小(0.193 bit)，但 是获悉“空中乌云密布”后，不确定性非但没有减小，反 而是变大了(3.322 bit)；这是因为“空中乌云密布”提供 了关于“不下雨”负的信息量( 3.129 bit)
15
互信息量举例
例：已知两事件：x “下雨”，y “空中乌云密布”， 且：p( x ) 0.125 p( x | y ) 0.9
则事件“下雨”和“不下雨”的自信息分别为：
I ( x ) log 0.125 3 bit I ( x ) log 0.875 0.193 bit
3
信息的直观认识
信道上传送的是随机变化的值 信宿在收到消息之前具有不确定性，并不知道消 息的内容；否则消息就没有必要进行发送了 消息按一定的概率分布随机变化 随机变化的消息的一个可能取值可以称为发生了 一个随机事件 事件发生的概率越小，此事件含有的信息量就越大 例 事件“中国男足 2:0 力克巴西男足”含有的信 息量大(小概率事件发生了，事件信息量大) 例 事件“中国男足 0:4 被巴西男足狂宰”含有的 信息量小(大概率事件发生了，事件信息量小)
1 比特 ln 2 奈特 1 奈特 log 2 e 比特 1 哈特 log 2 10 比特 lg 2 哈特
lge 哈特
ln10 奈特
9
自信息量的性质
I ( xi )
8 6
4 2
I ( xi ) log 2 p( xi ) p( x i )
I ( xi ) 是非负值 p( xi ) 1 时，I ( xi ) 0 p( xi ) 0 时，I ( xi )
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化