信息的度量

A和B的联合空间定义为：
• 联合自信息量
设在一正方形棋盘上共有64个方格，如果甲将一粒棋子 随意地放在棋盘中的某方格且让乙猜测棋子所在位置： 将方格按顺序编号，令乙猜测棋子所在方格的顺序号；
Columns
1
8
27
Rows
57
64
解:
如图所示棋子所在“位 置”可用联合集 XY上的 元素( xi y j )描述, 其中xi , i = 1,2,...,8; y j , j = 1,2,...,8 ， 将方格顺序编号： x1 y1 1; x1 y2 2;...x8 y8 64。 因此棋子在棋盘中所处 的位置为二维等概率分 布。 二维概率分布函数为 p ( xi y j ) = 1 / 64，故 在二维联合集XY上的元素xi y j的自信息量为 1 I ( xi y j ) = log2 p ( xi y j ) = log2 = log2 26 = 6比特 64
1 1 1 0 H ( p , p ,..., p ) H ( , ,..., ) 1 2 n n n n
2 3 最大熵：
（1）离散信源在所有符号等概出现时具有最大的平均信息量， 即最大熵。 证明：（1）预备知识：信息论不等式
ln x x 1 令f ( x ) = ln x ( x 1) 1 f ' ( x) = 1 x 1 f ' ' ( x ) = 2 0, ( x 0) f ( x )有极大值 f ' ( x = 1) = 0,即x = 1时f ( x )有极大值f ( x = 1) = 0 即 ln x ( x 1) = f ( x ) 0 故 ln x x 1
互信息量的性质：2、可为零 当事件x i，y j统计独立时，互信息量为零。 I ( xi ; y j ) = 0
这表示不能从观测 信息。反之亦然。 证明
y获得关于另一个事件 Xi x 的任何 j i
由于xi , y j 统计独立，故有 p( xi y j ) = p( xi ) p( y j ) p( xi ) p( xi ) p( y j ) 此性质的意义是：当两个事件统计独立时，其相互信 息量为零，这也就是说不能从观测一个事件中获得有关 另一个事件的任何信息。 于是：I ( xi ; y j ) = log p( xi | y j ) = log p( xi y j ) = log1 = 0
信息的度量
How to measure Information?
信息论基础
本章内容
• 信息及其度量
• 平均信息量-熵
• 通过信道的平均信息量-互信息量 • 信息不增原理 • 各种信息量之间的关系 • 连续随机变量的信息度量
参考书：沈振元等，“通信系统原理”，第11章（PP412-437)
戴善荣, “信息论与编码基础”, 第2章
log2 P = 1.443 ln P log2 P = 3.322 log10 P
思考题：信息论中的bit 与计算机中的bit是否相同，两者 之间有什么关系？
§2 平均信息量-熵，最大熵，冗余度 1 平均信息量-熵（Entropy）：（信源熵）
一个离散信源S由K个符号组成
S = {s 1, s 2 , . . . , s K}
(2)对称性：Pi交换位置后，H值位置不变；
(3)非负性：H的值一定大于或等于零； (4)确定性：当事件集中某个事件出现的概率为1，其余事件的 概率为0时，H的值一定为0； (5)可加性：
设有一个事件的集合{E1，E2，…, En}, 各事件出现的概 率分别为{P1，P2，…, Pn}, 其中某一事件En又划分为由m个 小事件，概率分别为 q1, q2, …, qm, 且 qi/Pn = 1, 则三个熵 函数
H
max
H
max
H
思考 （1）在一个二进制系统中，两个符号A、B分别 用0、1来表示，此时无冗余，若将其编码成000和111， 问此时的冗余度是多少？
（2）冗余度是否有用？信源编码、信道编码的作用是什 么？
作业：戴书:p.25 #1 2
§3 信道特性、条件平均信息量与互信息量
1 问题：信源发出的信息量有多少能通过信道？有多少信息量 受干扰而损失掉？
§1 信息及其度量
1 消息、信息与信号
信息蕴含于消息之中，信号是消息的外在表现形式。 2 信息的定义
[信息] 事件本身所含有的不肯定性，或者说获得某事件发生 时所排除的不肯定性。 信息量与什么因素有关？ • 不确定性的大小（发生的概率）
• 主观因素（不考虑）
3 信息的度量 概率p越小，信息量越大 • 信息量是概率的单调递减函数 • 具有可加性
X信道的输入消息；Y信道的输出消息
X Y
信源
信道
信宿
信源X的概率空间为：
X x1 , x2 , , xi , P( X ) = p( x ), p( x ), , p( x ), 1 2 i
这里p(xi)（i=1,2,3等）是集合X中各个消息 x1，x2 ，x3 …的概率分布，它又称为先验概率。 信宿Y的概率空间为：
其熵曲线如下图所示，
（2）在平均功率受限条件下连续信源的最大熵（最大微分熵）：
若信源输出的平均功率限定为S，则当信号的幅度的概率密 度分布为高斯分布时有最大熵（参看课本p24）. 高斯分布：
最大熵：
Hmax(x)= 1/2 log 2eS
4 冗余度：
冗余度=（最大熵-实际熵）/最大熵 即
R
y
=
2 信道的描述：
（1）信道模型： 发端符号集： X={x1, x2, … , xn } 收端符号集：
Y={y1, y2, …, ym}
转移慨率（xi
yj 的概率
）：
p(yj / xi)
（3）信道噪声的干扰特性：用转移概率矩阵来描述
（3）基本概率公式：
p( xi, yj ) = p( xi ) p( yj / xi ) = p( yj ) p( xi / yj )
i =1 i i
n
= p log
i =1 n i
n
1
p
1
i
i
1 n 1 logc b log = p log , (利用换底公式loga b = , 令a = 2, c = e) i n i =1 logc a pn
i
= p (ln
i =1 n i
1 1 , (令x = , 并利用不等式ln x x 1) p n ln 2 pn )
不确定程度减少的原因，是由于收到消息前 后概率空间的概率分布改变所致。
不确定程度的减少量
当接收到yj后，重新估计xi的发生。收信者从不确定到比较 确定或完全确定，依赖于所获得的信息量。可以直观地将它定 义为：I(信息量)=不确定程度的减少量 那么，当接收者收到yj后，所获得的信息量为
1 1 Ij = log log 或写成 p( xi ) p( xi y j ) 1 1 后验概率 Ij = log log = log 先验概率 后验概率 先验概率
i n n 1 1 pi) ln 2 = 0, ( n = 1, pi = 1) i =1 i =1
n 1 1 p( 1) = ( i i =1 p n ln 2 i=1 n
1
i
故有H ( x ) H 0 0,即等概时有最大熵
例
一个二进制信元X，两个符号出现的概率分别为p和1-p,
各符号出现的概率分别为
with probabilities
p(S = sk ) = pk ,
p(s ) = 1.
k =1 k
K
则其平均信息量为
H = pk log pk (bits)
称之为信源熵。
H0 = log32 = 5 比特/字母
2 熵的性质：
(1)连续性：某事件的概率稍微变化时，H也只做连续的、非 突变性的变化；
此性质的意义是： 事件 提供的有关于事件 的关于事件 信息量 证明： 的信息量等于由事件 提供
由互信息的定义： p( xi | y j ) p( xi | y j ) p( y j ) I ( xi ; y j ) = log = log p( xi ) p( xi ) p( y j ) = log p( xi y j ) / p( xi ) p( y ) = log p( y j | xi ) p( y ) = I ( y j ; xi )
例 将一个棋子随机地落入一个8x8的棋盘，分别用两种方法猜， 看落到哪一个格子里：一是直接猜，二是先猜行，后猜列。
Columns
1
8
27
Rows
57
64
[定义]（自）信息量定义为
I = log 1/p = - log p
p是事件发生的概率。
单位： • 以2为底- 比特（bit）
• 以e为底- 奈特（Nat） • 以10为底- 哈特莱（Hartley） 关系：
由于甲是将一粒棋子随 意地放在棋盘中某一方 格内，
• 条件自信息量
设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意 地放在棋盘中的某方格且让乙猜测棋子所在位置： 将方格按行和列编号，甲将棋子所在方格的行（或列）编 号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。
解：
如图所示棋子所在“位 置”可用联合集 XY上的 元素( xi y j )描述, 其中xi , i = 1,2,..., 8; y j , j = 1,2,..., 8 。 由于甲是将一粒棋子随 意地放在棋盘中某一方 格内， 一维概率分布函数 p( xi ) = 1 / 8，p( y j ) = 1 / 8， 同时，有二维概率分布 函数p( xi y j ) = 1 / 64，故 在二维联合集 XY上，元素 xi 相对y j的条件自信息量为 I ( xi | y j ) = log 2 p( xi | y j ) = log 2 p( xi y j ) 1 / 64 = log 2 = 3 比特 p( y j ) 1/ 8
p ( xi , yj ) p ( xi / yj ) = p ( yj ) p ( xi , yj ) p ( yj / xi ) = p ( xi )
3 联合自信息量和条件自信息量 设输入和输出都可以用离散概率空间来表示：
X = {A， P}，其中A={ai}; Y = {B, Q}, 其中B={bj}
收信者所获得的信息量随先验概率的增加而减小，随后验概 率的增加而增加。
事件之间的互信息量
互信息量的性质
1.互信息量的互易性 2.互信息量可为零 3.互信息量wk.baidu.com正可负 4.任何两个事件之间的互信息量不可能 大于其中的任一事件的自信息量(有限性)
互信息量的性质：1、互易性
互信息量的互易性可表示为：
Y y1 , y 2 , , y j , P(Y ) = p( y ), p( y ), , p( y ), 2 j 1
这里p(yj)（j=1,2,3等）是集合Y中各个消息 y1，y2 ，y3 …出现的概率。
收信者获得的信息量
当信宿接到集合Y中的一个消息符号后，接收 者重新估计关于信源的各个消息 发生的概率 就变成条件概率，这种条件概率又称为后验概 率。 收信者收到一个消息后，所获得的信息量等 于收到消息前后不确定程度的减少量。
x
(2)以下再证明
1 1 H ( x ) = p log p H 0 = log = log n i i n i =1 i =1 n 即H ( x ) log n 0 p = 1, 且 ln x x 1
i =1 i n n n
H ( x ) H 0 = p log p log n
H1 = H（P1， P2，…, Pn) H2 = H（P1， P2，…, Pn-1; q1, q2, …, qm) H3 = H（q1/Pn, q2/ Pn, …, qm/ Pn)
之间具有相加关系：
H2 = H1 + Pn H3
含义：集合的进一步细分会使不确定性增加，即平均信息量增 加。 (6)极值性：
因此棋子在棋盘中所处 的行（或列）位置为一 维等概率分布。
同样， I ( y j | xi ) = log 2 p( y j | xi ) = 3 比特
互信息量
设有两个离散的符号消息集合X Y，
X表示信源发出的符号消息集合 Y表示信宿接收的符号消息集合
每个符号消息相当于一个随机事件
信源发出符号消息通过信道传递给信宿