信息论 信源与信息熵

x落入第i个区间的概率： p (a (i 1) x a i )
a ix

a ( i 1) x

p X ( x)dx p X ( xi )x
离散随机变量X△
图
概率密度函数
x2 X x1 P p ( x )x p ( x )x X 2 X 1
H ( X l | X l 1 ) H ( X L )
• 符号熵：平均每个符号的熵
1 H L ( X) H ( X L ) L
• 若当信源退化为无记忆时 若进一步又满足平稳性时 L :
H ( X) H ( X l )
l
H ( X) LH ( X )
4
• 例已知离散有记忆信源中 X a0 a1 a2 11 4 1 P 各符号的概率空间为: 36 9 4 • 设发出的符号只与前一个符号有关,这两个符号 的概率关联性用条件概率p(aj|ai)表示,如表
H ( X L | X1 X 2
X L 1 ) H ( X L | X 2 X L 1 ) H ( X L 1 | X 1 X L 2 ) H ( X L 1 | X 2 H ( X 2 | X1) H ( X1)
8
X L 2 ) H ( X L 2 | X 1 X L 3 )
⑵ L给定时,平均符号熵≥条件熵 H L(X)≥H (XL|XL-1)
⑶ HL(X)是L的单调非增函数
HL(X)≤HL-1(X)
⑷
H ( X ) lim H L ( X ) lim H ( X L | X 1 X 2
L L
证明：定义+结论1+结论2
X L1 )
– H∞称为平稳信源的极限熵或极限信息量
序列熵:信源中平均每个消息的不确定度

i1 1 i2 1
n
p( x , x
iL 1 i1
n
i2
,
, xiL ) log p( xi1 , xi2 ,
, xiL )
3
H ( X) H ( X 1 X 2
L l
XL) H ( X L | X L 1 X1)
H ( X1 ) H ( X 2 | X1 )
16
• 例：求具有如下概率密度函数的随机变量的相对熵。
• 1、指数分布
• 2、均匀分布
p( x) e
1 p( x) b a 0
2 2 2
x
,
x0
a xb 其他
( x m )2
• 3、高斯分布
p( x)
e
2 2
17
• 连续信源联合相对熵
wk.baidu.com
xn p ( xi ) 0 n p ( xn ) p ( xi ) 1
i 1
H ( X ) p( xi ) I ( xi ) p( xi )log p( xi )
i i
12
连续信源数学模型
连续信源的表达方式： （用概率分布密度函数pX(x)来表示 ） 连续信源X的数学模型：
• 单符号信源X的信息熵为
H ( X ) p ( ai ) log p( ai ) 1.543bit / 符号
i 0
2
H 2 (X) H1 (X)
2 2
符号之间存在关联性
H ( X 2 | X 1 ) p (ai a j ) log p ( a j | ai ) 0.872bit / 符号
19
冗余度
• 对于有记忆信源,极限熵为H∞(X)。 • 即传送这一信源的信息,理论上只需要传送 H∞(X)即可。而要计算H∞(X)必须掌握信源全 部概率统计特性,这是不现实。 • 实际上,传递Hm(X)信息量，与理论极限值相比 , 多传送信息量Hm(X)－H∞(X)。 • 为了定量地描述信源的有效性,定义: 冗余度 信息效率
内容
2.1 信源的描述和分类
2.2 离散信源熵和互信息 2.3 离散序列信源的熵
2.4 连续信源的熵和互信息
2.5 冗余度
1
2.3 离散序列信源的熵
2
信源输出的随机序列为
xi ( xi1 , xi2 ,
H ( X ) p( xi ) log p( xi )
i 1 n nL
, xiL )
＝Hc (X)＋Hc (Y)－Hc (XY)
＝Hc (Y)－Hc (Y/X)
18
冗余度
• 冗余度(多余度、剩余度) –表示信源在实际发出消息时所包含的多余信 息。如果一个消息所包含的符号比表达这个 消息所需要的符号多，这样的消息就含有多 余度。 • 冗余度来源： –信源符号间的相关性。 • 相关程度越大,信源的实际熵越小 –信源符号分布的不均匀性。 • 等概率分布时信源熵最大。
a2 0 1/18 7/36
H ( X1, X 2 ) p(ai , a j )log p(ai , a j )
i 0 j 0 2 2
2.41bit / 二元符号
• 联合熵H(X1,X2)表示平均每二个信源符号所携 带的信息量。
• 符号熵：平均每一个信源符号携带的信息量：
1 2 H 2 (X) H ( X ) 1.21bit / 符号 2
H ( X ) H ( X ) 1 1 Hm ( X ) Hm ( X ) log2 n H 0 ( X ) H1 ( X ) H 2 ( X ) H ( X ) 20
冗余度
• 由于信源存在冗余度,即存在一些不必要传送的信息 ,因此信源也就存在进一步压缩其信息率的可能性。 • 信源冗余度越大,其进一步压缩的潜力越大。这是信 源编码与数据压缩的前提与理论基础。 • 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 英语文章有71% 不等概率 H1 = 4.03比特/符号 是由语言结构 考虑相关性 H2 = 3.32比特/符号 定好的,只有 极限熵 H∞ =1.4比特/符号29%是自由选择 ，有价值的 • 冗余度
X ( a, b) P ＝ p ( x) X 满足
b a
或
R p ( x) X 或者 p X ( x)dx＝1
R
13
p X ( x) 0, p X ( x)dx 1
连续信源熵
＝x (b a) / n
x a x 0 a b b
n
n
i 1
i 1
pX ( x)log pX ( x)dx lim log x
a x 0
b
第一项具有离散信源熵的形式，是定值，第二项为无 穷大。即不考虑第二项无穷大项，定义连续信源熵(也 叫相对熵) 为:
H c ( X ) pX ( x) log pX ( x)dx
xn pX ( xi )x 0 n p X ( xn )x pX ( xi )x 1
14
i 1
H n ( X） p( xi )log p( xi ) pX ( xi )x log pX ( xi )x
当n 时，即x 0时，由积分定义得 lim H n pX ( x)log pX ( x)dx lim log x p X ( x)dx
H c ( XY )




p( xy) log p( xy)dxdy
• 连续信源条件相对熵
H c (Y / X )
• 互信息定义为：




p( xy) log p( y / x)dxdy
• Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc (X/Y) I(X;Y)＝I(Y;X)＝Hc (X)－Hc (X/Y)


15
相对熵与离散熵
• 相对熵与离散熵在形式上相似，概念上有区别： • 1、相对熵是离散熵的有限项，去掉了无穷大项， 所以不能作为连续随机变量不确定性的度量公 式 • 2、连续随机变量取值于连续区间，有无穷多个 取值点，每一点的概率均为0，自信息量无意义， 不能把相对熵视作自信息量的统计平均。在离 散情况下的自信息量、条件自信息量等在连续 情况下都失去了物理意义。
(4.76 1.4) / 4.76 0.71
21
i 0 j 0
H(X2| X1)＜H(X) 信源的条件熵比无依赖时的熵 H(X)减少了0.671比特, 这正是因为符号之间有依赖性所造成的结果。 7
离散平稳信源
• 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的
– 条件较多的熵必小于或等于条件较少的熵， 而条件熵必小于或等于无条件熵。
• 分析离散信源的熵和符号熵?
a0 a0 9/11 1/8 0 a1 2/11 3/4 2/9 a2 0 1/8 7/9
5
p(aj|ai)
a1 a2
• 由 p(ai,aj) = p(ai) p(aj| ai) • 计算得联合概率p(ai aj)如表
a0 a0 a1 a2 1/4 1/18 0
a1 1/18 1/3 1/18
9
（5） H0(X)≥H1(X)≥H2(X)≥…≥H∞(X) 对于有记忆信源，发出的符号序列中符号之 间有依赖性，而且这种依赖性是无穷的，所 以有记忆信源的信息熵只能用平均符号熵的 极限值来表示。
10
2.4 连续信源的熵 和互信息
11
• 单符号离散信源的数学模型—概率空间
x2 X x1 P p( x ) p( x ) 1 2