第二章信源及其信息量

针对信源X某一单个消息或符号

ai
I (ai ) log p(ai )
【例 2.1】若盒中有 6个电阻，阻值为 1Ω 、 2Ω 、 3Ω 的分别 为2个、1个、3个，将从盒子中取出阻值为iΩ 的电阻记为事 件 x i （i = 1，2，3），则事件集X = {x1, x2, x3}，其概率 分布 x x x
i i j
j
) I ( xi y j )
p( xi y j ) log p( xi y j )
⑷．熵函数的性质
（1）对称性 集合X = {x1，x2，…，xN }中的各元素x1，x2，…，xN任意改 变其顺序时，熵只和分布（概率）有关，不关心某个具体事 件对应哪个概率。
例如
x1 x 2 x3 x 4 x1 x 2 x3 x 4 1 1 1 1 和 1 1 1 1 的熵是相等的。 2 4 8 8 8 8 4 2
⑵.平均互信息量
定义xi ∈ X和yj ∈ Y之间的互信息量为I(xi ;yj )，在集合X上对 I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为：
I ( X ; y j ) p xi y j I ( xi ; y j ) p xi y j log
i i




p ( xi y j ) p ( xi )
2 平均互信息量的性质
(1)
非负性： I X ; Y 0
I(X ; Y)= I(Y ; X)
(2) 互易性： 由 I X ;Y

i j
p( xi y j ) log
p( xi y j ) q( xi ) ( y j )
的对称性可得到。
(3)
I X ;Y H X I X ; Y H Y
H X
q( x )I ( x ) q( x ) log q( x )
i i i i i i
H(X)的表达式与统计物理学中的热熵具有相类似 的形式，在概念上二者也有相同之处，故借用熵
这个词把H(X)称为集合X的信息熵，简称熵。
【例2.3】计算下列信源的熵
x1 （1）信源一： X 2 x0 q ( X ) 0.99 0.01 2
x 2 xi xi 1 x N x1 p( x ) p( x ) p( x ) p( x ) p( x ) 2 i i 1 N 1
则下式成立：
H(X)= H(x1，x2，…，xi，xi+1，…，xN)
pi pi 1 H ( x1 , x2 ,, xi 1 , xi xi 1 , xi 2 ,, xN ) ( pi pi 1 ) H ( , ) pi pi 1 pi pi 1
⑷平均互信息量与信源熵、条件熵的关系 I(X;Y)= H（X）-H（X︱Y）
I(X;Y)= H（Y）-H（Y︱X）
I(X;Y)= H(X)+ H(Y)- H(XY )
I X ; Y
H X Y
H Y X
它们之间 的关系可 以用维拉 图表示
H X
H Y
H X , Y
2.当事件ai发生以后，表示事件ai所能提供的最大 信息量（在无噪情况下）
联合自信息量
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：
I ( xi y j ) log p( xi y j )
条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概 率p(xi︱yj),条件自信息量 I ( xi y j )定义为：
（2）对于强噪信道，有H (Y︱X)= H (Y) 。
⑶．联合熵
联合熵H (XY) 是定义在二维空间X Y上，对元素xi yj的自信息 量的统计平均值，若记事件xi yj出现的概率为p (xi yj)，其自信息 量为I (xi yj)，则联合熵H (X Y) 定义为
H XY
i j
p( x y
I ( xi y j ) log p ( xi y j )
【例2.2】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若： 1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？ 2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？ 用xi代表单元数，yj代表户号： （1）甲找到乙这一事件是二维联合集X Y上的等概分 布 p( xi y j ) 1 ，这一事件提供给甲的信息量为 60 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
x1 x2 x3 X 3 x0 （3）信源三: 等概信源 q ( X ) 0 . 25 0 . 25 0 . 25 0 . 25 3 熵 H(X3) = -4×0.25 log 0.25 = log4 = 2（比特/符号）
（4）信源四： 信源为确定事件
（2）非负性：H(X) 0 （3）确定性：在集合X = (x1，x2，…，xN)中，若有一个 事件是必然事件，则其余事件必为不可能事件，即该集合的 概率分布为 x x x x
1 0
2 i
0
1

0
N
（4）可加性：
集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为：
1 （2）在二维联合集X Y上的条件分布概率为 p( y j xi ) ，这一 12 事件提供给甲的信息量为条件自信息量 I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2.2.2
离散集的平均自信息量
⑴ 平均自信息量(熵) 人们注意的是整个系统的统计特性，当信源各个消息的出现概率 相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自 信息量定义为各消息自信息量的概率加权平均值（统计平均值）， 即平均自信息量H(X)定义为：
。
I ( xi ; y j ) I ( xi ) I ( xi y j ) log
p ( xi y j ) p ( xi )
称上式为事件xi和事件yj之间的互信息量。 注：式I(xi ；yj ) 和式I(xi，yj )的区别在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
1、离散信源 数学模型如下：
X a1 P p 1
a2 p2
... ...
xq pn

p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。
例：天气预报 无记忆信源 X的各时刻取值相互独立。
信源
信源符号集 {a1,a2,…, ak}
信道
信宿
干扰 简单的通信模型
信宿符号集 { b1,b2,…,bD}
事件xi是否发生具有不确定性，用I(xi)度量。 接收到符号 yj 后，事件xi 是否发生仍保留有一定的不确定性， 用I(xi︱yj)度量。 观察事件前后，这两者之差就是通信过程中所获得的信息量， 用I(xi ; yj )表示：
第2章 离散信源及其信息熵
内容提要： 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要研究离散信源下各种信息的定量计算 ，讨论它们的性质和相互关系。
2.1 信源基本分类及其数学模型
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
0 0.5 1 δ 图 2-2 H2(δ )与δ 关系
⑵．平均条件自信息量(条件熵) 若事件xi, yj的联合分布概率为p(xi yj )，给定yj条 件下事件xi的条件自信息量为I (xi︱yj)，则H (X ︱Y) 定义为：
H(X Y)
p(x y )I (x y ) p(x y ) log
X 4 x0 q( X ) 0 4
x1 1
熵H(X4) = - 0 log 0 –1 log 1 = 0 计算结果说明确定事件的熵为零 (5) 信源五：一般情况下，二元信源的概率分布为
H 2(δ )
1 X 5 0 q( X ) 1 5 熵 H(X) = –δ log δ -（1-δ ）log（1-δ ） 记H2(δ ) = –δ log δ -（1-δ ）log（1-δ ） H2(δ )与δ 的关系如图2-2所示。
熵 H(X1) =-0.99 log 0.99 － 0.01 log 0.01 = 0.08（比特/符号）
（2）信源二：等概信源
X 2 x0 x1 q( X ) 0.5 0.5 2
熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号）
？思考题：
若有6行8列的棋方格看，现有A,B两个质点分别以 等概率落入方格内，但两质点不能落入同一格内 ，若 A,B 是可分辨的，求 A,B 同时落入的平均自信 息量。
2.2.3 互信息量
⑴.互信息量 从通信的角度引出互信息量的概念 信源符号X={x1，x2，…，xI} ，xi∈{a1,a2,…,ak}，i = 1, 2 ,…, I。 经过信道传输，信宿方接收到符号 Y = {y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j = 1, 2, …,J。 {x1，x2，…xI} {y1，y2，…yJ}
维拉图
从通信的角度来讨论 平均互信息量I(X ; Y) 的物理意义
由第一等式I(X;Y)= H（X）-H（X︱Y）看I(X;Y)的物理意义
i j i j i j i j i j
p( xi y j )
从通信角度来看： 若将X = {x1，x2，…，xi，…}视为信源输出符号； Y = {y1，y2，…，yj，…}视为信宿接收符号； 从通信角度来看，H (X︱Y)是收到确定消息yj后，由 于信道干扰，关于发送的是否为xi仍具有的疑义度， 故称H (X︱Y)为疑义度（损失熵）。 存在以下两种极端情况：
再将式对集合Y进行统计平均，就可以得到平均互信息量
I X ; Y p( xi y j ) I ( xi ; y j ) p( xi y j ) log
i j i j
p( xi y j ) p( xi ) p( y j )
当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0
X 1 q( X ) 1 3 1 6
2
1 2
3
计算出各事件的自信息量列表2-1如下：
消息xi 概率分布q (xi) 自信息量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量I(ai)代表两种含义：
1.事件ai发生以前，表示事件发生的先验不确定性
（1）对于无噪信道H (X︱Y) = 0 （2）在强噪声情况下，收到的Y与X毫不相干 ，可视为统计独立，H (X︱Y) = H (X)
从通信角度来看，H (Y︱X)是发出确定消息xi后，由 于信道干扰而使yj存在的平均不确定性，称H (Y︱X) 为噪声熵（散布度）。 存在以下两种极端情况： （1） 对于无扰信道，有H (Y︱X) = 0。
有记忆信源 X的各时刻取值互相有关联。
2、连续信源 数学模型如下：
X (a, b) p ( x) p ( x)

b
a
Baidu Nhomakorabea
p( x)dx 1
每次只输出一个消息，但消息的可能数目是无穷 多个。
例：电压、温度等。
2.2 离散信源及其信息量
2.2.1.自信息量