北京大学2010年度信息论与编码课程讲义2010CHP2

如果XY，则X有r-1种可能的取值。
(3) 检测X?=Y等同于观测Z， 而H(Z)=H(Pe)
(4) 如果XY（概率为Pe ）
保留的不确定量最多为log(r-1) 因此 H(X/Y) H(Pe) + Pe log(r-1)
2010-3-6
目录
1
8
熵的性质
互信息量的性质 条件熵及Fano不等式 复合观测的互信息量 数据处理定理 互信息量与信道输入概率分布的关系 互信息量与信道转移概率分布的关系
I ( X ; Y ) I(X ;Z) I (Y ; Z )
2010-3-6
2.5 数据处理定理
2
4
证明: 由定理2.4, 有 I(X; Z) I(X, Y; Z) 因为(X, Y, Z)是Markov链，有 I(X, Y; Z)=I(Y; Z) 所以 I(X; Z) I(Y; Z) 又因为(X, Y, Z)是Markov链 (Z, Y, X)也是Markov链 有 I(Z, Y; X)=I(Y; X)=I(X; Y) 而 I(Z, Y; X)I(Z; X)=I(X; Z) 所以 I(X; Z) I( X; Y)
2
8
例题2.2（续）:
2010-3-6
2
9
2010-3-6
目录
3
0
熵的性质 互信息量的性质 条件熵及Fano不等式 复合观测的信息量 数据处理定理 互信息量与信道输入概率分布的关系 互信息量与信道转移概率分布的关系 互信息量与信道输入符号相关性的关系
互信息量与信道记忆特性的关系
互信息量与信道输入符号相关性的关系
互信息量与信道记忆特性的关系
2010-3-6
2.2 互信息量的性质
6
定理2.2: 对于任意一对随机变量X和Y, I (X;Y) 0. 当且仅当X, Y相互独立时, I (X; Y) = 0.
2010-3-6
目录
7
熵的性质
互信息量的性质 条件熵及Fano不等式 复合观测的互信息量 数据处理定理 互信息量与信道输入概率分布的关系 互信息量与信道转移概率分布的关系
2010-3-6
2.4 复合观测的互信息量
2
0
p( z / y ) p ( z / x, y ) I ( Y ; Z ) I ( X , Y ; Z ) E log log 证明： p( z ) p( z )
p( z / y) E log p ( z / x , y )

x, y , z
p( x, y, z) log
x, y , z
p( z / y ) p( z / x, y )
p( z / y ) p ( x, y , z ) / p ( x, y )
log
p ( x, y , z )
x, y , z
log
p( x, y) p( z / y)
x, y
其中A( z 0) p( y) p( x y / x, y)
p ( y ) p ( x y / x, y ) p( y ) 1 y y x
A( z 1) p( y) p( x y / x, y)
x, y
p ( y ) p ( x y / x, y ) p( y)(r 1) r 1 y x y
p ( y / x) p1 ( x, y ) p 2 ( x, y )log p( y ) x, y
p1 ( x, y) log
x, y
p( y ) p( y ) p 2 ( x, y ) log p2 ( y) p1 ( y) x, y
2010-3-6
定义A( z) p( y) p( z / x, y)
x, y
则A( z zi ) p( y ) p( zi / x, y ) p( yil ) 1
y x l 1
k
因此A(z)1.
2010-3-6
2.3 条件熵及Fano不等式
1
2
证明1
（续）：利用定理2.3，有 H(X/Y)H(Z)+E[logA(z)]H(Z)
而 H(Z)-H(Z/Y)=I(Z;Y)≥0 因此 H(Z) ≥H(Z/Y)=H(X)
2010-3-6
2.3 条件熵及Fano不等式
1
4
推论: (Fano Inequality) 设X,Y是随机变量, 取值于符号集(x1, x2, … , xr ). 定义Pe = P{X Y}. 则 H(X/Y) H(Pe) + Pe log(r-1).
2010-3-6
2.6 互信息量与信道输入概率分布的关系
3
2
I ( X 1; Y1 ) I ( X 2 ; Y2 ) I ( X ; Y ) 证明：
p1 ( x, y ) log
x, y
p ( y / x) p ( y / x) p 2 ( x, y) log p2 ( y) p1 ( y ) x, y
2010-3-6
2.3 条件熵及Fano不等式
1
6
证明（续）： 根据定理2.3, 有 H(X/Y) H(Pe) + Pe log(r-1) + (1-Pe) log1
= H(Pe) + Pe log(r-1).
2010-3-6
2.3 条件熵及Fano不等式
1
7
分析：
(1) H(X/Y)是Y已知后，仍需通过观测X才能获得的信息量； (2) 观测X的一种方法是首先确定X?=Y: 如果X=Y，则达到目的；
2010-3-6
2.6 互信息量与信道输入概率分布的关系
3
1
定理2.6: I(X; Y)是信道输入概率分布p(x)的 上凸函数.
说明： p(x) = p1(x) + p2(x). ( , 0 1)
定理成立, 即 I(X1; Y1) + I(X2; Y2) I(X;Y).
1 p( x, y, z ) p( z ) log · p ( z ) p ( x / y ) z x, y 1 p( x, y, z ) p( z ) log p( z ) log p( z ) z z x , y p( x / y )
其中p( x, y, z) / p( x / y) p( x, y, z) p( y) / p( x, y) p( y) p( z / x, y).
证毕！
2010-3-6
= log 1 = 0.
目录
2
1
熵的性质
互信息量的性质 条件熵及Fano不等式 复合观测的互信息量 数据处理定理 互信息量与信道输入概率分布的关系 互信息量与信道转移概率分布的关系
互信息量与信道输入符号相关性的关系
互信息量与信道记忆特性的关系
BSS X BSC Y BSC Z
p(x=0)=1/2
0
p p
1-p
0
p p
1-p
0
p(x=1)=1/2
1
1-p
1
1-p
1
2010-3-6
2.5 数据处理定理
2
7
例题2.2（续）： I(X; Y)=1-H2(p) I(X; Z)=1-H2[2p(1-p)]
2010-3-6
2.5 数据处理定理
1
2010-3-6
目录
2
熵的性质 互信息量的性质 条件熵及Fano不等式 复合观测的互信息量 数据处理定理 互信息量与信道输入概率分布的关系 互信息量与信道转移概率分布的关系 互信息量与信道输入符号相关性的关系
互信息量与信道记忆特性的关系
2010-3-6
2.6 互信息量与信道输入概率分布的关系
3
3
证明： log p1 ( x, y)
x, y
p( y ) p( y ) log p 2 ( x, y) p1 ( y ) p2 ( y) x, y
log
y
p( y ) p( y ) log p 2 ( x, y) p ( x , y ) 1 p1 ( y ) x y p2 ( y) x
2010-3-6
2.5 数据处理定理
2
5
物理意义：数据处理只能减少信息！
例2.2: X1, X2, X3是独立随机变量， 因此(X1, X1+X2, X1+X2+X3)是Markov 链 有I(X1; X1+X2+X3)I(X1; X1+X2)
2010-3-6
2.5 数据处理定理
2
6
例题2.3:
互信息量与信道输入符号相关性的关系
互信息量与信道记忆特性的关系
2010-3-6
2.4 复合观测的互信息量
1
9
定理2.4: I(X, Y; Z) I(Y; Z). 当且仅当p(z/x, y) = p(z/y)时, 等式成立. I(X, Y; Z) I(X; Z). 当且仅当p(z/x, y) = p(z/x)时, 等式成立.
2010-3-6
2.3 条件熵及Fano不等式
9
证明:
1 H ( X / Y ) E log p( x / y)
x, y, z
p( x, y, z) log
1 p( x / y )
p ( z )
z x, y
p ( x, y , z ) 1 log p( z ) p( x / y )