信息论讲义(2讲)

信息论

第2讲

北京航空航天大学

201教研室

陈杰

buaa201gcss@ PWD:buaaf615

2

第一章小结

1.信息论：经典信息论

工程信息论

广义信息论

2.信息的概念：通俗信息概念

广义信息概念

概率信息概念

3.信息：抽象概念，研究对象，含于消息消息：比较具体，非物理量，信息的载荷者信号：最具体，表示消息的物理量，可测量、

可显示、可描述，消息的载荷者

4.通信系统的模型：

第一章小结（续）

通

信

系

统

干扰源窃听者模

型

3

2.5 连续随机变量的互信息和相对熵

2.5.1 连续随机变量的互信息

⎯定义

⎯熵的性质

2.5.2 连续随机变量的相对熵

⎯连续随机变量的自信息量

⎯相对熵、联合熵、条件熵

⎯性质

4

5

•连续随机变量的互信息

连续随机变量集XY ，事件x , p (x ) ≥0和事件y , p (y ) ≥0之间的互信息定义为

00

()() lim log ()()x y p x y p y x y p x xp y y Δ→Δ→ΔΔ=ΔΔ00()(;)lim log ()def x y p x y x I x y p x x

Δ→Δ→Δ=Δ() log ()()

p xy p x p y =

6

•连续随机变量的平均互信息

连续随机变量集合X 和Y 之间的平均互信息量(Mutual Information)定义为

()(;)()log ()()def p xy I X Y p xy dxdy p x p y ∞

−∞=∫∫

7

•连续随机变量的平均互信息的性质（１）非负性

当且仅当连续随机变量X 和Y 统计独立时等号成立。（２）对称性

(;)0

I X Y ≥(;)(;)

I X Y I Y X =

8

•连续随机变量

令随机变量X 的取值区间是(a ,b )，a

成n 段，等间隔，那么X 处于第i 个小区间的概率为

事件x i

b a n −Δ=()i i p p x Δ=⋅Δ

log log[()]

i i p p x −Δ=−⋅Δ

9

•连续r.vX 的平均自信息量为

•当n →∞,Δi →0时，

定义绝对熵()()log[()]

i i i

H X p x p x Δ=−⋅Δ⋅⋅Δ∑()H X Δ→∞0()log H X Δ

＝-()[log ()]()[log ]i i i i i

p x p x p x =−⋅⋅Δ−⋅Δ⋅Δ

∑∑

10•连续随机变量的相对熵(Differential Entropy)

称为连续随机变量的相对熵，或微分熵，简称为熵。

()()log ()C H X p x p x dx ∞

−∞=−∫

11

•连续r.v.的联合熵(Joint Entropy)

•连续r.v.的条件熵(Conditional Entropy)

()()log ()C H XY p xy p xy dxdy

∞

−∞

=−∫∫(|)()log (|)C H X Y p xy p x y dxdy

∞

−∞=−∫∫

•性质（1）

（2）（3）

()()()

C C C

H XY H X H Y X

=+

()()()

C C C

H XY H Y H X Y

=+

(;)(;)

()(|)

()(|)

C C

C C

I X Y I Y X

H X H X Y

H Y H Y X

=

=−

=−

(|)()

(|)()

C C

C C

H X Y H X

H Y X H Y

≤

≤

12

13

例2.10连续随机变量X ，其概率密度函数

(1) 试求信源X 的熵H c (X )；

(2) 试求Y = X + A (A > 0)的熵H c (Y)；(3) 试求Y = 2X 的熵H c (Y )。

⎩⎨

⎧≤≤=其他

0)(2

a x bx

x p

14

解:(1)2()()log ()()log c R R

H X f x f x dx f x bx dx

=−=−∫∫2

log ()()log R

R

b f x dx f x x dx

=−⋅−∫∫2

log 2log R

b b x xdx

=−−∫3

3

2 log log

9ba a

b e =−−3

3

(),()1

33

X X bx ba

F x F a ===∵3

2()log log 3c a

H X b bit

e

∴=−−⋅