连续信源和波形信源

第7章 连续信源和波形信源

主要内容

◆ 连续/波形信源的统计特性 ◆ 连续/波形信源的信息度量 ◆ 连续信源的信息率失真函数

7.1 连续/波形信源的统计特性

图7.1 一个随机过程{}()x t

111212121212()()

()n n n p x t p x x t t p x x x t t t ⎧⎪

⎪⎨

⎪⎪⎩ ，，，，，，

，，，，， 12121212()

()

12n n n n n n p x x x t t t p x x x t t t n τττ=+++=

，，，，，，，，，，，，，，，，

sin π(2)

()2π(2)

n n Ft n f t f F Ft n ∞

=-∞

-⎛⎫=

⎪

-⎝⎭∑

12f F ⎛⎫

⎪⎝⎭

，

信息论基础及应用

216

22f F ⎛⎫ ⎪⎝⎭

， 1

2F

∆=

7.2 连续信源和波形信源的信息度量

7.2.1 连续信源的差熵

d ()

()d X F x p x x

=

d ()()d Y F y p y y =

111()[]()d x X F x p X x p x x -∞

==⎰≤

//(/)

(/)Y X X Y p y x p x y

2111111

()

()XY F x y p x y x y ∂=∂∂，

//()()(/)()(/)XY X Y X Y X Y p xy p x p y x p y p x y ==

()()d X Y R

p x p xy y =⎰ ()()d Y X R

p y p xy x =⎰

⎥⎥⎦

⎤

⎢⎢⎣⎡=)(x p R X 并满足()d 1R

p x x =⎰

(1){(1)}()d ()(12)

i a i i a i p p a i x a i p x x p x i n ∆∆

∆∆∆

++-=+-+===⎰

≤≤，，，

1

21

2()()()n n n X x x x p x p x p x P ∆∆∆⎡⎤⎡⎤

=⎢⎥⎢⎥⎣⎦

⎣⎦

图7.2 概率密度分布

第7章 连续信源和波形信源

217

(1)1

1

()()d ()d 1n n

a i Δb

i a i Δ

a

i i p x p x x p x x ∆++-=====∑∑⎰

⎰

()log ()log[()]

()log ()()log n i i i i i

i

i i i i

i

H X p p p x p x p x p x p x ∆∆∆∆∆

=-=-=--∑∑∑∑

()lim ()lim ()log ()lim(log )()()log ()d limlog n i i i n i

b

a

H X H X p x p x p x p x p x x ∆∆∆∆

∆

→∞

∆→∆→→==--=--∑∑⎰

()()log ()d R

h X p x p x x =-⎰

()()log ()d d (/)()(/)log (/)d d (/)()(/)log (/)d d R

R

R

h XY p xy p xy x y

h Y X p x p y x p y x x y h X Y p y p x y p x y x y

=-=-=-⎰⎰⎰⎰⎰⎰

()()(/)

()(/)

h XY h X h Y X h Y h X Y =+=+

(/)()h X Y h X ≤或(/)()h Y X h Y ≤

()()()h XY h X h Y +≤

1

()0a x b p x b a

x b x a ⎧⎪

=-⎨⎪><⎩≤≤， 11

()log d log()b a h X x b a b a b a

=-=---⎰

πcos ||()2

A x x p x x ⎧

⎪

=⎨⎪⎩≤取其他值

信息论基础及应用

218

(

)[][][]π2π2

ππ22ππ2

2

π

2π2

π

2π2

ππ

2

2ππ22cos ln cos d ln cos d cos ln cos d 2ln 2ln ln(1sin )(1sin )dsin 22ln ln(1sin )d(1sin )ln(1sin )d(1sin )

222ln h X A x A x x

A A x x A x x x A A A x A A A x x x

A A A A x x x x A -------=-=--=--=---+=-+---++=-⎰⎰⎰⎰⎰⎰⎰2ln 22A A A

-+

π2π2

()d 1p x x -=⎰

12=A 即2

1=

A ()1h X =奈特/自由度 ()()()I X Y h X h Y =-；

222222()()()()1()2(1)x y y x x x y y x m y m y m x m p xy ρρδδδδ⎧⎫⎡⎤----⎪⎪=

--+⎢⎥⎨⎬-⎢⎥⎪⎪⎣⎦⎩⎭

221()()d ()2x x x p x p xy y x m δ∞

-∞

⎧⎫

=--⎨⎬⎩⎭⎰

()()log ()d )x h X p x p x x ∞-∞

=-=⎰

()()log ()d )y h Y p y p y y ∞

-∞=-=⎰

22222

2222222(/)()log (/)d d 2()()()1()2(1)(1)()() log e d d (1)log e 121

2111x y x x x y y y y y h X Y p xy p x y x y

x m y m x m p xy y m y m x y

ρρδρδδρδδρρρρ∞

∞

-∞-∞∞

∞

-∞-∞=-⎧⎡---⎪=-⎢⎨--⎢⎪⎣⎩

⎫⎤--⎪

+

-⎥⎬-⎥⎪⎦⎭=-+---⎰

⎰

⎰

⎰21⎛⎫- ⎪

⎝⎭=

(

)/h Y X =