连续信源和波形信源

第7章 连续信源和波形信源主要内容◆ 连续/波形信源的统计特性 ◆ 连续/波形信源的信息度量 ◆ 连续信源的信息率失真函数7.1 连续/波形信源的统计特性图7.1 一个随机过程{}()x t111212121212()()()n n n p x t p x x t t p x x x t t t ⎧⎪⎪⎨⎪⎪⎩ ，，，，，，，，，，， 12121212()()12n n n n n n p x x x t t t p x x x t t t n τττ=+++=，，，，，，，，，，，，，，，，sin π(2)()2π(2)n n Ft n f t f F Ft n ∞=-∞-⎛⎫=⎪-⎝⎭∑12f F ⎛⎫⎪⎝⎭，信息论基础及应用21622f F ⎛⎫ ⎪⎝⎭， 12F∆=7.2 连续信源和波形信源的信息度量7.2.1 连续信源的差熵d ()()d X F x p x x=d ()()d Y F y p y y =111()[]()d x X F x p X x p x x -∞==⎰≤//(/)(/)Y X X Y p y x p x y2111111()()XY F x y p x y x y ∂=∂∂，//()()(/)()(/)XY X Y X Y X Y p xy p x p y x p y p x y ==()()d X Y Rp x p xy y =⎰ ()()d Y X Rp y p xy x =⎰⎥⎥⎦⎤⎢⎢⎣⎡=)(x p R X 并满足()d 1Rp x x =⎰(1){(1)}()d ()(12)i a i i a i p p a i x a i p x x p x i n ∆∆∆∆∆++-=+-+===⎰≤≤，，，1212()()()n n n X x x x p x p x p x P ∆∆∆⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦图7.2 概率密度分布第7章 连续信源和波形信源217(1)11()()d ()d 1n na i Δbi a i Δai i p x p x x p x x ∆++-=====∑∑⎰⎰()log ()log[()]()log ()()log n i i i i iii i i iiH X p p p x p x p x p x p x ∆∆∆∆∆=-=-=--∑∑∑∑()lim ()lim ()log ()lim(log )()()log ()d limlog n i i i n ibaH X H X p x p x p x p x p x x ∆∆∆∆∆→∞∆→∆→→==--=--∑∑⎰()()log ()d Rh X p x p x x =-⎰()()log ()d d (/)()(/)log (/)d d (/)()(/)log (/)d d RRRh XY p xy p xy x yh Y X p x p y x p y x x y h X Y p y p x y p x y x y=-=-=-⎰⎰⎰⎰⎰⎰()()(/)()(/)h XY h X h Y X h Y h X Y =+=+(/)()h X Y h X ≤或(/)()h Y X h Y ≤()()()h XY h X h Y +≤1()0a x b p x b ax b x a ⎧⎪=-⎨⎪><⎩≤≤， 11()log d log()b a h X x b a b a b a=-=---⎰πcos ||()2A x x p x x ⎧⎪=⎨⎪⎩≤取其他值信息论基础及应用218()[][][]π2π2ππ22ππ22π2π2π2π2ππ22ππ22cos ln cos d ln cos d cos ln cos d 2ln 2ln ln(1sin )(1sin )dsin 22ln ln(1sin )d(1sin )ln(1sin )d(1sin )222ln h X A x A x xA A x x A x x x A A A x A A A x x xA A A A x x x x A -------=-=--=--=---+=-+---++=-⎰⎰⎰⎰⎰⎰⎰2ln 22A A A-+π2π2()d 1p x x -=⎰12=A 即21=A ()1h X =奈特/自由度 ()()()I X Y h X h Y =-；222222()()()()1()2(1)x y y x x x y y x m y m y m x m p xy ρρδδδδ⎧⎫⎡⎤----⎪⎪=--+⎢⎥⎨⎬-⎢⎥⎪⎪⎣⎦⎩⎭221()()d ()2x x x p x p xy y x m δ∞-∞⎧⎫=--⎨⎬⎩⎭⎰()()log ()d )x h X p x p x x ∞-∞=-=⎰()()log ()d )y h Y p y p y y ∞-∞=-=⎰222222222222(/)()log (/)d d 2()()()1()2(1)(1)()() log e d d (1)log e 1212111x y x x x y y y y y h X Y p xy p x y x yx m y m x m p xy y m y m x yρρδρδδρδδρρρρ∞∞-∞-∞∞∞-∞-∞=-⎧⎡---⎪=-⎢⎨--⎢⎪⎣⎩⎫⎤--⎪+-⎥⎬-⎥⎪⎦⎭=-+---⎰⎰⎰⎰21⎛⎫- ⎪⎝⎭=()/h Y X =第7章 连续信源和波形信源2192222222()()log ()d d 2()()()1()log 2π2(1)(1)() log e d d (1)x y x x x x y y y h XY p xy p xy x yx m y m x m p xy y m x yρδδρδρδδρδ∞∞-∞-∞∞∞-∞-∞=-⎧⎡---⎪⎡=+-⎢⎨⎣--⎢⎪⎣⎩⎫⎤-⎪+⎥⎬-⎥⎪⎦⎭⎰⎰⎰⎰2222log e 121log 2π2111log 2πe x x ρδδρρρδδ⎛⎫⎡=+-+ ⎪⎣---⎝⎭⎡=⎣()()(/)I X Y h X h X Y =-==-；7.2.2 波形信源的差熵1212()()N N p p x x x y y y xy =1212111211112111()d d d d 1()()()d d ()()()d d ()(/)()()(/)()NN N N RN N N NRN N N N Rp x x xy y y x x y y p x p x x x p x x y y y y p y p y y y p x x y y x x p xy p y x p x p xy p x y p y =======⎰⎰⎰⎰⎰⎰1212112()()()log ()d ()()()log ()d (/)(/)()log (/)d d N RN RN N Rh X h X X X p x p x xh Y h YY Y p y p y y h Y X h Y Y X X X p p y x x yxy ==-==-==-⎰⎰⎰⎰11(/)(/)()log (/)d d N N Rh X Y h X X Y Y p p x y x yxy ==-⎰⎰()()(/)()(/)I X Y h X h X Y h Y h Y X =-=- ;(())lim ()N h x t h X →∞∆(())lim ()N h y t h Y →∞∆信息论基础及应用220(()/())lim (/)N h y t x t h Y X →∞∆(()/())lim (/)N h x t y t h X Y →∞∆(()())lim ()N I x t y t I X Y →∞∆；；12121312121()()()(/)(/)(/)N N N h X h X X X h X H X X h X X X h X X X X -==++++1212()()()()()N N h X h X X X h X h X h X =+++≤7.2.3 三种特殊连续信源的差熵)log()(a b X h -= 比特/自由度1111()()()0()Ni i Ni i i i N i i i x b a b a p x x b a ===⎧∈-⎪⎪-⎪=⎨⎪⎪∈-⎪⎩∏∏∏ 121()()()NN i i p x p x x x p x ===∏111112111()()log ()d 11logd d d ()()log () /N NN Nb b a a b b N NNa a iiiii i Ni i i h X p x p x xx x x b a b a b a N ====-=---=-⎰⎰⎰⎰∏∏∏ 比特自由度1()log ()2log()N i i i h X b a FT b a ==-=-∏)log(2)(a b F X h t -= 1e 0()00xa x ap x x -⎧>⎪=⎨⎪⎩≤1[]e d xa m E X x x a a-∞===⎰第7章 连续信源和波形信源22102002211()()log ()d e log e d 11log e d e d 11log log 1x xa a x x a a h X p x p x x xaa a x x xa a a a a a a a--∞∞--∞∞⎡⎤⎡⎤=-=-⎢⎥⎢⎥⎣⎦⎣⎦=⋅+=⋅+⋅=+⎰⎰⎰⎰22()()2x m p x σ⎛⎫-=- ⎪⎝⎭(22222()()log ()d ()()log d 2()()d ()d log e 21log e21log 2πe 2h X p x p x xx m p x x x m p x x p x x σσσ∞-∞∞-∞∞∞-∞-∞=-⎡⎤⎛⎫-=--⎥ ⎪⎝⎭⎦⎡⎤-=--+⋅⎢⎥⎣⎦==⎰⎰⎰⎰ ()d 1p x x ∞-∞=⎰和22()()d x m p x x σ∞-∞-=⎰。

1()log2πe 2h X P =N j i m X m X E j j i i ij ，，，， 21)])([(=--=μ111212122212N N N N NN R μμμμμμμμμ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1/21/21111()exp ||()()(2π)||2||N N ij i i j j i j p x R x m x m R R ==⎡⎤=---⎢⎥⎣⎦∑∑ 1/21/211/21/2/21/2()()log ()d 11()log exp ||()()d d (2π)||2||log(2π)||log e2log[(2πe)||]1log(2πe)||2N N ij i i j j N N R i j N N N h X p x p x x p x R x m x m x x R R NR R R ∞-∞===-⎫⎤⎧⎡⎪=--⨯--⎨⎬⎥⎢⎣⎪⎩⎦⎭=+=⋅=⎰∑∑⎰⎰ 21||Ni i R σ==∏信息论基础及应用2222221/121()log 2πe()()2N NN i i N h X h X σσσ===∑7.3 最大差熵定理122()d 1()d ()()d p x x xp x x K x m p x x K ∞-∞∞-∞∞-∞==-=⎰⎰⎰求泛函数()()log ()d h X p x p x x ∞-∞=-⎰的极值。